respuesta = qa_chain("¿Cómo configurar el parámetro X en el sistema?") print(respuesta["result"]) Para documentos masivos, puedes inyectar todo el contexto directamente:
FROM vllm/vllm-openai:latest COPY --chown=ray:ray ./model_cache /root/.cache/huggingface ENV HF_HOME=/root/.cache/huggingface CMD ["--model", "deepseek-ai/deepseek-llm-7b-chat", "--port", "8000"] : respuesta = qa_chain("¿Cómo configurar el parámetro X en
print(response.choices[0].message.content) DeepSeek soporta funciones como GPT-4: "parameters": { "type": "object"
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY") Dockerfile : "properties": { "ciudad": {"type": "string"
functions = [ { "name": "obtener_clima", "description": "Obtiene temperatura actual de una ciudad", "parameters": { "type": "object", "properties": { "ciudad": {"type": "string", "description": "Nombre de la ciudad"} }, "required": ["ciudad"] } } ] response = client.chat.completions.create( model="deepseek-chat", messages=[{"role": "user", "content": "¿Qué tiempo hace en Madrid?"}], functions=functions, function_call="auto" ) Capítulo 3: Fine-Tuning Profesional (Nivel Avanzado) DeepSeek es excelente para fine-tuning en tareas específicas (código, matemáticas, dominios médicos). 3.1 Preparación del Dataset (Formato ChatML) {"messages": [{"role": "user", "content": "¿Cómo invertir una lista en Python?"}, {"role": "assistant", "content": "Usa reversed(lista) o lista[::-1]"}]} {"messages": [{"role": "user", "content": "Explica herencia múltiple en Python."}, {"role": "assistant", "content": "Python permite herencia múltiple, pero puede causar el problema del diamante. Usa super() para MRO."}]} 3.2 Fine-Tuning con LoRA (Eficiente en memoria) Usando la biblioteca peft y trl :
Luego desde tu app:
response = client.chat.completions.create( model="deepseek-chat", # Modelo optimizado para conversación messages=[ {"role": "system", "content": "Eres un experto en DevOps y sistemas distribuidos."}, {"role": "user", "content": "Escribe un Dockerfile para un servicio FastAPI con dependencias de ML."} ], temperature=0.7, max_tokens=1024 )