Entrenamiento (FineTunning) de ChatGPT y LLMs cero a experto
Sobre el curso
Sección titulada «Sobre el curso»Este curso enseña la técnica de fine-tuning (ajuste fino) sobre modelos de lenguaje grandes, una opción intermedia entre el prompt engineering y el entrenamiento de un modelo desde cero, especialmente útil cuando se necesita que el modelo adopte un tono específico, cumpla un formato concreto o domine un dominio reducido y bien delimitado.
El programa cubre la preparación de datasets en formato JSONL, los procedimientos oficiales de fine-tuning de OpenAI, las alternativas open-source como LoRA y QLoRA sobre modelos abiertos, los hiperparámetros relevantes (epochs, learning rate, batch size), la evaluación cuantitativa y cualitativa de los modelos resultantes y el despliegue en producción gestionando coste y latencia.
Está dirigido a desarrolladores que ya tienen experiencia con prompt engineering y RAG, equipos de producto que evalúan adoptar fine-tuning como solución a problemas concretos, y técnicos que quieren entender cuándo merece la pena fine-tunear y cuándo es más eficiente quedarse en prompt o pasar a RAG.
Conocimientos adquiridos
Sección titulada «Conocimientos adquiridos»El curso me ha permitido desarrollar las siguientes capacidades:
- Distinguir prompt engineering, RAG y fine-tuning según el caso
- Decidir cuándo el fine-tuning es la solución apropiada
- Preparar datasets de instrucciones de calidad
- Estructurar datos en formato JSONL específico de cada plataforma
- Equilibrar calidad frente a cantidad de ejemplos
- Aplicar técnicas de aumento de datos (data augmentation)
- Lanzar trabajos de fine-tuning en la API de OpenAI
- Configurar epochs, learning rate y otros hiperparámetros
- Aplicar fine-tuning de modelos open-source con LoRA o QLoRA
- Trabajar con frameworks como Hugging Face transformers y PEFT
- Manejar GPU local o servicios en la nube para entrenamiento
- Evaluar modelos con métricas automáticas (BLEU, ROUGE)
- Aplicar evaluación cualitativa con muestras humanas
- Comparar modelos antes y después del fine-tuning
- Detectar overfitting en datasets pequeños
- Versionar modelos y datasets para trazabilidad
- Estimar coste de entrenamiento y de inferencia post fine-tuning
- Desplegar modelos fine-tuneados en producción
- Mantener pipelines de re-entrenamiento periódico
- Combinar fine-tuning con RAG cuando aporta valor
- Mitigar riesgos de degradación de capacidades generales del modelo
- Documentar el experimento para reproducibilidad
- Aplicar fine-tuning ético respetando datos de entrenamiento
- Decidir entre modelo cerrado o abierto según restricciones
Este conocimiento permite tomar decisiones fundamentadas sobre cuándo fine-tunear y cuándo no, ahorrando coste y tiempo en escenarios donde un buen prompt o un sistema RAG resolverían el problema, y dominar la técnica para los casos en que sí se requiere especialización profunda del modelo en un dominio o estilo específico.