Curso · 7 capítulos
Fine-Tuning y destilación de modelos abiertos
From we should fine-tune to a governed loop: LoRA on open weights, distillation from frontier models, and the evals that prove it worked.
Lo que sabrás hacer
- Un árbol de decisión para saber cuándo el fine-tuning compensa su costo, y el laboratorio que usarás para comprobarlo con tu propia tarea.
- Cómo convertir un montón de ejemplos scrapeados en las pocas cientos de filas curadas, deduplicadas y con licencia que en verdad vale la pena entrenar.
- Cómo dimensionar el adaptador según la tarea, la GPU según el adaptador, y elegir el checkpoint que en verdad generaliza.
- Cómo convertir el juicio de un modelo de frontera en señal de entrenamiento para tu modelo abierto, sin cruzar la línea que traza sus términos de servicio.
- Convertir un único puntaje que aprueba en un harness documentado de antes/después, un conjunto de deriva de capacidades y una compuerta de lanzar/no lanzar que cualquier otra persona pueda volver a correr.
- Convertir un checkpoint que pasó la compuerta en un adaptador en vivo con un nombre, un canary y un plan de rollback.
Qué incluye
- 1Fine-tuning de modelos abiertos: empieza aquí
Seis capítulos que llevan un checkpoint de pesos abiertos desde la decisión de hacer fine-tuning hasta un adaptador en producción con su plan de rollback.
- 2La decisión de fine-tuning
Un árbol de decisión para saber cuándo el fine-tuning compensa su costo, y el laboratorio que usarás para comprobarlo con tu propia tarea.
- 3Ingeniería de datasets para el fine-tuning
Cómo convertir un montón de ejemplos scrapeados en las pocas cientos de filas curadas, deduplicadas y con licencia que en verdad vale la pena entrenar.
- 4LoRA y QLoRA en la práctica
Cómo dimensionar el adaptador según la tarea, la GPU según el adaptador, y elegir el checkpoint que en verdad generaliza.
- 5Destilación desde modelos de frontera
Cómo convertir el juicio de un modelo de frontera en señal de entrenamiento para tu modelo abierto, sin cruzar la línea que traza sus términos de servicio.
- 6Evals que demuestran que funcionó
Convertir un único puntaje que aprueba en un harness documentado de antes/después, un conjunto de deriva de capacidades y una compuerta de lanzar/no lanzar que cualquier otra persona pueda volver a correr.
- 7Servir tu modelo fine-tuneado
Convertir un checkpoint que pasó la compuerta en un adaptador en vivo con un nombre, un canary y un plan de rollback.
Consigue un certificado
Completa todos los capítulos para recibir tu certificado de finalización.