Cours · 7 chapitres
Fine-tuning et distillation de modèles ouverts
From we should fine-tune to a governed loop: LoRA on open weights, distillation from frontier models, and the evals that prove it worked.
Ce que tu sauras faire
- Un arbre de décision pour savoir quand le fine-tuning vaut son coût, et le labo qui te permettra de le prouver sur ta propre tâche.
- Transformer un tas d'exemples récupérés en quelques centaines de lignes triées, dédupliquées et licenciées qui méritent vraiment d'être utilisées pour l'entraînement.
- Calibrer l'adaptateur à la tâche, calibrer le GPU à l'adaptateur, et choisir le checkpoint qui généralise vraiment.
- Transformer le jugement d'un modèle frontière en signal d'entraînement pour ton modèle ouvert, sans franchir la ligne tracée par ses conditions d'utilisation.
- Transformer un simple score réussi en un harnais avant/après documenté, un ensemble de dérive des capacités, et une porte de décision go/no-go que n'importe qui d'autre pourrait relancer.
- Transformer un checkpoint qui a franchi la porte en un adaptateur en production, avec un nom, un canary, et un plan de rollback.
Ce qu’il contient
- 1Fine-tuning de modèles ouverts : par où commencer
Six chapitres qui font passer un checkpoint à poids ouverts d'une décision de fine-tuning à un adaptateur servi avec un plan de rollback.
- 2La décision de fine-tuning
Un arbre de décision pour savoir quand le fine-tuning vaut son coût, et le labo qui te permettra de le prouver sur ta propre tâche.
- 3Concevoir un dataset pour le fine-tuning
Transformer un tas d'exemples récupérés en quelques centaines de lignes triées, dédupliquées et licenciées qui méritent vraiment d'être utilisées pour l'entraînement.
- 4LoRA & QLoRA en pratique
Calibrer l'adaptateur à la tâche, calibrer le GPU à l'adaptateur, et choisir le checkpoint qui généralise vraiment.
- 5Distillation à partir de modèles frontière
Transformer le jugement d'un modèle frontière en signal d'entraînement pour ton modèle ouvert, sans franchir la ligne tracée par ses conditions d'utilisation.
- 6Les evals qui prouvent que ça a marché
Transformer un simple score réussi en un harnais avant/après documenté, un ensemble de dérive des capacités, et une porte de décision go/no-go que n'importe qui d'autre pourrait relancer.
- 7Servir ton modèle ajusté
Transformer un checkpoint qui a franchi la porte en un adaptateur en production, avec un nom, un canary, et un plan de rollback.
Obtiens un certificat
Termine tous les chapitres pour recevoir ton certificat de réussite.