Cours · 7 chapitres
Fine-tuning et distillation de modèles ouverts
Du choix de fine-tuner à une boucle gouvernée : LoRA sur poids ouverts, distillation depuis des modèles frontière, et les evals qui prouvent que ça a marché.
Ce que tu sauras faire
- Six chapitres qui font passer un checkpoint à poids ouverts d'une décision de fine-tuning à un adaptateur servi avec un plan de rollback.
- Un arbre de décision pour savoir quand le fine-tuning vaut son coût, et le labo qui te permettra de le prouver sur ta propre tâche.
- Transformer un tas d'exemples récupérés en quelques centaines de lignes triées, dédupliquées et licenciées qui méritent vraiment d'être utilisées pour l'entraînement.
- Calibrer l'adaptateur à la tâche, calibrer le GPU à l'adaptateur, et choisir le checkpoint qui généralise vraiment.
- Transformer le jugement d'un modèle frontière en signal d'entraînement pour ton modèle ouvert, sans franchir la ligne tracée par ses conditions d'utilisation.
- Transformer un simple score réussi en un harnais avant/après documenté, un ensemble de dérive des capacités, et une porte de décision go/no-go que n'importe qui d'autre pourrait relancer.
Ce qu’il contient
- 1Fine-tuning de modèles ouverts : par où commencer
Six chapitres qui font passer un checkpoint à poids ouverts d'une décision de fine-tuning à un adaptateur servi avec un plan de rollback.
- 2La décision de fine-tuning
Un arbre de décision pour savoir quand le fine-tuning vaut son coût, et le labo qui te permettra de le prouver sur ta propre tâche.
- 3Concevoir un dataset pour le fine-tuning
Transformer un tas d'exemples récupérés en quelques centaines de lignes triées, dédupliquées et licenciées qui méritent vraiment d'être utilisées pour l'entraînement.
- 4LoRA & QLoRA en pratique
Calibrer l'adaptateur à la tâche, calibrer le GPU à l'adaptateur, et choisir le checkpoint qui généralise vraiment.
- 5Distillation à partir de modèles frontière
Transformer le jugement d'un modèle frontière en signal d'entraînement pour ton modèle ouvert, sans franchir la ligne tracée par ses conditions d'utilisation.
- 6Les evals qui prouvent que ça a marché
Transformer un simple score réussi en un harnais avant/après documenté, un ensemble de dérive des capacités, et une porte de décision go/no-go que n'importe qui d'autre pourrait relancer.
- 7Servir ton modèle ajusté
Transformer un checkpoint qui a franchi la porte en un adaptateur en production, avec un nom, un canary, et un plan de rollback.
Obtiens un certificat
Termine tous les chapitres pour recevoir ton certificat de réussite.