Cursus · 7 hoofdstukken
Fine-Tuning & Distillation van Open Modellen
From we should fine-tune to a governed loop: LoRA on open weights, distillation from frontier models, and the evals that prove it worked.
Wat je zult kunnen
- Een beslisboom voor wanneer fine-tuning zijn kosten terugverdient, en het lab waarmee je dat op je eigen taak bewijst.
- Een berg gescrapete voorbeelden omzetten in de paar honderd gecureerde, gededupliceerde en gelicenseerde rijen die echt trainingswaardig zijn.
- De adapter afstemmen op de taak, de GPU afstemmen op de adapter, en het checkpoint kiezen dat écht generaliseert.
- Het oordeel van een frontier-model omzetten in trainingssignaal voor je open model, zonder de lijn te overschrijden die de gebruiksvoorwaarden trekken.
- Eén geslaagde score omzetten in een gedocumenteerd voor/na-harnas, een capaciteitsdrift-set, en een ship/no-ship-poort die iemand anders opnieuw kan draaien.
- Van een checkpoint dat de poort haalde naar een live adapter met een naam, een canary en een terugvalplan.
Wat erin zit
- 1Fine-Tuning met Open Modellen: Begin Hier
Zes hoofdstukken die een open-weight checkpoint begeleiden van een fine-tuning-beslissing naar een uitgerolde adapter met een terugvalplan.
- 2De fine-tuningbeslissing
Een beslisboom voor wanneer fine-tuning zijn kosten terugverdient, en het lab waarmee je dat op je eigen taak bewijst.
- 3Dataset Engineering voor Fine-Tuning
Een berg gescrapete voorbeelden omzetten in de paar honderd gecureerde, gededupliceerde en gelicenseerde rijen die echt trainingswaardig zijn.
- 4LoRA & QLoRA in de Praktijk
De adapter afstemmen op de taak, de GPU afstemmen op de adapter, en het checkpoint kiezen dat écht generaliseert.
- 5Distillation van Frontier-Modellen
Het oordeel van een frontier-model omzetten in trainingssignaal voor je open model, zonder de lijn te overschrijden die de gebruiksvoorwaarden trekken.
- 6Evals Die Bewijzen Dat Het Werkte
Eén geslaagde score omzetten in een gedocumenteerd voor/na-harnas, een capaciteitsdrift-set, en een ship/no-ship-poort die iemand anders opnieuw kan draaien.
- 7Je Getunede Model Serveren
Van een checkpoint dat de poort haalde naar een live adapter met een naam, een canary en een terugvalplan.
Behaal een certificaat
Rond alle hoofdstukken af om je certificaat van afronding te ontvangen.