Kurs · 7 Kapitel
Fine-Tuning & Distillation offener Modelle
Vom 'sollten wir fine-tunen?' zur kontrollierten Schleife: LoRA auf offenen Gewichten, Distillation von Frontier-Modellen und die Evals, die beweisen, dass es funktioniert hat.
Das wirst du können
- Sechs Kapitel, die einen Checkpoint mit offenen Gewichten von der Fine-Tuning-Entscheidung bis zum ausgelieferten Adapter mit Rollback-Plan begleiten.
- Ein Entscheidungsbaum dafür, wann sich Fine-Tuning lohnt, und das Lab, mit dem du das an deiner eigenen Aufgabe belegst.
- Wie aus einem Haufen gescrapter Beispiele die paar hundert kuratierten, deduplizierten und lizenzierten Zeilen werden, die das Training wirklich lohnen.
- Den Adapter auf die Aufgabe zuschneiden, die GPU auf den Adapter zuschneiden, und den Checkpoint wählen, der wirklich generalisiert.
- Das Urteilsvermögen eines Frontier-Modells in Trainingssignal für dein offenes Modell verwandeln, ohne die Grenze zu überschreiten, die dessen Nutzungsbedingungen ziehen.
- Aus einem einzelnen bestandenen Score ein dokumentiertes Vorher-Nachher-Harness, ein Capability-Drift-Set und ein Ship/No-Ship-Gate machen, das jeder andere nachvollziehen könnte.
Was drin ist
- 1Offene Modelle feintunen: Start hier
Sechs Kapitel, die einen Checkpoint mit offenen Gewichten von der Fine-Tuning-Entscheidung bis zum ausgelieferten Adapter mit Rollback-Plan begleiten.
- 2Die Fine-Tuning-Entscheidung
Ein Entscheidungsbaum dafür, wann sich Fine-Tuning lohnt, und das Lab, mit dem du das an deiner eigenen Aufgabe belegst.
- 3Dataset-Engineering fürs Tuning
Wie aus einem Haufen gescrapter Beispiele die paar hundert kuratierten, deduplizierten und lizenzierten Zeilen werden, die das Training wirklich lohnen.
- 4LoRA & QLoRA in der Praxis
Den Adapter auf die Aufgabe zuschneiden, die GPU auf den Adapter zuschneiden, und den Checkpoint wählen, der wirklich generalisiert.
- 5Distillation von Frontier-Modellen
Das Urteilsvermögen eines Frontier-Modells in Trainingssignal für dein offenes Modell verwandeln, ohne die Grenze zu überschreiten, die dessen Nutzungsbedingungen ziehen.
- 6Evals, die beweisen, dass es funktioniert hat
Aus einem einzelnen bestandenen Score ein dokumentiertes Vorher-Nachher-Harness, ein Capability-Drift-Set und ein Ship/No-Ship-Gate machen, das jeder andere nachvollziehen könnte.
- 7Dein getuntes Modell servieren
Aus einem Checkpoint, der das Gate bestanden hat, einen laufenden Adapter mit Namen, Canary und Rollback-Plan machen.
Zertifikat erhalten
Schließe alle Kapitel ab, um dein Abschlusszertifikat zu erhalten.