Servieren offener Modelle in Produktion

Sechs Kapitel, die einen Open-Weight-Checkpoint von einem Container, der eine Anfrage beantwortet, zu einem Deployment führen, das echten Traffic, ein echtes Budget und mehr als einen Mandanten übersteht.

Warum es ein anderes technisches Problem ist, ein Modell gleichzeitig für viele Nutzer zu bedienen, als es nur auf der eigenen Maschine laufen zu lassen.

Parameterzahl und Kontextlänge in ein echtes VRAM-Budget verwandeln, statt zu raten und zusehen, wie ein Container beim Start abstürzt.

Eine stabile Adresse vor zwei korrekt dimensionierten Backends, mit Routing, Failover und Health-Checks, die die Arbeit übernehmen, die kein Client selbst erledigen sollte.

Ein vages Gefühl, dass Requests sich langsam anfühlen, in ein Perzentil-Ziel verwandeln, auf das man tatsächlich alarmieren kann, und dabei nachverfolgen, welcher Hop verantwortlich ist, wenn es verletzt wird.

Warum der Stundensatz der GPU selten die Zahl ist, die die Kosten pro Token tatsächlich bestimmt, und was das SLO-Ziel aus Kapitel 4 im Stillen an reserviertem Spielraum kostet.

Wie die virtuellen Schlüssel aus Kapitel 3 zu einer echten Isolationsgarantie werden, damit der Burst eines Mandanten nie im Stillen den Spielraum eines anderen aufbraucht.