Servir modelos abiertos en producción

Seis capítulos que llevan un checkpoint de pesos abiertos desde un contenedor que responde una solicitud hasta un despliegue que sobrevive tráfico real, un presupuesto real, y más de un inquilino.

Por qué servir un modelo a muchos usuarios a la vez es un problema de ingeniería distinto al de ejecutarlo en tu propia máquina.

Convertir el número de parámetros y la longitud de contexto en un presupuesto real de VRAM, en lugar de adivinar y ver cómo un contenedor se cae al arrancar.

Una sola dirección estable delante de dos backends bien dimensionados, con enrutamiento, failover y health checks haciendo el trabajo que ningún cliente debería tener que hacer.

Convertir la sensación vaga de que las solicitudes van lentas en un objetivo de percentil sobre el que de verdad se puede alertar, y rastrear qué salto es responsable cuando se incumple.

Por qué la tarifa por hora de la GPU rara vez es el número que en realidad determina el costo por token, y lo que cuesta en silencio el objetivo de SLO del capítulo 4 en margen reservado.

Convertir las claves virtuales del capítulo 3 en una garantía de aislamiento real, para que la ráfaga de un inquilino nunca pueda gastarse en silencio el margen de otro.