vLLM e lo stack di serving

Perché servire un modello a molti utenti contemporaneamente è un problema ingegneristico diverso dal farlo girare sulla propria macchina.

Parte di: Serving di modelli open in produzione