Dimensionamento GPU e quantizzazione su larga scala

Trasformare il conteggio dei pesi e la lunghezza del contesto in un budget VRAM reale, invece di indovinare e guardare un container andare in crash all'avvio.

Parte di: Serving di modelli open in produzione