vLLM et la stack de serving

Pourquoi servir un modèle à de nombreux utilisateurs en même temps est un problème d'ingénierie différent de celui de le faire tourner sur sa propre machine.

Fait partie de : Servir des modèles open source en production