Observability en SLO's voor inferentie

Van een vaag gevoel dat verzoeken traag aanvoelen naar een percentieldoel waar je daadwerkelijk op kunt alerten, en achterhalen welke hop verantwoordelijk is als het wordt overschreden.

Onderdeel van: Open modellen serveren in productie