Observability & SLOs für Inferenz

Ein vages Gefühl, dass Requests sich langsam anfühlen, in ein Perzentil-Ziel verwandeln, auf das man tatsächlich alarmieren kann, und dabei nachverfolgen, welcher Hop verantwortlich ist, wenn es verletzt wird.

Teil von: Servieren offener Modelle in Produktion