Betriebsmetriken

Neben Nutzung und Feedback findest du als Admin oder Inhaber unter Einstellungen > Metriken vier weitere Übersichten. Chat-Zustand zeigt, ob Antworten des Assistenten fehlschlagen oder blockiert werden, Harness-Runden, ob Agenten ihre Arbeit in der Sandbox abschließen, Automatisierungen, wie Live-Läufe enden, und Projekte, wie sich die Aufgaben eines Projekts bewegen. Jede Übersicht berechnet ihre Werte für den gewählten Zeitraum aus den Einträgen, die Tale noch aufbewahrt.

Den Chat-Zustand prüfen

Öffne Chat-Zustand, wenn Mitglieder fehlgeschlagene oder verweigerte Antworten melden. Wähle unter Filter 1, 7 oder 30 Tage; die Seite öffnet mit 7 Tagen.

Die Karten zählen die Assistenten-Antworten im Zeitraum. Fehlerrate ist der Anteil dieser Antworten, die mit einem Fehler endeten, Blockierquote der Anteil, den Tale verweigert hat, etwa weil eine Schutzregel die Nachricht blockiert hat. Guardrail-Ereignisse zählt die Erkennungen im Zeitraum und wie viele davon eine Nachricht blockiert haben.

Antworten im Zeitverlauf teilt die Antworten jedes Tages in Erfolgreich, Fehler und Blockiert auf. So siehst du, wann ein Problem begonnen hat. Aufschlüsselung zeigt den Anteil jedes Agenten und jedes Modells; eine Antwort in einem einfachen Chat ohne Agent zählt als Nicht zugeordnet.

Unter Fehler gruppiert Nach Fehlertyp die Fehlschläge, zum Beispiel Ratenlimit, Modell nicht gefunden, Guthaben aufgebraucht oder Nutzungslimit erreicht. Letzte Fehler listet die jüngsten mit Modell und Agent auf. Der Typ verrät, was du als Nächstes prüfst: die Zugangsdaten eines Anbieters oder sein Kontingent unter KI-Anbieter, die Verfügbarkeit eines Modells unter Modelle oder eine Budgetregel unter Richtlinien und Limits.

Guardrails schlüsselt die Ereignisse nach Art und nach Filter auf und zeigt Erkennungen, Blockierungen und Filterfehler pro Tag. Diese Ereignisse stammen von den Filtern unter Schutzregeln und umfassen nur, was die Aufbewahrung noch behält.

Harness-Runden beobachten

Eine Harness-Runde ist ein Arbeitsschritt, den ein Harness wie Claude Code oder Codex in der Sandbox ausführt: ein Projektagent, der an einer Aufgabe arbeitet, oder ein Agent-Schritt in einer Automatisierung. Harness-Runden zeigt, ob diese Runden zu Ende kommen. Wähle 7, 30 oder 90 Tage; die Seite öffnet mit 30 Tagen.

Die Karten zeigen Runden gesamt, die Erfolgsquote, die Timeout-Quote, die Dauer p95, innerhalb derer 95 % der Runden fertig wurden, und unter Von Nutzer gestoppt die Runden, die jemand angehalten hat. Nach Harness führt Runden, Erfolgsquote und Timeouts für jeden Harness auf. Steigt die Timeout-Quote, siehst du dort, von welchem Harness sie kommt. Eine Agent-Laufzeit wählen erklärt, wie jeder Harness arbeitet, und Sandbox-Kapazität verwalten, wo ihre Kapazität festgelegt wird.

Automatisierungsläufe verfolgen

Automatisierungen zählt die Live-Läufe der Automatisierungen deiner Organisation. Testläufe erscheinen im Tab Läufe der jeweiligen Automatisierung, aber nicht hier. Wähle 7, 30 oder 90 Tage; die Seite öffnet mit 30 Tagen. Jede Karte vergleicht ihren Wert mit dem gleich langen Zeitraum davor.

Erfolgsquote ist der Anteil der abgeschlossenen Läufe, die erfolgreich waren: Fehlgeschlagene und gestoppte Läufe zählen dagegen, eingereihte, laufende und wartende Läufe zählen noch nicht. Ø Dauer mittelt über die abgeschlossenen Läufe, Fehlgeschlagene Läufe zählt die Fehlschläge. Läufe im Zeitverlauf zeigt die Zahl der Läufe pro Tag, Status-Verteilung das Ergebnis aller Läufe im Zeitraum und Top-Automatisierungen die zehn Automatisierungen mit den meisten Läufen, jeweils mit Erfolgsquote, durchschnittlicher Dauer, Fehlschlägen und letztem Lauf. Öffne den Tab Läufe einer fehlschlagenden Automatisierung, um die fehlgeschlagene Node zu finden; Automatisierungsläufe prüfen und Fehler beheben führt dich durch.

Den Fortschritt eines Projekts prüfen

Projekte zeigt jeweils ein Projekt: Wähle es unter Projekt auswählen. Hat die Organisation nur ein Projekt, ist es schon gewählt. Wähle 7, 30 oder 90 Tage; die Seite öffnet mit 30 Tagen.

Die Diagramme darunter zeigen die offenen Aufgaben nach Status am Ende jedes Tages, die täglich erstellten und abgeschlossenen Aufgaben, den Verlauf der Durchlaufzeit, die Abschlüsse jedes Tages, aufgeteilt in Agenten und Menschen, sowie die täglichen Ausgaben. Diese Aufteilung richtet sich wie die unter Abgeschlossen danach, wem eine Aufgabe jetzt zugewiesen ist, nicht danach, wer sie abgeschlossen hat. Eine Aufgabe, die einem Agenten zugewiesen ist, zählt für die Agenten, obwohl ein Mensch sie auf Erledigt gesetzt hat; eine Aufgabe, die einer Person, einer Automatisierung oder niemandem zugewiesen ist, zählt für die Menschen. Das gilt auch für vergangene Tage: Wird eine Aufgabe später einem Agenten zugewiesen oder verliert sie ihren Agenten, etwa weil er gelöscht wurde, wechselt ihr Abschluss auf die andere Seite.

Steigt die Eingriffsquote bei gleichbleibender Zahl von Läufen, schicken Menschen mehr Arbeit zurück oder stellen Agenten mehr Fragen. Eskalationen stammen von Agent-Schritten in Automatisierungen, die am Projekt arbeiten, und jede zählt an dem Tag, an dem sie entsteht, auch wenn niemand antwortet. Geht es um zurückgeschickte Arbeit, lies die Aufgaben in der Prüfung, bevor du die Anweisungen eines Agenten unter Projektagenten änderst; geht es um Fragen, lies die Läufe der Automatisierung, die sie gestellt hat, wie Automatisierungsläufe prüfen und Fehler beheben es beschreibt.

Die Werte richtig lesen

• Jede Übersicht rechnet mit den Einträgen, die Tale aufbewahrt. Aufbewahrungsregeln und Löschungen verkürzen den Verlauf: Ein leerer Zeitraum kann heißen, dass die Einträge fehlen, nicht dass nichts geschehen ist.
• Ein betriebsamer Zeitraum kann mehr enthalten, als ein Durchgang liest: Chat-Zustand, Harness-Runden, Automatisierungen und Projekte zählen jeweils höchstens die 5.000 jüngsten Einträge einer Art im Zeitraum. Zeigt Tale einen Hinweis auf aktuelle Aktivität, grenze den Zeitraum ein, bevor du Schlüsse ziehst.
• Kosten sind in der Anwendung erfasste Nutzung, keine Rechnung eines Anbieters; die Nutzungsanalyse erklärt den Unterschied.