Modelle in der Arena vergleichen
Sende eine Frage an zwei Modelle, beurteile beide Antworten und entscheide, wie der Chat weitergeht.
3 Min. Lesezeit
Mit Arena-Modus vergleichst du zwei Modelle anhand derselben Nachricht. Beide Seiten verwenden den Chat-Assistenten und denselben Ausgangskontext. Wähle eine Frage, deren Antwort du beurteilen kannst: Eine persönliche Vorliebe belegt noch keine sachliche Richtigkeit.
Einen Vergleich starten
Öffne einen privaten Chat, dann das +-Menü im Eingabebereich und wähle Arena-Modus. Geteilte Chats können nicht in die Arena wechseln. Wähle unter Modell A und Modell B die Modelle und sende deine Nachricht. Du darfst dasselbe Modell zweimal wählen, um Unterschiede zwischen Antworten zu untersuchen, oder zwei verschiedene Modelle vergleichen.
Für einen ersten Vergleich eignen sich eine kurze Quelle und ein präziser Auftrag, etwa: „Liste die drei Entscheidungen aus diesen Besprechungsnotizen auf und belege jede mit dem passenden Satz.“ Quelle, Anweisungen und gewünschtes Format bleiben für beide Seiten gleich.
Jede Antwort erscheint in einer eigenen Spalte. Die Nachricht wird für beide Spalten gemeinsam zugelassen: Ein Nutzungslimit, das sie stoppt, stoppt sie für beide Seiten und nie nur für eine Spalte. Warte mit der Bewertung, bis beide abgeschlossen sind. Während eine Seite noch antwortet, bleiben die Bewertungsbuttons gesperrt. Auch die Wartezeit gehört zum Vergleich. Schlägt eine Seite fehl, zeigt ihre Spalte den Fehler, und die Runde lässt sich nicht bewerten: Die vier Bewertungsbuttons bleiben gesperrt, bis beide Spalten eine fertige Antwort enthalten, während Ohne Bewertung beenden verfügbar bleibt. Lies den Fehler, bevor du das Ergebnis als Qualitätsurteil wertest.
Die Antworten beurteilen
Prüfe die Fakten anhand der Quelle, die Einhaltung der Anweisungen, fehlende wesentliche Details und den Bearbeitungsaufwand vor der Verwendung. Eine längere oder selbstbewusst formulierte Antwort ist nicht automatisch besser.
| Bewertung | Wann sie passt | Der Chat geht weiter mit |
|---|---|---|
| A ist besser | A ist hilfreicher oder genauer. | Spalte A. |
| B ist besser | B ist hilfreicher oder genauer. | Spalte B; der Eingabebereich wechselt zu Modell B. |
| Unentschieden | Beide erfüllen den Auftrag gleich gut. | Spalte A. |
| Beide schlecht | Keine Antwort ist brauchbar. | Spalte A. |
| Ohne Bewertung beenden | Du möchtest den Vergleich nicht bewerten. | Spalte A, ohne Bewertung. |
Jede Auswahl beendet den Vergleich mit zwei Spalten. Die nächste Nachricht geht an den verbleibenden Chat. Aktiviere die Arena für einen neuen Vergleich erneut; bei einem Unentschieden bleiben nicht beide Spalten aktiv.
Die Antwort der anderen Spalte wird verworfen und landet im Papierkorb der Organisation. Dort kann ein Administrator sie bis zum Ende der Schonfrist als eigenen Chat wiederherstellen. Sie erscheint nicht mehr in deiner Chatliste oder in der Suche, und ein Link darauf meldet, dass der Chat nicht verfügbar ist.
Gespeichertes Feedback finden
Wenn beide Modelle geantwortet haben, fließt die Bewertung in die Feedback-Analyse der Organisation ein. Administratoren können dort die Arena-Bewertungen und Modellvergleiche prüfen. Eine Runde, in der nur eine Spalte geantwortet hat, wird nie gespeichert: Die Bewertung wird abgelehnt, sodass die Analyse nur Vergleiche zweier fertiger Antworten enthält. Ohne Bewertung beenden erzeugt keine Bewertung.
Vergleiche mehrere typische Aufgaben, bevor du ein Modell beurteilst. Ein Ergebnis für kurze Zusammenfassungen sagt wenig über Code oder lange Dokumente aus. Organisationsweite Vorlieben enthalten außerdem Aufgaben anderer Personen.
Einen blockierten Vergleich klären
Fehlt ein Modell, prüfe mit dem Modellkatalog Provider und Zugriffsregeln. Sind die Bewertungsbuttons noch gesperrt, müssen zuerst beide Antworten enden, oder prüfe, ob beide Spalten eine fertige Antwort zeigen: Eine Seite, die fehlgeschlagen ist oder nie geantwortet hat, lässt nichts zu vergleichen. Beende dann ohne Bewertung, behebe die Ursache und sende die Nachricht erneut. Ein fehlgeschlagener Aufruf kann an Zugangsdaten, Verfügbarkeit oder Richtlinien liegen. Entscheide anhand der angezeigten Begründung, was vor einem neuen Versuch zu korrigieren ist.