Agenten testen und auswerten

Prüfe, ob dein Agent richtig antwortet, bevor andere mit ihm arbeiten, und behalte ihn nach der Veröffentlichung im Blick. Dafür brauchst du Bearbeitungsrechte: Du hast den Agenten erstellt oder bist als Mitbearbeiter eingetragen. Administratoren der Instanz haben diese Rechte bei jedem Agenten, den sie sehen. Wie der Builder aufgebaut ist, steht unter Agenten erstellen.

Was du wo prüfst#

Testfälle anlegen#

Ein Testfall ist eine echte Frage und das, was in der Antwort vorkommen muss.

1. Öffne den Agenten im Builder: Klick unter Agenten auf seine Karte und in den Details auf Bearbeiten.

2. Schalte oben im Builder den Expertenmodus ein. In der Schrittleiste erscheinen Workflow und Testen.

3. Öffne Testen und wähle Testfall hinzufügen. Ein neuer Fall klappt auf.

4. Gib einen Titel des Testfalls ein, an dem du den Fall in der Liste wiedererkennst.

5. Trag unter Was fragt jemand? die Frage so ein, wie eine Kollegin sie stellen würde.

6. Trag unter Was muss in der Antwort vorkommen? ein Wort, einen Satzteil oder eine Zahl ein und wähle Hinzufügen. Wiederhole das für jede weitere Erwartung. Der Fall gilt nur als bestanden, wenn alle Einträge in der Antwort stehen.

   Im Schritt „Testen“ legst du Testfälle an: was jemand fragt und was in der Antwort vorkommen muss.

Drei Fälle sind ein guter Anfang: ein ganz normaler, einer mit fehlenden Angaben und einer, den der Agent ablehnen soll. Nimm Fragen aus dem Arbeitsalltag. Möglich sind bis zu 50 Fälle. Was du hier anlegst, ist immer ein Normalfall. Standardmäßig ist das auch die einzige Art von Fall, die ein grüner Lauf braucht („Für einen grünen Lauf nötig: Normalfall“). Fälle anderer Art, etwa aus der Vorschau übernommen oder per YAML importiert, lassen sich nicht bearbeiten, nur mit Testfall entfernen löschen.

Dateien für deine Tests, etwa eine Beispielrechnung, legst du weiter unten unter Beispieldokumente ab. Diese Dateien gehören zu keiner Unterhaltung und landen nicht im Wissen des Agenten.

Tests ausführen und Ergebnisse lesen#

1. Speichere deine Änderungen. Tests laufen auf dem gespeicherten Stand. Solange etwas ungespeichert ist, bleibt Tests ausführen gesperrt und daneben steht „Speichern Sie zuerst Ihre Änderungen. Tests laufen auf dem gespeicherten Stand.“

2. Wähle Tests ausführen. Der Agent bekommt jede Frage einmal gestellt, und unter Testläufe erscheint eine Tabelle mit den Spalten Testfall, Erwartet, Antwort des Agenten und Ergebnis.

3. Klapp in einer Zeile Was geprüft wurde auf, wenn du sehen willst, woran ein Fall gescheitert ist.

   Ein Testlauf mit drei Fällen: zwei bestanden, einer nicht bestanden, weil die Preisliste fehlt.

4. Hast du etwas korrigiert, setz bei den betroffenen Fällen ein Häkchen und wähle Nur die ausgewählten Testfälle ausführen.

Jeder Fall ist eine echte Anfrage an den Agenten und geht von deinem Guthaben ab. Reicht das Guthaben nicht, endet der Fall mit Fehlgeschlagen.

Hat der Agent ein Verfahren, das etwas anlegt, ergänzt Intra AI bei jedem Lauf bis zu drei eigene Fälle, etwa für einen Datensatz, den es schon gibt. Diese Fälle stehen nur in der Ergebnistabelle und sind mit automatisch ergänzt markiert. Bearbeiten oder entfernen lassen sie sich nicht, und für einen grünen Lauf zählen sie mit.

Über der Tabelle steht, ob es einen grünen Lauf gibt. Grün ist ein Lauf, wenn jeder Fall bestanden hat (oder von dir als bestanden markiert wurde) und jede nötige Art von Fall dabei war. Änderst du danach etwas am Agenten, lautet die Zeile „Der grüne Lauf ist veraltet. Seitdem haben Sie den Agenten geändert.“ Lass die Tests dann noch einmal laufen. Für Fertigstellen und Veröffentlichen ist ein grüner Lauf keine Bedingung.

Agenten mit Schreibrechten testen#

Hat der Agent Zugriff auf ein System (Schritt Werkzeuge), wählst du unter Was beim Testlauf passiert zwischen zwei Modi. Das spielt nur eine Rolle, wenn der Agent dort etwas anlegen oder senden darf:

• Vorschlag: Der Agent zeigt nur, was er anlegen oder senden würde. Nichts davon passiert wirklich. In der Tabelle steht dann zum Beispiel „würde anlegen“ mit dem Namen des Werkzeugs.
• Echtbetrieb: Was der Agent anlegt oder sendet, geht wirklich an eine Test-Ablage.

Für den Echtbetrieb wählst du unter Test-Ablage das Zielsystem, gibst eine Bezeichnung ein und speicherst. Zur Auswahl stehen nur Systeme, die eines der Werkzeuge des Agenten erreicht. Der Modus wird nicht gespeichert: Beim nächsten Öffnen steht er wieder auf Vorschlag.

Nach einem Lauf im Echtbetrieb listet Was der Test wirklich angelegt hat die Datensätze auf, die der Agent angelegt hat. Alles zurücknehmen löscht sie und streicht sie in der Liste durch. Stehen bleibt ein Datensatz, an dem inzwischen Einträge hängen, die der Test nicht angelegt hat, oder den Intra AI nicht mehr sicher als den vom Test angelegten erkennt. Was der Agent gesendet hat, etwa eine E-Mail, steht nicht in der Liste und lässt sich nicht zurücknehmen. Prüfe danach, welche Einträge nicht durchgestrichen sind.

Aus der Vorschau übernehmen#

Im Expertenmodus kannst du aus der Vorschau direkt Testfälle machen. Das geht nur in der seitlichen Vorschau am Computer. In der Vorschau auf dem Smartphone, im Tab Ausprobieren der KI-Hilfe und bei Agenten mit Formular fehlen die Beobachtungen.

1. Öffne im Builder die Vorschau mit Vorschau öffnen. Auf breiten Bildschirmen ist sie ab dem Schritt Verhalten schon offen.
2. Stell eine Frage, für die der Agent ein Werkzeug braucht.
3. Unter der Unterhaltung erscheint Beobachtungen mit einer Zeile je Werkzeugaufruf, markiert mit OK oder Fehlgeschlagen.
4. Wähle in der Zeile Übernehmen… und dann Als Fall speichern, Als Fehlerregel speichern (nur bei einem Fehler-Ergebnis) oder In AGENT.md übernehmen (nur wenn der Agent schon ein AGENT.md hat).

Übernommene Testfälle und Fehlerregeln landen im Builder und werden beim nächsten Speichern gesichert, bei einem unfertigen Agenten automatisch. Ein Satz für AGENT.md wird gleich gespeichert, nachdem du ihn geprüft hast. Mit Neue Vorschau beginnst du die Vorschau von vorn.

Änderungen erst im Entwurf prüfen#

Nutzen andere den Agenten schon, wirkt jede gespeicherte Änderung sofort bei allen. Beim Speichern fragt Intra AI deshalb, ob du lieber einen Entwurf anlegst.

1. Wähle Als Entwurf bearbeiten oder im Kopf des Builders Entwurf erstellen. Ein gelbes Banner zeigt, dass du einen Entwurf bearbeitest. Alle anderen sehen weiter den veröffentlichten Agenten.
2. Nimm deine Änderungen vor und wähle Entwurf speichern.
3. Setz im Banner das Häkchen bei Diesen Entwurf in meinen Chats verwenden.
4. Lass im Schritt Testen die Tests laufen und probier den Entwurf in deinen eigenen Unterhaltungen aus.
5. Sollen Kolleginnen und Kollegen mittesten, setz das Häkchen bei Anderen Nutzern das Testen ermöglichen.
6. Passt alles, wähle Veröffentlichen und beschreib unter Was hat sich geändert? die Änderung. Bei einem geteilten Agenten, der sich jetzt anders verhält, ist das Pflicht (mindestens 10 Zeichen).

Nach dem Veröffentlichen arbeiten auch die Testerinnen und Tester wieder mit der veröffentlichten Version. Gefällt dir der Entwurf nicht, wähle im Banner Entwurf verwerfen. Mehr zu Entwürfen, Versionen und Rollen steht unter Agenten teilen und veröffentlichen.

Den Tab „Auswertungen“ nutzen#

Auswertungen ist standardmäßig ausgeschaltet und kann für deine Instanz zentral eingeschaltet werden. Fehlt der Tab neben Bauen, steht er auf deiner Instanz nicht zur Verfügung. Ist er da, sehen ihn alle, die den Agenten bearbeiten dürfen, sobald der Agent gespeichert ist. Ist auf deiner Instanz noch kein Auswertungsdienst eingerichtet, sind Neuer Datensatz, Eintrag hinzufügen und Evaluation starten gesperrt. Wende dich dann an uns.

Der Schritt Testen prüft, ob bestimmte Wörter in der Antwort stehen. Auswertungen lässt jede Antwort von einem Sprachmodell gegen eine erwartete Antwort bewerten und misst Werkzeugreihenfolge, Antwortzeit und Kosten über viele Läufe.

1. Öffne Auswertungen und dort Datensätze.
2. Wähle Neuer Datensatz und gib einen Datensatzname ein.
3. Wähle Eintrag hinzufügen.
4. Trag unter Eingabe die Frage und unter Erwartet die erwartete Antwort ein und wähle Speichern.
5. Wechsle zu Läufe, wähle den Datensatz und dann Evaluation starten. Agenten, die Werkzeuge oder Sub-Agenten aufrufen, können dafür einige Minuten brauchen.
6. Öffne einen Lauf, um je Eintrag Eingabe, Ausgabe, Bewertung, Werkzeugpfad und Antwortzeit zu sehen.

Zu jedem Eintrag kannst du zusätzlich einen Text angeben, der in der Antwort stehen muss, und die Felder Erwartete Tools (kommagetrennt) und Erwartete Sub-Agenten (kommagetrennt) ausfüllen.

Unter Einstellungen legst du die Pass-Schwelle fest, also den Mindest-Score, ab dem ein Eintrag als bestanden gilt. Dort ergänzt du auch eine Judge-Rubrik und schaltest einzelne Bewertungen ein oder aus. Das bewertende Modell legt Intra AI zentral fest. Unterhaltungen aus einem Evaluationslauf erscheinen nicht in deiner Liste der Unterhaltungen.

Den Tab „Betrieb“ lesen#

Betrieb sehen die Person, die den Agenten erstellt hat, seine Mitbearbeiter und Administratoren der Instanz. Der Tab zeigt Werkzeugnamen, Fehlercodes und Kennungen, aber keine Gesprächstexte.

1. Öffne im Kopf des Builders Betrieb.

2. Wähle den Zeitraum: 7 Tage, 30 Tage (Vorgabe) oder 90 Tage.

3. Lies die vier Kennzahlen Antworten, Nutzer, Fehlerquote und Kosten je Antwort. Darunter zeigt Antworten je Tag den Verlauf, getrennt nach live und Entwurf.

   Der Tab „Betrieb“ zeigt Antworten, Nutzer, Fehlerquote und Kosten je Antwort – nie Gesprächstexte.

4. Vergleiche unter Nach Stand die Versionen. So siehst du, ob die Fehlerquote seit der letzten Veröffentlichung gestiegen ist.

5. Sind Werkzeugaufrufe gescheitert, folgt Fehlgeschlagene Werkzeugaufrufe mit Werkzeug, Code und Anzahl.

Weiter unten zeigt Rückmeldungen, wie oft Nutzer eine Antwort mit Daumen hoch oder runter bewertet haben, und darunter deine eigenen Begründungen. Gab es Probleme, stehen danach unter Letzte Auffälligkeiten Zeitpunkt, Art, Werkzeug und Fehlercode, nie Gesprächstexte. Einen Testfall daraus legst du selbst im Schritt Testen an, eine Fehlerregel im Schritt Verhalten (Expertenmodus). Ganz unten vergleicht Meine Agenten alle Agenten, für die du verantwortlich bist.

Kommen die meisten Antworten von einer einzigen Person, erscheint ein gelber Hinweis über den Kennzahlen. Die Quoten beschreiben dann vor allem deren Erfahrung, nicht die aller Nutzer.

Wenn etwas nicht klappt#

• Testen fehlt in der Schrittleiste: Der Expertenmodus ist aus. Schalte ihn oben im Builder ein.
• „Dieser Schritt braucht einen gespeicherten Agenten“: Gib dem Agenten im ersten Schritt einen Namen und klick auf Weiter.
• „Legen Sie zuerst einen Testfall an“ oder „Testfall 2 hat noch keine Frage“: Ein Fall ohne Frage wird nicht gespeichert und kann nicht laufen. Füll Was fragt jemand? aus.
• Echtbetrieb lässt sich nicht wählen, daneben steht „Wählen Sie zuerst unten eine Test-Ablage aus.“ oder „Die Test-Ablage ist ausgewählt, aber noch nicht gespeichert. Speichern Sie zuerst.“ Wähle eine Test-Ablage, gib eine Bezeichnung ein und speichere.
• „Noch kein System verfügbar“: Keines der Werkzeuge des Agenten erreicht ein System. Wähle Werkzeuge hinzufügen, gib im Schritt Werkzeuge etwas frei und speichere.
• Der Lauf wird nie grün: Prüfe die Zeilen mit Bitte selbst beurteilen und entscheide sie selbst. Fehlt eine nötige Art von Fall, etwa ein Normalfall, leg ihn an. Scheitert ein Fall mit automatisch ergänzt, musst du den Agenten ändern, denn den Fall kannst du nicht entfernen.
• Der Tab Auswertungen fehlt: Die Funktion ist auf deiner Instanz nicht eingeschaltet.
• Der Tab Betrieb fehlt: Du bist beim Agenten nur Mitglied. Betriebsdaten sehen nur die Person, die ihn erstellt hat, Mitbearbeiter und Administratoren der Instanz.