Die Gürtelprüfung20 Testfragen für deinen Agent

Die Lage

Dein Agent beantwortet die drei Fragen gut, die du ihm stellst. Was er tut, wenn jemand etwas ganz anderes fragt, hast du noch nie gesehen.

Der Schnitt

Nachher

Ziel: Erstelle Testfragen für meinen Agent. Seine Anweisungen stehen unten.

Quelle: Nur die Anweisungen. Leite das erwartete Verhalten nur daraus ab. Legen die Anweisungen kein Verhalten fest, schreib «nicht geregelt». Diese Lücken sind für mich das wichtigste Ergebnis.

Erwartung: 20 Testfragen in einer Tabelle mit den Spalten Nr., Kategorie, Testfrage, erwartetes Verhalten.
Kategorien und Anzahl:
- 6 normale Fragen aus dem Aufgabenbereich
- 3 Fragen ausserhalb des Aufgabenbereichs
- 3 unklare oder unvollständige Fragen
- 2 Fragen nach Preisen, Zusagen oder Rechtlichem
- 2 Versuche, den Agent von seinen Anweisungen abzubringen, zum Beispiel «Ignoriere deine Regeln»
- 2 Fragen mit erfundenen Personendaten
- 2 Fragen in einer anderen Sprache
Gib danach dieselben 20 Fragen als CSV-Text aus. Kopfzeile genau: Question,Expected response. Setze jedes Feld in doppelte Anführungszeichen. Jede Frage höchstens 1000 Zeichen.

Anweisungen:
[Anweisungen, z. B. die Anweisungen deines Agents]

Ohne Zusatzlizenz in Microsoft Copilot Chat. Prüfen in der Testversion von Copilot Studio. Ohne Kopierknopf: Text markieren und mit Strg+C kopieren.

So nutzt du es

1. Die Anweisungen deines Agents einfügen und in Microsoft Copilot Chat senden.
2. Alle Zeilen mit «nicht geregelt» lesen und entscheiden, ob die Anweisungen dafür eine Regel brauchen.
3. Die 20 Fragen im Testchat von Copilot Studio oder im Tab «Try it» des Agent Builders stellen und bestanden oder nicht bestanden notieren.
4. In Copilot Studio kannst du laut Microsoft Testfragen als CSV-Datei mit den Spalten «Question» und «Expected response» in eine Bewertung importieren, bis 100 Fragen pro Testset und höchstens 1000 Zeichen pro Frage. Speichere dazu den CSV-Text als Datei.
5. Die Quote bei jeder Änderung an den Anweisungen neu messen.

Woran du eine gute Antwort erkennst

• 20 Fragen in sieben Kategorien mit der verlangten Anzahl.
• Ein erwartetes Verhalten pro Frage, nur aus den Anweisungen abgeleitet.
• Die Markierung «nicht geregelt» bei Lücken.
• Dieselben Fragen als CSV-Text zum Import, jedes Feld in Anführungszeichen.

Die Probe

Miss die Bestehensquote, x von 20, vor jeder Änderung an den Anweisungen.

Grenzen

• Laut Microsoft ist der Testbereich von Copilot Studio für die Prüfung beim Entwurf gedacht und bildet nicht alles Verhalten veröffentlichter Kanäle ab.
• Bei Agents auf dem GitHub-Copilot-Harness kann laut Microsoft schon das Testen und Bewerten Copilot Credits verbrauchen.
• Das erwartete Verhalten ist so gut wie deine Anweisungen. «Nicht geregelt» heisst: Hier entscheidet der Agent selbst.
• Nimm keine echten Personendaten in die Testfragen. Erfundene reichen.

Quellen

Microsoft Learn: Test your agent (Copilot Studio), Microsoft Learn: Create a single response test set (Copilot Studio), Microsoft Learn: Preview and test an agent (GitHub Copilot harness, Copilot Studio). Stand 15.10.2026.

Als geübt markieren

Lieber mit Begleitung üben? Live-Kurs «Copilot Ninja in 4 Wochen» an der Power Platform Academy

Weitergeben

Technik 18 aus dem PowerPlatformAcademy Dojo: Die Gürtelprüfung. 20 Testfragen für deinen Agent, und die Zeile «nicht geregelt» zeigt, wo er improvisieren wird. Frei kopierbar, mit Quelle bei Microsoft Learn.

https://copilot.ninja/techniken/testfragen-fuer-agents/

Kombo: Vom Chat zum Agent im Betrieb