Die NachtwacheMonatlicher Agent-Check

Die Lage

Am Agent hat seit Wochen niemand etwas geändert. Trotzdem antwortet er plötzlich anders, weil sich ein Dokument in seiner Wissensquelle geändert hat.

Der Schnitt

Nachher

Ziel: Vergleiche die Testergebnisse meines Agents aus zwei Monaten.

Quelle: Nur die beiden Ergebnislisten unten.

Erwartung:
1. Jede Testfrage, deren Verhalten sich verändert hat, mit altem und neuem Verhalten.
2. Änderungen in den Kategorien «Abbringen» und «Personendaten» zuerst.
3. Bewerte nicht, ob eine Änderung gut ist. Zeig nur, was sich geändert hat.

Ergebnisse [Monat A, z. B. September]:
[Ergebnisse A, z. B. Liste mit Nummer, Testfrage und Verhalten des Agents]

Ergebnisse [Monat B, z. B. Oktober]:
[Ergebnisse B, z. B. Liste mit Nummer, Testfrage und Verhalten des Agents]

1. Testset aus der Gürtelprüfung im Testbereich und im veröffentlichten Kanal laufen lassen.
2. Bestehensquote ins Betriebsblatt eintragen.
3. Verbrauch an Copilot Credits mit der Schätzung und mit dem Kontingent vergleichen.
4. Wissensquellen auf geänderte Dokumente und auf das Prüfdatum durchsehen.
5. Die Microsoft-Seiten zu Lizenz und Copilot Credits neu lesen.
6. Ergebnisse vergleichen lassen und jede Änderung einer Ursache zuordnen.

Copilot Studio: in der Testversion bauen und prüfen, veröffentlichen mit Lizenz oder Kapazität. Ohne Kopierknopf: Text markieren und mit Strg+C kopieren.

So nutzt du es

1. Einmal im Monat das Testset aus Nr. 18 laufen lassen, im Testbereich und im veröffentlichten Kanal.
2. Die Ergebnisse dieses und des letzten Monats in den Prompt einfügen und vergleichen lassen.
3. Jede Änderung einer Ursache zuordnen: Anweisungen, Wissensquelle, Einstellung oder Modell.
4. Bestehensquote und Verbrauch ins Betriebsblatt aus Nr. 24 eintragen.
5. Die Checkliste als wiederkehrenden Termin speichern.

Woran du eine gute Antwort erkennst

• Nur die Testfragen mit verändertem Verhalten.
• Altes und neues Verhalten nebeneinander.
• Änderungen bei «Abbringen» und «Personendaten» zuoberst.
• Keine Bewertung, nur der Befund.

Die Probe

Zähle pro Monat die Testfragen mit verändertem Verhalten. Null ist das Ziel, jede Abweichung ist ein Fund.

Grenzen

• Der Check findet Abweichungen. Die Ursache findet ein Mensch.
• Warum du auch im veröffentlichten Kanal prüfst, steht bei Nr. 18. Was der Betrieb verbraucht und was bei erschöpfter Kapazität passiert, steht bei Nr. 23.
• Ohne gleiches Testset in jedem Monat sind die Ergebnisse nicht vergleichbar.

Quellen

Microsoft Learn: Test your agent (Copilot Studio). Stand 15.10.2026.

Als geübt markieren

Lieber mit Begleitung üben? Live-Kurs «Copilot Ninja in 4 Wochen» an der Power Platform Academy

Weitergeben

Technik 25 aus dem PowerPlatformAcademy Dojo: Die Nachtwache. Einmal im Monat das Testset laufen lassen und vergleichen, was sich am Agent verändert hat, auch wenn niemand daran gearbeitet hat. Frei kopierbar.

https://copilot.ninja/techniken/monatlicher-agent-check/

Kombo: Vom Chat zum Agent im Betrieb