Ein KI-Assistent, den niemand geprüft hat, ist ein Versprechen auf Verdacht

Der häufigste Grund, warum ein KI-Assistent im Betrieb scheitert, ist keine kaputte Technik. Es ist eine falsche Antwort, die niemand vor dem Livegang gesehen hat. Der Assistent klingt sicher, die Auskunft ist plausibel – und trotzdem falsch. Bemerkt wird das dort, wo es am meisten kostet: beim Kunden oder bei der Mitarbeiterin, die sich darauf verlassen hat.

Bisher wurde diese Lücke mit Handarbeit geschlossen: ein paar Fragen im Testchat, ein Daumen hoch, live. Wiederholbar war das nicht. Nach jeder Änderung an Anweisungen oder Wissensquellen hätte man alles erneut prüfen müssen – und genau das passiert im Alltag nicht.

Was sich geändert hat

Microsoft hat Agent Evaluations in Copilot Studio allgemein verfügbar gemacht und um Tests für mehrstufige Gespräche ergänzt. Damit wird aus der Stichprobe ein Prüfverfahren: Sie legen Testfälle an, lassen sie gegen dieselbe Messlatte laufen und vergleichen Ergebnisse über Versionen hinweg.

• Ein Testset fasst bis zu 20 Gesprächsverläufe, jeder mit bis zu zwölf Nachrichten
• Getestet wird nicht nur die einzelne Antwort, sondern ob der Assistent über mehrere Runden im Thema und bei den Fakten bleibt
• Bewertet wird nach wählbaren Methoden – allgemeine Antwortqualität, erwartete Stichworte, richtige Werkzeugnutzung
• Testfälle lassen sich aus den echten Fragen Ihrer Nutzer erzeugen, nicht aus erfundenen Beispielen
• Über eine Schnittstelle laufen die Tests automatisch nach jeder Änderung, ohne dass jemand daran denken muss

Der Nutzen ist nicht «mehr Technik», sondern gleichbleibende Qualität: unabhängig davon, wer den Assistenten gerade betreut und wie viele Hände ihn schon angefasst haben.

Drei Dinge, die in Testverfahren regelmässig übersehen werden

Erstens: Falsche Antworten haben zwei verschiedene Ursachen. Entweder klebt der Assistent zwei Textstellen zusammen, die im Dokument nichts miteinander zu tun haben – dann liegt es an der Wissensbasis. Oder er antwortet aus dem Allgemeinwissen des Modells, obwohl die Antwort im Betrieb anders lautet – dann fehlt eine klare Grenze. Beide Fälle sehen für den Leser gleich aus und brauchen unterschiedliche Korrekturen. Wer nicht unterscheidet, repariert die falsche Stelle.

Zweitens: Testfälle müssen auch prüfen, was der Assistent NICHT sagen darf. Die meisten Testsets fragen ab, ob die richtige Auskunft kommt. Ebenso wichtig ist die Gegenprobe: Nennt er Preise, die er nicht nennen darf? Gibt er eine Zusage, die nur ein Mensch machen kann? Erfindet er eine Frist? Solche Prüfungen sind schnell formuliert und verhindern die teuren Fälle.

Drittens: Eine neue Erlaubnis färbt auf angrenzende Regeln ab. Wer dem Assistenten eine zusätzliche Auskunft gestattet, weicht damit oft unbeabsichtigt ein benachbartes Verbot auf. Nach jeder Änderung an den Anweisungen gehören deshalb die Regeln drumherum erneut auf den Prüfstand – nicht nur die geänderte.

Was auch eine geprüfte Quelle nicht leistet

Eine Wissensquelle kann autoritativ und trotzdem die falsche sein. Ein Reglement, das für einen anderen Geltungsbereich gilt, liefert formal korrekte Antworten auf Fragen, für die es nie gedacht war. Vor dem Einlesen gehört deshalb geklärt, für welchen Bereich ein Dokument gilt und ab wann – sonst testet man am Ende nur, ob der Assistent die falsche Quelle zuverlässig wiedergibt.

So gehen Sie vor

1. Sammeln Sie zwanzig echte Fragen, die Ihr Assistent beantworten soll – aus dem Postfach, aus dem Telefon, aus dem Chat
2. Halten Sie zu jeder Frage fest, was eine gute Antwort enthält, und was in keiner Antwort stehen darf
3. Ergänzen Sie fünf mehrstufige Gespräche: Rückfrage, Themenwechsel, unklare Angabe
4. Lassen Sie das Testset laufen, bevor der Assistent live geht – und erneut nach jeder Änderung
5. Legen Sie fest, welcher Wert als bestanden gilt, und wer entscheidet, wenn er nicht erreicht wird

Das kostet einmal einen halben Tag Vorbereitung und macht die Qualität ab dann messbar statt behauptet.