Testen & verbessern

Das Wichtigste in Kürze

Ein guter Bot entsteht nicht durch Konfigurieren, sondern durch Iteration: Test­anruf machen, Konversation anhören/lesen, eine Sache im Prompt anpassen, erneut testen.

Voraussetzungen

• Bot ist konfiguriert, eine Telefonnummer ist reserviert (Anleitung).

Der Test-Loop in 4 Schritten

1. Testanruf machen – über die Funktion Testanruf starten in der Bot-Übersicht oder klassisch über Deine Telefon­leitung.
2. Konversation lesen – in der Konversations­übersicht findest Du das Transkript und kannst das Gespräch anhören. Details: Konversationen.
3. Genau EINE Anpassung im Prompt vornehmen. (Wenn Du fünf Sachen änderst, weißt Du am Ende nicht, was den Unterschied gemacht hat.)
4. Erneut testen – idealerweise mit demselben Szenario.

Welche Szenarien Du testen solltest

• Standardablauf („Happy Path”) – der saubere Normal­fall. Funktioniert das Hauptziel?
• Themen­abschweifung („Off-Topic”) – Anrufer fragt mitten im Gespräch nach etwas Anderem.
• Sprachwechsel – falls aktiviert: Funktioniert der Wechsel sauber zurück?
• Unterbrechung – Anrufer fällt dem Bot ins Wort.
• Aggression / Stress – Anrufer wird laut oder ungeduldig.
• Gezielte Provokation („Red Teaming”) – versuche bewusst, den Bot zu unerwünschten Antworten zu bringen (z. B. Preise nennen, in eine andere Rolle zu schlüpfen).

Was Du in der Konversation suchst

• Wo verliert der Bot das Ziel? Zurückführen-Regel im Prompt fehlt oder zu schwach.
• Wo wirkt der Bot mechanisch? Zu viel „Sage exakt”-Anweisung. Aufweichen.
• Wo halluziniert er? Information klar im Prompt verbieten, Ausweich-Antwort definieren.
• Wo spricht er etwas falsch aus? Phonetik-Regel ergänzen.
• Wo dauern Antworten zu lange? „Maximal 2 kurze Sätze”-Regel verstärken.

Stresstest-Checkliste

• Anruf mit Hintergrund­geräusch (z. B. Auto / Café).
• Anruf mit Dialekt / Akzent.
• Anruf, in dem Du den Bot bewusst unterbrichst.
• Anruf, in dem Du eine falsche Information lieferst und schaust, ob er nachfragt.
• Anruf, in dem Du im letzten Moment Deinen Wunsch änderst.

Best Practices

• Eine Änderung pro Iteration.
• Tagebuch führen. Notiere kurz, was Du geändert hast und welches Verhalten Du erwartet hast.
• Lass Dritte testen. Du kennst Deinen Bot zu gut – Außenstehende sehen Probleme, die Dir entgehen. Schick die Nummer Kolleginnen oder Bekannten.
• Vergiss die echten Sonderfälle nicht. Verwirrte Anrufer, falsche Nummer, Notfall – wie reagiert der Bot in solchen ungewöhnlichen Situationen?

Troubleshooting

• „Der Bot verhält sich heute anders als gestern.” → Manche Variationen sind normal. Prüf, ob jemand am Prompt war.
• „Beim Testen klingt es gut, im Echtbetrieb nicht.” → Echte Anrufer sind unberechenbarer. Nimm weitere realistische Sonderfälle in Dein Test-Setup auf.

Nächster Schritt

Wenn der Prompt sitzt, bring den Bot zum Handeln: Live-Aktionen.