Chatbot testen

Chatbot testen: So gelingt eure Testphase

Nach dem Onboarding könnt ihr euren Chatbot in Ruhe ausprobieren. Ziel der Testphase ist nicht, dass bereits jede einzelne Frage perfekt beantwortet wird. Viel wichtiger ist, dass ihr die häufigsten Anliegen eurer Bürger*innen prüft, mögliche Schwachstellen erkennt und ein gutes Gefühl für den Chatbot bekommt.

Je praxisnäher ihr testet, desto sicherer könnt ihr euren Chatbot anschließend live nehmen.

📎 Hilfreiche Materialien

Erklärvideo: Chatbot testen
Vorlage zur Dokumentation: Test-Ergebnisse-Vorlage

1. Testphase vorbereiten

🎯 Ziel: Die wichtigsten Themen werden von mehreren Personen realistisch getestet.

Nutzt zum Testen den öffentlichen Test-Link, den ihr von viind erhalten habt. Gebt den Link gerne auch an Kolleg*innen aus verschiedenen Fachbereichen weiter, zum Beispiel aus dem Bürgerbüro, Standesamt oder Ordnungsamt.

Unterschiedliche Personen stellen Fragen unterschiedlich – genau das macht das Feedback besonders wertvoll.

💡 Tipp: Startet mit 10 bis 15 besonders häufigen oder wichtigen Fragen und ergänzt anschließend weitere Fragen aus euren Fachbereichen.

2. Typische Bürgerfragen testen

Formuliert eure Fragen so, wie Bürger*innen sie später tatsächlich stellen würden. Testet dabei nicht nur vollständige oder besonders genaue Fragen, sondern auch kurze Formulierungen und Alltagssprache.

Beispiel:

  • Wie beantrage ich einen Personalausweis?

  • Personalausweis beantragen

  • Mein Ausweis ist abgelaufen – was muss ich tun?

  • Was brauche ich für einen Perso?

Konzentriert euch besonders auf Themen, zu denen ihr häufig Anfragen erhaltet oder bei denen korrekte Informationen besonders wichtig sind – zum Beispiel Ausweise, Meldewesen, Gewerbe, Abfall, Kita, Öffnungszeiten oder Ansprechpartner*innen.

💡 Tipp: Testet dieselbe Frage in zwei oder drei unterschiedlichen Formulierungen. So erkennt ihr, ob der Chatbot auch natürliche und verkürzte Fragen gut versteht.

3. Antworten bewerten

Eine gute Antwort ist fachlich korrekt, verständlich und hilft Bürger*innen direkt weiter.

Achtet besonders darauf, ob:

  • die Antwort zur gestellten Frage passt,

  • wichtige Angaben wie Kosten, Fristen, Unterlagen, Öffnungszeiten oder Ansprechpartner*innen enthalten sind,

  • die Informationen verständlich formuliert sind,

  • eine passende Quelle oder Zielseite verlinkt wird,

  • eine klare nächste Handlung erkennbar ist.

Die Antwort muss nicht genauso formuliert sein, wie ihr sie selbst schreiben würdet. Entscheidend ist, ob sie aus Sicht der Bürger*innen richtig und hilfreich ist.

⚠️ Handlungsbedarf besteht, wenn eine Antwort fachlich falsch, unvollständig, veraltet oder zu allgemein ist, die Frage nicht richtig versteht oder auf eine unpassende Seite verweist.

4. Feedback festhalten

Bewertet die Antworten direkt im Chatbot mit Daumen hoch oder Daumen runter. Wenn eine Antwort nicht passt, ergänzt bitte einen kurzen Kommentar: Was fehlt, was ist falsch oder welche Antwort hättet ihr erwartet?

Gutes Feedback ist konkret:

„Die Antwort ist grundsätzlich richtig, aber der Hinweis auf die benötigten Unterlagen fehlt.“

„Der Chatbot verweist auf die falsche Seite. Erwartet hätte ich die Seite zur Hundesteuer.“

Dokumentiert auffällige Testergebnisse zusätzlich in der bereitgestellten Tabelle. Besonders hilfreich sind:

  • die getestete Frage,

  • der Themenbereich,

  • die erwartete Quelle oder Zielseite,

  • der Link zur Konversation,

  • die testende Person,

  • die Bewertung,

  • ein kurzer Kommentar.

Für eine schnelle Übersicht könnt ihr die Antworten mit Gut, Teilweise gut oder Nicht gut bewerten.

5. Auffällige Antworten prüfen und erneut testen

Wenn eine Antwort nicht passt, prüft zuerst, ob die benötigten Informationen auf eurer Website oder in der Wissensbasis vollständig, aktuell und gut auffindbar sind.

Inhalte sollten beispielsweise ergänzt oder angepasst werden, wenn:

  • wichtige Informationen fehlen,

  • mehrere Seiten unterschiedliche Angaben enthalten,

  • Ansprechpartner*innen, Kosten oder Öffnungszeiten nicht aktuell sind,

  • keine klare Seite zu einem Thema vorhanden ist.

Grundsätzlich gilt: Der Chatbot kann nur auf die Inhalte zurückgreifen, die ihm als Wissensquelle zur Verfügung stehen.

Meldet euch bei viind, wenn die richtigen Inhalte vorhanden sind, der Chatbot aber dennoch wiederholt falsch antwortet, ungeeignete Quellen verwendet oder ihr ein Problem nicht eindeutig einordnen könnt. Schickt uns dazu am besten die konkrete Testfrage, den Link zur Konversation und eine kurze Beschreibung der erwarteten Antwort.

💡 Tipp: Nehmt Anpassungen schrittweise vor und testet die betroffenen Fragen anschließend erneut. So könnt ihr besser nachvollziehen, welche Änderung die Antwort verbessert hat.

Wann ist der Chatbot bereit für den Livegang?

Ihr seid gut auf den Livegang vorbereitet, wenn:

  • die wichtigsten Bürgerfragen zuverlässig beantwortet werden,

  • keine kritischen fachlichen Fehler mehr bekannt sind,

  • häufige Themen verständlich abgedeckt sind,

  • offene Punkte dokumentiert oder geklärt wurden,

  • ihr ein gutes Gefühl habt, den Chatbot Bürger*innen zur Verfügung zu stellen.

Der Livegang ist nicht das Ende der Optimierung. Auch danach könnt ihr echte Bürgerfragen und Feedback auswerten und den Chatbot Schritt für Schritt weiter verbessern.