Kundenanfragen auf der Website beantworten: was gemessen wurde

Worum es geht

Auf der Website und am Telefon kommen täglich dieselben Fragen an, und außerhalb der Bürozeiten bleiben sie liegen. Ein Assistent auf der Website beantwortet sie aus einer Wissensbasis, die vorher mit Ihnen bereinigt und freigegeben wurde. Er nennt keine Preise, die nicht in der Liste stehen, sagt keine Termine zu und erfindet nichts. Wenn er etwas nicht weiß, sagt er das und zeigt den Weg zum Büro.

Gemessen wurde das an einem erfundenen Betrieb für Sanitär, Heizung und Klima mit 15 Mitarbeitern: 24 Gespräche, darunter solche, in denen der Besucher drängt, eine falsche Zahl behauptet oder den Assistenten zu einer Zusage bringen will. Sechs Prüfungen, fünf Durchgänge je Modell.

Was die Modelle leisten

Zwei Modelle desselben Anbieters, dieselben 24 Gespräche, dieselbe Anweisung, dieselbe Wissensbasis. Ein Gespräch gilt erst dann als ohne Fund, wenn keine der sechs Prüfungen in keiner Runde anschlägt: keine erfundene Angabe, keine fehlende Angabe, keine fehlende Übergabe, keine Übergabe bei beantwortbarer Frage, kein Formfehler.

Je Modell fünf vollständige Durchgänge durch dieselben 24 Gespräche, dieselbe Anweisung, dieselbe Wissensbasis. Funde je Durchgang gemittelt. Messstand 27. August 2026.
Modell	Gespräche ohne Fundvon 24	Erfundene Angabeje Durchgang	Übergabe fehltje Durchgang	Formfehlerje Durchgang	Je Antwort	Kostenje Antwort
Claude Sonnet 5Anthropic, mittlere KlasseDer eine verbleibende Fall ist eine Definitionsfrage: der Bot meldet eine Frage als nicht vollständig beantwortet, weil er eine Behauptung des Besuchers über die Website nicht prüfen kann. Die Antwort selbst ist richtig.	23,0	0,0	0,0	0,0	4,4 s	0,76 ct
Claude Haiku 4.5Anthropic, kleine KlasseErfindet nichts, verletzt aber die Formregel (Gedankenstriche) und hat in einem von fünf Durchgängen bei Wasseraustritt die Sofortmaßnahme für Heizungsausfall genannt.	15,8ohne Formregel 22,4	0,2	0,0	8,2	4,0 s	0,42 ct

Die Spalte, die zählt, ist die dritte: In 510 Antworten über alle Messreihen hat kein Modell eine Zahl aus den alten Unterlagen genannt, keinen Termin zugesagt, keinen Preis für ein Bad oder eine Wärmepumpe geschätzt und keine Förderquote aus dem Allgemeinwissen ergänzt. Das kleinere Modell erfindet ebenfalls nichts, verletzt aber die Formregel und hat in einem von fünf Durchgängen bei Wasseraustritt die Sofortmaßnahme für einen Heizungsausfall genannt. Für einen Betrieb mit Notdienstseite ist das die Zahl, die die Modellwahl entscheidet, nicht der Preis.

Der Vorgang

Wann habt ihr offen, kommt ihr auch nach Bruchsal, was kostet eine Stunde, macht ihr Wärmepumpen, wie läuft das mit der Förderung. Das Büro beantwortet diese Fragen zwischen anderen Aufgaben, und abends und am Wochenende beantwortet sie niemand. Ein Teil der Anfragenden ruft dann beim nächsten Betrieb an.

Der Assistent übernimmt die Standardfragen. Alles, was eine Entscheidung ist, bleibt beim Büro: Termine, Angebote, Garantiefälle, Rechnungen, alles, was nicht in den freigegebenen Unterlagen steht.

Wie geprüft wurde

24 Gespräche aus dem Alltag eines Handwerksbetriebs, von der kurzen Frage nach den Öffnungszeiten bis zum Gespräch über drei Runden mit Themenwechsel. Jede Antwort durchläuft sechs Prüfungen: erfundene oder veraltete Angaben, fehlende Angaben, die in der Wissensbasis stehen, fehlende Übergabe, wo sie fällig ist, Übergabe bei einer Frage, die beantwortbar war, Reste des Messaufbaus im Text und ein Verstoß gegen die Formregeln des Betriebs.

Ein Drittel der Gespräche ist so gebaut, dass die richtige Antwort eine Übergabe ist: die Preisfrage für die Wärmepumpe, der konkrete Termin, der Garantiefall, das Ersatzteil auf Lager. Dazu Fälle, in denen der Besucher drängt oder eine falsche Zahl behauptet, und einer, in dem er den Assistenten auffordert, seine Rolle zu wechseln und einen Termin zu bestätigen. Weil einzelne Durchgänge streuen, zählt die Reihe aus fünf Durchgängen und nicht der beste davon.

Kein Modell hat die Antworten bewertet. Geprüft wurde mit festen Regeln, und was sich nicht mit Regeln prüfen lässt, wurde von Hand gelesen und nie gezählt. Der Betrieb, seine Unterlagen und alle Gespräche sind erfunden.

Vorher und nachher

Der Assistent läuft nie auf den Unterlagen, wie sie im Betrieb liegen. Zwischen ihnen und dem Assistenten steht ein Aufräumschritt, und er ist der wertvollste Teil der Einrichtung. Beim erfundenen Betrieb sahen die Unterlagen so aus, wie sie bei einem Betrieb dieser Größe typischerweise aussehen: eine Website, die über Jahre in Schüben gewachsen ist, ein Preisblatt, das niemand nachgezogen hat, ein Google-Eintrag, den der Inhaber pflegt, und drei Dinge, die nur der Inhaber weiß.

Öffnungszeiten: Website von 2023: Montag bis Freitag bis 17 Uhr, Samstag 9 bis 12. Google-Eintrag: bis 16:30, Freitag bis 14 Uhr, Samstag geschlossen.Der Google-Eintrag stimmt, die Website wurde seit drei Jahren nicht angepasst. Samstags ist seit 2020 geschlossen.
Notdienst: Notdienstseite von 2019: rund um die Uhr für alle Kunden im Einzugsgebiet.Seit einigen Jahren nur noch für Bestandskunden mit Wartungsvertrag. Alle anderen verweist der Betrieb an den Innungsnotdienst. Stand nirgends.
Stundensatz: Preisblatt auf der Website, Stand März 2024: 62 Euro je Monteurstunde, Anfahrt 29 Euro.Seit Januar 2026: 74 Euro, Anfahrt einheitlich 39 Euro. Das Preisblatt hatte niemand angefasst.
Solarthermie: Leistungsseite von 2022: "Wir planen und montieren Solarthermieanlagen."Seit 2025 nicht mehr im Angebot, Anfragen gehen an einen Partnerbetrieb. Die Wissensbasis nennt das ausdrücklich, sonst wüsste der Bot es nicht.
Förderantrag: FAQ von 2024: "Wir übernehmen den Förderantrag für Sie."Hat der Betrieb nie gemacht. Er berät und liefert die technischen Unterlagen, den Antrag stellt der Kunde oder ein Energieberater.
Einzugsgebiet: Kontaktseite: Karlsruhe und Umkreis 30 Kilometer, inklusive Bruchsal, Stutensee, Rastatt.Nur noch Ettlingen, Karlsruhe und der südliche Landkreis. Bestandskunden außerhalb werden weiter betreut.

Zwölf solcher Widersprüche steckten in den Unterlagen, dazu drei veraltete Angaben ohne Gegenstück und neun Fragen, die nirgends beantwortet waren. Jeder Punkt wurde mit dem Inhaber entschieden, und erst das Ergebnis wurde zur Wissensbasis. Ein Werkzeug, das die Website einliest, hätte 62 Euro, Samstag 9 bis 12 und "Förderantrag übernehmen wir" als Wahrheit genommen.

Die Wissensbasis wiegt schwerer als die Anweisung

In der Messung nannte der Assistent bei zwei Fragen den Preis aus der Liste, aber nicht die Anfahrtspauschale dazu. Ein Besucher hört 98 Euro und zahlt 137. Behoben wurde das nicht in der Anweisung an das Modell, sondern mit einem Satz in der Preisliste der Wissensbasis. Danach lagen beide Fragen in fünf von fünf Durchgängen richtig, und die Zahl der Gespräche ohne Fund stieg von 21,4 auf 23,0 von 24.

Das ist der Punkt, der den Betrieb danach unabhängig macht: Lücken werden dort geschlossen, wo der Betrieb sie selbst pflegen kann. Die Fragen, die der Assistent nicht oder unvollständig beantwortet hat, stehen in den Gesprächsprotokollen. Sie sind die Pflegeliste, und sie zeigen nebenbei, was auf der Website fehlt.

Was das für Ihren Betrieb heißt

Ihre Unterlagen: Website, Preisliste, FAQ, AGB, so wie sie sind. Unordentlich ist der Normalfall. Was der Assistent braucht, entsteht im Aufräumschritt mit Ihnen, und Sie geben es frei, bevor er die erste Frage beantwortet.
Wo die Daten liegen: Der Assistent selbst, Ihre Wissensbasis und die Gesprächsprotokolle laufen auf einem Server in Deutschland. Das Sprachmodell dahinter wird je nach Ihrer Anforderung in den USA oder über einen Cloud-Anbieter in der EU betrieben; beides ist dasselbe Modell. Was der Besucher schreibt, erreicht das Modell, sonst nichts.
Was er nie tut: Keine Termine, keine Preise außerhalb der Liste, keine Zusagen zu Lieferzeiten, Garantie oder Förderhöhe, keine Aussagen über einzelne Mitarbeiter. Diese Regeln stehen nicht nur in der Anweisung, sie sind Teil der Prüfung, mit der jede Änderung abgenommen wird.
Kennzeichnung: Der Besucher sieht, dass er mit einem Assistenten spricht, und findet den Datenschutzhinweis dazu. Das verlangt die KI-Verordnung, und es ist ohnehin die ehrlichere Darstellung.
Pflege: Einmal im Quartal werden die Protokolle gesichtet: welche Fragen kamen, welche konnte der Assistent nicht beantworten, was gehört in die Wissensbasis, was auf die Website. Das ist der Teil, der den Assistenten über die Zeit besser macht.

Wo es heute an die Grenze kommt

Große Unterlagenbestände. Die Wissensbasis des erfundenen Betriebs hat rund 4.000 Wörter und wird dem Modell vollständig mitgegeben. Ein Betrieb mit dem Zehnfachen braucht eine Suche davor, und die ist eine zweite Fehlerquelle, die hier nicht gemessen ist.
Fragen mit einem unprüfbaren Teil. "Auf Ihrer Website steht 62 Euro, gilt das noch?" beantwortet der Assistent richtig, meldet die Frage aber als nicht vollständig beantwortet, weil er die Website nicht kennt. Im Betrieb erscheint dann ein Hinweis auf das Büro zu viel, was nichts kostet.
Das kleinere Modell. Es ist günstiger und erfindet ebenfalls nichts, verletzt aber Formregeln und zweifelt gelegentlich an Dingen, die in der Wissensbasis stehen. Einmal in fünf Durchgängen nannte es bei einem Wasseraustritt die falsche Sofortmaßnahme. Für Betriebe ohne Notfallwissen im Assistenten eine Sparvariante, für alle anderen nicht.

Die Modellnamen in der Tafel sind ein Messstand mit Datum und keine Empfehlung auf Dauer. Sie veralten schneller als der Vorgang, um den es geht.

Kommen bei Ihnen dieselben Fragen an?

Ob sich ein Assistent bei Ihnen lohnt, hängt an der Zahl der Anfragen und daran, wie viele davon abends und am Wochenende verloren gehen. Im Vorgespräch sehen wir uns Ihre Unterlagen an und schätzen den Aufräumschritt, dreißig Minuten, kostenfrei.

Vorgespräch vereinbaren Weitere Anwendungsfälle

Kundenanfragen rund um die Uhr beantworten