Kundenanfragen auf der Website beantworten: was gemessen wurde

Worum es geht

Auf der Website und am Telefon kommen täglich dieselben Fragen an, die außerdem außerhalb der Bürozeiten unbeantwortet bleiben. Ein Assistent auf der Website beantwortet sie aus einer Wissensbasis, die vorher mit Ihnen bereinigt und freigegeben wurde. Er nennt keine Preise, die nicht in der Liste stehen, sagt keine Termine zu und erfindet nichts. Wenn er etwas nicht weiß, sagt er das und zeigt den Weg zum Büro.

Gemessen wurde das an einem fiktiven Betrieb für Sanitär, Heizung und Klima mit 15 Mitarbeitern: 24 Gespräche, darunter solche, in denen der Besucher drängt, eine falsche Zahl behauptet oder den Assistenten zu einer Zusage bringen will. Sechs Prüfungen, fünf Durchgänge je Modell.

Was die Modelle leisten

Zwei Modelle desselben Anbieters, dieselben 24 Gespräche, dieselbe Anweisung, dieselbe Wissensbasis. Ein Gespräch gilt erst dann als fehlerfrei, wenn in keiner seiner Runden eine der sechs Prüfungen anschlägt: keine unzulässige Angabe, keine fehlende Angabe, keine fehlende Übergabe, keine Übergabe bei beantwortbarer Frage, kein Formfehler.

Anders als bei den übrigen Anwendungsfällen stehen hier nur zwei Modelle von Anthropic. Gemessen wurde der Aufbau, mit dem der Assistent auf dieser Website läuft, und der arbeitet mit Claude Sonnet 5. Modelle, die im Betrieb laufen, sind für diesen Fall nicht gemessen.

Je Modell fünf vollständige Durchgänge durch dieselben 24 Gespräche, dieselbe Anweisung, dieselbe Wissensbasis. Fehler je Durchgang gemittelt. Messstand 27. August 2026. Kosten zum Listenpreis der Anbieter, umgerechnet von US-Dollar zum EZB-Kurs vom 18. September 2026.
Modell	Fehlerfreie Gesprächevon 24	Unzulässige Angabeje Durchgang	Übergabe fehltje Durchgang	Formfehlerje Durchgang	Je Antwort	Kostenje Antwort
Claude Sonnet 5Anthropic, mittlere KlasseDer eine verbleibende Fall ist eine Definitionsfrage: der Bot meldet eine Frage als nicht vollständig beantwortet, weil er eine Behauptung des Besuchers über die Website nicht prüfen kann. Die Antwort selbst ist richtig.	23,0	0,0	0,0	0,0	4,4 s	0,66 ct
Claude Haiku 4.5Anthropic, kleine KlasseErfindet nichts. Einmal in fünf Durchgängen eine richtige Angabe an falscher Stelle ("nur Viessmann" bei einer Wartungsfrage), einmal bei Wasseraustritt die Sofortmaßnahme für Heizungsausfall.	15,8ohne Formregel 22,4	0,2	0,0	8,2	4,0 s	0,37 ct

Mit Claude Sonnet 5 ist der Vorgang machbar: 23,0 von 24 Gesprächen fehlerfrei, und der verbleibende Fall ist eine Definitionsfrage, beschrieben unten bei den Grenzen.

In 510 Antworten über alle Messreihen hat kein Modell einen Termin zugesagt, einen Preis für ein Bad oder eine Wärmepumpe geschätzt oder eine Förderquote aus dem Allgemeinwissen ergänzt, auch dann nicht, wenn der Besucher gedrängt hat. Die eine unzulässige Angabe des kleineren Modells ist eine richtige Aussage an falscher Stelle: "nur Viessmann" auf die Frage, ob der Betrieb eine Wärmepumpe einer anderen Marke wartet. Außerdem hat es in einem von fünf Durchgängen bei Wasseraustritt die Sofortmaßnahme für einen Heizungsausfall genannt. Für einen Betrieb mit Notdienstseite entscheidet dieser eine Fehler die Modellwahl.

Der Vorgang

Wann habt ihr offen, kommt ihr auch nach Bruchsal, was kostet eine Stunde, macht ihr Wärmepumpen, wie läuft das mit der Förderung. Das Büro beantwortet diese Fragen zwischen anderen Aufgaben, abends und am Wochenende beantwortet sie niemand.

Der Assistent übernimmt die Standardfragen. Alles, was eine Entscheidung ist, bleibt beim Büro: Termine, Angebote, Garantiefälle, Rechnungen, alles, was nicht in den freigegebenen Unterlagen steht.

Wie geprüft wurde

24 Gespräche aus dem Alltag eines Handwerksbetriebs, von der kurzen Frage nach den Öffnungszeiten bis zum Gespräch über drei Runden mit Themenwechsel. Jede Antwort durchläuft sechs Prüfungen: erfundene oder veraltete Angaben, fehlende Angaben, die in der Wissensbasis stehen, fehlende Übergabe, wo sie fällig ist, Übergabe bei einer Frage, die beantwortbar war, Reste des Messaufbaus im Text und ein Verstoß gegen die Formregeln des Betriebs.

Ein Drittel der Gespräche ist so gebaut, dass die richtige Antwort eine Übergabe ist: die Preisfrage für die Wärmepumpe, der konkrete Termin, der Garantiefall, das Ersatzteil auf Lager. Dazu Fälle, in denen der Besucher drängt oder eine falsche Zahl behauptet, und einer, in dem er den Assistenten auffordert, seine Rolle zu wechseln und einen Termin zu bestätigen. Im selben Gespräch antwortet ein Modell nicht jedes Mal gleich. Deshalb lief jedes Gespräch fünfmal, und die Tabelle zeigt den Durchschnitt dieser fünf Durchgänge.

Geprüft hat ein Programm mit festen Regeln, ein Modell als Prüfer kam nicht zum Einsatz.

Vorher und nachher

Der Assistent läuft nie auf den Unterlagen, wie sie im Betrieb liegen. Zwischen ihnen und dem Assistenten steht ein Aufräumschritt. Beim fiktiven Betrieb sahen die Unterlagen so aus, wie sie bei einem Betrieb dieser Größe typischerweise aussehen: eine Website, die über Jahre in Schüben gewachsen ist, ein Preisblatt, das niemand nachgezogen hat, ein Google-Eintrag, den der Inhaber pflegt, und drei Dinge, die nur der Inhaber weiß.

Öffnungszeiten: Website von 2023: Montag bis Freitag bis 17 Uhr, Samstag 9 bis 12. Google-Eintrag: bis 16:30, Freitag bis 14 Uhr, Samstag geschlossen.Der Google-Eintrag stimmt, die Website wurde seit drei Jahren nicht angepasst. Samstags ist seit 2020 geschlossen.
Notdienst: Notdienstseite von 2019: rund um die Uhr für alle Kunden im Einzugsgebiet.Seit einigen Jahren nur noch für Bestandskunden mit Wartungsvertrag. Alle anderen verweist der Betrieb an den Innungsnotdienst. Stand nirgends.
Stundensatz: Preisblatt auf der Website, Stand März 2024: 62 Euro je Monteurstunde, Anfahrt 29 Euro.Seit Januar 2026: 74 Euro, Anfahrt einheitlich 39 Euro. Das Preisblatt hatte niemand angefasst.
Solarthermie: Leistungsseite von 2022: "Wir planen und montieren Solarthermieanlagen."Seit 2025 nicht mehr im Angebot, Anfragen gehen an einen Partnerbetrieb. Die Wissensbasis nennt das ausdrücklich, sonst wüsste der Bot es nicht.
Förderantrag: FAQ von 2024: "Wir übernehmen den Förderantrag für Sie."Hat der Betrieb nie gemacht. Er berät und liefert die technischen Unterlagen, den Antrag stellt der Kunde oder ein Energieberater.
Einzugsgebiet: Kontaktseite: Karlsruhe und Umkreis 30 Kilometer, inklusive Bruchsal, Stutensee, Rastatt.Nur noch Ettlingen, Karlsruhe und der südliche Landkreis. Bestandskunden außerhalb werden weiter betreut.

Zwölf solcher Widersprüche steckten in den Unterlagen, dazu drei veraltete Angaben ohne Gegenstück und neun Fragen, die nirgends beantwortet waren. Beim fiktiven Betrieb ist auch die Klärung fiktiv: Was der Inhaber zu jedem Punkt sagt, steht in einer Gesprächsnotiz, die zusammen mit den Unterlagen entstanden ist. Beim Kunden wird jeder Punkt mit Ihnen entschieden, und erst das Ergebnis wird zur Wissensbasis. Ein Werkzeug, das die Website einliest, hätte 62 Euro, Samstag 9 bis 12 und "Förderantrag übernehmen wir" als Wahrheit genommen.

Eine Lücke schließt man in der Wissensbasis

In der Messung nannte der Assistent bei zwei Fragen den Preis aus der Liste, aber nicht die Anfahrtspauschale dazu. Ein Besucher hört 98 Euro und zahlt 137. Behoben wurde das mit einem Satz in der Preisliste der Wissensbasis, ohne Änderung an der Anweisung an das Modell. Danach lagen beide Fragen in fünf von fünf Durchgängen richtig, und die Zahl der fehlerfreien Gespräche stieg von 21,4 auf 23,0 von 24.

Lücken werden dort geschlossen, wo der Betrieb sie selbst pflegen kann. Die Fragen, die der Assistent nicht oder unvollständig beantwortet hat, stehen in den Gesprächsprotokollen. Sie sind die Pflegeliste, und sie zeigen nebenbei, was auf der Website fehlt.

Was das für Ihren Betrieb heißt

Ihre Unterlagen: Website, Preisliste, FAQ, AGB, so wie sie sind. Was der Assistent braucht, entsteht im Aufräumschritt mit Ihnen, und Sie geben es frei, bevor er die erste Frage beantwortet.
Wo die Daten liegen: Der Assistent selbst, Ihre Wissensbasis und die Gesprächsprotokolle laufen auf einem Server in Deutschland. Das Sprachmodell dahinter läuft je nach Ihrer Anforderung bei Anthropic in den USA oder über AWS oder Google Cloud in der EU, beides mit demselben Modell (Stand September 2026). Bei jeder Frage erhält das Modell die Anweisung, die Wissensbasis und den bisherigen Verlauf des Gesprächs.
Was er nie tut: Keine Termine, keine Preise außerhalb der Liste, keine Zusagen zu Lieferzeiten, Garantie oder Förderhöhe, keine Aussagen über einzelne Mitarbeiter. Diese Regeln stehen in der Anweisung und sind Teil der Prüfung, mit der jede Änderung abgenommen wird.
Kennzeichnung: Der Besucher sieht, dass er mit einem Assistenten spricht, und findet den Datenschutzhinweis dazu. Das verlangt die KI-Verordnung.
Pflege: Einmal im Quartal werden die Protokolle gesichtet: welche Fragen kamen, welche konnte der Assistent nicht beantworten, was gehört in die Wissensbasis, was auf die Website.

Wo es heute an die Grenze kommt

Große Unterlagenbestände. Die Wissensbasis des fiktiven Betriebs hat rund 4.000 Wörter und wird dem Modell vollständig mitgegeben. Ein Betrieb mit dem Zehnfachen braucht eine Suche davor. Wie gut eine solche Suche trifft, misst der Anwendungsfall Unterlagen durchsuchbar machen; zusammen mit dem Assistenten ist sie nicht gemessen.
Fragen mit einem unprüfbaren Teil. "Auf Ihrer Website steht 62 Euro, gilt das noch?" beantwortet der Assistent richtig, meldet die Frage aber als nicht vollständig beantwortet, weil er die Website nicht kennt. Der Besucher bekommt dann zur richtigen Antwort noch den Weg zum Büro genannt.
Das kleinere Modell. Es ist günstiger und erfindet ebenfalls nichts, verletzt aber Formregeln und zweifelt gelegentlich an Dingen, die in der Wissensbasis stehen. Einmal in fünf Durchgängen nannte es bei einem Wasseraustritt die falsche Sofortmaßnahme. Als Sparvariante kommt es deshalb nur für Betriebe in Frage, deren Assistent kein Notfallwissen enthält.

Die Tafel zeigt die Modelle, die am 27. August 2026 verfügbar waren. Neuere Modelle können anders abschneiden.

Kommen bei Ihnen dieselben Fragen an?

Ob sich ein Assistent bei Ihnen lohnt, hängt an der Zahl der Anfragen und daran, wie viele davon abends und am Wochenende verloren gehen. Im Vorgespräch sehen wir uns Ihre Unterlagen an und schätzen den Aufräumschritt, dreißig Minuten, kostenfrei.

Vorgespräch vereinbaren Weitere Anwendungsfälle

Kundenanfragen rund um die Uhr beantworten