Worum es geht
Eine Person fragt in eigenen Worten, und die Antwort besteht aus einem oder zwei Sätzen und der Datei, aus der sie stammt. Geöffnet und gelesen wird das Dokument weiterhin, die Suche ist ein Wegweiser. Was in den Unterlagen nicht steht, wird nicht beantwortet, und was jemand im Laufwerk nicht öffnen darf, findet er hier nicht.
Gemessen wurde das an der erfundenen Ablage eines Betriebs für Sanitär, Heizung und Klima: 83 Dokumente aus 12 Jahren, zwei Ordnerlogiken übereinander, ein Jahresarchiv, eine unsortierte Restablage und ein Personalordner mit eigenen Rechten. Darin absichtlich: ein Vertrag, der nur mit seinem Nachtrag gilt, dieselbe Preisangabe in vier Ständen, vier gescannte Dokumente mit Erkennungsfehlern und eine Datei namens „Angebot final v3 NEU“.
Zwei Beispiele
Links steht, was die Suche zur Frage gefunden hat, rechts die Antwort, die daraus entstanden ist, umschaltbar zwischen drei Klassen: dem Notebook, dem Bürorechner mit Grafikkarte und der Cloud. Die Suche ist für alle drei dieselbe und legt ihnen dieselben fünf Abschnitte vor. Was sich unterscheidet, ist allein das Lesen.
Im ersten Beispiel steht das gesuchte Angebot in einer Datei namens „Angebot final v3 NEU“. Der Name hilft niemandem, der Inhalt ist eindeutig: fünf Positionen, eine Summe netto, eine brutto.
Frage, gestellt vom BüroWas haben wir Frau Lehmann in Ettlingen für ihr Gäste-WC angeboten, und zu welcher Summe?
- A01Angebot final v3 NEU02 Angebote/2025
- A02Übergabeprotokoll Neubau Weber EttlingenArchiv bis 2019/2015
- A03Anlagenübersicht Praxis Lindemann01 Kunden/K-1988
- A04Ansprechpartner Lieferanten04 Lieferanten
- A05Angebot 2023-0421 Bäckerei Hurst Lüftung02 Angebote/2023
Hervorgehoben: der Abschnitt, auf den sich die Antwort beruft.
Für Frau Lehmann in Ettlingen wurde ein Vorwand mit Wand-WC und Waschtisch für 3.420,00 Euro angeboten (Fundstelle: A01).
Die genannte Summe steht so im Angebot, sie gehört aber zu Position 2, der Vorwandinstallation. Die Angebotssumme lautet 10.418,00 Euro netto. Wer die Zahl in ein Anschreiben übernimmt, unterbietet das eigene Angebot um zwei Drittel, und die Fundstelle daneben sieht dabei genauso ordentlich aus wie bei einer richtigen Antwort.
Notebook der gehobenen Klasse. 1,6 Sekunden für diese Frage, beantwortet diese Frage in 0 von 5 Durchgängen richtig. Quelle: output/reihen/35-4b-h1-suche/d2/qwen3.5_4b/14-lehmann-angebot.json
Für Frau Lehmann in Ettlingen wurde ein Angebot (Angebot 2025-0217) mit der Summe von 12.397,42 Euro brutto gemacht. Dieses Angebot umfasste Positionen wie Demontage, Vorwandinstallation, Fliesenarbeiten und Montage.
Die Angebotsnummer und die Bruttosumme stimmen, die Positionen sind zusammengefasst statt aufgezählt. Das Büro kann damit antworten, ohne die Datei zu öffnen; wer den Nettobetrag braucht, öffnet sie doch.
Bürorechner mit Grafikkarte, 8 GB, die Unterlagen verlassen den Betrieb nicht. 3,1 Sekunden für diese Frage, beantwortet diese Frage in 5 von 5 Durchgängen richtig. Quelle: output/reihen/35-9b-h1-suche/d4/qwen3.5_9b/14-lehmann-angebot.json
Frau Ingrid Lehmann, Rosenweg 8, 76275 Ettlingen, wurde mit Angebot 2025-0217 vom 06.03.2025 eine Badsanierung im Erdgeschoss (Gäste-WC) angeboten: Demontage/Entsorgung der Ausstattung, Vorwandinstallation mit Wand-WC/Spülkasten und Waschtisch mit Unterschrank, Fliesenarbeiten (14 m²) sowie Montage (46 Stunden). Die Angebotssumme betrug 10.418,00 Euro netto, 12.397,42 Euro brutto (inkl. 19 % USt.).
Anschrift, Angebotsnummer, Datum, alle Positionen, netto und brutto: die Antwort ersetzt den Blick in die Datei vollständig. Sie braucht dafür rund fünfmal so lange wie der Bürorechner und schickt die Abschnitte aus dem Haus.
Rechenzentrum, die Unterlagen verlassen den Betrieb. 16,6 Sekunden für diese Frage, beantwortet diese Frage in 5 von 5 Durchgängen richtig. Quelle: output/reihen/sonnet-h1-suche/d2/claude-sonnet-5/14-lehmann-angebot.json
Alle drei Modelle berufen sich auf denselben Abschnitt, und trotzdem steht in einer der drei Antworten eine falsche Summe. Das Notebook nennt 3.420,00 Euro, den Preis einer einzelnen Position, und stellt die Fundstelle genauso ordentlich daneben wie die beiden anderen. Ein Beleg sagt, woher eine Angabe stammt, nicht, dass sie stimmt.
Das zweite Beispiel ist eine Frage, die dieselbe Person nicht beantwortet bekommt. Der Arbeitsvertrag liegt in der Ablage, der Personalordner ist für diese Rolle jedoch gesperrt, und die Sperre greift vor der Suche. Die Antwort lautet deshalb wie bei einer Ablage, in der es das Dokument nicht gibt: ohne Hinweis darauf, dass etwas zurückgehalten wurde. Ein solcher Hinweis würde die Existenz verraten und damit oft schon den Inhalt.
Frage, gestellt vom BüroWelche Kündigungsfrist steht im Arbeitsvertrag von Sven Rauch?
- A01Wartungsliste 2016 gesamtArchiv bis 2019/2016
- A02Aktenvermerk Reklamation 2026-08-2601 Kunden/K-2088
- A03Preisliste 202603 Verträge
- A04Textbausteine Anschreiben06 Vorlagen
- A05Wartungsprotokoll 2026-08-1401 Kunden/K-2088
keine AuskunftEs liegen keine Abschnitte vor, die eine Kündigungsfrist für den Arbeitsvertrag von Sven Rauch enthalten. Die vorhandenen Dokumente betreffen Wartungslisten, Preislisten und Aktenvermerke zu Heizungsanlagen, nicht aber Arbeitsverträge.
Die Abgabe nennt, was vorliegt, und nicht, was fehlt: von einem gesperrten Personalordner steht nichts da. Genau so muss sie klingen, sonst verrät die Auskunft die Existenz des Dokuments.
Bürorechner mit Grafikkarte, 8 GB. 2,5 Sekunden für diese Frage, gibt diese Frage in 5 von 5 Durchgängen ab. Quelle: output/reihen/35-9b-h1-suche/d4/qwen3.5_9b/07-rechte-kuendigungsfrist-buero.json
Was die Modelle leisten
Sieben Modelle, dieselben 17 Fragen, dieselbe Suche, dieselbe Anweisung, dieselben 7 Prüfungen. Die oberen drei laufen auf einem Rechner in Ihrem Betrieb, die unteren vier in einem Rechenzentrum bei zwei Anbietern. Eine Frage gilt erst dann als fehlerfrei beantwortet, wenn keine einzige Prüfung anschlägt: jede geforderte Angabe steht in der Antwort, keine überholte Angabe wird als gültig ausgegeben, die Fundstelle gehört zu dem Dokument, das die Antwort trägt. Zwei der siebzehn Fragen verlangen das Gegenteil einer Antwort, deshalb läuft die dritte Spalte gegen 15.
| Modell | Läuft auf | Fehlerfreie Fragenvon 17 | Korrekturenje Frage, etwa | Beantwortet und belegtvon 15 | Je Frage | Kostenje Frage |
|---|---|---|---|---|---|---|
| Auf einer Maschine im Betrieb | ||||||
| qwen3.5:9boffenes Modell, 9,7 Milliarden Parameter | Bürorechner mit Grafikkarte, 8 GB | 13,8 | 0,2 | 11,8 | 4 s | keine |
| qwen3:8bVorgängergeneration, ein Jahr älter | Bürorechner mit Grafikkarte, 8 GBBei dieser Aufgabe nur 0,8 Fälle hinter der neuen Generation. Aus fünf gefundenen Abschnitten die richtige Angabe herauszuschreiben ist eine kleinere Anforderung als einen Bericht zu formulieren. | 13,0 | 0,3 | 11,0 | 3 s | keine |
| qwen3.5:4bdieselbe Generation, kleinere Klasse | Notebook der gehobenen Klasse | 12,4 | 0,4 | 10,4 | 2 s | keine |
| Über einen Dienst im Netz | ||||||
| Claude Sonnet 5Anthropic, Größe nicht veröffentlicht | Rechenzentrum, Daten verlassen den Betrieb | 15,6 | 0,1 | 13,6 | 7 s | 1,4 ct |
| GPT-5.6 LunaOpenAI, kleine Klasse | Rechenzentrum, Daten verlassen den Betrieb | 15,0 | 0,2 | 13,0 | 6 s | 0,10 ct |
| GPT-5.6 TerraOpenAI, mittlere Klasse | Rechenzentrum, Daten verlassen den BetriebDieselbe Quote wie das kleinere Modell desselben Anbieters, aber fünf Korrekturen je Durchgang statt drei, bei siebenfachem Preis. | 15,0 | 0,3 | 13,0 | 5 s | 0,74 ct |
| Claude Haiku 4.5Anthropic, kleinere Klasse | Rechenzentrum, Daten verlassen den Betrieb | 14,8 | 0,2 | 12,8 | 5 s | 1,0 ct |
Der Vorgang
Auf dem Laufwerk liegt alles, was der Betrieb je geschrieben hat: Angebote, Aufträge, Aufmaße, Wartungsverträge, Abnahmeprotokolle, Schriftverkehr, Gerätehandbücher. Sortiert nach einer Ordnerlogik, die zweimal gewechselt hat und die niemand vollständig kennt. Wer etwas sucht, hat drei Wege: den Ordner raten, über den Dateinamen suchen, weil die Suche in Inhalten langsam ist und in gescannten Dokumenten gar nichts findet, oder den Kollegen fragen, der am längsten dabei ist.
Der dritte Weg ist der schnellste und der teuerste. Er unterbricht die eine Person, an der ohnehin alles hängt, und er fällt aus, sobald diese Person in Urlaub, krank oder in Rente ist. Der zweite Schmerz lässt sich nie beziffern: die Frage, die gar nicht gestellt wird. Ein Angebot wird neu kalkuliert, weil das alte nicht auffindbar ist. Eine Zusage aus einem Vertrag von 2019 wird übersehen, bis der Kunde sie zitiert.
Wie geprüft wurde
17 Fragen, wie sie im Büro gestellt werden: nach dem aktuellen Stundensatz, nach der letzten Wartung bei einer Kundin, nach einer Frist aus einem alten Rahmenvertrag, nach einer Zahl aus einem gescannten Protokoll. Jede Frage wird von einer Rolle gestellt, weil die Rechte des Laufwerks vor der Suche stehen, und jede trägt einen Stichtag, weil „die gültige Fassung“ ohne Stichtag keine prüfbare Aussage ist.
Zwei Fragen verlangen Schweigen: eine nach einer Gewährleistung, die es nicht gibt, weil das Angebot nie beauftragt wurde, und die nach dem Arbeitsvertrag aus dem gesperrten Ordner. Bei beiden kommt jedes Wort der Frage in der Ablage vor und die Antwort nicht. Vier weitere Fragen sind so gebaut, dass die falsche Antwort mehrfach in der Ablage steht und die richtige einmal. Weil einzelne Durchgänge streuen, zählt die Reihe aus 5 Durchgängen und nicht der beste davon.
Kein Modell hat die Antworten bewertet. Geprüft wurde mit festen Regeln, und was sich nicht mit Regeln prüfen lässt, wurde von Hand gelesen und nie gezählt. Der Betrieb und alle Unterlagen sind erfunden.
Was die Tabelle zeigt
Der Abstand zwischen dem Rechner im Betrieb und dem Rechenzentrum beträgt bei dieser Aufgabe 1,8 Fragen von 17. Auffällig ist die zweite Zeile: die Vorgängergeneration im Haus liegt nur 0,8 Fragen hinter der aktuellen. Aus fünf gefundenen Abschnitten die richtige Angabe herauszuschreiben ist eine kleinere Anforderung als einen Bericht zu formulieren, und deshalb reicht hier weniger Maschine weiter.
Die beiden Modelle desselben Anbieters in der Cloud bestehen dieselbe Zahl an Fragen und sind trotzdem nicht dieselbe Arbeit: das größere hinterlässt fünf Korrekturen je Durchgang, das kleinere drei, bei siebenfachem Preis. Das ist der Grund für die Spalte neben der Quote. Zwei Modelle, die auf einer Tafel gleich aussehen, erleben Sie beim Gegenlesen unterschiedlich.
Was der Weg über das Netz kostet: bei 12 Fragen am Tag und 22 Arbeitstagen sind das je nach Modell rund 0.3 bis 3.7 Dollar im Monat für die Modellaufrufe. Auf der anderen Seite steht ein Bürorechner mit Grafikkarte, der einmal angeschafft wird, und die Gewissheit, dass Verträge und Personalunterlagen das Haus nicht verlassen.
Die Suche wiegt schwerer als das Modell
Zwei Änderungen an der Sortierung der Suchtreffer haben dasselbe Modell im Haus von 11,4 auf 13,8 von 17 fehlerfrei beantworteten Fragen gebracht. Das ist mehr, als zwischen dem besten und dem schwächsten der drei Modelle im Haus liegt (1,4 Fragen). Die erste Änderung: eine Standard-Stichwortsuche zieht lange Dokumente ab und bevorzugt damit den kurzen Schnipsel vor der gepflegten Fassung. In einer gewachsenen Ablage ist der Schnipsel meistens der veraltete.
Wie weit das trägt, zeigt die Gegenprobe. Bekommt das beste Modell statt der Suchtreffer genau die Abschnitte, die die Antwort tragen, beantwortet es 17 von 17 Fragen fehlerfrei, in allen fünf Durchgängen, ohne einen einzigen Fund. Mit der Suche davor sind es 15,6. Der gesamte verbleibende Abstand gehört der Suche und nicht dem Modell. Dasselbe im Haus: mit den richtigen Abschnitten kommt der Bürorechner auf 15,2 und liegt damit vor dem kleineren Cloud-Modell mit echter Suche.
Deshalb ist die Frage, welches Modell Sie einsetzen, bei diesem Anwendungsfall die kleinere Hälfte der Arbeit.
Mehr Treffer sind nicht die bessere Auskunft
Eine Annahme, die sich in der Messung nicht gehalten hat. Übergibt man dem Modell 8 statt 5 Suchtreffer je Frage, findet die Suche mehr von den Dokumenten, die die Antwort tragen (18 statt 16 von 19). Die Zahl der fehlerfrei beantworteten Fragen fällt dabei von 13,8 auf 12,6.
Der Grund steht in den Fehlern: mit acht Abschnitten beantwortet das Modell in jedem Durchgang die Frage nach der Gewährleistung, die es nicht gibt, und belegt sie mit dem Protokoll eines anderen Kunden. Je mehr Nachbardokumente im Text stehen, desto eher wird aus einem, das fast passt, eine Antwort. Wer nur die Trefferquote der Suche verbessert und die Antworten nicht misst, verbessert eine Zahl und verschlechtert das Ergebnis.
Was das für Ihren Betrieb heißt
- Ihre Ablage bleibt, wie sie ist
- Keine Datei wird verschoben, umbenannt, zusammengeführt oder gelöscht. Der Index liegt daneben. Ein Betrieb, der seine Ordnerstruktur einer Maschine überlässt, hat ein Problem mehr.
- Die Rechte des Laufwerks gelten weiter
- Wer einen Ordner heute nicht öffnen darf, bekommt daraus auch keine Auskunft und erfährt nicht, dass es ihn gibt. Das hängt an einer Regel vor der Suche und nicht an einer Formulierung, die ein Modell meistens befolgt. Deshalb lässt es sich zusichern.
- Jede Aussage nennt ihre Fundstelle
- Die Antwort ist ein Wegweiser, gelesen und entschieden wird am Dokument. Ob eine Gewährleistung greift, ob eine Frist gewahrt ist, entscheidet weiterhin ein Mensch.
- Zwei Wege, eine Entscheidung
- Im Haus verlässt keine Zeile Ihrer Verträge den Betrieb, und die Auskunft ist 1,8 Fragen von 17 schwächer. Über das Netz ist sie besser und kostet wenige Dollar im Monat. Bei einer Ablage, in der Personalunterlagen und Kundenverträge liegen, ist das eine Frage an Ihren Betrieb und keine an die Technik.
- Was zuerst zu klären ist
- Wie viel Ihres Altbestands überhaupt Text hergibt. Gescannte Dokumente ohne Textebene brauchen eine Erkennung davor, und wie viele es sind, weiß kein Betrieb aus dem Kopf. Eine Stichprobe aus Ihrer eigenen Ablage beantwortet das an einem Vormittag.
Wo es heute an die Grenze kommt
- Der Verlauf gegen den aktuellen Stand. Die Regel, die bei gleichwertigen Treffern das jüngere Dokument bevorzugt, hilft jeder Frage nach dem geltenden Stand und schadet der Frage nach der Geschichte eines Kunden. Die Frage „was haben wir dort seit 2024 gemacht“ verfehlt in dieser Messung jedes der sieben Modelle in jedem Durchgang, weil die Suche nur den jüngsten der drei Vorgänge liefert. Kein Modell hat dabei etwas erfunden: alle berichten genau das, was sie sehen.
- Die Größe Ihrer Ablage. Gemessen wurde an 83 Dokumenten. Ob eine Suche bei fünfzigtausend dieselbe Trefferquote hält, lässt sich daran nicht zeigen, und wir behaupten es nicht. Diese Zahl hängt an Ihrem Bestand und wird mit einer Stichprobe daraus geklärt.
- Die weggelassene Bedingung. Die Antwort nennt den Notdienstzuschlag richtig und lässt beim Modell im Haus durchweg weg, dass der Notdienst nur Kunden mit Wartungsvertrag offensteht. Die Zahl stimmt, die Auskunft ist im Betrieb falsch. Eine unvollständige Antwort sieht aus wie eine vollständige, und das ist bei diesem Anwendungsfall die Fehlerart, auf die es ankommt.
- Der Anschluss an das Laufwerk. Gemessen wurde an Dokumenten als Text. Die laufende Aufnahme neuer Dateien, die Texterkennung für den Altbestand und die Übernahme der Zugriffsrechte aus dem Dateisystem sind Einrichtungsarbeit, deren Umfang am Zustand Ihrer Ablage hängt.
Die Modellnamen in der Tabelle sind ein Messstand mit Datum und keine Empfehlung auf Dauer. Sie veralten schneller als der Vorgang, um den es geht.
Wen fragen Ihre Leute, wenn sie etwas suchen?
Ob sich eine Suche über Ihre Unterlagen lohnt, hängt am Zustand Ihrer Ablage und daran, wie oft jemand für andere nachschlägt. Im Vorgespräch sehen wir uns eine Stichprobe an: wie viel Text hergibt, was dort liegt, und welche Fragen Ihre Leute tatsächlich stellen. Dreißig Minuten, kostenfrei.