Unterlagen durchsuchen mit einem Agenten

Worum es geht

Ein Chatfenster bekommt, was Sie hineinkopieren, und antwortet aus dem Gedächtnis. Ein Agent bekommt einen Ordner. Er sieht die Dateien, sucht darin nach Namen und Begriffen, liest, was in Frage kommt, ganz, sucht noch einmal, wenn ihm etwas fehlt, und schreibt das Ergebnis als Datei.

Gemessen ist auf dieser Seite ein einziger Vorgang, die Suche, und zwar an derselben Messlatte wie auf der Seite Unterlagen durchsuchbar machen. Angeschaut habe ich mir dafür die beiden Agenten Claude Code und Codex. Was ein Agent bei einer Aufgabe leistet, deren Weg vorher niemand kennt, zeigt die Seite Eine Preisanpassung für alle Wartungsverträge.

Ein Beispiel

Die Frage nach dem Verlauf bei einem Kunden ist auf der Seite zur Suche (ohne Agent) die Frage, die jedes der sieben Modelle in jedem Durchgang verfehlt: die Antwort steckt in sechs Dokumenten aus vier Ordnern, und eine Suche liefert dem Modell fünf Treffer. Dieselbe Frage, dasselbe Modell, einmal mit der Suche davor und einmal als Agent, der selbst sucht.

Der Agent hat den Kundenordner ganz gelesen und danach in zwei anderen Ordnern nachgesehen, ob dort noch etwas zu diesem Kunden liegt. Genau das tut die Person, die heute im Büro sucht, und genau das kann eine Suche mit fünf Treffern nicht. Der Preis dafür steht daneben: zweieinhalbmal so lange, dreimal so teuer.

Die Hausordnung

Ein Agent liest vor jeder Aufgabe eine Textdatei, in der steht, wie der Betrieb arbeitet. So könnte sie für den fiktiven Betrieb aus den Messungen aussehen.

# Hausordnung für den Assistenten

Wir sind die Rohrwerk Albtal GmbH, Sanitär, Heizung und Klima, 15 Leute.

## Die Ablage
- 01 Kunden: je Kunde ein Ordner, die Nummer beginnt mit K-.
- 02 Angebote: nach Jahr. Die Datei "Angebot final v3 NEU" ist das
  Angebot Lehmann von 2025.
- 03 Verträge: es gilt die jüngste Fassung. Ein Nachtrag ändert den
  Vertrag, zu dem er gehört.
- Archiv bis 2019: alte Ordnung nach Jahren, nichts davon ist aktuell.

## Regeln
- Jede Angabe bekommt ihre Datei. Ohne Fundstelle keine Aussage.
- Eine ältere Fassung wird nur mit dem Wort "früher" genannt.
- Was nicht in der Ablage steht, gibt es für uns nicht.
- Entwürfe kommen nach 08 Ausgang. Im Laufwerk wird nichts geändert,
  nichts versendet, nichts gelöscht.
- Kunden werden gesiezt. Absender ist immer das Büro, nie ein Name.

Bei Claude Code heißt diese Datei CLAUDE.md, bei Codex AGENTS.md. Wie sie und die übrigen Teile in einen Betrieb kommen, steht unter Ein Agent in der eigenen Verwaltung.

Wo es heute an die Grenze kommt

• Die zweite Fassung. Der Agent findet beide Stände eines Dokuments und nennt beide. Ohne eine Regel in der Hausordnung fehlt dabei das Wort „früher“, und die überholte Angabe steht neben der gültigen, als wären beide aktuell. In der Messung ist das der einzige Fehler des größten Modells, in fünf von 85 Antworten.
• Zwei Kunden, ein Name. Das kleinere Modell findet den ersten Kunden Müller, antwortet mit seiner Anlage und sucht nicht weiter, ob es einen zweiten gibt. Das größere unterscheidet beide in jedem Durchgang.

Das beste Werkzeug in der Tafel besteht 16,8 von 17 Fragen. Die eine, die bleibt, ist die mit den zwei Kunden desselben Namens.