Ein Dokumentenarchiv kann zuverlässig importieren und trotzdem eine umständliche Suche haben. Für eine bekannte Rechnungsnummer reicht meist die Volltextsuche. Bei einer Frage wie „Was wurde zur Verlängerung dieses Vertrags vereinbart?“ muss ich dagegen oft mehrere Schreiben finden, ihre Reihenfolge prüfen und relevante Absätze zusammensuchen.
Der Paperless-Beitrag vom Oktober beschrieb bewusst noch keinen Dokumentchat. Die KI unterstützte dort die Klassifikation; das Archivieren, Suchen und Prüfen blieb ein eigener Ablauf. Seit November enthält die Konfiguration zusätzlich einen lokalen Embedding-Dienst und die Anbindung für Dokumentchat und Ähnlichkeitssuche.
Das ist ein hybrider Aufbau: Die Vektorisierung läuft lokal, das Modell für die formulierte Antwort weiterhin in der Cloud. Genau diese Grenze bestimmt, welche Datenverarbeitung hinzukommt und was vor einer belastbaren Nutzung geprüft werden muss.
Was Embeddings zur Suche beitragen#
Ein Embedding übersetzt Text in einen Zahlenvektor. Texte mit ähnlicher Bedeutung sollen in diesem Vektorraum nahe beieinanderliegen, auch wenn sie nicht dieselben Wörter verwenden.
Für ein Dokumentenarchiv ist das nützlich, weil eine Frage selten exakt so formuliert ist wie der passende Absatz. „Wann endet die Kündigungsfrist?“ kann zu einer Passage passen, die von einer Beendigung „drei Monate vor Ablauf“ spricht.
Ein typischer Retrieval-Ablauf besteht aus mehreren Schritten:
- Dokumenttext wird in geeignete Abschnitte zerlegt.
- Für diese Abschnitte werden Embeddings berechnet und für die Suche abgelegt.
- Eine Frage wird mit dem passenden Modell ebenfalls eingebettet.
- Die Suche ermittelt geeignete Textabschnitte.
- Ein Sprachmodell bekommt die Frage und den ausgewählten Kontext, um daraus eine Antwort zu formulieren.
Die Embeddings schreiben also nicht selbst die Antwort. Sie helfen bei der Auswahl des Materials. Diese Unterscheidung ist wichtig, weil ein gutes Antwortmodell fehlende oder falsche Treffer nicht zuverlässig ausgleichen kann.
Auch semantische Nähe ist kein Wahrheitsbeweis. Zwei Verträge können fast gleich formuliert sein und trotzdem unterschiedliche Fristen enthalten. Für exakte Nummern, Datumswerte und vollständige Bestandslisten bleiben strukturierte Filter und Volltextsuche wichtige Werkzeuge.
Zwei Ollama-Rollen, die man auseinanderhalten muss#
Im aktuellen Aufbau bezeichnet „Ollama“ zwei verschiedene Dinge. Lokal läuft ein Ollama-Server mit embeddinggemma:300m. Der bestehende LiteLLM-Weg führt dagegen zu einem Antwortmodell bei Ollama Cloud; derzeit ist dafür mistral-large-4:cloud konfiguriert.
Das Diagramm zeigt den vorgesehenen Datenfluss, nicht ein für diesen Beitrag mitgeschnittenes Anfrageprotokoll. Für die Datenschutzentscheidung ist die entscheidende Verbindung die vom Gateway zum Cloud-Modell: Dort gehen die Frage und die für die Antwort ausgewählten Dokumentabschnitte hin.
Lokale Embeddings vermeiden die externe Vektorisierung des Dokumentbestands. Sie machen den anschließenden Chat aber nicht vollständig lokal. Auch eine kurze Frage kann personenbezogene Angaben enthalten, und ein ausgewählter Absatz kann den wesentlichen vertraulichen Inhalt eines Dokuments tragen.
Die Formulierung „nur die Frage geht nach außen“ wäre deshalb falsch. Der Antwortgenerator benötigt den gefundenen Kontext, wenn er sich auf die Dokumente beziehen soll.
Die Konfiguration trennt die Backends#
Paperless erhält eigene Einstellungen für das Embedding-Backend. Ein anonymisierter Ausschnitt zeigt die Trennung:
1env:
2 - name: PAPERLESS_AI_LLM_EMBEDDING_BACKEND
3 value: ollama
4 - name: PAPERLESS_AI_LLM_EMBEDDING_MODEL
5 value: embeddinggemma:300m
6 - name: PAPERLESS_AI_LLM_EMBEDDING_ENDPOINT
7 value: http://embedding-server:11434
embedding-server ist hier ein Beispielname. Die Antwortgenerierung verwendet weiterhin den separat konfigurierten OpenAI-kompatiblen LiteLLM-Endpunkt. Der Ausschnitt ist keine vollständige Paperless-Konfiguration und ersetzt weder die benötigten Berechtigungen noch die Netzregeln.
Diese Aufteilung erlaubt, die beiden Arbeitslasten unabhängig zu betrachten. Die lokale Vektorisierung benötigt Rechenzeit und Speicher im Cluster. Die Cloud-Antwort benötigt Zugangsdaten, ein Budget und eine bewusste Freigabe des verarbeiteten Inhalts.
Ein Modellwechsel auf einer Seite löst außerdem nicht dieselbe Wartungsaufgabe aus wie auf der anderen. Ein neues Antwortmodell verändert die Formulierung und möglicherweise die Interpretation. Ein anderes Embedding-Modell kann den gesamten Vektorraum verändern und damit einen Neuaufbau des Index nötig machen.
Modellcache und Dokumentindex sind nicht dasselbe#
Der lokale Ollama-Dienst hat ein eigenes PVC für seine Modelldateien. Das verhindert, dass die Modellgewichte bei jedem Ersatz des Pods zwangsläufig neu auf einen leeren Datenträger geladen werden müssen.
Dieser Speicher ist kein Backup des Dokumentarchivs und kein Nachweis eines vollständigen Suchindex. Er hält das Modell bereit, mit dem Embeddings berechnet werden. Die Dokumente, deren Metadaten und der von Paperless verwaltete Index haben einen anderen Lebenszyklus.
Das macht auch Fehlerbilder verständlicher:
- Fehlt das Modell, kann keine neue Vektorisierung stattfinden.
- Ist der Dokumentindex unvollständig, findet die Suche möglicherweise nur einen Teil des Archivs.
- Sind OCR-Texte falsch oder leer, kann auch ein vollständig abgearbeiteter Index schlechte Treffer liefern.
- Passen gespeicherte Vektoren und aktuelles Embedding-Modell nicht zusammen, ist die Vergleichbarkeit nicht mehr verlässlich.
Bei einem Modellwechsel würde ich daher zuerst prüfen, wie Paperless die betroffenen Indexdaten erneuert, und die Änderung an einem überschaubaren Testbestand abnehmen. Ein erfolgreicher Download allein reicht dafür nicht.
Ein Image-Digest pinnt nicht automatisch das Modell#
Das Ollama-Containerimage ist per Digest fixiert. Der Startablauf lädt das Modell jedoch über den Namen embeddinggemma:300m. Ein solcher Tag ist eine eigene Abhängigkeit und keine durch den Container-Digest festgeschriebene Modellversion.
Wer reproduzierbare Ergebnisse benötigt, muss daher auch die Modellidentität erfassen und Änderungen daran nachvollziehbar behandeln. Container-Runtime, Modellgewichte und bestehender Index gehören bei dieser Prüfung zusammen.
Ein erreichbarer Server ist noch kein fertiges Modell#
Der Container startet zunächst ollama serve und versucht anschließend wiederholt, das Modell zu laden. Die Kubernetes-Probes fragen /api/version ab.
Damit kann der Pod bereits als bereit erscheinen, obwohl der Modelldownload noch läuft oder scheitert. Die Probe beantwortet zunächst nur, ob die Ollama-API antwortet. Sie belegt weder die Verfügbarkeit des gewünschten Modells noch einen erfolgreichen Embedding-Aufruf.
Für eine Betriebsabnahme braucht es deshalb mehrere getrennte Prüfungen:
- Ist die API erreichbar?
- Ist das erwartete Modell vorhanden und kann es einen Testtext verarbeiten?
- Sind die vorgesehenen Dokumente tatsächlich indexiert?
- Liefert die Suche brauchbare Treffer für bekannte Fragen?
Eine grüne Deployment-Anzeige beantwortet nur einen Teil davon.
Der Startablauf führt den Modell-Pull auch bei vorhandenem Cache aus. Der Cache reduziert den nötigen Datentransfer, macht diesen Ablauf aber nicht automatisch zu einem zuverlässig offline startenden Dienst. Wer das als Anforderung hat, muss Startlogik und Modellbereitstellung entsprechend gestalten und einen Neustart ohne externen Zugriff testen.
Der Modelldownload hat einen zweiten Netzwerkweg#
Die ersten Netzregeln erlaubten den Zugriff auf die Ollama-Registry. Das war noch nicht der vollständige Downloadpfad: Blob-Downloads werden auf signierte URLs bei einem Objektspeicherdienst umgeleitet.
Deshalb enthält die aktuelle Egress-Policy zusätzlich die benötigte Domain-Klasse für diese Downloadziele. Das ist ein konkretes Beispiel dafür, warum ein erfolgreicher Registry-Aufruf keine vollständige Modellbereitstellung beweist.
Die Freigabe bleibt technisch breiter als „genau dieses eine Modell“. Eine FQDN-Regel für eine gemeinsame Storage-Domain prüft nicht die fachliche Identität jedes heruntergeladenen Blobs. Wenn diese Unterscheidung wichtig wird, braucht es zusätzlich kontrollierte Artefaktbereitstellung und eine überprüfte Modellidentität.
Auch die Begriffe „lokal“ und „ohne Internetzugang“ sind daher nicht gleichbedeutend. Die Embedding-Berechnung läuft im Cluster; die Modellbereitstellung hat weiterhin einen externen Abhängigkeitspfad.
Ressourcen nach der Arbeit bemessen, nicht nach dem Idle-Wert#
Ein Embedding-Dienst kann im Leerlauf unauffällig sein und beim Aufbau eines größeren Index deutlich mehr benötigen. Im aktuellen Manifest sind ein CPU-Request von einem Kern und 1536Mi Memory vorgesehen; die Limits liegen bei vier CPU-Kernen und 3Gi Memory.
Das sind die gegenwärtigen Lab-Werte, keine allgemeine Größenempfehlung. Dokumentumfang, Abschnittsgrößen, Parallelität und Hardware beeinflussen sowohl Laufzeit als auch Spitzenbedarf.
Gerade ein anfänglicher Indexaufbau ist eine andere Last als einige spätere Fragen pro Tag. Er sollte so geplant werden, dass Import, OCR und andere Dienste nicht unverhältnismäßig ausgebremst werden. Die im Right-Sizing-Beitrag beschriebene Unterscheidung zwischen Verbrauch, Request und Limit gilt auch hier.
Eine festgelegte Node-Platzierung kann vorhandene Image-Caches nutzen, schränkt aber die Ausweichmöglichkeiten bei Ausfällen ein. Der Modell-PVC muss auf dem Zielnode ebenfalls verwendbar sein. Ein schnellerer Normalstart ist deshalb noch keine Aussage über einen erfolgreichen Failover.
Die Klassifikation bleibt ein eigener Datenfluss#
Der neue Retrieval-Weg ersetzt nicht die bisherige KI-Klassifikation. Auch die Verarbeitung für Metadatenvorschläge nutzt weiterhin das externe Modell über LiteLLM.
Der versionsgebundene Integrationsstand für Paperless 3.4.0 dokumentiert außerdem ähnlichen Dokumentkontext im Klassifikationsprompt: Neben dem zu bearbeitenden Dokument können berechtigungsgefilterte Auszüge ähnlicher Dokumente hinzukommen. Das ist anhand der Deployment-Kommentare und der Anpassungen beschrieben, aber kein eigenständig durchgeführtes Audit sämtlicher ausgehender Payloads.
Für die Datenschutzbewertung würde ich deshalb nicht nur den neuen Chat testen. Ebenso wichtig ist die Frage, welcher zusätzliche Kontext beim Import und bei der erneuten Klassifikation eines Dokuments ausgewählt wird.
Die relevante Berechtigungsgrenze liegt vor der Übertragung an das Modell. Es reicht nicht, einen unzulässigen Dokumentlink später in der Oberfläche auszublenden, wenn sein Inhalt bereits in einem Prompt verarbeitet wurde.
Budgetkontrolle gehört vor die Anfrage#
Dokumentchat bringt einen zusätzlichen Nutzungsweg zum bestehenden Gateway. Eine einzelne Frage kann mehrere Textabschnitte als Kontext mitbringen und dadurch größer sein, als ihre sichtbare Länge vermuten lässt.
LiteLLM begrenzt in diesem Aufbau unter anderem Parallelität, Anfrageraten und die maximal angeforderte Ausgabe. Ein Hook begrenzt die unterstützten Ausgabe-Token-Parameter auf höchstens 8192. Das ist eine Obergrenze für die Ausgabe, nicht für die gesamte Eingabe oder die Größe des Archivs.
Die Konfiguration sieht außerdem vor, bei nicht verfügbarer Budget-Datenbank oder nicht zuverlässig durchsetzbaren Limits keine Anfrage einfach ungeprüft durchzulassen. Das macht die Abhängigkeit sichtbar: Ein erreichbares Cloud-Modell genügt nicht, wenn das lokale Gateway die Freigabe verweigert.
Die hinterlegten Kostenwerte dienen der internen Nutzungsabrechnung des Gateways. Sie dürfen nicht ohne Weiteres mit dem tatsächlichen Rechnungsbetrag eines Provider-Abonnements gleichgesetzt werden. Auch Cache-Rabatte sind nur dann sinnvoll, wenn die gemeldeten Nutzungswerte korrekt übernommen werden.
Hier liegt ein weiterer Grund, den normalen Archivzugriff unabhängig von KI-Funktionen zu betrachten. Ein erschöpftes KI-Budget sollte nicht bedeuten, dass Dokumente nicht mehr auffindbar oder herunterladbar sind. Dieses Verhalten gehört ausdrücklich in die Abnahme.
Welche Tests eine gute Dokumentensuche belegen würden#
Die vorhandene Offline-Suite prüft die Verdrahtung der Backends, Modellspeicher, Ressourcen, Netzregeln und Teile der Budget- und Tokenverarbeitung. Für diesen Quellencheck bestanden alle zwölf Tests:
1python3 -B .taskfiles/k8s/scripts/test-paperless-ai.py
Das ist hilfreich für Konfigurationsänderungen, sagt aber noch nichts über die Qualität der Antworten im eigenen Archiv. Dafür würde ich einen kleinen, nicht vertraulichen Testbestand mit bekannten Ergebnissen anlegen und mindestens diese Fälle prüfen:
| Testfall | Erwartung |
|---|---|
| Eine eindeutig beantwortbare Frage | Passendes Dokument und tatsächlich belegte Aussage |
| Zwei ähnliche Verträge mit verschiedenen Fristen | Keine Vermischung der Parteien, Versionen oder Termine |
| Eine Frage mit falscher Voraussetzung | Korrektur oder begründetes Nichtwissen statt erfundener Bestätigung |
| Eine Frage nach einer nicht vorhandenen Information | Keine aus allgemeinem Wissen ergänzte angebliche Dokumentenaussage |
| Ein Dokument außerhalb der Benutzerberechtigung | Kein Treffer, kein Auszug und kein Eingang in den Modellkontext |
| Entzogene Berechtigung oder gelöschtes Dokument | Kein Weiterleben des unzulässigen Inhalts im Retrieval |
| Ausgefallenes Modell oder gesperrtes Budget | Nachvollziehbarer Fehler; gewöhnlicher Archivzugriff bleibt nutzbar |
Hinzu kommt eine Reindex-Prüfung nach relevanten Modell- oder Softwareänderungen. Ein Quellenlink ist dabei ein guter Anfang, aber kein vollständiger Beleg: Die verlinkte Passage muss die konkrete Antwort auch tragen.
Besonders bei Datumswerten, Beträgen und rechtlich relevanten Fristen würde ich das Originaldokument weiterhin öffnen. Chat ist eine zusätzliche Such- und Orientierungshilfe, keine neue maßgebliche Quelle neben dem archivierten Dokument.
Ein nützlicher Ausbau mit klarer Grenze#
Lokale Embeddings passen gut zu einem selbst betriebenen Archiv. Sie halten die Vektorisierung vor Ort und erlauben eine semantische Suche, ohne dafür den gesamten Bestand an einen externen Embedding-Dienst zu schicken.
Der aktuelle Aufbau bleibt trotzdem hybrid. Für die Antwort werden ausgewählte Inhalte extern verarbeitet; die Klassifikation hat ihren eigenen Cloud-Datenfluss. Wer diese Übertragung nicht zulassen kann, braucht eine andere Antwortarchitektur oder muss die entsprechenden KI-Funktionen deaktiviert lassen.
Für mich liegt der Nutzen nicht darin, die klassische Suche abzulösen. Der Chat soll den Weg zu den passenden Dokumenten und Absätzen verkürzen. Ob er das zuverlässig leistet, entscheidet sich an echten Suchfällen, korrekten Berechtigungsgrenzen und nachvollziehbaren Quellen – nicht am grünen Status des Embedding-Pods.
Quellenstand: Lab-Repository
bei d7c0056e vom 17. November 2026. Grundlage sind die Paperless-Manifeste deployment.yaml, embeddings.yaml, embeddings-networkpolicy.yaml und litellm-config.yaml sowie test-paperless-ai.py. Die Einführung und Anpassung des lokalen Backends ist unter anderem in 45b819a6, 9acbc9d8, c1675fee und 4b523a8e dokumentiert. Indexvollständigkeit, Retrieval-Qualität, ausgehende Nutzdaten und Benutzerisolation wurden für diesen Beitrag nicht live geprüft.
