LiteParse: Ein lokaler PDF-Parser mit PDFium, Tesseract und klaren Grenzen

Was LiteParse löst und für wen

LiteParse ist ein eigenständiges, quelloffenes PDF-Parsing-Tool, das ausschließlich auf schnelles und leichtes Parsing ausgelegt ist. Die README beschreibt es als Werkzeug für hochwertiges räumliches Text-Parsing mit Bounding Boxes, ohne proprietäre LLM-Funktionen oder Cloud-Abhängigkeiten. Alles läuft lokal auf der eigenen Maschine. Das ist die Zielgruppe: Entwickler und Ingenieure, die Dokumente in Pipelines für RAG oder LLM-Agenten aufbereiten wollen, aber keine Daten an einen externen Dienst schicken möchten. Es ist kein Werkzeug für die Erkennung von Handschrift oder komplexen Layouts. Dafür verweist das Projekt selbst auf LlamaParse, den Cloud-basierten Parser aus demselben Haus. Die Nische ist klar: schnelle, lokale Extraktion von Text mit Positionsdaten, nicht die perfekte semantische Rekonstruktion.

Die Architektur: PDFium, Tesseract und ein Rust-Kern

Der Kern ist in Rust geschrieben und nutzt die PDFium-C-Bibliothek für die Textextraktion. Die README zeigt ein Flussdiagramm, das den Weg vom Eingabeformat bis zur Ausgabe beschreibt. PDF, DOCX, XLSX, PPTX und Bilder werden zunächst konvertiert, wobei LibreOffice und Rust-Crates wie resvg und usvg zum Einsatz kommen. Danach folgt die Textextraktion mit PDFium, dann optionale OCR. Die OCR kann über drei Wege laufen: eingebautes Tesseract, ein HTTP-Server wie EasyOCR oder PaddleOCR, oder eine eigene Implementierung über eine standardisierte API. Die Ergebnisse aus nativer Extraktion und OCR werden zusammengeführt. Eine Besonderheit ist die Grid-Projektion, die die räumliche Layout-Rekonstruktion übernimmt. Die Darstellung der Bounding Boxes weicht bewusst von PDFium ab: LiteParse nennt die Rechtecke bbox statt coords und verwendet width und height statt w und h. Wer bereits mit PDFium arbeitet, muss diese Unterschiede kennen.

Installation und CLI: Ein Befehl für alle Sprachen

Die Installation läuft über die jeweiligen Paketmanager. Für Node.js gibt es npm i -g @llamaindex/liteparse, für Python pip install liteparse und für Rust cargo install liteparse. Die Browser-Variante kommt als WASM-Paket. Alle Versionen außer WASM teilen sich dieselbe CLI namens lit. Das ist ein Vorteil: Man lernt einen Befehl und kann ihn in jeder Umgebung nutzen. Der grundlegende Aufruf ist lit parse document.pdf. Für Markdown-Ausgabe nutzt man --format markdown, für JSON entsprechend --format json. Mit --target-pages "1-5,10,15-20" lassen sich einzelne Seiten auswählen. Wer keine OCR will, setzt --no-ocr. Die Option --extract-vector-graphics fügt Pfaddaten in JSON ein, --extract-text-metadata liefert reichhaltige Textmetadaten pro Element. Diese Optionen zeigen, dass LiteParse nicht nur einfacher Text ist, sondern auch für technische Dokumente mit Vektorgrafiken gedacht ist.

Markdown-Ausgabe: Heuristik statt Perfektion

Die Markdown-Ausgabe ist ein zentrales Feature, weil sie Dokumente für LLMs und RAG-Pipelines aufbereitet. Die README erklärt, dass Überschriften, Tabellen, Listen, Bilder und Links aus dem räumlichen Layout rekonstruiert werden. Wichtig ist der Hinweis, dass dieser Modus rein heuristisch und regelbasiert ist. Komplexe Dokumente können daher nicht perfekt dargestellt werden, aber die Verarbeitung bleibt schnell. Das ist ein ehrlicher Trade-off: Geschwindigkeit gegen Genauigkeit. Die Bildbehandlung wird über --image-mode gesteuert. Der Standardwert placeholder erzeugt Referenzen in Lesereihenfolge. Mit off werden Bilder entfernt, mit embed werden sie eingebettet. Für die tatsächliche Extraktion von Bilddaten ist --extract-images nötig, kombiniert mit --image-output-dir. In JSON werden Bildmetadaten wie Name, Pfad, Bounding Box und Rotation ausgegeben, aber niemals die Pixelbytes selbst. Identische Bilder werden nur einmal gespeichert, was Speicherplatz spart.

OCR und Komplexitätserkennung: Wann wird es teuer?

Die OCR-Integration ist flexibel, aber nicht trivial. Das eingebaute Tesseract erfordert keine Einrichtung, was den Einstieg erleichtert. Für bessere Ergebnisse kann man einen externen OCR-Server anbinden, etwa EasyOCR oder PaddleOCR. Die API-Spezifikation ist laut README einfach und klar definiert. Ein interessantes Feature ist die Komplexitätserkennung. Sie prüft günstig, ob ein Dokument OCR oder schwereres Parsing benötigt. Das ermöglicht es, Dokumente vor der vollständigen Verarbeitung zu routen, abzulehnen oder die Kosten zu schätzen. In einer Pipeline ist das nützlich, weil man nicht jedes Dokument blind durch die teure OCR schickt. Die README warnt jedoch, dass für komplexe Dokumente wie dichte Tabellen oder mehrspaltige Layouts die Ergebnisse deutlich besser mit LlamaParse sein können. Diese Einschränkung sollte man ernst nehmen, bevor man sich auf die lokale OCR verlässt.

Worker-Pool-Modus: Paralleles Parsen mit Timeouts

Ein bemerkenswertes Detail ist der Worker-Pool-Modus für Python und Node.js. PDFium serialisiert parallele Parses, was ein Engpass sein kann. Der Worker-Pool umgeht das, indem er persistente Worker-Prozesse nutzt. Das ermöglicht echte Parallelität und harte Timeouts pro Parse. Dokumente, die nicht rechtzeitig fertig werden, werden beendet, identifiziert und blockieren nicht die Pipeline. Das ist ein konkretes Gegenmittel gegen hängende Prozesse, die in Produktionsumgebungen schnell zum Problem werden. Die README betont, dass dieser Modus nur in Python und Node.js verfügbar ist. Für Rust-Nutzer bleibt die Serialisierung bestehen. Wer also viele Dokumente parallel verarbeiten muss, sollte die Wahl der Sprache mit dieser Einschränkung abgleichen. Die Timeout-Funktion ist kein optionales Extra, sondern ein Sicherheitsnetz gegen fehlerhafte Dokumente.

Grenzen und Alternativen: Wo LiteParse nicht reicht

Die größte Einschränkung ist die Markdown-Qualität bei komplexen Dokumenten. Die README nennt explizit dichte Tabellen, mehrspaltige Layouts, Diagramme, Handschrift und gescannte PDFs als Fälle, in denen LlamaParse deutlich bessere Ergebnisse liefert. LiteParse ist also nicht das richtige Werkzeug für archivierte Papierdokumente oder wissenschaftliche Paper mit komplexen Layouts. Die Alternative ist LlamaParse, ein Cloud-Dienst mit proprietären LLM-Funktionen. Der Unterschied liegt nicht nur in der Erkennungsqualität, sondern auch im Betrieb: LlamaParse läuft in der Cloud, LiteParse lokal. Wer Daten nicht aus der Hand geben will, muss mit den heuristischen Grenzen leben. Die Komplexitätserkennung kann helfen, solche Fälle früh zu identifizieren, aber sie ersetzt keine bessere OCR. Die Lizenz ist Apache-2.0, was für kommerzielle Nutzung unproblematisch ist. Ein Upgrade-Pfad existiert: Man kann mit LiteParse starten und bei Bedarf auf LlamaParse wechseln, ohne das Ökosystem zu verlassen.

Redaktionelles Fazit

LiteParse eignet sich für alle, die schnelles, lokales Parsing von PDFs mit Bounding Boxes brauchen, ohne Cloud-Abhängigkeit. Wer komplexe Dokumente mit dichten Tabellen oder Handschrift verarbeiten muss, sollte zuerst testen, ob die Markdown-Ausgabe den Anforderungen genügt. Dafür ist der Wechsel zu LlamaParse eine echte Option, da beide aus demselben Ökosystem stammen. Vor einem Einsatz in der Produktion sollte man die OCR-Qualität mit eigenen Dokumenten prüfen und die Timeout-Mechanismen des Worker-Pool-Modus aktivieren. LiteParse ist kein Ersatz für LlamaParse, aber eine ehrliche und schnelle Alternative für den lokalen Einsatz.

Offizielle Quellen

1. Official documentation
2. Official README
3. Project repository
4. Release notes