SIE: ein selbst gehosteter Inferenzserver für Agenten
Open-Source-Inferenzserver und Produktionscluster für alle Modelle, die Ihr Agent benötigt.
Auf einen Blick
- Was ist das?
- Die Superlinked Inference Engine bündelt Modellaufrufe für Retrieval, Dokumentkonvertierung, strukturierte Ausgaben, Content-Safety und Agentenschleifen über eine OpenAI-kompatible API.
- Für wen ist es gedacht?
- SIE passt zu Teams, die mehrere Modelle in einem Cluster betreiben möchten. Das README veröffentlicht keine unabhängigen Latenz- oder Qualitätswerte.
- Darf ich es kommerziell nutzen?
- Ja. Apache-2.0 ist eine freizügige Lizenz: Sie dürfen darauf aufbauende Software nutzen, verändern und verkaufen, solange Sie die Urheberrechts- und Lizenzhinweise beibehalten.
- Wird es noch gepflegt?
- Ja. Die letzten Commits kamen vor 4 Tagen.
- In welcher Sprache ist es geschrieben?
- Hauptsächlich Python, laut der Sprachstatistik von GitHub.
Die Antworten beruhen auf den GitHub-Daten des Projekts (zuletzt abgeglichen am 14. September 2026) und auf unserer Analyse. Sie sind keine Rechtsberatung.
TIEFGEHENDE OPEN-SOURCE-ANALYSE
SIE: Eine OpenAI-kompatible API für alle Modelle, die ein Agent aufruft
SIE (Superlinked Inference Engine) ist ein selbst gehosteter Inferenzserver, der laut README die Modelle hinter jeder Agentenaufgabe über eine einzige API ausführt: Suche und Retrieval, Dokument-zu-Markdown-Konvertierung, strukturierte Ausgaben, Content-Safety und die Agentenschleife selbst. Das erklärte Ziel ist, das Flickwerk aus einem separaten Modellserver pro Aufgabe durch ein System zu ersetzen, das 100+ Modelle bedient und jedes bei Bedarf lädt. Der Server stellt die OpenAI-kompatiblen Endpunkte /v1/embeddings, /v1/chat/completions, /v1/completions und /v1/responses bereit, die das README als Drop-in-Migrationspfad für OpenAI-Stil-Clients bezeichnet.
Für SIE ist dieser Punkt an der dokumentierten Nutzung zu lesen. Im Repository stehen die konkreten Namen, Befehle und Grenzen im Vordergrund. Ein praktischer Prüfpunkt ist die Kombination aus Projektdateien, Eingaben und beobachteter Ausgabe; fehlende Angaben werden nicht als Zusage ergänzt. Abschnitt 1 beschreibt damit eine Eigenschaft des Projekts und keine allgemeine Empfehlung.
SIE: Wie Modelle geladen und konfiguriert werden
Der Modellkatalog ist vorkonfiguriert mit Stella, SPLADE, Qwen3, GLiNER, SigLIP und weiteren; das README sagt, dass Einbettungs- und Retrieval-Modelle auf MTEB benchmarkt wurden, veröffentlicht aber keine Ergebnisse. SIE bedient mehrere Modelle gleichzeitig mit On-Demand-Laden und LRU-Verdrängung. Der erste Aufruf eines Modells lädt dessen Gewichte herunter, mit Fortschrittsanzeige im Serverterminal; spätere Aufrufe überspringen den Download. Das README sagt ausdrücklich, dass die Inferenzlatenz von Modell, Aufgabe, Hardware und Batchgröße abhängt, und nennt keine Latenzzahlen. Jedes Modell ist eine Konfigurationsdatei unter packages/sie_server/models/, und das SDK akzeptiert eine Hugging-Face-ID als Modellreferenz.
Für SIE ist dieser Punkt an der dokumentierten Nutzung zu lesen. Im Repository stehen die konkreten Namen, Befehle und Grenzen im Vordergrund. Ein praktischer Prüfpunkt ist die Kombination aus Projektdateien, Eingaben und beobachteter Ausgabe; fehlende Angaben werden nicht als Zusage ergänzt. Abschnitt 2 beschreibt damit eine Eigenschaft des Projekts und keine allgemeine Empfehlung.
SIE: Die fünf Aufgabengruppen im Katalog
Das README gruppiert die angebotenen Modelle in fünf Aufgaben. Suche embeddet, matcht und rangiert neu mit bge-m3, splade-v3, colbertv2 und qwen3-reranker. Dokument zu Markdown konvertiert PDFs, Office-Dateien und Scans über lightonocr, glm-ocr, mineru, paddleocr-vl und docling. Strukturierte Ausgaben erzeugen schema-valides JSON mit gliner2, nuner-zero und qwen3.6-27b. Content-Safety liefert mit granite-guardian-2b ein Sicherheitsurteil mit einer Wahrscheinlichkeit, die der Aufrufer als Schwelle setzen kann. Die Agentenschleife plant Schritte und ruft Werkzeuge mit qwen3.6-27b auf, inklusive Streaming.
Für SIE ist dieser Punkt an der dokumentierten Nutzung zu lesen. Im Repository stehen die konkreten Namen, Befehle und Grenzen im Vordergrund. Ein praktischer Prüfpunkt ist die Kombination aus Projektdateien, Eingaben und beobachteter Ausgabe; fehlende Angaben werden nicht als Zusage ergänzt. Abschnitt 3 beschreibt damit eine Eigenschaft des Projekts und keine allgemeine Empfehlung.
SIE: Server starten und erster curl-Aufruf
Die Kurzanleitung nennt zwei Wege. Die native Installation auf macOS Apple Silicon oder Linux erfordert Python 3.12: pip install "sie-server[local]" und danach sie-server serve. Docker bietet getrennte Bundle-Images, damit Abhängigkeiten inkompatibler Modellfamilien isoliert bleiben: latest-cuda12-default für NVIDIA-GPU, latest-cuda12-transformers5 für LightOnOCR oder GLM-OCR, latest-cpu-default für CPU und latest-cuda12-sglang für GPU-Textgenerierung. Ein curl auf /readyz sollte ok zurückgeben; der erste Einbettungsaufruf ist ein einfacher curl-POST an /v1/embeddings mit Modell-ID und Eingabetext, die Antwort enthält den Einbettungsvektor.
Für SIE ist dieser Punkt an der dokumentierten Nutzung zu lesen. Im Repository stehen die konkreten Namen, Befehle und Grenzen im Vordergrund. Ein praktischer Prüfpunkt ist die Kombination aus Projektdateien, Eingaben und beobachteter Ausgabe; fehlende Angaben werden nicht als Zusage ergänzt. Abschnitt 4 beschreibt damit eine Eigenschaft des Projekts und keine allgemeine Empfehlung.
SIE: Python- und TypeScript-SDKs sowie Integrationen
Zwei SDKs sind dokumentiert: sie-sdk für Python und @superlinked/sie-sdk für TypeScript, installierbar über npm, pnpm oder yarn. Das Python-Beispiel im README erstellt einen SIEClient gegen localhost:8080 und zeigt vier Operationen: client.encode für Einbettungen, client.score für das Neorangieren einer Abfrage gegen Kandidaten, client.extract für Entitätsextraktion mit Labels und Spans sowie client.generate für Textgenerierung mit Parametern wie max_new_tokens und temperature. Als Integrationen sind LangChain, LlamaIndex, Haystack, DSPy, CrewAI, Chroma, Qdrant, Weaviate und LanceDB aufgeführt, mit Links zu Setup-Anleitungen. Es gibt außerdem ein MCP-Edge-Paket, um Dokumentarbeit von MCP-Clients auszulagern.
Für SIE ist dieser Punkt an der dokumentierten Nutzung zu lesen. Im Repository stehen die konkreten Namen, Befehle und Grenzen im Vordergrund. Ein praktischer Prüfpunkt ist die Kombination aus Projektdateien, Eingaben und beobachteter Ausgabe; fehlende Angaben werden nicht als Zusage ergänzt. Abschnitt 5 beschreibt damit eine Eigenschaft des Projekts und keine allgemeine Empfehlung.
SIE: Produktionscluster und Deployment
Das README sagt, derselbe Code funktioniere gegen einen Produktionscluster, und liefert den vollen Stack mit: Load-Balancing-Gateway, KEDA-Autoskalierung mit Scale-to-Zero, Grafana-Dashboards und Terraform-Module für GKE, EKS und AKS. Die Bereitstellung läuft über ein Helm-Chart, oci://ghcr.io/superlinked/charts/sie-cluster, mit einem Values-Overlay pro Cloud (values-gke.yaml, values-aws.yaml, values-aks.yaml). Das Beispielkommando pinnt eine Chart-Version für reproduzierbare Installationen, erstellt den Namespace sie und setzt hfToken.create mit einem Hugging-Face-Token-Wert. Für Konfigurationsdetails verlinkt das README auf einen Deployment-Leitfaden.
Für SIE ist dieser Punkt an der dokumentierten Nutzung zu lesen. Im Repository stehen die konkreten Namen, Befehle und Grenzen im Vordergrund. Ein praktischer Prüfpunkt ist die Kombination aus Projektdateien, Eingaben und beobachteter Ausgabe; fehlende Angaben werden nicht als Zusage ergänzt. Abschnitt 6 beschreibt damit eine Eigenschaft des Projekts und keine allgemeine Empfehlung.
SIE: Entwicklungsworkspace, Telemetrie und Lizenz
Die Repository-Wurzel ist ein virtueller Python-Workspace. Der dokumentierte Aufbau basiert auf uv: uv python install 3.12, uv lock --check, uv sync --frozen --all-packages, und pytest läuft mit --frozen --project . --no-sync. Die Paketzugehörigkeit ist in der Wurzel-pyproject.toml explizit; ein Paket kommt nur dann in den Workspace, wenn dieselbe Änderung seinen vollständigen Quellcode hinzufügt. SIE sammelt anonyme Nutzungsdaten (Version, OS, Architektur, GPU-Typ), keine IP-Adressen, Hostnamen oder Anfragedaten; SIE_TELEMETRY_DISABLED=1 oder DO_NOT_TRACK=1 deaktiviert das. Das Projekt steht unter Apache 2.0; der Lizenzauszug gewährt eine dauerhafte, weltweite, nicht exklusive, gebührenfreie Urheberrechtslizenz zum Reproduzieren, Erstellen abgeleiteter Werke, öffentlichen Anzeigen, Aufführen, Unterlizenzieren und Verteilen des Werks. Der Auszug enthält keine Aussagen zu Garantie, Support oder Sicherheit.
Für SIE ist dieser Punkt an der dokumentierten Nutzung zu lesen. Im Repository stehen die konkreten Namen, Befehle und Grenzen im Vordergrund. Ein praktischer Prüfpunkt ist die Kombination aus Projektdateien, Eingaben und beobachteter Ausgabe; fehlende Angaben werden nicht als Zusage ergänzt. Abschnitt 7 beschreibt damit eine Eigenschaft des Projekts und keine allgemeine Empfehlung.
Redaktionelles Fazit
SIE passt zu Teams, die mehrere Modelle in einem Cluster betreiben möchten. Das README veröffentlicht keine unabhängigen Latenz- oder Qualitätswerte. Vor dem Einsatz sollten `/v1/embeddings`, `/v1/chat/completions` und das konkrete Helm-Setup mit eigenen Modellen und Ressourcen geprüft werden.
Community-Notizen