SIEのオンデマンド推論とOpenAI互換エンドポイント

エージェントが呼ぶすべてのモデルを1つのOpenAI互換APIで

SIE（Superlinked Inference Engine、Superlinked推論エンジン）はセルフホスト型の推論サーバーで、READMEでは「エージェントのすべてのタスクの背後にあるモデルを1つのAPIで実行する」ものとして説明されています。対象は検索・取得、ドキュメントからMarkdownへの変換、構造化出力、コンテンツ安全性、そしてエージェントループ自体です。その狙いは、タスクごとに別々のモデルサーバーを並べる寄せ集めをやめ、100以上のモデルをオンデマンドで読み込む1つのシステムに置き換えることです。サーバーはOpenAI互換のエンドポイント/v1/embeddings、/v1/chat/completions、/v1/completions、/v1/responsesを公開しており、READMEはOpenAIスタイルのクライアントからの移行がそのまま可能だとしています。

モデルの読み込みと設定の仕組み

モデルカタログにはStella、SPLADE、Qwen3、GLiNER、SigLIPなどがあらかじめ設定されています。READMEは埋め込み・検索モデルがMTEBでベンチマークされていると述べていますが、その結果は公開していません。SIEは複数モデルを同時に提供し、オンデマンド読み込みとLRU退避を使います。あるモデルへの最初の呼び出しで重みがダウンロードされ、進行状況がサーバー端末に表示されます。以降の呼び出しではダウンロードをスキップします。READMEは推論レイテンシがモデル・タスク・ハードウェア・バッチサイズに依存すると明記しており、具体的な数値は示していません。各モデルはpackages/sie_server/models/配下の設定ファイルであり、SDKはモデル参照としてHugging Face IDを受け付けます。

カタログ上の5つのタスク群

READMEは提供モデルを5つのタスクに分類しています。検索はbge-m3、splade-v3、colbertv2、qwen3-rerankerで埋め込み・マッチング・再ランキングを行います。ドキュメントからMarkdownへの変換はlightonocr、glm-ocr、mineru、paddleocr-vl、doclingを使ってPDF、Officeファイル、スキャンをクリーンなMarkdownにします。構造化出力はgliner2、nuner-zero、qwen3.6-27bでスキーマに適合したJSONを生成します。コンテンツ安全性はgranite-guardian-2bで、呼び出し側が閾値を設定できる確率付きの安全判定を返します。エージェントループのタスクはqwen3.6-27bでステップを計画しツールを呼び出し、ストリーミングにも対応します。

サーバーの起動と最初のcurl呼び出し

クイックスタートには2つの経路があります。macOS Apple SiliconまたはLinuxでのネイティブインストールにはPython 3.12が必要で、pip install "sie-server[local]"を実行してからsie-server serveを起動します。Dockerでは依存関係が衝突するモデル群を分離するため、バンドルごとに別のイメージが用意されています。NVIDIA GPU用がlatest-cuda12-default、LightOnOCRまたはGLM-OCRを使う場合はlatest-cuda12-transformers5、CPU用がlatest-cpu-default、GPUでのテキスト生成用がlatest-cuda12-sglangです。curlで/readyzにアクセスするとokが返り、最初の埋め込み呼び出しはモデルIDと入力テキストを付けた/v1/embeddingsへの単純なcurl POSTで、応答には埋め込みベクトルが含まれます。

PythonとTypeScriptのSDK、そして連携

ドキュメント化されているSDKは2つです。Python向けsie-sdkとTypeScript向け@superlinked/sie-sdkで、後者はnpm、pnpm、yarnのいずれでもインストールできます。READMEのPython例ではlocalhost:8080を指すSIEClientを作成し、4つの操作を示しています。client.encodeは埋め込み生成、client.scoreはクエリに対する候補アイテムの再ランキング、client.extractはラベルとスパンを使ったエンティティ抽出、client.generateはmax_new_tokensやtemperatureなどのパラメータを使ったテキスト生成です。統合先としてLangChain、LlamaIndex、Haystack、DSPy、CrewAI、Chroma、Qdrant、Weaviate、LanceDBが挙げられ、セットアップガイドへのリンクがあります。またMCPクライアントからドキュメント処理をオフロードするMCPエッジパッケージもあります。

本番クラスターとデプロイ

READMEは、同じコードが本番クラスターでも動作し、ロードバランシングゲートウェイ、ゼロスケーリング対応のKEDAオートスケーリング、Grafanaダッシュボード、GKE・EKS・AKS向けTerraformモジュールというフルスタックが同梱されると述べています。デプロイはHelmチャートoci://ghcr.io/superlinked/charts/sie-cluster経由で行い、クラウドごとにvaluesオーバーレイ（values-gke.yaml、values-aws.yaml、values-aks.yaml）を選びます。例示されたコマンドは再現可能なインストールのためチャートバージョンを固定し、sie名前空間を作成し、hfToken.createにHugging Faceトークン値を設定します。設定の詳細はREADMEがリンクするデプロイガイドに委ねられています。

開発ワークスペース、テレメトリー、ライセンス

リポジトリのルートは仮想Pythonワークスペースです。ドキュメント化されたセットアップはuvベースで、uv python install 3.12、uv lock --check、uv sync --frozen --all-packagesを実行し、--frozen --project . --no-syncでpytestを走らせます。パッケージの所属はルートのpyproject.tomlに明示されており、完全なソースと同時に変更されない限りパッケージはワークスペースに加わりません。SIEは匿名の利用データ（バージョン、OS、アーキテクチャ、GPUタイプ）を収集しますが、IPアドレス、ホスト名、リクエストデータは収集せず、SIE_TELEMETRY_DISABLED=1またはDO_NOT_TRACK=1で無効化できます。プロジェクトはApache 2.0で、ライセンスの抜粋は複製、派生作品の作成、公開表示、上演、再許諾、配布を行う永続的・全世界的・非独占的・ロイヤルティフリーの著作権ライセンスを付与します。抜粋には保証、サポート、セキュリティに関する条項は記載されていません。

編集部の結論

READMEは、オンデマンドのモデル読み込み、5つのタスク群、Python/TypeScript SDK、Helmベースの本番スタックを備えた単一クラスターの推論サーバーを記録しています。ベンチマーク結果、レイテンシ数値、サポートやセキュリティの約束は公開されておらず、それらの主張はリポジトリ自体では未検証です。

公式情報源

1. Official documentation
2. Official README
3. Project repository
4. Release notes