Text Embeddings Inference を採用する前に確認したいこと
A blazing fast inference solution for text embeddings models
ひと目でわかる
- これは何？
- Hugging Face が公開している Rust 製の埋め込み推論サーバー TEI について、対応モデルの範囲、トークン単位の動的バッチ処理、Docker での起動方法、そして向かないケースまでを README とリリース情報から読み解く。
- 誰に向いている？
- TEI を採用すべきなのは、BERT 系や XLM-RoBERTa 系、Qwen3 系といった対応表に載っているモデルを自前の GPU 上で大量にさばきたいチームである。逆に、埋め込みモデルを頻繁に差し替えて試す段階のプロジェクトや、モデル側の独自プーリング実装に依存している場合は、TEI の対応範囲に縛られるため sentence-transformers をそのまま使うほうが早い。
- 商用利用できる？
- できます。Apache-2.0 は寛容なライセンスで、著作権表示とライセンス表示を残せば、使用・改変・販売が可能です。
- 今もメンテナンスされている？
- されています。最後のコミットは 1 日前です。
- 何の言語で書かれている？
- 主に Rust です（GitHub の言語統計による）。
回答はプロジェクトの GitHub データ（最終同期：2026年9月15日）と当サイトの分析に基づくもので、法的助言ではありません。
オープンソース詳細解説
TEI が埋めるのは「モデルは決まったがサーバーがない」という隙間
埋め込みモデルを使った検索や推薦を作るとき、多くのチームは sentence-transformers でプロトタイプを書き、そのあとで本番用のサーバーをどうするかで止まる。Python プロセスにモデルを載せて FastAPI で包む方法は動くが、リクエストごとにトークナイズしてフォワードパスを回す素朴な実装では GPU が遊ぶ。TEI はこの隙間を埋めるために作られたサーバーで、README は「open source text embeddings and sequence classification models をデプロイして提供するためのツールキット」と位置づけている。対象読者は、モデルの選定は終わっていて、あとは推論のスループットとレイテンシを実運用の水準に持っていきたい人である。モデルを探している段階の人や、ファインチューニングの実験を回している人に向けた道具ではない。
対応モデルは広いが無制限ではない
README の対応表はかなり具体的で、BERT、CamemBERT、XLM-RoBERTa、MPNet、ModernBERT、NomicBERT、JinaBERT、Alibaba GTE、Qwen2、Qwen3、Gemma3、Mistral が並ぶ。位置エンコーディングの違いも明記されていて、BERT 系は absolute positions、JinaBERT は Alibi、Mistral や Qwen2 は Rope と分類されている。ここで読み取るべきは、対応の有無がモデル名ではなくアーキテクチャと位置エンコーディングの組み合わせで決まるという点だ。表には MTEB のランクとモデルサイズも併記され、Qwen3-Embedding-8B のような 7.57B 級は Very Expensive と注記されている。逆に言えば、この表に載っていないアーキテクチャのモデルは動かない可能性が高く、独自にプーリング層を差し替えたモデルを持ち込む用途は想定されていない。
トークン単位の動的バッチ処理が効く理由
TEI の性能上の中心は token based dynamic batching である。リクエストを固定のバッチサイズでまとめるのではなく、トークン数の合計が上限に収まるようにリクエストを詰め込む。短文と長文が混在する検索のクエリログでは、固定バッチだと長文 1 件で枠が埋まり、残りが待たされる。トークン基準なら短いリクエストを多数詰められる。README はこのほかに Flash Attention、Candle、cuBLASLt を使った推論コードの最適化、Safetensors と ONNX の重み読み込み、モデルグラフのコンパイル手順が不要である点を挙げている。コンパイル工程がないことは、起動時間の短さに直結する。README は small docker images and fast boot times と表現し、サーバーレス的な使い方を想定している。
起動は Docker イメージと 1 つの環境変数から
README の Get Started は Docker を最初の経路に置いている。モデルは MODEL_ID で指定し、イメージは CPU 用と GPU 用が分かれている。たとえば BAAI/bge-base-en-v1.5 を GPU で動かす場合、ghcr.io/huggingface/text-embeddings-inference のタグを選び、-p 8080:80 でポートを開け、-v $volume:/data でモデルのキャッシュを永続化し、--model-id $model を渡す形になる。Apple Silicon では Homebrew 経由のローカルインストールが案内されており、Metal 上で動かせる。gated モデルを使う場合は HUGGING_FACE_HUB_TOKEN を渡す。ネットワークが外部に出られない環境向けに air gapped deployment の節があり、事前にモデルを取得してイメージに焼き込む手順が示されている。API は Swagger で公開され、gRPC と OpenTelemetry による分散トレーシング、Prometheus メトリクスにも触れられている。
埋め込み以外も同じサーバーで扱う設計
TEI は埋め込み専用ではない。README には re-ranker モデル、sequence classification モデル、SPLADE pooling の節が並ぶ。検索の二段階構成、つまり一次検索で候補を絞り、re-ranker で並べ替える構成を、同じランタイムと同じ運用面で組めるということだ。これは運用上それなりに効く。埋め込みサーバーと re-ranker サーバーで別々のランタイム、別々のメトリクス形式、別々のデプロイ手順を持つ必要がなくなる。ただし sequence classification と re-ranking の対応は埋め込みより狭く、README の表では CamemBERT と XLM-RoBERTa の absolute positions のみとされている。埋め込み側で ModernBERT や Qwen3 を使いながら、re-ranker は別系統のモデルを選ぶ、という非対称な構成になりやすい点は把握しておきたい。
向かないケースと、代わりに選ぶなら
TEI が向かないのは、モデルを週単位で入れ替えながら精度を測っている段階である。対応表にないアーキテクチャを試すたびに、そのモデルは TEI では動かない。この段階では sentence-transformers のほうが素直で、任意のモデルを Python から読み込み、プーリングの実装も自分で差し替えられる。比較の軸は速度ではなく自由度だ。TEI はアーキテクチャごとに推論経路を Rust で書き分けているため、対応表に載るモデルでは速いが、載らないモデルでは選択肢にならない。もうひとつの限界は、README が性能を語る根拠が A10 上の bge-base-en-v1.5、系列長 512 トークンという特定条件のグラフに限られていることだ。手元のモデルと系列長で同じ傾向が出るかは、この資料からは判断できない。自前のデータで測る以外に確かめる方法はない。
ライセンスと更新コストの見取り図
ライセンスは Apache-2.0 で、リポジトリは archived ではない。直近のリリースは v1.9.3 が 2026-03-23、v1.9.2 が 2026-02-25、v1.9.1 が 2026-02-17 で、1 か月ほどの間隔でパッチが出ている。この刻みは、モデル側の新アーキテクチャへの追随とバグ修正が継続的に入っていることを示す一方、固定したバージョンで長期運用するならイメージタグをダイジェストで固定する判断が要る。Apache-2.0 は特許許諾を含む寛容なライセンスだが、同梱するモデル重みのライセンスは別問題である。たとえば google/embeddinggemma-300m は README の表で gated と明記されており、モデルごとに条件を確認する必要がある。ここは法的助言ではなく、確認事項の整理として読んでほしい。
編集部の結論
TEI を採用すべきなのは、BERT 系や XLM-RoBERTa 系、Qwen3 系といった対応表に載っているモデルを自前の GPU 上で大量にさばきたいチームである。逆に、埋め込みモデルを頻繁に差し替えて試す段階のプロジェクトや、モデル側の独自プーリング実装に依存している場合は、TEI の対応範囲に縛られるため sentence-transformers をそのまま使うほうが早い。導入前に確認すべきは 3 点で、第一に対象モデルが対応表に載っているか、第二に /embed の応答が期待する次元数と正規化の状態で返るか、第三に Apache-2.0 の範囲で自社の再配布形態が収まるかである。
コミュニティノート