vllm-project

vllm-project

vllm

★ 86,907

LLM 向けの高スループットでメモリ効率の高い推論およびサービス エンジン。

vllm-project

vllm-omni

★ 5,699

オムニモダリティ モデルを使用した効率的なモデル推論のためのフレームワーク。

vllm-project

aibrix

★ 4,982

GenAI 推論用のコスト効率が高く、プラグイン可能なインフラストラクチャ コンポーネント。