Model-Optimizer
量子化、蒸留、枝刈り、ニューラル アーキテクチャ検索、投機的デコードなどの SOTA モデル最適化手法の統合ライブラリ。TensorRT-LLM、TensorRT、vLLM などの下流展開フレームワーク用に深層学習モデルを圧縮して、推論速度を最適化します。
このプロジェクトが解決すること
量子化、蒸留、枝刈り、ニューラル アーキテクチャ検索、投機的デコードなどの SOTA モデル最適化手法の統合ライブラリ。TensorRT-LLM、TensorRT、vLLM などの下流展開フレームワーク用に深層学習モデルを圧縮して、推論速度を最適化します。
このページのプロジェクト情報と編集内容は無料で読めます。元の GitHub リポジトリが最終的な情報源であり、保存や議論への参加時だけログインが必要です。
最適な用途
AI・機械学習、開発ツールを評価するチーム
Python、AI・機械学習、セルフホストを利用する開発者
コミュニティノート