AutoRound は 2〜4 ビット量子化を複数ランタイムへつなぐ
Intel AutoRound は、AI 導入の精度を維持しながら推論コストを削減する、量子化ワークフロー用のモデル最適化ツールキットです。
ひと目でわかる
- これは何？
- LLM と VLM を対象にする AutoRound の符号勾配降下法、量子化スキーム、ハードウェア、vLLM などとの接続を整理します。
- 誰に向いている？
- モデル形式と推論ランタイムの組み合わせを試す。AutoRound は量子化ツールキットであり、README には符号勾配降下法による 2〜4 ビットの重み量子化、CPU・CUDA・XPU・Gaudi ハードウェアのサポート、複数のエクスポート形式、vLLM・SGLang・Transformers との統合が記載されている。
- 商用利用できる？
- できます。Apache-2.0 は寛容なライセンスで、著作権表示とライセンス表示を残せば、使用・改変・販売が可能です。
- 今もメンテナンスされている？
- されています。最後のコミットは 1 日前です。
- 何の言語で書かれている？
- 主に Python です（GitHub の言語統計による）。
回答はプロジェクトの GitHub データ（最終同期：2026年9月14日）と当サイトの分析に基づくもので、法的助言ではありません。
オープンソース詳細解説
intel-auto-round: 2〜4 ビットの重みを対象とする符号勾配降下法
AutoRound は、大規模言語モデル（LLM）と視覚言語モデル（VLM）向けの Python 量子化ツールキットである。README は中核アルゴリズムを符号勾配降下法と説明しており、モデルを再学習するのではなく、量子化の過程で重みの丸め方を調整する。対象範囲は重みあたり 2〜4 ビットとされ、最小限のチューニングで高い精度に到達できると主張している。手法の根拠となる論文は 2 本、2023 年 9 月の SignRoundV1 と 2025 年 12 月の SignRoundV2 で、いずれも README からリンクされている。このリポジトリは VLM も対象とするが、README によると既定ではテキストモジュールのみが量子化され、quant_nontext_module というフラグでモデル全体を量子化する機能は実験的でサポートが限られている。
intel-auto-round: 変更履歴が示す最近の開発動向
README には日付付きの更新リストが保持されており、プロジェクトの進展を知る主な情報源となっている。2026 年 7 月、量子化を高速化するため torch.compile が Windows 以外で既定で有効になり、コンパイラの最適化によるわずかな数値差が生じることと、無効化するフラグが説明されている。2026 年 6 月には、AutoScheme 混合精度生成器が GGUF の精度向上のために改良され、追加のチューニングコストがかかるとされる。同じ月に vLLM-Omni 統合も追加された。2026 年 5 月にはモデルフリー量子化が追加され、auto-round-rtn レシピの既定経路となった。2026 年 3 月にはブロック単位 FP8 が追加され、rtn モードが推奨されている。また pull request により MTP 層量子化が追加された。これらの項目にリリース版番号はなく、日付とリンクされた pull request が README が提供する唯一の時系列である。
intel-auto-round: 対応ハードウェアとインストール手順
README は CPU（Xeon）、CUDA GPU、Intel XPU、HPU Gaudi をサポート対象として挙げている。CPU と CUDA では pip install auto-round でインストールし、ナイトリービルドは auto-round-nightly として提供される。HPU は Gaudi Docker コンテナ内で pip install auto-round-hpu を実行する。XPU では、まず XPU インデックスから torch をインストールし、次に pip install auto-round を実行する。ソースからのビルドも同じ 3 経路が記載されており、CPU/CUDA は pip install .、HPU は python setup.py install hpu、XPU は torch インストール後に pip install . を実行する。README は必要な Python バージョンや torch バージョンを明記しておらず、この点は別途確認が必要である。
intel-auto-round: コマンドラインまたは Python API によるモデル量子化
コマンドラインのエントリポイントは auto-round で、全引数の一覧は auto-round -h で確認できる。記載されている最小の例は auto-round --model Qwen/Qwen3-0.6B --scheme W4A16 --format auto_round --output_dir ./tmp_autoround である。他に 3 つのレシピがある。auto-round-best は精度重視で実行時間は約 3 倍、auto-round-light は 2〜3 倍高速で W4 では精度がやや落ち W2 では大きく落ちる。auto-round-opt-rtn は最適化された最近傍丸めのベースラインである。README は W4A16 には auto-round を、W2A16 には enable_alg_ext を付けた auto-round-best を推奨している。Python API も同様で、AutoRound(model_name_or_path, scheme="W4A16") をインスタンス化し、quantize_and_save(output_dir, format="auto_round") を呼び出す。文書化されたハイパーパラメータには iters、lr、batch_size、group_size、sym、nsamples、seqlen、device_map があり、較正データセットは既定で NeelNanda/pile-10k、128 サンプル、シーケンス長 2048 である。
intel-auto-round: 対応スキームとエクスポート形式
README のスキーム表はエクスポート形式ごとに整理されている。ネイティブの auto_round 形式では、W2A16 から W8A16 までのスキームに加え、MXFP4、MXFP8、NVFP4、FP8_STATIC、BF16 が記載されている。他のエクスポート形式は auto_awq、auto_gptq、llm_compressor、gguf で、それぞれ独自のスキームリストを持つ。gguf の行だけでも Q2_K_S から Q8_0 までの 14 スキームが並ぶ。表ではカーネルがない場合や参照実装しかない場合にグレーで示され、README は MXFP4 と NVFP4 には実カーネルがなく、この 2 つは llm_compressor へのエクスポートを推奨すると述べている。fake 形式は研究用に全スキームを対象として予約されている。表自体に精度の数値はなく、README は Hugging Face のリーダーボードと別の精度ドキュメントを参照先として示しているため、表だけでは精度の比較は確定しない。
intel-auto-round: ランタイム統合とライセンスの範囲
推論の例は 3 つのランタイムを扱う。vLLM は標準の LLM クラスで量子化モデルを読み込み、例として Intel/DeepSeek-R1-0528-Qwen3-8B-int4-AutoRound というモデル名が使われている。SGLang は同じモデル名を sgl.Engine に渡し、README は MoE モデルと視覚言語モデルのサポートが限定的だと注意を促している。Transformers は CPU、Intel GPU、Gaudi、CUDA に対応し、推論中に量子化モデルを別のデバイスへ手動で移動しないよう警告している。このプロジェクトは Apache-2.0 ライセンスで提供され、永続的・世界的・非独占的・無償の著作権ライセンスと対応する特許ライセンスを付与し、ライセンス条件に従った再配布を認める。提供されたライセンス抜粋はサポート、保証、セキュリティについて何も述べておらず、README にもこれらの点に関する主張はない。
モデル形式と推論ランタイムの組み合わせを試す。README に記載された機能をこのプロジェクトの構成に即して確認し、実行時の入力、生成物、ログを記事対象のリポジトリ内で照合してから利用範囲を決めます。
AutoRound の出力を評価するには、ビット幅、量子化方式、エクスポート形式、推論ランタイムを一組として扱います。README の最小例は Qwen/Qwen3-0.6B を W4A16 と auto_round 形式で出力する CLI で、Python API には iters、lr、batch_size、group_size、sym、nsamples、seqlen、device_map があります。既定の較正データは NeelNanda/pile-10k、サンプル数 128、系列長 2048 とされています。W2A16 では auto-round-best と enable_alg_ext の組み合わせが案内されますが、精度と時間のトレードオフを自分のモデルで測る必要があります。MXFP4 と NVFP4 は実カーネルがないため llm_compressor への出力が推奨され、SGLang の MoE と VLM は限定的サポートです。torch.compile は RAM 約 10G の追加と数値差が起こり得るため、無効化経路も比較します。Transformers では量子化モデルを推論中に別デバイスへ動かさないという注意をテスト条件に含めます。
比較条件は、同じモデル、同じ較正データ、同じシーケンス長でそろえます。auto_round、auto_round-best、auto_round-light、auto_round-opt-rtn は処理時間と出力の性質が異なるため、生成時間だけで優劣を決めません。W4A16 と W2A16 の perplexity やタスク結果を測り、auto_round 形式から GGUF や llm_compressor へ変換した時の読み込み可否を確認します。vLLM、SGLang、Transformers では同じ量子化モデルをそのまま受け取れるとは限らず、特に SGLang の MoE と VLM の制限を記録します。
編集部の結論
モデル形式と推論ランタイムの組み合わせを試す。AutoRound は量子化ツールキットであり、README には符号勾配降下法による 2〜4 ビットの重み量子化、CPU・CUDA・XPU・Gaudi ハードウェアのサポート、複数のエクスポート形式、vLLM・SGLang・Transformers との統合が記載されている。README の変更履歴がプロジェクトの進化を把握する主な手がかりであり、バージョン番号は記載されていない。Apache-2.0 ライセンスは使用・変更・再配布の権利を付与するが、サポートや保証については触れていない。
コミュニティノート