ERNIE 4.5 と ERNIEKit: 424B MoE モデルと学習ツールキットをどう評価するか
The official repository for ERNIE 4.5 and ERNIEKit – its industrial-grade development toolkit based on PaddlePaddle.
ひと目でわかる
- これは何？
- PaddlePaddle 版 ERNIE 4.5 は 10 種のモデルと ERNIEKit を Apache-2.0 で公開する。モデル本体の選定と、学習・推論スタックを PaddlePaddle に寄せる判断は別問題として読む必要がある。
- 誰に向いている？
- ERNIE 4.5 のモデル群を自前のパイプラインで動かしたい、かつ PaddlePaddle を既に運用しているチームに向く。逆に、Hugging Face Transformers 前提の既存コードをそのまま流用したい場合や、推論だけで済ませたい場合は、モデル重みだけを別スタックで扱うほうが摩擦が少ない。
- 商用利用できる？
- できます。Apache-2.0 は寛容なライセンスで、著作権表示とライセンス表示を残せば、使用・改変・販売が可能です。
- 今もメンテナンスされている？
- されています。最後のコミットは 53 日前です。
- 何の言語で書かれている？
- 主に Python です（GitHub の言語統計による）。
回答はプロジェクトの GitHub データ（最終同期：2026年9月15日）と当サイトの分析に基づくもので、法的助言ではありません。
オープンソース詳細解説
ERNIE 4.5 が埋めようとしている穴はモデル配布ではなく学習工程
このリポジトリの中心はモデルの重み配布ではない。README は ERNIE 4.5 を 10 種類のモデルからなるファミリと説明し、同時に「industrial-grade capabilities」を持つ開発ツールキットをオープンソース化したと書いている。つまり配布物は 2 層ある。1 層目が ERNIE-4.5-300B-A47B や ERNIE-4.5-VL-424B-A47B といったモデル本体、2 層目が ERNIEKit という学習・推論ワークフローの道具立てだ。対象読者は、既成の API を叩くだけでは足りず、自前のデータで SFT や LoRA を回したいチームである。README の Cookbook と Training へのリンク構成を見る限り、モデルをダウンロードして終わりではなく、学習までを一続きの作業として想定している。
heterogeneous modality structure という MoE の設計判断
ERNIE 4.5 のモデル群は Mixture-of-Experts を基本とし、47B と 3B の active parameters を持つ構成と、最大 424B total parameters のモデル、そして 0.3B の dense モデルで構成される。README が挙げる特徴は heterogeneous modality structure で、モダリティ間でパラメータを共有しつつ、各モダリティ専用のパラメータも持たせる。この設計の狙いは README いわく、マルチモーダル理解を高めつつテキストタスクの性能を落とさない、あるいは改善することにある。total と active の差が大きいので、VRAM の見積もりは total parameters ではなく active parameters を基準に考えると足りない。VL 系は入力がテキスト、画像、動画で、コンテキストウィンドウは表の範囲では 128K に統一されている。
ERNIEKit の対応範囲はモデルごとに非対称
リリースノートを追うと、ERNIEKit の機能追加はモデル単位で刻まれている。v1.1 で ERNIE-4.5-VL シリーズの SFT/LoRA に対応し、v1.3 で ERNIE-4.5-21B-A3B-Thinking の SFT と function call 学習、v1.4 で PaddleOCR-VL-0.9B の SFT、v1.5 で ERNIE-4.5-VL-28B-A3B-Thinking の SFT と function call 学習が加わった。ここから読み取れるのは、ERNIEKit は全モデルを均等に扱うツールキットではないという点だ。Thinking 系や VL 系の一部は後から対応が積み上がっている。自分の使いたいモデルがどのバージョンで入ったかを確認せずに手順を探すと、存在しないドキュメントを追いかけることになる。
導入は PaddlePaddle 側の環境構築から始まる
README はインストール手順の本文を持たず、Training は ./docs/erniekit.md、Deploy は PaddlePaddle/FastDeploy への外部リンクという構成になっている。したがって実際のコマンドはこの抜粋からは確定できない。確実に言えるのは、ERNIE 4.5 の全モデルが PaddlePaddle フレームワークで学習されており、高性能推論と配備も同フレームワーク経由で提供されるという前提だ。つまり最初に決めるのは pip install の一行ではなく、PaddlePaddle を既存の学習基盤に同居させるかどうかである。v1.2 ではコマンドラインツールに iluvatar GPU 対応が追加されており、ハードウェア選択肢は NVIDIA 系だけに閉じていない。逆に言えば、対応 GPU の一覧はリリースごとに動くので、調達前に docs/erniekit.md 側で確認する必要がある。
padding-free と WebUI が示す運用上の関心
v1.4 の Dataflow に padding-free strategy が入った。バッチ内のデータを 1 シーケンスに詰めてパディングを避け、GPU メモリ使用量を減らして学習を加速する、とリリースノートは説明する。可変長データを扱う SFT では効いてくる類の最適化だが、詰め方によってはサンプル境界の扱いが変わるため、既存の学習スクリプトをそのまま流すと挙動が変わる可能性がある。v1.2 では WebUI が追加され、ERNIE 28b/424b の VL モデルで学習と対話ができるようになったとある。CLI だけでなくブラウザから触れる導線を用意している点は、学習ジョブを回す人が計算リソースの管理者と同一でない現場を想定していると読める。
向かないケース: 推論だけ、あるいは別スタック前提の現場
このリポジトリは学習ツールキットを売りにしているので、推論だけが目的なら恩恵は薄い。モデルの重みは Hugging Face の baidu 組織と AI Studio で公開されており、配備は FastDeploy 側に切り出されている。既存コードが Hugging Face Transformers を前提に組まれている場合、ERNIEKit を経由せずモデルだけを持ってくる選択肢がある。もう 1 つの制約は規模だ。424B total parameters の VL モデルや 300B クラスの LLM は、単一ノードで気軽に試す対象ではない。0.3B の dense モデルや 21B-A3B、28B-A3B といった active parameters の小さい MoE から入るのが現実的で、README のモデル表はその選別のためにある。
比較対象としての Qwen 系 MoE 公開モデル
同じく Apache-2.0 で MoE の重みと学習ツールを公開する系統として Qwen シリーズがある。アプローチの差は学習フレームワークにある。ERNIE 4.5 は PaddlePaddle を前提とし、ERNIEKit もその上に積まれている。Qwen 系は Transformers とその周辺の学習ライブラリを前提にする流れが主流で、既存の LoRA 学習スクリプトやデータローダを流用しやすい。どちらが優れているかではなく、自社の学習基盤がどちらに寄っているかで選ぶ話だ。PaddlePaddle の運用実績がなければ、ERNIEKit の padding-free や AutoParallel の修正履歴を活かすより、モデル選定の段階でつまずく可能性のほうが高い。
ライセンスと保守コストの見取り図
リポジトリのライセンスは Apache-2.0 で、README も全モデルが Apache 2.0 の下で公開されていると述べている。ただしモデル重みとツールキットで配布元が分かれており、Hugging Face 上の各モデルカードの記載は別途確認する必要がある。保守の観点では、デフォルトブランチが release/v1.5 であり、リリースが 2025-06 の v1.0 から 2025-11 の v1.5 まで約 5 か月で 6 回動いている。修正項目には AutoParallel の pp+recompute+moe や checkpoint 保存、VL の lora 128k 学習といった具体的なバグが並ぶ。更新頻度が高いぶん、特定バージョンに固定して検証し、上げる前に release notes の Bug Fixes を追う運用が要る。
編集部の結論
ERNIE 4.5 のモデル群を自前のパイプラインで動かしたい、かつ PaddlePaddle を既に運用しているチームに向く。逆に、Hugging Face Transformers 前提の既存コードをそのまま流用したい場合や、推論だけで済ませたい場合は、モデル重みだけを別スタックで扱うほうが摩擦が少ない。導入前に確認すべきは 3 点で、対象モデルの active parameters と必要 GPU メモリ、ERNIEKit の release/v1.5 が自分のモデルに対応しているか、そして学習データの形式が query-response 形式かどうかである。ERNIE-4.5-VL-28B-A3B-Thinking の function call 学習は v1.5 で追加された機能なので、それ以前のバージョンを前提にした手順書は読み替えが必要になる。
コミュニティノート