OpenMythos: Claude Mythos アーキテクチャの理論的再構築

Claude Mythos の理論的再構築、OpenMythosでの確認

OpenMythos は、Anthropic の独自コードではなく公開研究に基づいて構築された Claude Mythos モデルの理論的再構築です。README は Anthropic との提携、承認、接続がないことを明示しています。実装はリカレント深層トランスフォーマー（RDT）で、Prelude のトランスフォーマーブロック、max_loop_iters 回まで実行されるループ型 Recurrent Block、Coda の 3 段階で構成されます。アテンションは MLA または GQA を選択でき、フィードフォワードはルーティングされるエキスパートと共有エキスパートを持つスパース混合エキスパートを使用します。プロジェクトは計算適応型で深さ可変の推論を探求するオープンソース実装として位置付けられています。

インストールと注意機構の切り替え、OpenMythosでの確認

インストールは pip で行います: `pip install open-mythos`。オプションで `pip install open-mythos[flash]` を指定すると、CUDA とビルドツールがある場合に GQAttention で Flash Attention 2 が有効になります。使用例では `attn_type="mla"` または `"gqa"` を指定して MythosConfig を構築します。GQA パスでは n_kv_heads を追加し、MLA では kv_lora_rank、q_lora_rank、qk_rope_head_dim、qk_nope_head_dim、v_head_dim を追加します。モデル構築後、スクリプトはパラメータ数を表示し、順伝播を実行し、トークンを生成し、注入行列 A のスペクトル半径をチェックします。README によると、これは 1 未満である必要があります。他のコマンドは記載されていません。

事前設定のスケールと3Bトレーニングスクリプト、OpenMythosでの確認

リポジトリには、mythos_1b、mythos_3b、mythos_10b、mythos_50b、mythos_100b、mythos_500b、mythos_1t の 7 つのスケールの設定ビルダーが含まれています。README の表には、各スケールの dim、エキスパート数、expert_dim、ループ反復回数、コンテキスト長、最大出力が示されています。また、FineWeb-Edu で 3B モデルをトレーニングするためのスクリプトが training/3b_fine_web_edu.py にあります。AdamW、MythosTokenizer を介した openai/gpt-oss-20b トークナイザー、PyTorch DDP、H100/A100 での bfloat16、2000 ステップの線形ウォームアップ後のコサイン減衰を使用します。デフォルトのデータセットは HuggingFaceFW/fineweb-edu sample-10BT で、sample-100BT または default も選択できます。目標は 30B トークンです。

リカレント深層トランスフォーマーの設計、OpenMythosでの確認

アーキテクチャは 3 つの機能ブロックを持つループ型トランスフォーマーです。入力は Prelude を通過し、T 回実行される Recurrent Block を経て、Coda に達します。リカレント更新規則は h_{t+1} = A·h_t + B·e + Transformer(h_t, e) で、e は各ループで注入されるエンコードされた入力です。A と B は学習される注入パラメータです。README はこの注入がドリフトを防ぐと述べています。アテンション層は切り替え可能で、GQAttention はグループ化クエリアテンション（オプションで Flash Attention 2）を実装し、MLAttention は圧縮された KV 潜在状態を持つマルチ潜在アテンションを実装します。RoPE はキャッシュ前に Q と K に適用されます。

ループモデルがMythosに適合するという主張、OpenMythosでの確認

README は、ループ型トランスフォーマーが Mythos を説明できる理由として 4 つの主張を示しています。第一に、系統的一般化は 3 段階のグロッキングプロセスを通じて出現します。第二に、深さ外挿: 5 ホップ推論でトレーニングし 10 ホップでテストする場合、推論時のループ数が増えることで深さが増すため機能します。第三に、潜在思考は暗黙の思考連鎖として機能し、形式的証明が引用されています（Saunshi ら、2025）。第四に、パラメータ効率: k 層のループモデルを L 回実行すると、kL 層モデルに近似しますが、パラメータは k 層分だけです。README はまた、ループが記憶を損なう可能性があると述べ、これは Mythos が推論は得意だが事実の想起が不安定であるという観察に対応しています。

安定性、スケーリング法則、未解決の設計課題、OpenMythosでの確認

ループモデルのトレーニングは不安定で、残差爆発や損失スパイクが発生します。README はループを離散 LTI システムとして捉え、安定性には A のスペクトル半径が 1 未満であることが必要だと述べています。提案された修正は、A を連続的な負の対角行列としてパラメータ化し、離散化することで、構造上 rho(A) < 1 を保証します。これは Parcae アーキテクチャに帰属しています。Parcae はスケーリング法則も提供します: 固定 FLOP 予算では、平均リカレンスを増やしトークン数を減らすと損失が低下します。README は 770M パラメータで、ループモデルが 1.3B の固定深さトランスフォーマーに匹敵すると報告しています。その他の未解決問題には、ループインデックス埋め込み、過剰思考を避ける適応計算時間、MoE による広範性の確保があります。

ドキュメントとライセンスの境界、OpenMythosでの確認

2 つのドキュメントページが挙げられています: docs/open_mythos.md は OpenMythos クラスの API リファレンス、docs/datasets.md は推奨トレーニングデータセットを扱います。ライセンスは MIT で、著作権は 2026 Kye Gomez です。MIT テキストは、使用、コピー、変更、統合、公開、配布、再許諾、販売の権利を許可し、ソフトウェアは保証なしで提供されると述べています。セキュリティ保証、サポート、本番環境への適合性については何も述べられていません。README は PyTorch とオプションの Flash Attention 以外の外部統合を記録していません。

OpenMythosを導入する前の固有チェック

OpenMythosのREADMEは次の範囲を説明しています。# OpenMythos

<p align="left"> <a href="https://pypi.org/project/open-mythos/" target="_blank"> <picture> <source srcset="https://img.shields.io/pypi/v/open-mythos?style=for-the-badge&color=3670A0" media="(prefers-color-scheme: dark)">

</picture> </a> <a href="https://twitter.com/kyegomezb/"> <picture> <source srcset="https://img.shields.io/badge/Twitter-Follow-1DA1F2?style=for-the-badge&logo=twitter&logoColor=white" media="(prefers-color-scheme: dark)">

</pic。この記述を実際の入力と出力に照合します。OpenMythosにREADMEで示されたコマンドやファイルがある場合は、それを使って最小例を実行し、生成物、終了コード、標準エラー、依存関係の版を記録してください。記載のない性能や運用保証は推測せず、未確認として扱います。

編集部の結論

OpenMythos は MIT ライセンスの研究実装で、ループ型トランスフォーマー設計、トレーニングスクリプト、Claude Mythos モデルに関する一連の仮説をまとめています。README は Anthropic の公式リリースではないことを明示しており、ライセンスは保証やサポートを提供しません。 OpenMythosを検討する読者は、READMEに記載された導入手順とサンプルを自分の環境で確認してください。READMEにない性能や運用保証を前提にする用途には向きません。

公式情報源

1. Official documentation
2. Official README
3. Project repository