SkillOpt-Sleep: LLMエージェントのSkillsを夜間に統合する実験

SkillOpt-Sleep：プレビュー版のコンパニオン

README はまず SkillOpt-Sleep を紹介する。これはプレビュー段階にあるデプロイ時コンパニオンで、SkillOpt の検証ゲート付き編集規律をユーザー自身の日常利用に適用する。リポジトリ本体である microsoft/SkillOpt は、メタデータでは「テキスト空間オプティマイザ」と説明され、軌跡駆動の編集、検証ゲート付き更新、デプロイ可能な best_skill.md アーティファクトを通じて、凍結された LLM エージェント向けの再利用可能な自然言語スキルを訓練する。SkillOpt-Sleep は重みトレーニングを必要とせず、通常のエージェントリクエストに追加の最適化ループを加えない。エンジンは最上位の skillopt_sleep/ パッケージにあり、論文の skillopt/ コードとはゼロ依存で、検証ゲートはベンダリングされている。README は早期プレビューであり、インターフェースとデフォルトが変更される可能性があると警告している。

睡眠サイクルの一夜

1 回の夜間実行はパイプラインを回す。Claude Code、Codex、VS Code Copilot、Cursor、Pi からトランスクリプトを収集し、反復タスクをマイニングし、設定したバックエンドで再生し、リフレクションと有界編集で統合し、実際のホールドアウトタスクで検証ゲートを実行し、提案をユーザーが採用できるようステージングする。この設計は、SkillOpt の検証ゲート付き有界テキスト編集、Claude Dreams のオフライン統合とレビュー後の採用ステップ、そして短期経験を長期能力に変える agent-sleep の考え方を合成している。dry-run は収集、マイニング、再生のみを行い、何もステージングしない。mock と handoff バックエンドはネットワーク呼び出しを行わない。

データ境界と証拠ログ

収集はローカルで読み取り専用である。mock バックエンドはプロバイダー呼び出しを行わず、handoff バックエンドもネットワークを避ける。実バックエンドは、収集したセッションと派生タスクの切り詰められた抜粋を、マイニング、再生、判定、リフレクションのために選択したプロバイダーに送信し、送信プロンプトが秘密情報を含まないことは現在保証されていない。Cursor ソースはローカルのユーザーおよびアシスタントメッセージテキスト、明示的なターンエラー、ツール名を読み取るが、ツール引数、ツール出力、非メッセージレコードは除外する。既知の秘密形状の文字列は多層防御として編集される。VS Code Copilot ソースはユーザーが入力したプロンプト、可視のアシスタント Markdown、ツール名を読み取り、システム通知、推論、ツール入出力、アカウントメタデータを除外する。Pi ソースはユーザーとアシスタントのテキスト、ツール名、語彙フィードバックを保持し、思考、ツール引数、ツール出力、画像、無関係なメタデータを除外する。ステートフルな夜間実行は、"evidence_log": false が設定されない限り、プロンプトと応答のベストエフォート編集済みコピーを含むローカルの evidence.jsonl を書き込む。

CLI のインストールと実行

最も速い経路は pip である。pip install skillopt でエンジンと skillopt-sleep コマンドがインストールされる。CLI は dry-run、run、status、adopt、schedule のサブコマンドを提供し、run はレビュー用に提案をステージングする完全な夜間サイクル、schedule はプロジェクトに夜間 cron エントリをインストールする。README によると、PyPI 0.2.0 はこれらの基本コマンドを提供し、Cursor ソースおよびバックエンドサポート、VS Code Copilot トランスクリプト収集、Pi サポート、Sleep handoff、非 Azure の OpenAI 互換エンドポイント、--preferences フラグは後から追加されたもので、次のリリースまで main ブランチからのソースインストールが必要である。

1 つのエンジンを囲む薄いエージェント別シェル

Claude Code、Codex、Cursor、Copilot、Devin は plugins/ 配下の薄いエージェント別シェルで共有エンジンをラップし、OpenClaw は独自のセットアップを持つ別のリファレンス適応である。Claude Code はプラグインマーケットプレイスコマンドを使い、Codex は skillopt-sleep スキルを公開するインストールスクリプトを使い、Cursor はインストールスクリプトとスラッシュコマンドを使い、Copilot と Devin はそれぞれ MCP サーバーを登録する。Cursor バックエンドはインストール済みで認証済みの cursor-agent を必要とし、--cursor-path、環境変数、または設定キーで選択する。通常の Cursor 呼び出しはプロジェクトファイルを検査できないため、エンドツーエンドのリポジトリワークフローではなくテキストガイダンスを評価する。Cursor のツール対応再生は、権限境界の検証が完了するまで一時的に無効になっている。VS Code Copilot ソースは stable と Insiders の workspaceStorage ルートを自動検出し、上書きフラグも提供する。Pi ソースとバックエンドは独立しており、Pi が暗黙的に選択されることはない。

オプトインの統合ノブ

2 つの統合メカニズムはデフォルトでオフであり、README によると、有効にしない限り動作は変わらない。dream_rollouts はデフォルト 1 で、各タスクを K 回実行し、良い実行と悪い実行の対比から学習する。recall_k はデフォルト 0 で、永続化されたアーカイブから最も類似した過去のタスクを K 個、今夜の夢に引き込む。dream_factor はデフォルト 0 で、各タスクに N 個の軽量な合成バリアントを追加する。検証ゲートが何を出荷するかを引き続き支配するため、これらのノブはタスクに明確な正しさのシグナルがある場合にのみ夜間更新を強化する。

測定結果と明記された限界

README が報告する統制実験のレシピは、出荷版 CLI のデフォルトではない。5 夜、毎晩 10 個の新しい実タスク、夜 1 の前と夜 5 の後にスコアリングされる完全なホールドアウトテスト分割、オプティマイザは GPT-5.5、シードは 1 つである。gbrain-evals skillopt-v1 では、欠陥のあるシードスキルが Claude Code と Codex の両方でホールドアウトセットのスコアを 0.00 から 1.00 に変える。SearchQA では、1,400 項目のホールドアウトで完全一致スコアリング、recall_k=20 で +4.5 ポイント、ゲインは想起される関連過去経験の量に応じて単調に増加する。SpreadsheetBench では、280 項目のホールドアウトで +3.6 ポイント。README は、これらのゲインはタスクが反復的で検証可能な正しさのシグナルがある場合にのみ成立すると明言しており、飽和またはノイズの多いベンチマークでは効果は実行間ノイズの範囲内でフラットであり、単一シードのベースライン分散は約 ±1-2 ポイントである。検証ゲートをオンにしておくことを推奨している。

編集部の結論

SkillOpt-Sleepは、複数のSkill定義をまとめ、エージェントのプロンプト資産を定期処理したい研究者向けです。プレビュー実装を本番の自動更新へ直結したいチームには、再現性と失敗時の復元情報が足りません。最初に入力Skillのスナップショットと出力差分を保存し、夜間ジョブ後に対象エージェントの指示順序とツール呼び出しが変わっていないか確認してください。

公式情報源

1. Official documentation
2. Official README
3. Project repository
4. Release notes