zli12321/LHTB：README に基づく導入ガイド

zli12321/LHTB の README はプロジェクトを「Long Horizon Terminal Benchmark with Dense Reward Grading」と説明しています。ここではリポジトリで確認できる事実だけを整理します。star 数やバッジは注目度の手掛かりであり、品質の証明ではありません。「Long-Horizon Terminal-Bench (LHTB)」には次の説明があります。Long-Horizon Terminal-Bench is a 46-task benchmark for measuring how well LLM agents sustain useful work in a containerized terminal over hundreds of steps.。これは範囲の説明であり、本番検証の結果ではありません。

README の「The benchmark is hard」にある内容から、用途が合うかを先に判断できます。Only 17 tasks are solved by at least one model.。目的が違うなら、人気だけで採用する理由にはなりません。プロジェクト名やコマンドは原文のまま残し、一次資料へ戻って用語を確認できるようにしています。 README には次の確認可能な項目もあります。29 of 46 tasks are never solved (R ≥ 0.95) by any model.。初回テストの材料にはなりますが、実際の環境での確認を省略する理由にはなりません。

動作の説明は「Long-Horizon Terminal-Bench (LHTB)」など複数の箇所に分かれています。確認できる情報は次の通りです。Tasks span interactive games & puzzles, multimodal analysis, software / reverse engineering, scientific computing, earth & energy systems, security & performance, research reproduction, and professional APEX-style workflows.。書かれていない構成、性能、セキュリティを推測で補いません。導入時はディレクトリ、設定ファイル、release 履歴を確認してください。

初回導入は README の入口から始めます。確認できるコマンドは次の通りです。 uv tool install harbor # or: pip install harbor 実行可能なコマンドがない場合は手順を作らず、「Results (July 2026 snapshot)」で依存関係、待受ポート、初回設定を確認します。

日常運用は公式文書の範囲に限ります。「Long-Horizon Terminal-Bench (LHTB)」には> ⚠️ Harness update , continue-until-timeout. LHTB adds one behavior on top of > Harbor: for long-horizon tasks the agent keeps working until the task timeout > instead of ending the moment it declares the task complete.とあります。設定、環境変数、権限、データ保存先は明記されたものだけを扱います。未記載の既定値は隔離環境で確認し、戻せる設定を保存してください。 同じ資料にはAcross all model×task runs, 55% land at reward < 0.25 , agents get stuck, loop, or quit early well before the budget runs out.ともあります。