Databricks公式ブログ(2026-07-08公開)がWebFetchで取得できた。記事は自社の実運用中モノレポ(multi-million line codebase、Python/Go/TypeScript/Scala等10言語以上)を対象に、Claude Code / Codex / Pi 等の異なるハーネスと、OpenAI・Anthropic(Opus 4.8, Sonnet 5)・オープンモデル(GLM 5.2等)の組み合わせを評価。実PRから抽出した課題+テストスイートによる自動検証(LLM judge不使用)+手作業レビューで各サンプルを検証、という手法。
示唆
性能に3階層が出現し、GLM 5.2などオープンモデルが上位層でOpus 4.8と同等に到達。トークン単価とタスクあたり実コストは相関せず、同一モデルでもハーネス次第でコストが2倍以上変動(Claude Code/Codex vs Pi の比較で実証)。「単一ツールでは最高性能は出ない、mixが必要」という結論。企業が実際の巨大レガシーコードベースで定量評価した稀少な一次データという着眼は妥当。
"Tasks featured edits against a multi-million line codebase covering many popular languages (Python, Go, Typescript, Scala, etc.)" / "When we ran the same model with the same thinking effort through two different harnesses (Claude Code/Codex vs Pi), we observed that the cost per task differed significantly" / "The Pareto frontier for coding tasks (i.e. best quality for a given cost) includes models from OpenAI, Anthropic, and open source."
Claude Codeの月額$200プランのみで完成(その他の金銭的言及なし)。時間短縮効果は「6年間未完了だったプロジェクトが完成」という定性的言及のみで、具体的な工数(h)比較データは記載なし。
"Imagine onboarding a new employee with zero context on your project and shipping a complete feature minutes later." / "Building high-quality automation was essentially free now compared to prior manual efforts."