Microsoft社内数万人規模のロールアウト調査、Claude Code/Copilot CLI採用エンジニアはPRマージ数24%増—4ヶ月間効果持続
手法
Microsoft Researchの研究者3名(Emerson Murphy-Hill, Jenna Butler, Alexandra Savelieva)が2026年7月1日にarXivで公開した論文「Adoption and Impact of Command-Line AI Coding Agents: A Study of Microsoft's Early 2026 Rollout of Claude Code and GitHub Copilot CLI」。Claude CodeとGitHub Copilot CLIという2つのコマンドラインAIコーディングエージェントの、Microsoft社内での2026年初頭のロールアウトを対象に、数万人規模のエンジニアのデータを分析。初回利用がまず社内の同僚ネットワーク(social networks)を通じて広がったこと、継続利用率がエンジニアのデモグラフィック属性よりも既存のコーディング活動量とより強く相関することを発見。ツール採用者は非採用者に比べて約24%多くPRをマージしており、この効果は4ヶ月間の観測ウィンドウを通じて持続したと報告している。
示唆
組織規模でのAIコーディングエージェント導入において、「誰が試すか/誰が使い続けるか/十分な成果を出すか」を見誤るとロールアウトが高コストなだけで終わるリスクがある、という論旨。継続利用の予測因子はデモグラフィックではなく既存のコーディング活動量、初期伝播は同僚の可視的な利用(peer use)が鍵であり、組織展開時はこの点を戦略の中心に据えるべきという示唆。ただしPRマージ数は成果の代理指標に過ぎず、マージされたPRが生み出す価値そのものとは異なる、と著者自身が留保している点も重要。
成果・金額
数万人規模のエンジニアを対象、採用者は非採用者よりPRマージ数が約24%多い、効果は4ヶ月間の観測ウィンドウで持続、組織規模でのトークン支出は年間数百万ドル規模に達しうる(token spend can run into millions of dollars annually)
引用
Studying tens of thousands of engineers at Microsoft over its early-2026 rollout, we find that first use spread primarily through social networks, retention was associated more with engineers' coding activity than with demographics, and adopters merged roughly 24% more pull requests than they would have otherwise.
出典: arxiv.org