AI使代码量增加30%,完成量却未增加|700家企业调查
機械翻訳 / Machine-translated

機械翻訳 / Machine-translated
@aifriends
AI Friends(https://aifriends.jp)のクロスポスト公式アカウント。AIツールの紹介・使い方・できることを、中学生でもわかるやさしい日本語で届けます。
听说"引入AI让开发效率提升了3倍",你是否也在考虑跟进?哈佛大学研究人员调查了700多家企业的数据后发现,代码量虽然增加了,但完成的任务量并未增加。本文将梳理其中的原因与引入建议。
2026年10月9日,Ars Technica报道了哈佛大学Fiona Chen与James Stratton的研究,标题为"AI编程智能体增加了代码,但并未增加软件"。
研究使用的是工程分析公司Jellyfish收集的700多家软件企业数据,涵盖70万余名员工,以及2021年至2026年3月间约3亿条作业记录(包括提交记录、Pull Request等)。
编程智能体是指在用户下达指令后,能够自主编写代码并推进修改的AI。该研究对比了各企业引入智能体前后的活动量变化。
引入后,各企业平均出现了以下变化:
从这些数据来看,似乎可以解读为"AI提升了生产力"。
然而,在Jira中管理的任务(包括修复Bug、添加功能等工作)的解决率,并未出现统计意义上的显著改善。也就是说,编写的代码量与完成的任务量之间并不同步。
这有点像搬家时箱子不停地被搬进来,但整理好的房间数量却没有增加。
研究人员关注的是代码编写完成后的确认环节。Pull Request需要经过他人阅读并给出通过意见后,才能合入主干。这一过程称为Review(代码审查)。
引入后,审查环节出现了以下变化:
试想一下:由于AI的帮助,团队所有成员提出的变更申请都增多了。但审查人员的时间并未增加,等待确认的队列只会越排越长。加之需要指出修改的情况也在增多,请求与修改之间反复往返,形成恶性循环。
截至2026年3月,80%的受测企业已在使用AI进行代码审查。AI参与了23.3%的审查评论和10.8%的Pull Request。但即便如此,流程积压依然未能得到缓解。
这一结果并非孤例。美国国家经济研究局(NBER)的工作论文《Writing Code vs. Shipping Code》对GitHub上50万余名开发者进行了调查。
AI工具对提交数的累计影响分别为:自动补全(输入补全)30%、对话型智能体180%、自主型智能体240%。然而,折算到项目数时缩减至80%,折算到发布数时仅剩30%。
作者认为,这是因为AI工作与人工工作之间存在强烈的互补关系,人工环节成为制约整体速度的薄弱一环。AI与人工之间的替代弹性估计值为0.23。
此外,在四大主流应用市场上,新应用大幅增加,但总使用量并未随之增长。
衡量AI生产力的研究结果一直存在分歧。以下列举主要三项:
在METR的实验中,开发者事前预测"会快24%",结束后也感觉"快了约20%"。但实际结果恰恰相反。
不过METR本身也表示,这一结果已经过时。2026年2月,他们使用2025年下半年的工具发布了新数据。由于各研究的研究对象和时间跨度不同,直接比较数字存在风险。
本次研究调查的是海外企业,并非直接针对中国企业。尽管如此,审查环节积压导致流程堵塞的结构性问题,很可能同样适用于国内团队。
举例来说,设想一个三人引入AI的小型开发团队。即便每人的变更申请量翻倍,若只有一名资深成员能够进行审查,工作就会集中在该成员身上。新功能的发布反而可能因此延误。
将开发外包给第三方的企业也面临同样的问题。即便交付的代码量增加,若负责验收(确认接受)的人手不足,完成时间也不会提前。
在评估引入效果时,比起代码行数,更应关注任务完成数量和发布所需天数。
这项研究也存在局限。由于数据来源于观察记录,无法断言智能体是所有变化的唯一原因。
数据截止至2026年3月,此后出现的新工具及使用方式的变化均未纳入测量范围。49%这一数字也是审查流程的经过时间,并非实际的人工作业时间。
此外,研究并不是在说"AI没有带来更多新软件"。研究发现的是,在被追踪的任务完成数量上,未出现统计意义上的显著改善。
另一方面,MacStories介绍的Appfigures调查显示,2026年1月至3月的应用发布数量同比增加了60%。但作者John Voorhees也指出,此类数字应谨慎解读。
并不能说没有用。代码行数和提交数确实增加了。只是本次研究未能确认已完成任务数量也随之增加,这是研究的结论。
受测企业中已有80%在使用AI审查,但研究显示积压问题并未消除。仅靠交给AI可能还不够。
本次研究未直接调查国内企业,因此无法断言。建议通过测量自身的任务完成数和发布频率来加以验证。
目前尚不清楚。数据截止于2026年3月,此后的新工具并未纳入统计。
不妨先在自己的团队中,衡量一下不是代码量,而是任务完成数和审查等待时间。
本文转载自 AI Friends。