ChatGPT编程准确率暴降13%！UIUC&南大新基准让AI代码现原形了

紫旋的家

萧箫 发自 凹非寺
量子位 | 公众号 QbitAI

用ChatGPT写代码，已经是不少法式员的常规操作了。


△“至少提速3~5倍”
但你有没有想过，ChatGPT生成的代码，有不少只是“看起来准确”而已？
来自伊利诺伊大学香槟分校和南京大学的一项最新研究表白：

ChatGPT和GPT-4生成代码的准确率，比之前评估的至少要降低13%！

有网友感慨，太多ML论文都在用一些有问题或有局限性的基准来评估模型，来短暂地达到“SOTA”，成果换个测评方式就现出原形了。



还有网友暗示，这也说明大模型生成的代码仍然需要人工监督，“AI写代码的黄金时间还没到呢”。



所以，论文提出了一种怎样的新测评方式？
给AI代码考题加大难度

这个新方式名叫EvalPlus，是一个自动化代码评估框架。
具体来说，它会通过改良现有评估数据集的输入多样性和问题描述准确性，来将这些评估基准变得更严格。
一方面是输入多样性。EvalPlus会先按照尺度答案，用ChatGPT生成一些种子输入样例（虽然要测ChatGPT的编程能力，但用它生成种子输入似乎也不矛盾doge）
随后，用EvalPlus改良这些种子输入，将它们改得更难、更复杂、更刁钻。
另一方面是问题描述准确性。EvalPlus会将代码需求描述改得更精确，在约束输入条件的同时，补充自然语言问题描述，以提高对模型输出的精确度要求。



这里，论文选择了HUMANEVAL数据集作为示范。
HUMANEVAL是OpenAI和Anthropic AI一起制作的代码数据集，包含164个原创编程题，涉及语言理解、算法、数学和软件面试几种类型的标题问题。
EvalPlus会通过改良这类数据集的输入类型和功能描述，让编程问题看起来更清晰，同时用于测试的输入更“刁钻”或是更困难。
以此中的一道求并集编程题为例，要求AI写一段代码，找出两个数据列表中的共同元素，并给这些元素排序。
EvalPlus用它来测测ChatGPT写的代码准确度。
首先用几个简单输入进行测试，发现ChatGPT能输出正确答案。但如果换个输入，就找出了ChatGPT版代码的bug：



属实是给AI们加大了考题难度。



基于这套方式，EvalPlus还做了一个改良版HUMANEVAL+数据集，增加输入的同时，修正了一些HUMANEVAL里面答案就有问题的编程题。



那么，在这套“新考题”下，大语言模型们的准确率实际上要打几折？
LLM代码准确率平均降低15%

作者们测试了当前斗劲受欢迎的10种代码生成AI。

GPT-4、ChatGPT、CODEGEN、VICUNA、SANTACODER、INCODER、GPT-J、GPT-NEO、PolyCoder、StableLM-α。

从表格中来看，颠末严格测试后，这群AI的生成准确率都有所下降：



这里会通过一种名叫pass@k的方式评估准确率，此中k是允许大模型给问题生成的法式数量，n是用于测试的输入数量，c是正确的输入数量：



按照新的这套评估尺度，大模型们的准确率平均下降了15%，此中斗劲广泛研究的CODEGEN-16B更是下降了超过18%。
至于ChatGPT和GPT-4生成代码的性能，也下降了至少13%。
不外，也有网友暗示，大模型生成的代码效果没那么好，已经是“众所周知的事实”了，需要研究的是“为什么大模型写的代码不能用”。



作者介绍

共同一作Jiawei Liu，伊利诺伊大学香槟分校二年级博士生，研究兴趣是编程系统和深度学习。
共同一作Chunqiu Steven Xia，伊利诺伊大学香槟分校二年级博士生，本科毕业于多伦多大学，研究兴趣是机器学习和软件工程的交叉范围。
王宇峣（Yuyao Wang），南京大学计算机科学大三学生，研究兴趣是计算机系统的准确性、可编程性和性能。
Lingming Zhang，伊利诺伊大学香槟分校副传授，研究标的目的是软件工程及其与机器学习、编程语言和形式化方式（Formal Methods）的协同感化。
论文地址：
https://arxiv.org/abs/2305.01210
代码地址：
https://github.com/evalplus/evalplus
—完—
@量子位 · 追踪AI技术和产物新动态
深有感到的伴侣，欢迎附和、存眷、分享三连վ'ᴗ' ի ❤

开心果_静静

只有用双盲测验跟不同经验值的活人程序员对比，这些数据才有价值

轻轻小河

测 AI 生成代码没有 GitHub Copilot [捂脸]