科技

AI在线求鼓励这些人一句话让GPT-3算术准确率提升61

机器之心报道

 

编辑:张倩、小舟

GPT-3 对一些问题的回答令跌眼镜,但它可能只是想要一句「鼓励」。

「一个玩杂耍的人总共有 16 个球,其中一半是高尔夫球,高尔夫球中又有一半是蓝色的球,请问蓝球总共有多少个?」

对于一个小学生来说,这是一道再简单不过的数学题。但看似无所不能的 GPT-3 却被这道题难住了。

如果你输入这个问题之后,直接向 GPT-3 发问:「问题的答案(阿拉伯数字)是:__?」它会「不假思索」地给出一个错误答案:8。

论文链接:https://arxiv.org/pdf/2205.11916.pdf

佐治亚理工学院 ML 博士 Aran Komatsuzaki 开玩笑说,这说明了「『Let’s think step by step』is all you need」。

该研究还将 Zero-shot-CoT 方法与其他基线进行了比较,在两个算术推理基准(MultiArith 和 GSM8K)上的结果如下表 2 所示。标准 prompting(第一部分)和 thought prompting(第二部分)之间的巨大差距表明,如果不使用多步骤推理,这些任务是非常困难的。

参考链接:

[1] https://zhuanlan.zhihu.com/p/399295895?utm_source=wechat_sessionutm_medium=socialutm_oi=56560353017856utm_campaign=shareopn