十款大模型做高考数学题:伪装学霸实则靠蒙,腾讯、Kimi、百川是“真不会 ” gpt 4o太差劲!!

十款大模型做高考数学题:伪装学霸实则靠蒙,腾讯、Kimi、百川是“真不会 ”

图片

出品 | 搜狐科技

作者 | 梁昌均 郑松毅

运营编辑 | 王一晴

6月7日,2024年全国高考拉开大幕。去年高考,搜狐科技&搜狐教育联合测评5款AI大模型挑战高考,今年我们迎来了更大规模的AI赴考大军。

ChatGPT-4o、阿里通义、字节豆包、百度文心一言、腾讯元宝、讯飞星火、智谱清言、月之暗面Kimi、百川百小应、MiniMax海螺AI等10款全新升级的大模型再次应考,参加作文、数学科目的测评。

在今年的高考数学测试中,我们选取了网络流传的新课标I卷的前8道单选题,并以图片的输入形式让大模型应考(其中豆包无图片识别功能,以文档形式输入测试)。

从答题结果显示,这10款大模型在数学题解答能力上差异明显。百度文心一言、字节豆包和讯飞星火均答对5道题,正确率达到63%,并列第一。

讯飞星火发挥保持稳定,其在去年的10道高考数学测试题中答对一半,以50%的正确率排名第一。当时,百度和ChatGPT均以40%的正确率排名并列第二。

阿里通义和智谱清言在此次考试中则均以50%的正确率并列第二,都答对4道题。这也表明,阿里通义的进步较大,去年其一道题也没答对,交了白卷。

ChatGPT-4o则和MiniMax海螺AI的实力相当,都答错5道题,正确率为38%。有意思的是,ChatGPT-4o在升级到目前最先进的大模型后,正确率反而还略低于去年。

腾讯元宝、月之暗面Kimi和百川百小应则排名垫底,三款大模型都只答对两道题,正确率仅有25%,妥妥的学渣。

不过,整体来看,今年没有出现大模型得零蛋的情况,而且平均正确率达到44%,远高于去年的26%,显示大模型整体数学能力有较大提升。

图片

去年高考数学五款大模型评测情况

此外,今年我们还以图片形式测试了这些大模型的多模态能力,ChatGPT-4o、腾讯元宝等都可以直接把题目识别的结果呈现出来,但即便如此其答题能力还是有待加强。

还有大模型考生在一本正经地分析后,结果给的是错误答案,或者是无法给出答案,比如百度文心一言、Kimi、智谱清言等都出现了类似情况。智谱清言在回答最后两道题时则似乎是在蒙题,以“最佳猜测”的由头选出了正确答案,而不像其它答对的题目直接作出选择。讯飞星火虽然正确率很高,但需要多次给出继续作答的提示,才会接着答题。

同时,结合🔎今年的高考作文测试(点击查看测试结果)来看,ChatGPT-4o依旧拔得头筹,腾讯元宝则拿下第二名,看来这两款大模型都是重文轻理的偏科生。综合来看,百度文心一言、字节豆包、智谱清言则可以说是文理兼修。

图片

【附此次测试使用的高考数学题题目】

图片

要想查看大模型考生其它科目表现,可点击下方阅读原文!

原文链接:https://blog.csdn.net/sinat_37574187/article/details/139553453?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522171949575216800225573240%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=171949575216800225573240&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~times_rank-24-139553453-null-null.nonecase&utm_term=2024%E9%AB%98%E8%80%83

© 版权声明
THE END
喜欢就支持一下吧
点赞7 分享