十款大模型做高考数学题：伪装学霸实则靠蒙，腾讯、Kimi、百川是“真不会 ”
出品 | 搜狐科技
作者 | 梁昌均 郑松毅
运营编辑 | 王一晴
6月7日，2024年全国高考拉开大幕。去年高考，搜狐科技&搜狐教育联合测评5款AI大模型挑战高考，今年我们迎来了更大规模的AI赴考大军。
ChatGPT-4o、阿里通义、字节豆包、百度文心一言、腾讯元宝、讯飞星火、智谱清言、月之暗面Kimi、百川百小应、MiniMax海螺AI等10款全新升级的大模型再次应考，参加作文、数学科目的测评。
在今年的高考数学测试中，我们选取了网络流传的新课标I卷的前8道单选题，并以图片的输入形式让大模型应考（其中豆包无图片识别功能，以文档形式输入测试）。
从答题结果显示，这10款大模型在数学题解答能力上差异明显。百度文心一言、字节豆包和讯飞星火均答对5道题，正确率达到63%，并列第一。
讯飞星火发挥保持稳定，其在去年的10道高考数学测试题中答对一半，以50%的正确率排名第一。当时，百度和ChatGPT均以40%的正确率排名并列第二。
阿里通义和智谱清言在此次考试中则均以50%的正确率并列第二，都答对4道题。这也表明，阿里通义的进步较大，去年其一道题也没答对，交了白卷。
ChatGPT-4o则和MiniMax海螺AI的实力相当，都答错5道题，正确率为38%。有意思的是，ChatGPT-4o在升级到目前最先进的大模型后，正确率反而还略低于去年。
腾讯元宝、月之暗面Kimi和百川百小应则排名垫底，三款大模型都只答对两道题，正确率仅有25%，妥妥的学渣。
不过，整体来看，今年没有出现大模型得零蛋的情况，而且平均正确率达到44%，远高于去年的26%，显示大模型整体数学能力有较大提升。
去年高考数学五款大模型评测情况
此外，今年我们还以图片形式测试了这些大模型的多模态能力，ChatGPT-4o、腾讯元宝等都可以直接把题目识别的结果呈现出来，但即便如此其答题能力还是有待加强。
还有大模型考生在一本正经地分析后，结果给的是错误答案，或者是无法给出答案，比如百度文心一言、Kimi、智谱清言等都出现了类似情况。智谱清言在回答最后两道题时则似乎是在蒙题，以“最佳猜测”的由头选出了正确答案，而不像其它答对的题目直接作出选择。讯飞星火虽然正确率很高，但需要多次给出继续作答的提示，才会接着答题。
同时，结合🔎今年的高考作文测试（点击查看测试结果）来看，ChatGPT-4o依旧拔得头筹，腾讯元宝则拿下第二名，看来这两款大模型都是重文轻理的偏科生。综合来看，百度文心一言、字节豆包、智谱清言则可以说是文理兼修。
【附此次测试使用的高考数学题题目】
要想查看大模型考生其它科目表现，可点击下方阅读原文！
原文链接：https://blog.csdn.net/sinat_37574187/article/details/139553453?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522171949575216800225573240%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=171949575216800225573240&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~times_rank-24-139553453-null-null.nonecase&utm_term=2024%E9%AB%98%E8%80%83
