AI跃迁的2023，中文大模型进展评估：中文大模型基准测评年度报告.pdf

中文大模型基准测评2023年度报告2023.12.28—AI跃迁的2023，中文大模型进展评估SuperCLUE团队目录01国内大模型关键进展•2023年大模型关键进展与中文大模型全景图•2023年国内大模型发展趋势•中文大模型基准SuperCLUE介绍•测评体系、层次、方法说明•SuperCLUE模型象限•国内外大模型总体表现及竞争格局•大模型对战胜率分布图02测评体系、方法说明03大模型综合测评结果05四大维度测评分析及示例介绍06优秀模型案例介绍•优秀模型案例介绍•行业及专项测评基准04SuperCLUE2.0升级•四大维度测评结果及示例第1部分2023全年国内大模型关键进展5（关键进展）时间准备期成长期爆发期自2022年11月30日ChatGPT发布以来，AI大模型在全球范围内掀起了有史以来规模最大的人工智能浪潮。国内学术和产业界在过去一年也有了实质性的突破。大致可以分为三个阶段，即准备期（ChatGPT发布后国内产学研迅速形成大模型共识）、成长期（国内大模型数量和质量开始逐渐增长）、爆发期（各行各业开源闭源大模型层出不穷，形成百模大战的竞争态势）。故事的起点：ChatGPT发布国内迅速形成大模型共识•百度发布文心一言1.02023大模型关键进展2022.122月6月8月10月2023.124月•OpenAI发布GPT4•复旦开源MOSS•元语开源ChatYuan•清华开源ChatGLM•360发布360智脑1.0•科大讯飞发布星火1.0•阿里云发布通义千问1.0•Meta开源Llama2•百川智能开源Baichuan-7B•OpenAI发布多模态GPT-4V•GPT-4Turbo发布•百度升级文心一言4.0•商汤科技发布商量1.0•阿里云开源Qwen-7B•华为发布盘古3.0•字节跳动公测大模型产品豆包•百川智能开源Baichuan2•vivo发布BlueLM•清华开源ChatGLM3•清华&智谱AI开源ChatGLM2•小米发布大模型MiLM•西湖心辰发布西湖大模型•零一万物开源Yi-34B•文心一言升级V3.5•科大讯飞升级星火3.0•元象科技开源XVERSE-13B•昆仑万维发布天工1.0•云从科技发布从容大模型•出门问问发布序列猴子•上海人工智能实验室开源InternLM-20B•OPPO发布AndesGPT•商汤科技升级商量2.0•商汤科技升级商量3.0•理想汽车发布MindGPT•Google发布多模态大模型Gemini•腾讯发布混元助手•360升级智脑4.0SuperCLUE：AI大模型2023年关键进展•百川智能发布Baichuan2—Turbo2023年值得关注的中文大模型全景图通用大模型字节云雀大模型AndesGPT玉言闭源开源行业大模型岐黄问道医疗MindGPT银河大模型蚂蚁金融大模型轩辕大模型AInno-15BCOSMO-GPTSMoreLrMo妙笔大模型文化/零售/交通百川BaichuanBlueLM云天书孟子部分领域汽车教育金融工业....................................Yi-34B序列猴子过去六个月国内外代表性模型的发展趋势趋势说明国内外大模型发展趋势过去半年，国内领军大模型企业实现了大模型代际追赶的奇迹，从7月份与GPT3.5的20分差距，每个月都有稳定且巨大的提升，到11月份测评时已经完成总分上对GPT3.5的超越。我们可以看到GPT3.5和GPT4在中文上的表现情况基本一致，在11月份测评结果中显示，在中文能力都有一定的下滑，而国内头部模型则展现了继续稳健提升的能力。在12月份的测评结果中可以看到，国内第一梯队模型与GPT4的差距在缩小。但仍有较大的距离需要追赶。说明：趋势展示，选取了7月-12月SuperCLUE-OPEN测评分数。国内代表性模型，选取了文心一言、通义千问、ChatGLM。原因是综合考虑了过去半年SuperCLUE测评结果、长期稳定迭代及对国内大模型生态的贡献；GPT4成绩，由GPT4-API(7-9月)与GPT4-Turbo(10-12月)组成，用以表现国外最好模型发展。模型7月8月9月10月11月12月文心一言50.4854.1853.7261.8173.6275通义千问-41.7333.7843.3661.0171.78ChatGLM42.4638.4954.3158.5363.2769.91部分国内代表性模型SuperCLUE基准得分(7月-12月)第2部分测评体系、方法说明1.SuperCLUE介绍2.测评层级3.测评体系4.测评方法及示例010203SuperCLUE始终秉持中立、客观的第三方测评理念，不会预设立场或偏向特定的模型方。同时，SuperCLUE采用自动化方式的客观评估，大大降低评测过程中的人为评估的不确定性。第三方测评，不与模型厂商竞争中文语言理解测评基准CLUE（TheChineseLanguageUnderstandingEv...