2023 AI 大语言模型 TOP10 焦点热闻
今年春节档，一部《流浪地球 2》点燃了沉寂许久的中国科幻电影市场，也让 MOSS 这一电影里冷酷无情的强人工智能形象变得深入人心。
无独有偶，几乎是相同时期，ChatGPT 凭借极其出色的文本生成和对话交互能力在世界范围内迅速走红，短短两个月月活用户已经破亿，刷新了消费级应用程序用户增长的速度纪录。
(相关资料图)
从某种角度看，ChatGPT 之所以能够引发现象级的社会现象，除了海量数据训练引发的质变因素外，更重要的是在一个恰当的时机，满足了人们长期以来对人工智能的想象，过往科幻作品中的猜想开始逐渐变为现实。
时代变革的大幕已掀开一角，一场由 OpenAI 引领的全球 AI 大语言模型军备竞赛就此打响。
雨后春笋
3 月 14 日，GPT-4 正式发布，大语言模型开始具备图片和文字同时处理的多模态能力，继续占据先入为主的优势。
全球大厂中，率先回应的是百度。3 月 16 日，百度大语言模型 " 文心一言 " 正式推出，对外启动邀测。据公开报道，文心一言具备五项核心能力：文学创作、商业文案创作、数理逻辑推算、中文理解和多模态生成。
紧接着，其他科技企业也陆续跟进。4 月 11 日，2023 阿里云峰会现场演示了通义千问的多项功能，并定向邀请企业用户进行体验测试；5 月 10 日，谷歌时隔一年推出了新一代语言大模型 PaLM2，被视为对此前发布会翻车的有力回应。
此外，还有复旦大学在 2 月 21 日发布的 "MOSS"、清华大学 3 月 28 日发布的 "ChatGLM-6B"、360 于 4 月 10 日发布的 "360 智脑 "、商汤科技 4 月 10 日发布的 " 商量 "、5 月 6 日发布的 " 讯飞星火认知大模型 " 等等。
截至 5 月，据不完全统计，国内已有超过 40 家公司、机构发布了大模型产品或公布了大模型计划。项目数量井喷式的爆发，可预见的是，下半年的国内 AI 大模型市场竞争将会变得空前激烈。
不止于 " 大 "
提到大模型，很多人的关注点都会放在 " 大 " 字上，毕竟足够量级的参数是语言模型实现智能涌现、形成质变的基础。比如，不少大语言模型的参数量级达千亿级，这也就意味着较为丰富的语言知识与较广泛的语境理解能力。
不过，目前类 GPT 模型普遍采用的是 Transformer 架构，所以必然包含市面上存在的大量文本数据例如小说、教科书、论坛、开源代码等内容的无监督预训练过程，在此基础上，仅需根据具体任务输入少量的标签数据进行监督学习。在这样的模式下，训练数据集质量的重要性开始愈发凸显。
本次评测的结果就可以印证这一点。评测主要考察各大语言模型在中文语境下的理解与生成能力，基于目前用户对大语言模型在生活、办公的普遍需求，选取语义理解、逻辑推理、情感分析、百科知识、文本质量五个通用底层维度，以评估各大语言模型协助用户日常处理事务、解决核心问题的能力，取 0（无效应答）、1（有效应答）两个分数，其中文本质量维度按照行文逻辑、信息密度，取 0（一般）、0.5（良好）、1（优秀）三个分数。
评测问题也有别于针对 BERT 类判别式 AI 模型的选择问法，采用更加适合 AI 生成式模型的相对开放式问法，以下为部分问题及回答评分示例：
在 "I"ve got a thing for you，用文言文表达这句话 " 这一问题中，ChatGPT 给出的回答是：" 朕对汝有所钟情。" 理解正确，但生成文本质量欠佳，取 0.5 分。文心一言的输出内容：" 吾心向汝，实生情之。" 文义相符，质量较高，取 1 分。星火认知大模型回答为：" 吾有物以赠君。" 存在理解有误的情况，取 0 分。
从结果看 ChatGPT 在语义理解、逻辑推理、百科知识、文本质量四项中分别以 18、19、19、18.5 排名第一，综合表现位居榜首，特别是在科技、学术、新闻等领域的文本生成部分领域表现突出，不过在相对复杂的情景下的情感识别，以及散文、诗歌、文言文等较为考察深度理解能力方面表现相对乏善可陈；
文心一言，作为首个全球大厂推出的知识增强大语言模型，本次排名位居国产大语言模型之首，效果仅次于 ChatGPT，且在语义理解、情感分析两项位列第一，分数分别为 18、19，这或许与百度使用的自有数据集有关，在质量较高的文库文本、百科数据等中文语料的训练下，在语义理解和情感分析方面具有很高的精度，可以识别出复杂的情感表达和语言隐喻；
除此以外，谷歌 PaLM 在逻辑推理部分（分数 19）、通义千问在语义理解（分数 17）、清华 ChatGLM 在文本质量（分数 15.5）等成绩均可圈可点。
结语
未来大模型的迭代也将更有针对性，对开发者的评估能力提出更高的要求。如何在有限的时间和资源条件下做出客观的评价并给出有用的反馈，让数据团队更有针对性地准备数据，让研发不偏离方向，保障模型的健康迭代，将是所有行业从业者的共同挑战。
《互联网周刊》也将持续跟踪与关注各大语言模型的更新与迭代情况，定期进行相关评测与分析。未来，相信随着算法、硬件、数据和应用场景的不断发展，大型语言模型将会在各种自然语言处理任务中发挥更加重要的作用，为社会创造更多的价值。
（文 / 米栏）
e-Mail：lab@enet16.com
TEL：010-65283855
【排行 "i 系列标准 " 统一详细说明】
标签：
为您推荐
-
人民网杭州9月17日电 （记者孙博洋）9月16日至17日，中国质量（杭州）大会在浙江杭州举行。在16日举行...
2021-09-18