产业研究战略规划技术咨询2预训练语言模型预训练微调将模型在大规模无标注数据上进行自监督训练得到预训练模型将模型在下游各种自然语言处理任务上的小规模有标注数据进行微调得到适配模型AI大模型就是预训练语言模型通过在大规模宽泛的数据上进行训练后能适应一系列下游任务的模型预训练语⾔模型“预训练+微调”技术范式⼤规模⽆标注⽂本数据模型预训练不同特定任务有标注训练数据模型微调测试数据最终模型从海量数据中自动学习知识ØBig-dataDriven，模型基于大规模语料训练而成；ØMulti-tasksAdaptive，支持多种任务，包括自然语言生成NLG和自然语言理解NLU类的任务；ØFew-shot(Zero-shot)，在少甚至无标注样本的条件下支持推理（自监督学习）。产业研究战略规划技术咨询3大模型发展历程众多预训练模型相继涌现，OpenAI以GPT2、GPT-3、ChatGPT等系列模型为代表，持续引领大模型时代的浪潮Ø2017年，Google提出Transformer框架在机器翻译中取得显著进步，其分布式学习和强大编码能力受到广泛关注。Ø2018年Google和OpenAI基于Transformer提出了预训练语言模型BERT和GPT，显著提高了NLP任务的性能，并展示出广泛的通用性。AlexNet(图灵奖得主Hinton)CAN(Gioodfellow.图灵奖得主Bengio)Word2Vec(Google.引用78550)Attention(图灵奖得主Bengio)ResNet(MSR.引用183222)Transformer(Google.引用91332)BERT(Google)GPT(OpenAI)GPT-2(OpenAI)GPT-3(OpenAI)FoundationModel(Stanford)PaLM(Google)ChatGPT(OpenAI)ViT(Google)DALLE2(OpenAI)GPT-4V(OpenAI)ERNIE(百度)CPM(智源)GLM(洁华)201220132014201520162017201820192020202220222023跨模态模型预训练模型大模型计算机视觉自然语言处理认知感知来源：大模型驱动的群体智能行业白皮书产业研究战略规划技术咨询4大模型参数规模不断增长，推动AIGC技术升级。AIGC技术发展的背后是大模型（FoundationModels）技术的持续迭代。从2017年Transformer结构的提出，加速了深度学习模型的参数学习能力。另一方面，GPU算力也在指数级增长。图1：2018-2023年模型参数规模变化图来源：中国人工智能系列白皮书图2：CPU与GPU算力演进比较来源：techovedas，国元证券产业研究战略规划技术咨询5英伟达每2年推出一个微架构，对产品线进行升级，6月2日，英伟达在Computex2024大会上发布了至2027年的芯片路线图，GPU迭代周期由2年缩短到1年，走类似英特尔的Tick-Tock模式（一年工艺一年架构）。同时，英伟达践行“BuyMoreSaveMore”让算力成本指数级下降。图3：英伟达GPU架构演进图图4：训练芯片算力成本呈下降趋势Ø我国高端GPU芯片进口从2019年以来就一直有被限制，只是之前主要针对的厂商是AMD，在应用场景上又以超算中心为主；Ø2023年10月17日，美国加强了面向中国市场的AI芯片禁令。其中明确将性能、密度作为出口管制标准，将单芯片超过300teraflops算力，以及性能密度超过每平方毫米370gigaflops的芯片都纳入了禁止出口行列。禁令涉及A100、H100等主流AI训练用英伟达GPU。来源：浙商证券研究所、华泰证券研究所产业研究战略规划技术咨询6中国科技企业的市场导向和商业化压力常使得大厂技术部门在追求KPI的同时，难以专注于前言技术的研发中国科技企业较少开展全球化经营，导致在营收、人才获取、全球化商业场景方面制约明显发展AI大模型相关的软硬件技术需要大量人才，大量的优秀本科生选择出国深造，而其中超过60%的毕业生选择在海外工作，导致长期的优秀人才流失。另外在中西方脱钩的背景下，美西方限制了对中国高科技人才的培养与学术合作交流行业高精数据短缺中国在高质量数据获取方面面临挑战，主要由于缺乏完善的数据法规、行业内固有的竞争性保密性，对开源合作文化的不足相较于英文、中文高质量开源数据非常少，特别是在构建通用领域大模型的百科类、问答类、图书贡献、学术论文、报告杂志等高质量内容由于各类政策管制和商业模式复制壁垒低，导致的基础数据和语言语料同质化数据人才中文语料短缺数据和语料的同质化商业化压力大全球化经营人才流失与人才短缺产业研究战略规划技术咨询7科技大厂创业新势力产业研究战略规划技术咨询8综合各...
发表评论取消回复