（大模型黑书）基于GPT-3、ChatGPT、GPT-4等 Transformer 架构的自然语言处理(OCR).pdf

TransformersforNaturalLanguageProcessing:Build,Train,andFine-tuneDeepNeuralNetworkArchitecturesforNLPwithPython,HuggingFace,--[法]丹尼斯·罗斯曼(DenisRothman)著叶伟民译消第大学出版社Transformer正在颠覆Al领域。市面上有这么多平台和Transformer模型，哪些最符合你的基GPT-3、ChatGPT、清第大学出版社北京北京市版权局著作权合同登记号图字：01-2023-1361CopyrightPacktPublishing2022.FirstPublishedintheEnglishlanguageunderthetitleTranstormersforNaturalLanguageProcessing:Build,Train,andFine-tuneDeepNeural：99.80元产品编号：100097-01专家推荐作者简介致谢我要感谢那些从一开始就信任我并分担持续创新风险的公司。还要感谢我的家人，他们一直相信我会成功。审校者简介GeorgeMihaila是北得克萨斯大学计算机科学系的在读博士生，他也在该校获得了计算机科学硕士学位。他在自己的祖国罗马尼亚获得了电气工程学士学位。George在TCF银行工作了10个月，在那里帮助建立了自动模型部署和监控的机器学习操作框架。他在StateFarm实习期间担任数据科学家和机器学习工程师，在北得克萨斯大学高性能计算中心担任数据科学家和机器学习工程师。他在NLP领域工作了5年，其中最后3年使用了Transformer模型。他的研究兴趣是个性化对话生成。George是本书第1版的技术审校者。George目前正在攻读博士学位。空闲时间George喜欢通过教程和文章分享他对最先进语言模型的理解，并帮助NLP领域的其他研究人员。前言Transformer是自然语言理解(NaturalLanguageUnderstanding,NLU)的游戏规则改变者，NLU是自然语言处理(NaturalLanguageProcessing,NLP)的一个子集。NLU已成为全球数字经济中AI的支柱之一。Transformer模型标志着Al新时代的开始。语言基础已成为语言建模、聊天机器人、个人助理、问答、文本摘要、语音转文本、情绪分析、机器翻译等的支柱。社交网络正在取代实体接触，电子商务正在取代实体购物，数字报纸、流媒体正在取代实体剧院，远程文档咨询正在取代实体访问，远程工作正在取代现场办公，我们正在见证数百个领域的类似趋势。如果没有理解AI语言，社会上使用网络浏览器、流媒体服务和任何涉及语言的数字活动都将非常困难。我们的社会从物理信息到海量数字信息的范式转变迫使AI进入一个新时代。AI已经发展到数十亿级参数模型，以应对万亿级单词数据集的挑战。Transformer架构具有革命性和颠覆性，它打破了过往RNN和CNN的主导地位。BERT和GPT模型放弃了循环网络层，使用自注意力机制取而代之。Transformer模塑优于RNN和CNN。这是AI历史上划时代的重大变化。Transformer编码器和解码器包含单独训练的注意力头(attentionhead),并能使用GPU、TPU等尖端硬件进行并行化。注意力头可以使用GPU运行，从而为十亿级参数模型和即将出现的万亿级参数模型打开大门。OpenAl在一台具有10000个GPU和285000个CPU内核的超级计算机上训练出具有1750亿个参数的GPT-3Transfomer模型。随着数据量的不断增长，训练AI模型需要的规模也越来越大。Transformer模型为参数驱动的AI开启了新时代。我们需要大量参数进行学习，才能学习到由数以亿计的单词组合的数据集。GoogleBERT和OpenAlGPT-3等Transformer模型将Al提升到另一个层次。Transformer可以执行数百项它们没有接受过训练的NLP任务。Transformer还可通过将图像视为单词序列来学习图像分类和重构图像。本书将介绍尖端的计算机视觉Transformer,如VisionTransformer(VIT)、CLIP和DALL-E。基础模型是指经过充分训练的、不需要微调即可执行数百项任务的Transformer模型。这种规模的基础模型是我们在这个海量信息时代所需的工具。想想每天需要多少人来控制社交网络上发布的数十亿条消息的内容，以便在提取所包含的信息之前确定是否合法和合乎道德。VL基于GPT-3、ChatGPT、GPT-4等Transformer架构的自然语言处理想想每天在网络上发布的数百万页文字需要多少人来翻译。或者想象一下，如果要人工对每分钟多达数百万条消息进行控削需要多少人力资源!想想将每天在网络上发布的所有大量流媒体转换为文字需要多少人力资源。想想为不断出现的数十亿幅在线图...