BERT基础教程：Transformer大模型实战.pdf

目录版权信息版权声明献词前言第一部分开始使用BERT第1章Transformer概览1.1Transformer简介1.2理解编码器1.3理解解码器1.4整合编码器和解码器1.5训练Transformer1.6小结1.7习题1.8深入阅读第2章了解BERT模型2.1BERT的基本理念2.2BERT的工作原理2.3BERT的配置2.4BERT模型预训练2.5子词词元化算法2.6小结2.7习题2.8深入阅读第3章BERT实战3.1预训练的BERT模型3.2从预训练的BERT模型中提取嵌入3.3从BERT的所有编码器层中提取嵌入3.4针对下游任务进行微调3.5小结3.6习题3.7深入阅读第二部分探索BERT变体第4章BERT变体（上）：ALBERT、RoBERTa、ELECTRA和SpanBERT4.1BERT的精简版ALBERT4.2从ALBERT中提取嵌入4.3了解RoBERTa4.4了解ELECTRA4.5用SpanBERT预测文本段4.6小结4.7习题4.8深入阅读第5章BERT变体（下）：基于知识蒸馏5.1知识蒸馏简介5.2DistilBERT模型——BERT模型的知识蒸馏版本5.3TinyBERT模型简介5.4将知识从BERT模型迁移到神经网络中5.5小结5.6习题5.7深入阅读第三部分BERT模型的应用第6章用于文本摘要任务的BERTSUM模型6.1文本摘要任务6.2为文本摘要任务微调BERT模型6.3理解ROUGE评估指标6.4BERTSUM模型的性能6.5训练BERTSUM模型6.6小结6.7习题6.8深入阅读第7章将BERT模型应用于其他语言7.1理解多语言BERT模型7.2M-BERT模型的多语言表现7.3跨语言模型7.4理解XLM-R模型7.5特定语言的BERT模型7.6小结7.7习题7.8深入阅读第8章Sentence-BERT模型和特定领域的BERT模型8.1用Sentence-BERT模型生成句子特征8.2sentence-transformers库8.3通过知识蒸馏迁移多语言嵌入8.4特定领域的BERT模型：ClinicalBERT模型和BioBERT模型8.5小结8.6习题8.7深入阅读第9章VideoBERT模型和BART模型9.1VideoBERT模型学习语言及视频特征9.2了解BART模型9.3探讨BERT库9.4小结9.5习题9.6深入阅读习题参考答案作者简介版权信息书名：BERT基础教程：Transformer大模型实战作者：【印度】苏达哈尔桑·拉维昌迪兰译者：周参出版社：人民邮电出版社有限公司出版时间：2023-02-01ISBN：9787115603722·版权声明Copyright©2021PacktPublishing.FirstpublishedintheEnglishlanguageunderthetitleGettingStartedwithGoogleBERT.SimplifiedChinese-languageeditioncopyright©2023byPosts&TelecomPress.Allrightsreserved.本书中文简体字版由PacktPublishing授权人民邮电出版社有限公司独家出版。未经出版者书面许可，不得以任何方式复制或抄袭本书内容。封面素材来源：视觉中国。本书经授权使用。，。献词本书献给我可爱的母亲卡斯图里，以及我尊敬的父亲拉维昌迪兰。——苏达哈尔桑·拉维昌迪兰前言多Transformer的双向编码器表示法（BidirectionalEncoderRepresentationsfromTransformers，BERT）已经彻底改变了自然语言处理（naturallanguageprocessing，NLP）领域，并取得了大量成果。本书是一本入门指南，它将帮助你学习并掌握谷歌的BERT架构。首先，本书将详细讲解Transformer架构，让你理解Transformer的编码器和解码器的工作原理。然后，你将掌握BERT模型架构的每一部分，同时了解如何进行模型的预训练，以及如何通过微调将预训练的结果用于下游任务。随着本书的深入，你将学习BERT模型的不同变体，如ALBERT模型、RoBERTa模型、ELECTRA模型和SpanBERT模型，并了解基于知识蒸馏的变体，如DistilBERT模型和TinyBERT模型。本书还将详细讲解M-BERT模型、XLM模型和XLM-R模型的架构。接着，你将了解用于获取句子特征的Sentence-BERT模型和一些特定领域的BERT模型，如ClinicalBERT（医学）模型和BioBERT（生物学）模型。最后，本书还将介绍一个有趣的BERT模型变体，即VideoBERT模型。通读本书后，你将能够熟练使用BERT模型及其变体来执行实际的自然语言处理任务。本书适用人群本书适用于希望利用BERT模型超强的理解能力来简化自然语言处理任务的专业人士，以及对自然语言处理和深度学习感兴趣的所有人士。为充分理解本书中的术语和知识点，你需要对自然语言处理相关概念和深度学习有基本的了解。本书内容第1章Transformer概览这一章将详细讲解Transformer模型，通过深入解析Transformer的编码器和解码器的组成部...