2-Layer normalization 篇.pdf

Layernormalization篇来自：AiGC面试宝典宁静致远2023年09月29日12:37Layernormalization-方法篇一、LayerNorm篇1.1LayerNorm的计算公式写一下？二、RMSNorm篇（均方根Norm）2.1RMSNorm的计算公式写一下？2.2RMSNorm相比于LayerNorm有什么特点？RMSNorm简化了LayerNorm，去除掉计算均值进行平移的部分。对比LN，RMSNorm的计算速度更快。效果基本相当，甚至略有提升。三、DeepNorm篇3.1DeepNorm思路？DeepNorm方法在执行LayerNorm之前，up-scale了残差连接(alpha>1)；另外，在初始化阶段down-scale了模型参数(beta<1)。3.2写一下DeepNorm代码实现？DeepNorm有什么优点？扫码加查看更多DeepNorm可以缓解爆炸式模型更新的问题，把模型更新限制在常数，使得模型训练过程更稳定。Layernormalization-位置篇1LN在LLMs中的不同位置有什么区别么？如果有，能介绍一下区别么？回答：有，LN在LLMs位置有以下几种：1.PostLN：a.位置：layernorm在残差链接之后b.缺点：PostLN在深层的梯度范式逐渐增大，导致使用post-LN的深层transformer容易出现训练不稳定的问题2.Pre-LN：a.位置：layernorm在残差链接中b.优点：相比于Post-LN，PreLN在深层的梯度范式近似相等，所以使用Pre-LN的深层transformer训练更稳定，可以缓解训练不稳定问题c.缺点：相比于Post-LN，Pre-LN的模型效果略差3.Sandwich-LN：a.位置：在pre-LN的基础上，额外插入了一个layernormb.优点：Cogview用来避免值爆炸的问题c.缺点：训练不稳定，可能会导致训练崩溃。Layernormalization对比篇LLMs各模型分别用了哪种Layernormalization？BLOOM在embedding层后添加layernormalization，有利于提升训练稳定性:但可能会带来很大的性能损失知识星球