3-LLMs 激活函数篇.pdf

3-LLMs 激活函数篇.pdf_第1页
3-LLMs 激活函数篇.pdf_第2页
LLMs激活函数篇来自:AiGC面试宝典宁静致远2023年09月29日12:411介绍一下FFN块计算公式?2介绍一下GeLU计算公式?3介绍一下Swish计算公式?2个可训练权重矩阵,中间维度为4h4介绍一下使用GLU线性门控单元的FFN块计算公式?5介绍一下使用GeLU的GLU块计算公式?6介绍一下使用Swish的GLU块计算公式?3个可训练权重矩阵,中间维度为4h*2/3各LLMs都使用哪种激活函数?扫码加查看更多4h=4*4096=163842/3*4h=10022->1100811008/128=86知识星球

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

碎片内容

发表评论取消回复

参与评论可获取积分奖励  
微风舍
实名认证
内容提供者

微风舍,风起于青萍之末,浪成于微澜之间,舍是漏舍,唯吾德馨。

确认删除?
回到顶部