关于bn和ln

二面的时候面试官问我为什么transformer不用bn而是用ln。我看了几个网上的八股回答，结果面试官还是不满意，有没有懂哥讲一下啊？ #nlp# #腾讯#
我的回答也是不同句子长度不一样，然后每个句子的位置不一样，可能是表达不大好，那个老东西不满意
全部评论
因为transformer输入的序列长度不固定，bn是算每一个特征的均值和方差，序列长度不一样，计算的时候有的地方有值有的地方没有，不好计算。ln是对每一个样本单独计算，即使每个样本长度不一样也不影响计算
16 回复 分享
发布于 04-07 18:04 新加坡
transformer对句子或者序列建模，每一个token位置的语义并不像tabular数据或者图像那样特征是固定的吧，用bn就默认是那样对齐处理了
4 回复 分享
发布于 04-04 21:00 安徽
BN和LN是不同纬度的归一化 LN是特征层面的归一化不会因为序列长度差距过大受影响，BN是batch size纬度归一化因此序列长度会影响。具体怎么用都看实际情况是啥样的 没那么绝对 手撸一下公示记忆比较深刻
4 回复 分享
发布于 04-08 12:03 陕西
如果往深里说，可以结合上Lipschitz常量，self-attention的Lipschitz常量比较大，也就是上下界浮动大，BN层无法有效约束。这个点比较深，还可以延伸到LN的变体RMSNorm。 虽然从理论上可以讲的很深，但其实主要还是实验上有效，这些八股属实没意思。
3 回复 分享
发布于 04-07 16:57 广东
说一个很novel的观点…… bn一般用在图像上，当我们对图片抽取特征后，会得到不同通道的特征，这些通道特征对batch内样本具有同样的含义。例如一个人有年龄，身高等特征。而nlp中，如果要进行bn，则是对不同句子的第i个token进行处理，举个例子"我爱你"和"牛客网"，其中的我和牛并没有相同的含义，所以解释不通。还有一个点就是你所说的每个句子长度不同，对于短句子我们需要pad，那么如果进行bn就需要将pad.和长句子中的token进行处理，这样也是不合理的。
2 回复 分享
发布于 04-13 02:02 贵州
因为一个句子不会因为词的位置发生变化而改变语义。
1 回复 分享
发布于 04-08 20:25 浙江
Bn和batch大小关系很大，而句子长度并不固定。并且，对不同句子的同一位置的特征做归一化并无意义。
点赞 回复 分享
发布于 04-08 14:48 河北
bn不好用啊，长度不一样
点赞 回复 分享
发布于 07-01 19:02 北京

相关推荐

11-01 14:08
已编辑
长沙理工大学 C++
超级硬核：学长推荐的14个C++项目来了，可以直接写到简历上
在编程的广袤世界里，C++ 就像是一座巍峨耸立的高峰，它以其强大的功能和复杂的特性吸引着无数编程爱好者去攀登。而今天，我们将为你开启一扇通往 C++ 硬核项目宝库的大门 —— 超级硬核 C++ 项目精选。这些项目可不是普通的编程练习，它们如同璀璨的明珠，镶嵌在 C++ 编程领域的皇冠之上。每一个项目都像是一个充满挑战与机遇的迷宫，在你穿梭其中时，不仅能深刻理解 C++ 语言的精髓，更能展现出你作为开发者的卓越能力。它们是你编程技能的试金石，也是你在竞争激烈的技术领域脱颖而出的关键。无论是构建高效的算法模型，还是打造复杂的系统架构，这些项目都将为你提供宝贵的实践经验。准备好，让我们一起深入这些令...
点赞 评论 收藏
分享
头像 会员标识
11-14 23:01
已编辑
华东师范大学 Java
星环科技测试实习面经（凉）
是一个AI产品的测试岗，全程30分钟- 自我介绍- 写俩SQL（一个联表一个忘了）【都是对的】- count(1) count(*) count(字段）有啥区别【估计答错了】- 只要年龄最大的10个用什么函数【我说top，面试官说limit，limit不是分页吗】- 最大值用什么函数【max】- 用过大模型吗，用来干啥了【GPT、深度学习？】- 键约束是啥，约束是啥【真忘了】- 索引的优点和缺点【查的快，大量请求还得创建索引时间长】- 排序正着排和倒着排是啥【AESC DESC】- 测试的时候出现问题如何区分是前端还是后端的问题【没做过前端测试，只做过后端】- delete drop还有一个啥也是删除，三个的区别【删除所有数据和删除所有数据以及表结构】（还有一大堆想起来再编辑，半个小时都在问sql）后续就是挂了HR回复：这个岗位相对特殊一点，是专门做数据平台和大模型的测试工作，技能比较单一
查看11道真题和解析
点赞 评论 收藏
分享
头像
11-06 09:36
南京技师学院 Java
10.16 字节商业化广告客户端一面
1.实习2.你说你sdk总体的设计用的是委派模式，什么是委派模式？委派模式和代理模式的区别？3.实习过程中是不是没有涉及到太多UI的开发？有自己学过吗？安卓原生绘制一个view的流程是什么样的？定义的布局是什么？这个坐标是指什么？4.handler机制了解吗？looper的睡眠机制你知道是linux的哪个操作吗？5.安卓进程间通信一般是通过什么实现的？为什么要用binder，而不用linux的通信方式呢？6.传输层的协议有哪些？tcp和udp的区别是什么？7.http请求和响应报文的内容有哪些？请求的首部也说一下吧。8.cookie的几种不同模式了解吗？9.utf-8和unicode的区别是什...
查看14道真题和解析 软件开发笔面经
点赞 评论 收藏
分享
11-09 19:45
南京师范大学附属中学 C++
点赞 评论 收藏
分享
11-08 10:07
已编辑
华为_终端BG软件部_软件开发工程师
点赞 评论 收藏
分享
11 50 评论
分享

招聘动态

查看更多

字节跳动

2025校园招聘

阿里云管培生

2025届校园招聘

快手Star

2025届招聘

快手

销售类投递专区

全站热榜

正在热议
# 25届秋招总结 #
298282次浏览 2625人参与
# 美团求职进展汇总 #
1326402次浏览 12441人参与
# 北方华创开奖 #
26338次浏览 284人参与
# 地方国企笔面经互助 #
3715次浏览 9人参与
# 如果不工作真的会快乐吗 #
58812次浏览 511人参与
# 选完offer后，你后悔学本专业吗 #
19529次浏览 142人参与
# 阿里云管培生offer #
16541次浏览 292人参与
# 国央企薪资爆料 #
7849次浏览 55人参与
# 如何一边实习一边秋招 #
991572次浏览 12635人参与
# 提前批简历挂麻了怎么办 #
146311次浏览 1944人参与
# 学历or实习经历，哪个更重要 #
50743次浏览 399人参与
# 海康威视求职进展汇总 #
398619次浏览 3405人参与
# 正在实习的你，几点下班 #
51509次浏览 383人参与
# 米哈游求职进展汇总 #
175743次浏览 1458人参与
# 投递实习岗位前的准备 #
1178751次浏览 18390人参与
# 面试体验感最好的是哪家？ #
84989次浏览 845人参与
# 实习生应该准时下班吗 #
167337次浏览 1159人参与
# 得物求职进展汇总 #
66129次浏览 681人参与
# 求职遇到的搞笑事件 #
70619次浏览 576人参与
# 网申一定要掌握的小技巧 #
5301次浏览 53人参与
# 0offer是寒冬太冷还是我太菜 #
897643次浏览 8007人参与
# 腾讯求职进展汇总 #
195637次浏览 1640人参与
牛客网
牛客企业服务