面试题简述Transformer中用的是LayerNorm，而不是常见的BatchNorm，这是为什么？面试官想听的意识到不是BN不好，而是不适合Transformer的使用场景。面试回答举例Transformer中选择LayerNorm而不是BatchNorm，主要原因和序列建模方式以及训练场景有关。详情请查看：http://xhslink.com/o/8yJohFzKSX6由浅入深分析1、BN 依赖 batch 统计量。2、LN 只依赖特征维度。3、Transformer 的 token 并行与 BN 设计目标维度不一致。4、自回归推理场景下 BN 表现不稳定。面试加分点1、提出推理阶段 ...

很喜欢的公司，选我所爱，爱我所选

又又又是一年，不知道从哪年开始，时间好像过的一年比一年快，今年也是完整的在国企待了一年，把时针拨回到24年的7月。离职前的纠结意外通过的面试24年那年是楼主毕业第4年，刚毕业的时候，计划着先把这家公司当跳板，结果干着干着发现行情越来越差，顶着个双非学院本的学历投大厂根本没人理......加上leader对我也不薄，就一直在老东家写后端，有一些公司层面恶心的事忍就忍了。印象中那年刚过完年回到公司，从OA上看到绩效拿了s，也就是4个月的年终，当时心里还在美滋滋，盘算着过了个肥年，结果一个all handsmetting把楼主直接干破防了，被通知为了冲刺港股上市，所有人年终砍半 + 裁员....当时...