面试题简述Transformer中用的是LayerNorm，而不是常见的BatchNorm，这是为什么？面试官想听的意识到不是BN不好，而是不适合Transformer的使用场景。面试回答举例Transformer中选择LayerNorm而不是BatchNorm，主要原因和序列建模方式以及训练场景有关。详情请查看：http://xhslink.com/o/8yJohFzKSX6由浅入深分析1、BN 依赖 batch 统计量。2、LN 只依赖特征维度。3、Transformer 的 token 并行与 BN 设计目标维度不一致。4、自回归推理场景下 BN 表现不稳定。面试加分点1、提出推理阶段 ...

给我气笑了

用豆包回答忘记删掉后两行了

序又到了春招季了, 我也工作两年多了, 面过大大小小的公司几十家, 也和一些刚入职场的朋友深入交流过, 很感慨啊很感慨, 很多事情其实非常坑, 但是如果你不踩一次很难知道其中的水深. 因此我想借助这篇文章和牛客这个平台, 详细讲一讲我自己遇到的坑和我认识的朋友遇到过的坑先讲一下笔者基本情况吧, 我是信息安全出身,也有一些开发能力, 拿过不少奖, 在校三段实习, 银联, i春秋, 索尼. 但是校招时真的一步错步步错, 虽然依靠社招还算是挽回了一些, 但是第一份工作的平台真的比较狭窄, 让我发展也非常受限, 踩了很多坑接下来我想从多个方面讲一下 从开始春招秋招, 到最后找到工作开始新生活, 这段历...