面试题简述Transformer中用的是LayerNorm，而不是常见的BatchNorm，这是为什么？面试官想听的意识到不是BN不好，而是不适合Transformer的使用场景。面试回答举例Transformer中选择LayerNorm而不是BatchNorm，主要原因和序列建模方式以及训练场景有关。详情请查看：http://xhslink.com/o/8yJohFzKSX6由浅入深分析1、BN 依赖 batch 统计量。2、LN 只依赖特征维度。3、Transformer 的 token 并行与 BN 设计目标维度不一致。4、自回归推理场景下 BN 表现不稳定。面试加分点1、提出推理阶段 ...

如图，那我将是第一批吃到红利的实习生啦，哈哈哈哈哈哈zi

从5月7号入职到现在已经过了一周啦，记录一下最真实的感受…… 公司的伙食还是很不错的，每天餐补38元，早中晚各8-15-15，每天下午还有固定的下午茶，随机刷新糕点饮品甚至还有KFC。 午休时间也很完美，十二点到十四点（包括吃饭时间），应该算行业内中上水平了。虽然一周会有那么几天要上班到晚上八点半，但好像又没有觉得抗拒。 在这里每天都能学到很多很多在学校中接触不到的知识，能直接接触一线开发环境，在项目中将知识结合实践，对于我这个双非本实习生来说还算是很有价值的。组内同事跟导师也非常友好，虽然我没什么开发经验有时会问一些很低级的问题，写代码时也偶尔犯一些低级错误。今天15号是前公司发工资的日子，...