航天数字

面试题简述Transformer中用的是LayerNorm，而不是常见的BatchNorm，这是为什么？面试官想听的意识到不是BN不好，而是不适合Transformer的使用场景。面试回答举例Transformer中选择LayerNorm而不是BatchNorm，主要原因和序列建模方式以及训练场景有关。详情请查看：http://xhslink.com/o/8yJohFzKSX6由浅入深分析1、BN 依赖 batch 统计量。2、LN 只依赖特征维度。3、Transformer 的 token 并行与 BN 设计目标维度不一致。4、自回归推理场景下 BN 表现不稳定。面试加分点1、提出推理阶段 ...

——1 月不冲，3、4 月只能被动挨打不知不觉已经 1 月了。对准备嵌入式方向的同学来说，这其实是一个非常关键、甚至有点“危险”的时间点。因为再往后看——3～4 月，春招就会陆续启动。而从“现在”到“能上战场”，中间真正可控、可系统准备的时间，其实已经不多了。一、1 月份，已经不是“了解阶段”了很多人到现在还停留在：STM32 外设“差不多会用”FreeRTOS “大概懂”Linux 驱动“听过、看过几篇文章”面试题“等快面试了再刷”说句实话：这个阶段再抱着“先看看”的心态，已经有点晚了。1 月份开始，你要意识到一件事：👉 你不是在学知识，而是在为“面试筛选”做准备。面试不会问你“你觉得这个...