面试题简述Transformer中用的是LayerNorm，而不是常见的BatchNorm，这是为什么？面试官想听的意识到不是BN不好，而是不适合Transformer的使用场景。面试回答举例Transformer中选择LayerNorm而不是BatchNorm，主要原因和序列建模方式以及训练场景有关。详情请查看：http://xhslink.com/o/8yJohFzKSX6由浅入深分析1、BN 依赖 batch 统计量。2、LN 只依赖特征维度。3、Transformer 的 token 并行与 BN 设计目标维度不一致。4、自回归推理场景下 BN 表现不稳定。面试加分点1、提出推理阶段 ...

和我舍友笑的直不起腰

第一次面试某大厂，HR问我："有分布式经验吗？" 我tm连Redis都没摸过，但想起学长教的"面试三板斧"，张口就来："虽然没实战过，但我研究过CAP理论，还自己搭过三台虚拟机模拟集群！" ——其实就是在宿舍用VirtualBox开了三个Ubuntu，ping通就截图发朋友圈装逼。

在这个早晨，闹钟还没响，我的生物钟就先一步把我叫醒了。摸了摸头顶那片日益荒芜的不毛之地，我叹了口气。我是不惑，一个在互联网浪潮里扑腾了十年的老程序员，人送外号人形键盘侠，现在自嘲是贷款上班的AI编程不惑。以前咱们上班，那是出卖劳动力换钱；现在倒好，为了能更好地出卖劳动力，还得自己先掏腰包把生产工具给续费了。今天咱们不聊什么高大上的技术趋势，也不扯什么人类未来的宏大叙事。就想跟大伙儿坐下来，嗑着瓜子，扒一扒我这个典型的职场牛马，每个月到底要给这些AI祖宗们进贡多少银子，以及这背后的酸甜苦辣。说实话，这笔账我不算不知道，一算那是真的一激灵。一、 痛并快乐着的赛博义肢对于一个靠写代码恰饭的人来说，I...