祝大家都秋招顺利，斩获高薪

三年前为了考研复试也狂刷过一段时间的算法，虽然复试机试没啥问题，但是回想起来，刷的很吃力，而且刷的毫无头绪，去年为了秋招重新刷题才找到了一些方法，并且到后期能够从容地应对一些公司面试中的撕算法环节，这里简单总结一下我刷**的思路（适合没什么算法基础的小伙伴）：1. 跟着代码随想录刷第一遍题    他的好处是他把算法的类型做了归类，每次刷一种算法题型，这样方便学习和总结不同题型的解题思路，对于没有算法基础的小伙伴，是很好地打基础和理清思路的过程2. 刷剑指offer    这个过程其实是对1所学知识的回顾，因为代码随想录的例题很多也在剑指offer中有所涵盖，所以刷剑指offer的过程属于查漏补缺，看看哪种题型还不熟悉，并尝试总结解题思路3. 刷codetop的高频题    这个时候就可以针对性地刷大厂高频题了，刷这个的过程可以发现大厂都偏好哪种题型（比如动态规划、栈），并针对性地复习和总结这些题型。    这个网站还有一个好处，就是可以记笔记和标记频次，我没刷一遍都会标记一遍频次，并且对于不会的题，会在看完题解之后自己总结一遍解题思路，记在笔记里，这样有两个好处：①加深印象；②下次再不会的时候直接看自己的解题思路，可以快速唤醒记忆，重复看别人的详细题解其实挺浪费时间的。。。4. 总结笔面试过程中遇到的算法题，并多刷相似题攻破题型以上就是我秋招前算法学习的过程，其实还蛮有成就感的，祝小伙伴们秋招顺利~

BERT模型参数量计算 （5）一文懂“NLP Bert-base” 模型参数量计算_embed_huang的博客-CSDN博客_bert-base 词向量参数计算 token embedding参数：30522（词汇量）* 768（隐藏层大小） position embedding参数：512（文本输入最长大小）* 768（隐藏层大小） segment embedding参数：2（0和1区分上下句）* 768（隐藏层大小） 故，词向量总参数量 = （30522 + 512 + 2）* 768 = 22.7 MB 多头注意力层参数计算 Q K V 权重矩阵尺寸：768 * 64（多头注...

Transformer常见问题与回答总结01 Transformer Encoder 有什么子层？（超参数一面）Encoder由六个相同层构成，每层都有两个子层：多头自注意力层和全连接的前馈神经网络层（Linear+relu+dropout+Linear）。使用残差连接和层归一化连接两个子层。02 写一下self-attention的公式（超参数一面）03 Transformer的优缺点优点：可并行独立于卷积和循环，完全依赖于attention处理全局依赖，解决长距离依赖问题性能强缺点：长度固定局部信息的获取不如RNN和CNN强：Transformer关注的全局关系，而RNN在计算过程中更关注...

两种策略将预训练的语言表示应用到下游任务： 基于特征 (feature-base)：将训练出的表示作为feature用于任务。 微调 (fine-funing)：在预训练好的模型上加些针对任务的层，再对后几层进行精调。 1 Word2vec (feature-base) 理解 Word2Vec 之 Skip-Gram 模型 word2vec原理推导与代码分析 word2vec Parameter Learning Explained (5条消息) 图解Word2vec，读这一篇就够了（通俗易懂）_文晓武的博客-CSDN博客_word2vec流程 1.1 说说word2vec ？ 语言离散表...

学习资料（讲的很细很清楚）：一个框架看懂优化算法之异同 SGD/AdaGrad/AdamAdam那么棒，为什么还对SGD念念不忘 (3)—— 优化算法的选择与使用策略(1条消息) 机器学习11种优化器推导过程详解(SGD,BGD,MBGD,Momentum,NAG,Adagrad,Adadelta,RMSprop,Adam,Nadma,Adamx)_日拱一两卒的博客-CSDN博客_机器学习优化器总结优化器的作用：更新和计算影响模型训练和模型输出的网络参数，使其逼近或达到最优值，从而最小化（或最大化）损失函数。发展路径：SGD -> SGDM -> NAG -> AdaGrad...

这个链接已经说的很好的：梯度消失、爆炸的原因及解决办法：https://zhuanlan.zhihu.com/p/180568816总结一下：防止梯度爆炸：梯度剪切：更新梯度时，梯度超过某个阈值，就将其强制限制在这个范围内权重正则化：L1正则和L2正则防止梯度消失：合理的激活函数（如ReLU）+权重初始化Batch Normalization：应用于每层激活函数之前残差网络以上问题可以拓展到具体的模型上，比如问BERT是如何防止梯度消失的，就可以从残差网络等方面回答

【DL】参数初始化：你真的了解我吗？固定初始化：模型参数初始化为一个固定常数，这意味着所有单元具有相同的初始化状态，所有的神经元都具有相同的输出和更新梯度，并进行完全相同的更新，使得神经元不存在非对称性，效果大打折扣。随机初始化：随机对参数初始化：如果不考虑随机初始化的分布则会导致梯度爆炸和梯度消失的问题。随机初始化常用的两种初始化方法为：高斯分布和均匀分布模型参数可以初始化为0吗（百度一面）不可以。角度1 参数初始化为0，会导致后续所有的网络中的权重失效，即反向传播时，参数的偏导数为0，模型参数无法更新，出现梯度消失的问题。角度2 参数初始化为零虽然经过非线性的激活函数后能更新...

欠拟合欠拟合是指模型不能在训练集上获得足够低的误差，即，模型在训练集上表现很差，没有学习到数据背后的规律。解决欠拟合的方法添加新特征，挖掘“上下文特征”、“组合特征”增加模型复杂度减少正则化系数过拟合训练误差和测试误差之间的差距太大，即，模型在训练集上表现很好，但在测试集上表现很差，模型泛化能力差。如何判断过拟合可以通过查看训练集误差和验证集误差的方式查看过拟合，如果训练集误差和验证集误差差距大，训练集误差在下降，而验证集误差在上升，则可能是过拟合了。解决过拟合的方法（大华一面）交叉验证，通过交叉验证得到较优的模型参数特征选择，减少特征数或者使用较少的特征组合，对于按区间离散化的特征，增大划分...

背景：主研多模态分类领域，秋招主要投NLP和多模态方向的算法岗，如果机器学习的岗位描述和我相符也会投流程：投的AI工程师-NLP，base深圳，投递时间n，笔试时间n+5，测评时间n+6，一面时间m=n+25，二面时间m+16，三面时间m+21，收到短信三面通过，后面就没消息了。。。三面是主管面，技术的内容偏少，提前做了很多功课，所以和面试官聊得挺开心的，三面主要准备了以下内容：华为文化狼性文化（比如问你你怎么看待华为的狼性文化，你能接受狼性文化嘛之类的）奋斗者：任何对客户创造价值的微小动作及其准备动作都是奋斗，为客户创造价值并达到良好效果。华为以奋斗者为本，以客户为中心，鼓励员工争先恐后地为...

学习连接：理解L1, L2正则化的正确姿势归一化的主要目的是降低模型复杂度，减少过拟合。最基本的正则化方法是在原目标（代价）函数中添加惩罚项，对复杂度高的模型进行“惩罚”。数学表达式为：其中是目标函数，为惩罚项，可以理解为模型“规模”的某种度量；参数控制正则化的强度。常用的正则化函数L1范数，L1正则化（LASSO）：L2范数，L2正则化（Ridge/岭回归（华为二面））:如何实现降低复杂度对于目标函数，第一部分权重尽力拟合训练数据，第二部分令权重尽可能小，当无穷大的时候，权重会接近于0。添加了惩罚项的损失函数，综合考虑的模型的拟合能力和复杂程度，从而找到合适的。L1正则化比L2正则化更容易得...

背景：主研多模态分类领域，秋招主要投NLP和多模态方向的算法岗，如果机器学习的岗位描述和我相符也会投流程：投的AI工程师-NLP，base深圳，投递时间n，笔试时间n+5，测评时间n+6，一面时间m=n+25，二面时间m+16，三面时间m+21，收到短信三面通过，后面就没消息了。。。笔试大概500分，每一面的结果都是在面试后五分钟左右立即收到短信通知的，这一点很好，有一种完成挑战的幸福感，虽然最终没有收到offer哈哈哈有的人是同时收到一面二面安排的，而我是先一面，后来才安排二面的。一面：本地IDE写代码：图的广度优先遍历，不能用递归，最后在代码上做小改进对我的研究课题的任务定义的讨论、方法落...

背景：主研多模态分类领域，秋招主要投NLP和多模态方向的算法岗，如果机器学习的岗位描述和我相符也会投流程：中电智慧城市研究院也是我蛮想去的一家，base深圳，投的算法工程师，投递时间n，一面时间m=n+5，测评时间k=m+9，二面时间p=k+1，后面好像是我去问hr知道自己挂了。。。一面直接打电话面的，所以完全没心理准备，跑到一个可以说话的地方就开始自我介绍了，声音还在喘哈哈哈。一面主要是围绕项目提问的面试官人很好，好感++二面（领导面）自我介绍详细介绍一下第三个项目，数据是怎么样的讲讲NLP常用算法对于连续动作的识别分类算法设计？反问 中间网断了一次，感觉也会让面试官不太喜欢吧。。。

第一次被问到归一化是超参数科技，之后五次面试三次都会问到归一化。。。BN【深度学习】深入理解Batch Normalization批标准化LN和BN的区别（超参数一面）LN是根据一个样本的特征数进行归一化；BN是根据不同样本的同一特征归一化为什么文本中用LN更好，而在图片中要跨batch做归一化？（超参数一面）在文本中使用BN会遇到以下问题：各个样本的长度都是不同的，但统计到比较靠后的时间片时，可能只有一个样本还有特征数据，这时基于这个样本的统计信息无法反映全局分布，这时的BN效果会不好。如果在测试时遇到长度大于任何一个训练样本的测试样本，无法找到保存的归一化统计量，所以BN无法运行。以上问题...