NLP日常/暑期实习面经（字节阿里腾讯美团百度虾皮）
欢迎大家和我交流哦！
基本情况：之前没论文，没实习。有大大小小4个项目，1个进了前20的天池比赛。
截止到3月19日的情况为：
字节拿到offer
腾讯被二面挂了两次，二面都没写代码，就问问项目和一些常见基础。然后就挂了
百度在牛客网上投的，一面完了说过了，过几天告诉我HC锁定了？？？咱也不懂咋回事，部门没听说过，鸽了就鸽了吧
阿里（蚂蚁）面完了第三次技术面，京东面完了二面，美团，虾皮面完了一面，结果都没出来。
总体感觉：
基本上都是面项目吧，项目是重中之重。基础知识包括（1）BERT相关，transformer，attention,word2vec等。（2）以及和自己项目相关的知识点，比如我的项目涉及句子表示，相应的Sentence bert，Bert 白化，对比学习等也经常问到。（3）他们部门的业务用到的知识，比如腾讯做海外游戏的问了对多语言预训练的了解，做对话的问了对QA的了解，京东做知识图谱和信息抽取的问了对信息抽取和带知识的预训练的了解。（4）常见的集成学习，SVM，树模型等。写代码的话基本都是easy或mid.除了京东让用torch写了一个attention的实现。
另外，腾讯，美团的具体部门都选了个都可以。阿里是选了一个学长在的部门，没去特别了解，结果踩了一堆坑的感觉。。。总体来讲比网上刷到的面经要简单，但不知道为啥被挂和被鸽各种奇怪情况都遇到了。
IEG 游戏国际发行技术中台 Level Infinite 一面
2-25 3:15-4:15 通过自我介绍
控制为啥学nlp了
介绍一个项目（几乎没有问什么）
有读过ACL之类的论文吗，怎么读论文
介绍transformer
介绍bert 的预训练方式，位置编码，mlm怎么做，除了mask掉一个子词外还有其他的mask方法吗
介绍subword
是否了解多语言预训练模型(他们做这个的)
介绍word2vec，分层softmax怎么写损失函数
介绍bert做语义相似度的问题（缺点），有哪些改进
介绍对比学习
做题 爬楼梯体力值问题
反问:做什么，偏reasearch还是偏产品，实习时间
百度商业部门 一面（这次感觉是问的最难的一次）
2-28 16:00-17:00 通过
如果有一个项目给你，你具体会怎么做，是否有记录项目经过的习惯
问项目 翻译评分用了哪些特征，数据量，数据是否充足，不充足怎么办，结果能否实际应用
bert模型从输入到输出每一步的维度变化，QKV矩阵的维度，self-attention时具体每一步的维度变化
为什么用相对位置embedding，为什么不直接用0，1，2…
mlm预训练时三种mask每一个的作用
为什么cls可以代表整个句子
为什么除以根号dk而不是除以dk
dk指的是谁的维度
beam search 能不能达到全局最优，与dijkstra的关系与区别，为什么dijkstra能达到全局最优
机器学习:
SVM训练误差能否为0
SVM为什么算对偶问题
高斯核为什么能把空间映射到无限维
l1 l2正则化的优点，l1正则化要求数据是拉普拉斯分布，l2正则化要求数据是高斯分布，若不是怎么办
场景题:
如何对一个班级里所有同学身高的分布进行建模，男女生分布不一样，但不知道哪个同学是男女生
如果分类任务有百万级别的类，怎么办
编程题:
（1）洗牌算法 random.shuffle的实现
（2）最长回文子数组，不要求用manacher算法
腾讯IEG二面:
3月1日 14:00–14:40
详细的讲了两个项目
常规的怎么读论文，怎么做项目的问题
口述算法题:
找无序数组中第K大的数
反问
3月2日晚上得知未通过
3月4日晚 阿里笔试 测评
3月5日上午 美团笔试
字节抖音电商一面 3月9日 15:00–16:10 结果:通过 面试结束约20分钟后hr微信通知
写题:
二叉树层序遍历
岛屿数量
（先讲思路再写）
每个项目介绍，穿插问题
为什么不能用bert做句向量表示
句向量表示用cls还是平均，实验出来的结果（做理论上的解释）
为什么不离线计算embedding
为什么不用对比学习在同一知识点下做训练
介绍word2vec
skip-gram和cbow用的哪个，为什么（哪个结果更好）
介绍bert
bert的双向和elmo的双向的区别，你认为哪个更好呢
bert和gpt的区别
bert的优势和不足
cross-entropy loss的公式
解决类别不均衡问题，带权重cross-entropy loss，和focal loss的区别。实验结果 （有效的解决长尾问题，不能解决头部问题）
bert和robert的区别
反问
京东一面 3月10日 15:00
介绍项目 问了很多关于怎么分析bad case，怎么分析数据的东西（比如利用混淆矩阵？去看把哪类分到哪类的错误比较多） ！！！没讲好，数据有遗忘
多折交叉验证一般没用？？
n-gram的原理
对抗学习的原理（fgm,pgd）
介绍Transformer的结构
介绍Transformer 的mask怎么用
介绍ln和bn
为什么nlp用ln不用bn
残差连接的作用
写题:
翻转二叉树
反问
建议:不要只重视用了什么方法，要重视分析问题的方法
自我介绍
介绍项目
介绍Transformer, self-attention
bert和robert的区别 是否了解其他的Albert, xlbert 对比bert的优缺点和应用场景
句子长度超过bert最大长度怎么办
介绍余弦相似度和欧式距离之间的区别
写题:
最长连续子数组和
暴力解法
字节抖音电商二面 3月9日 15:00–16:00
写题:每次射箭得0-10分，射10次，求总分不低于90分的组合次数
二分查找，数字第一次出现的位置
问项目
最常见问题:想进一步提升，还能用什么方法(多模态等)
梯度消失和梯度爆炸
Transformer是怎么解决梯度消失和梯度爆炸的
为什么Transformer不用bn而是用ln
多头的作用
bagging和boosting的区别
代表模型分别有什么
xgboost怎么去学新的树的
反问
腾讯一面 AI Lab 3月11日 19:30–20:15
问项目
gpt和bert的区别
做题:二分查找最左和最右
美团一面 3月14日 10：30
transformer结构bert白化的原理，对比学习用的负例，loss(项目中涉及到的)
gbdt/xgb的训练过程
除bert之外还了解哪些预训练模型
算法:矩阵二分查找
反问:业务:地图搜索
表现:很好，但是项目上可能都没到业界最优？
虾皮一面 3月14日 16：00 - 17：00
问项目
对比学习的原理
多头注意力机制的原理
self-attention和cross-attention的区别
写题:词典，句子，句子用词典里的词的最少个数(30分钟)(类似于leetcode139)
字节hr面:(35min)
实验室，导师情况
介绍一个项目
将算法落地做产品和深耕算法研究倾向于哪个，为什么
面面俱到什么都安排好的上级和自由度比较高的上级倾向于哪种，理由
是第一份实习吗，以前为什么没找过
来了之后觉得可能会有哪些挑战
三个词评价自己，并举例证明
介绍他们部门的业务
职业规划
主动 勤奋 聪明 思考 四个词按重要性排个序，为什么
一些常规的来实习的时间，实习到什么时候，地点等问题
有没有面其他公司，如果他们也给你offer你会怎么选
反问
建议:表达东西时候更有框架一些
腾讯二面:(40min) 3.15 19：00
讲比赛 讲项目
常用的数据增强的方法
有哪些做QA独有的数据增强方法
bert和robert的区别
bert和gpt的区别
gpt做生成任务时有哪些缺陷，原因是什么
随机梯度下降法的思想/原理
讲一下对比学习有哪些工作
没写代码
反问
阿里二面: 3.16 11：00
讲项目
讲一下随机森林,gbdt,xgb等
讲lstm,rnn的原理公式，lstm有几个门，作用分别是什么
attention
最近在看哪个领域论文？能不能详细介绍一下这个领域有哪些工作
反问
京东二面: 3.17 19：00
项目
sentence bert为什么做u,v,|u-v|的concat
self-attention原理
transformer encoder-decoder的原理
bert和 词向量的区别
mask self-attention 里的mask是怎么实现的
数据如果有很多标注错误怎么处理
类别不均衡怎么处理
对于模型预训练引入领域的知识信息有了解吗
多层的分类怎么实现
torch/tf实现self-attention
反问
阿里技术终面 3.17 20：30
讲项目 有没有考虑上线后怎么继续维护，提升效果
自动化为啥做算法
项目怎么分工
职业规划
平时怎么学习，读论文
和同实验室同学相比的优缺点
口述插入排序的原理
#NLP算法实习##字节跳动##阿里巴巴##腾讯##美团##面试题目##百度##Shopee#
投递华为等公司10个岗位