NLP日常/暑期实习面经（字节阿里腾讯美团百度虾皮）

2-25 3:15-4:15 通过
自我介绍
控制为啥学nlp了
介绍一个项目（几乎没有问什么）
有读过ACL之类的论文吗，怎么读论文
介绍transformer
介绍bert 的预训练方式，位置编码，mlm怎么做，除了mask掉一个子词外还有其他的mask方法吗
介绍subword
是否了解多语言预训练模型(他们做这个的)
介绍word2vec，分层softmax怎么写损失函数
介绍bert做语义相似度的问题（缺点），有哪些改进
介绍对比学习
做题 爬楼梯体力值问题
反问:做什么，偏reasearch还是偏产品，实习时间

百度商业部门 一面（这次感觉是问的最难的一次）
2-28 16:00-17:00 通过
如果有一个项目给你，你具体会怎么做，是否有记录项目经过的习惯
问项目 翻译评分用了哪些特征，数据量，数据是否充足，不充足怎么办，结果能否实际应用
bert模型从输入到输出每一步的维度变化，QKV矩阵的维度，self-attention时具体每一步的维度变化
为什么用相对位置embedding，为什么不直接用0，1，2…
mlm预训练时三种mask每一个的作用
为什么cls可以代表整个句子
为什么除以根号dk而不是除以dk
dk指的是谁的维度
beam search 能不能达到全局最优，与dijkstra的关系与区别，为什么dijkstra能达到全局最优
机器学习:
SVM训练误差能否为0
SVM为什么算对偶问题
高斯核为什么能把空间映射到无限维
l1 l2正则化的优点，l1正则化要求数据是拉普拉斯分布，l2正则化要求数据是高斯分布，若不是怎么办
场景题:
如何对一个班级里所有同学身高的分布进行建模，男女生分布不一样，但不知道哪个同学是男女生
如果分类任务有百万级别的类，怎么办
编程题:
（1）洗牌算法 random.shuffle的实现
（2）最长回文子数组，不要求用manacher算法

腾讯IEG二面:
3月1日 14:00–14:40
详细的讲了两个项目
常规的怎么读论文，怎么做项目的问题
口述算法题:
找无序数组中第K大的数
反问
3月2日晚上得知未通过

3月4日晚 阿里笔试 测评
3月5日上午 美团笔试

字节抖音电商一面 3月9日 15:00–16:10 结果:通过 面试结束约20分钟后hr微信通知
写题:
二叉树层序遍历
岛屿数量
（先讲思路再写）
每个项目介绍，穿插问题
为什么不能用bert做句向量表示
句向量表示用cls还是平均，实验出来的结果（做理论上的解释）
为什么不离线计算embedding
为什么不用对比学习在同一知识点下做训练
介绍word2vec
skip-gram和cbow用的哪个，为什么（哪个结果更好）
介绍bert
bert的双向和elmo的双向的区别，你认为哪个更好呢
bert和gpt的区别
bert的优势和不足
cross-entropy loss的公式
解决类别不均衡问题，带权重cross-entropy loss，和focal loss的区别。实验结果 （有效的解决长尾问题，不能解决头部问题）
bert和robert的区别
反问

京东一面 3月10日 15:00
介绍项目 问了很多关于怎么分析bad case，怎么分析数据的东西（比如利用混淆矩阵？去看把哪类分到哪类的错误比较多）  ！！！没讲好，数据有遗忘
多折交叉验证一般没用？？
n-gram的原理
对抗学习的原理（fgm,pgd）
介绍Transformer的结构
介绍Transformer 的mask怎么用
介绍ln和bn
为什么nlp用ln不用bn
残差连接的作用
写题:
翻转二叉树
反问
阿里蚂蚁一面 3月10日 19:00
自我介绍
介绍项目
介绍Transformer, self-attention
bert和robert的区别 是否了解其他的Albert, xlbert 对比bert的优缺点和应用场景
句子长度超过bert最大长度怎么办
介绍余弦相似度和欧式距离之间的区别
写题:
最长连续子数组和
暴力解法

字节抖音电商二面 3月9日 15:00–16:00
写题:每次射箭得0-10分，射10次，求总分不低于90分的组合次数
二分查找，数字第一次出现的位置
问项目
最常见问题:想进一步提升，还能用什么方法(多模态等)
梯度消失和梯度爆炸
Transformer是怎么解决梯度消失和梯度爆炸的
为什么Transformer不用bn而是用ln
多头的作用
bagging和boosting的区别
代表模型分别有什么
xgboost怎么去学新的树的
反问

腾讯一面 AI　Lab　3月11日 19:30–20:15
问项目
gpt和bert的区别
做题:二分查找最左和最右
transformer结构
bert白化的原理，对比学习用的负例，loss(项目中涉及到的)
gbdt/xgb的训练过程
除bert之外还了解哪些预训练模型
算法:矩阵二分查找
反问:业务:地图搜索
表现:很好，但是项目上可能都没到业界最优？

虾皮一面 3月14日 16：00 - 17：00
问项目 
对比学习的原理
多头注意力机制的原理
self-attention和cross-attention的区别
写题:词典，句子，句子用词典里的词的最少个数(30分钟)(类似于leetcode139)

字节hr面:(35min)
实验室，导师情况
介绍一个项目
将算法落地做产品和深耕算法研究倾向于哪个，为什么
面面俱到什么都安排好的上级和自由度比较高的上级倾向于哪种，理由
是第一份实习吗，以前为什么没找过
来了之后觉得可能会有哪些挑战
三个词评价自己，并举例证明
介绍他们部门的业务
职业规划
主动 勤奋 聪明 思考 四个词按重要性排个序，为什么
一些常规的来实习的时间，实习到什么时候，地点等问题
有没有面其他公司，如果他们也给你offer你会怎么选
反问
建议:表达东西时候更有框架一些

腾讯二面:(40min) 3.15 19：00
讲比赛 讲项目
常用的数据增强的方法
有哪些做QA独有的数据增强方法
bert和robert的区别
bert和gpt的区别
gpt做生成任务时有哪些缺陷，原因是什么
随机梯度下降法的思想/原理
讲一下对比学习有哪些工作
没写代码
反问

阿里二面: 3.16 11：00
讲项目
讲一下随机森林,gbdt,xgb等
讲lstm,rnn的原理公式，lstm有几个门，作用分别是什么
attention
最近在看哪个领域论文？能不能详细介绍一下这个领域有哪些工作
反问

京东二面: 3.17 19：00
项目
sentence bert为什么做u,v,|u-v|的concat
self-attention原理
transformer encoder-decoder的原理
bert和 词向量的区别
mask self-attention 里的mask是怎么实现的
数据如果有很多标注错误怎么处理
类别不均衡怎么处理
对于模型预训练引入领域的知识信息有了解吗
多层的分类怎么实现
torch/tf实现self-attention
反问

阿里技术终面 3.17 20：30
讲项目  有没有考虑上线后怎么继续维护，提升效果
自动化为啥做算法
项目怎么分工
职业规划
平时怎么学习，读论文
和同实验室同学相比的优缺点
口述插入排序的原理
#NLP算法实习##字节跳动##阿里巴巴##腾讯##美团##面试题目##百度##Shopee#