小米自然语言处理算法工程师面经
10.12一面,10.18二面,目前等三面通知
一面/技术面 2024/10/12 下午17:00-18:00
- 自我介绍
- 介绍大模型实习
- 介绍一下YaRN
- 其他长文本技术
- 介绍一下flash-attn,解决的问题是什么,如何解决的
- 介绍一下RoPE
- 从别的方向转到NLP这块的具体过程
- 做大模型SFT过程中有没有遇到什么困难
- 实习过程中最有意思以及最有挑战的部分
- 大模型各个环节中比较倾向于做哪一部分
- 面试官介绍了部门的主要情况,做小爱相关的大模型应用
- 代码题:lc55,跳跃游戏
二面/技术面 2024/10/18 晚上19:00-20:00
- 自我介绍
- 论文的方向
- 介绍大模型实习
- 介绍一下YaRN
- 还有哪些长文本扩展技术
- 如何进行效果评测
- 介绍另一段推荐实习
- 实习中做了哪些改进
- 数据规模大概多少
- 如何解决高数据量高复杂度的问题
- 还有没有其他有关LLM的项目
- 了解哪些分词方式,BPE、WordPiece、Unigram LM
- 大模型实习中有没有做过一些效果上的优化,怎么做的
- 询问了一些有关位置内插的东西
- 介绍一下NTK
- 代码题:lc394,字符串解码
- 反问:部门业务