度小满 NLP二面面经

1.自我介绍
2.抓着项目的一些问
面试官喜欢问从顶层的实验设计的一些东西
我的实验为什么要选用 cos 距离或者 mse?
能不能用 KL散度?是不能用还是不好用?
KL 散度和交叉熵的区别和联系是什么?
(都是我没考虑过的问题 有点汗流浃背)

既然你用到了那么多微调方式, 那你有什么实验过程中探究了 lora 的比如 秩之类的参数的影响吗?
prompt tuning  ptuning v2 有啥区别?(说完他觉得我说的太八股太宏观了,又讲了一堆原理)
为什么 p v 2 比 prefix tuning 要减去那个 lstm 和 linear? 我说论文里说适配 NLG 任务,好像记错了。
有没有接触过强化学习?为什么你们只考虑微调,是因为啥原因?
你是用几张卡跑实验?多大参数的模型?跑的时候内存占用量多大?
有没有试过全量微调? 那你想一下,假如我用 deepspeed 的几种版本, 全量微调7B 模型,内存占用多大?

最后大概的意思就是说他比较看重实验最初的一些设计能力, 不能蹬 OOM 再来解决。让我之后要多理解一下 deepspeed。说社招看的多这些理解能力。

反正基本上就是项目围绕讲。 后面说我项目做的,工程应该能力不错。 代码题也是那种很简单的处理数据。
全部评论
感谢分享,想问下dalao做的都是什么项目~
点赞 回复 分享
发布于 03-27 20:44 河南
请教下大佬是春招还是社招呀?deepspeed分布式方向岗位怎么样呢?拿了相关offer
点赞 回复 分享
发布于 04-29 18:08 上海

相关推荐

5 17 评论
分享
牛客网
牛客企业服务