度小满 NLP二面面经
1.自我介绍
2.抓着项目的一些问
面试官喜欢问从顶层的实验设计的一些东西
我的实验为什么要选用 cos 距离或者 mse?
能不能用 KL散度?是不能用还是不好用?
KL 散度和交叉熵的区别和联系是什么?
(都是我没考虑过的问题 有点汗流浃背)
既然你用到了那么多微调方式, 那你有什么实验过程中探究了 lora 的比如 秩之类的参数的影响吗?
prompt tuning ptuning v2 有啥区别?(说完他觉得我说的太八股太宏观了,又讲了一堆原理)
为什么 p v 2 比 prefix tuning 要减去那个 lstm 和 linear? 我说论文里说适配 NLG 任务,好像记错了。
有没有接触过强化学习?为什么你们只考虑微调,是因为啥原因?
你是用几张卡跑实验?多大参数的模型?跑的时候内存占用量多大?
有没有试过全量微调? 那你想一下,假如我用 deepspeed 的几种版本, 全量微调7B 模型,内存占用多大?
最后大概的意思就是说他比较看重实验最初的一些设计能力, 不能蹬 OOM 再来解决。让我之后要多理解一下 deepspeed。说社招看的多这些理解能力。
反正基本上就是项目围绕讲。 后面说我项目做的,工程应该能力不错。 代码题也是那种很简单的处理数据。
2.抓着项目的一些问
面试官喜欢问从顶层的实验设计的一些东西
我的实验为什么要选用 cos 距离或者 mse?
能不能用 KL散度?是不能用还是不好用?
KL 散度和交叉熵的区别和联系是什么?
(都是我没考虑过的问题 有点汗流浃背)
既然你用到了那么多微调方式, 那你有什么实验过程中探究了 lora 的比如 秩之类的参数的影响吗?
prompt tuning ptuning v2 有啥区别?(说完他觉得我说的太八股太宏观了,又讲了一堆原理)
为什么 p v 2 比 prefix tuning 要减去那个 lstm 和 linear? 我说论文里说适配 NLG 任务,好像记错了。
有没有接触过强化学习?为什么你们只考虑微调,是因为啥原因?
你是用几张卡跑实验?多大参数的模型?跑的时候内存占用量多大?
有没有试过全量微调? 那你想一下,假如我用 deepspeed 的几种版本, 全量微调7B 模型,内存占用多大?
最后大概的意思就是说他比较看重实验最初的一些设计能力, 不能蹬 OOM 再来解决。让我之后要多理解一下 deepspeed。说社招看的多这些理解能力。
反正基本上就是项目围绕讲。 后面说我项目做的,工程应该能力不错。 代码题也是那种很简单的处理数据。
全部评论
感谢分享,想问下dalao做的都是什么项目~
请教下大佬是春招还是社招呀?deepspeed分布式方向岗位怎么样呢?拿了相关offer
相关推荐