过了，但是hr失联了，我记住你了，完美世界。

一个给游戏NPC开发对话的实习岗位，好像还挺有意思。

面试官人很好，不过我nlp方面的东西做的很少，还停留在RNN上面TT。

他也没问啥，问了我了不了解GPT和BERT这些的底层原理，有没有看过相关论文。

（怎么公司现在也要看论文了，离谱啊！）

不了解就没问了。没给我啥压力。

看这个面试官的精神状态，这公司应该还行，应该不卷。

面的很快，几分钟就结束了TT。

GPT底层原理：

先了解一下prompt：https://www.bilibili.com/video/BV1Ug411N7KD/

https://zhuanlan.zhihu.com/p/399295895

prompt（提示），是为了解决大模型过大，fine train时需要过多资源的问题而产生的。fine train需要根据不同的任务对模型进行训练，每个任务都要另存一份参数，需要硬件资源训练，且占用存储资源。

而prompt会根据提示词的不同，预测or生成不同的词或文本。

prompt learning：固定深层网络的参数（frozen）,只训练浅层的参数。zero-shot。

最后就是chatgpt的样子。QA实现了大一统。

bert的思想时预训练+fine tuning，这样在模型不够强，参数不够多的时候是要这么做的。

但是参数够多，模型够强，能够学到所有的知识的时候，就只需要通过prompt去激活模型的能力，让它找到已存储的知识。

gpt的思想就是让下游任务和预训练任务"长得一样"，这样就不需要fine tuning。

gpt在chatgpt出现以前效果不如bert的原因就是参数不够多，模型不够强大，而gpt做的又是zero shot，效果肯定不好。

追加：

二面问了一些啥忘了，大概就是transformer七七八八的。

过了。4k，早10晚9。

不过有点远。