1. 目前实习工作， 为什要用聚类来评估文本向量化表示?2. DBSCAN算法原理(简历有)3. 生成模型的的Category不存在预定义集合怎么办4. UIE+Category具体流程 (实习)5. 分类评估用的是什么指标6. bert模型中文本到id转化的过程是怎么样？7. 现有流行的模型相对于transformer，多头注意力有哪些改进/不同8. 现有流行的模型相对于transformer，layernorm 层改进/不同  a. 正态度分布9. 现有流行的模型相对于transformer，embedding的改进/不同10. 现有模型之间(chatglm baichuan llama)的不同主要是哪些方面11. 常见的高效微调方法有哪些(p-tuning v1/v2 prompt-tuning prefix_tuning)， 他们是如何做到节省GPU的，GPU上存放的是什么12. 怎么进行梯度更新的， 有哪些优化函数13. 现有流行的各个模型的编码方法有了解吗， 有什么不同呢， 简单介绍一下14. ChatGLM和transformer在编码和注意力方面有哪些区别15. Lora的降秩是所有都降吗， 还是降哪些？16. 一般用高效微调来干嘛17. 序列标注有了解吗， CRF有了解吗18. 场景题 现有三个词 权重分别是[0.2 0.3 0.5] 可以使用random, 进行k次(亿级别)采样， 设计一个采样算法反问:高效微调， GPU是如何存储的？1. 优化参数 2. 梯度参数 3. 模型参数 可以自己查总结: 面试官人挺好的 和之前面试的感觉不一样 面试过程可以学到很多东西。还是自己太菜了 还是得练得沉淀