巨人网络大模型实习（2025.01.03）

1、自我介绍
2、项目介绍
3、知道国内哪些大模型
4、说一下通义千文的架构（不会）
5、那说一下chatglm3的架构
6、嵌入层（Embedding Layer） 和 输出层（Output Layer） 是参数共享的吗？
7、用的是什么归一化（Layer Normalization？）有哪些实现方式？
8、分布式训练了解吗，deepspeed？
8、了解RHLF吗？有哪几个模型？怎么计算loss的？
9、JAE了解吗？（不知道有没有听错，我好像都没停过这个东西）
10、还了解其他的对齐技术吗？

还的练，挺基础的，自己太菜。