日常实习许愿

一些答的不好的八股问题总结 忘了很多 想到再更新答案和问题  1. llama 7b 为什么比其他基座好，与gpt3比做了什么改进：数据上质量更高，结构上用的RoPE+SwiGLUE 2. GQA可以给训练加速吗：不可以， 3. 检索增强怎么做的： 4. 长度外推除了ROPE还有什么方法（长度外推一个是训练时数据没那么长导致的一些问题，一个是计算复杂度太高没那么多资源）：局部注意力（平移不变性，感受野，window），插值，flashattetion, GQA 5. Baichuan和chatglm2有什么不同，数据上，训练上，结构上 6. Visualglm图片怎么处理的：blip...