没有绝对的天才，只有持续不断的付出。对于我们每一个平凡人来说，改变命运只能依靠努力+幸运，但如果你不够幸运，那就只能拉高努力的占比。内容涉及到：面试题（含答案）+学习笔记+电子书籍+学习视频，已经打包在简介。大模型(LLMs)基础面1.目前 主流的开源模型体系 有哪些?2.prefix LM 和 causal LM 区别是什么?3.涌现能力是啥原因?4.大模型 LLM的架构介绍?大模型(LLMs)进阶面1.llama 输入句子长度理论上可以无限长吗?2.什么是 LLMs 复读机问题?3.为什么会出现 LLMs 复读机问题?4.如何缓解 LLMs 复读机问题?5.LLMs 复读机问题6.lama 系列问题7.什么情况用 Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选?8.各个专业领域是否需要各自的大模型来服务?9.如何让大模型处理更长的文本?大模型(LLMs)微调面1.如果想要在某个模型基础上做全参数微调，究竟需要多少显存?2.为什么 SFT之后感觉 LLM傻了?3.SFT 指令微调数据 如何构建?4.领域模型 Continue PreTrain 数据选取?5.领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力?6.领域模型 Continue PreTrain ，如何 让模型在预训练过程中就学习到更多的知识?7.进行 SFT操作的时候，基座模型选用Chat还是 Base?8.领域模型微调 指令&数据输入格式 要求?9.领域模型微调 领域评测集 构建?10.领域模型词表扩增是不是有必要的?11.如何训练自己的大模型?12.训练中文大模型有啥经验?13.指令微调的好处?14.预训练和微调哪个阶段注入知识的?15.想让模型学习某个领域或行业的知识，是应该预训练还是应该微调?16.多轮对话任务如何微调模型?17.微调后的模型出现能力劣化，灾难性遗忘是怎么回事?大模型(LLMs)langchain面1.基于 LLM+向量库的文档对话 基础面2.基于 LLM+向量库的文档对话 优化面3.LLMs 存在模型幻觉问题，请问如何处理?4.基于LLM+向量库的文档对话 思路是怎么样?5.基于 LLM+向量库的文档对话 核心技术是什么?6.基于 LLM+向量库的文档对话 prompt 模板如何构建?7.痛点1:文档切分粒度不好把控，既担心噪声太多又担心语义信息丢失2.痛点2:在基于垂直领域 表现不佳3.痛点 3:langchain 内置 问答分句效果不佳问题4.痛点 4:如何 尽可能召回与 query相关的Document 问题5.痛点5:如何让 LLM基于 query和 context得到高质量的response6.什么是 LangChain?7.LangChain 包含哪些 核心概念?8.什么是 LangChain Agent?9.如何使用 LangChain ?10.LangChain 支持哪些功能?11.什么是 LangChain model?12.LangChain 包含哪些特点?大模型(LLMs):参数高效微调(PEFT)面1.LORA篇2.QLoRA篇3.AdaLoRA篇4.LORA权重是否可以合入原模型?5.LORA 微调优点是什么?6.LORA微调方法为啥能加速训练?7.如何在已有 LORA模型上继续训练?1.1 什么是 LORA?1.2 LORA 的思路是什么?1.3 LORA 的特点是什么?2.1 QLORA 的思路是怎么样的?2.2 QLORA 的特点是什么?8.3.1 AdaLoRA 的思路是怎么样的?为什么需要 提示学习(Prompting)?9.什么是 提示学习(Prompting)?10.提示学习(Prompting)有什么优点?11.提示学习(Prompting)有哪些方法，能不能稍微介绍一下它们间?4.4.1为什么需要 P-tuning v2?4.4.2 P-tuning v2 思路是什么?4.4.3 P-tuning v2 优点是什么?4.4.4 P-tuning v2 缺点是什么?4.3.1为什么需要 P-tuning?大模型评测面(LLMs)大模型怎么评测?大模型的 honest原则是如何实现的?模型如何判断回答的知识是训练过的已知的知识，怎么训练这种能力?大模型(LLMs)强化学习面奖励模型需要和基础模型一致吗?RLHF 在实践过程中存在哪些不足?如何解决 人工产生的偏好数据集成本较高很难量产问题?如何解决三个阶段的训练(SFT->RM->PPO)过程较长，更新迭代较慢问题?如何解决 PPO 的训练过程同时存在4个模型(2训练，2推理)，对计算资源的要求较高问题？