面试官：目前有哪些post-training方法今天老师给大家详细分析一道大厂算法面试真题:目前有哪些post-training方法，供各位同学参考。✅回答：当前主流的后训练方法包括监督微调、基于人类反馈的强化学习（RLHF）、直接偏好优化（DPO）、专家迭代（EI）以及它们的变体（例如：RLAIF、PPO、ORPO、）。然而，后训练方法在LLM部署之前增加了一个相当复杂的过程。✍🏻详解：1️⃣基于人类反馈的强化学习（RLHF）： 基于人类反馈的强化学习是一种将人类偏好和意见引入强化学习过程中的方法。RLHF将人类的反馈作为奖励信号来指导模型学习。人类可以通过提供对模型行为的偏好、反馈或排序，帮助模型更好地调整策略来适应人类的偏好，就是更懂你。2️⃣直接偏好优化（DPO）： 直接偏好优化是一种优化技术，主要通过直接学习模型在不同情境下对不同偏好的评估，来提高模型的性能。注意，它是直接优化偏好，在本质上其是通过排序的思想构造了一个优化函数，然后推导为最后可直接优化的损失，比起来RLHF的思想它更简单，大体就是改个损失就可以了。3️⃣专家迭代（EI）： 专家迭代是一种通过模仿专家行为并不断迭代改进模型的方法。在专家迭代过程中，模型首先通过观察专家的行为来学习。然后，通过模拟和优化这些行为，模型根据专家的反馈或策略进行改进。这个我没有用到过，只能说个大概。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

今天老师给大家分享大模型项目准备经验，供各位同学参考学习。1️⃣大模型流程✅数据处理：1.参考 deepseek 、 llama 、 qwen 等技术报告的数据清洗工作；2.强烈建议使用 Data - Juicer 做启发式数据清洗工具；3.做数据多样性探索，保证 Prompt 的多样性；4.做数据质量增强，用强基座做数据改写等。做拒绝采样保证 response 的" Online "性质。✅开始训练：1.卡多做 CPT ，没卡就基于 Base 模型做 Post - Training ;2.不同规则的模型调参差异大，参考大厂技术报告和其他博客；3.试试不同的训练策略，有挺多 fancy 的增量预训练和 Post - Training 方法，多试试；✅评估 Case :1.在常见的 Benchmark 上看看效果，脚本都有现成的；2.不要只看指标和 loss ,多分析 case ，知道加什么数据，摸清模型的边界能力，持续迭代优化模型能力；3.基座或者 Chat 作为 Baseline ，对比看看效果。2️⃣做一个垂域大模型项目资源准备：你需要准备至少4张3090级别的显卡，核数足够多的 CPU 。✅前期准备：1．调研业务，设计业务场景，分析可行性（数据，技术，实用性）;2．会爬虫；3.需要留钱买 API ;✅数据处理：1．爬的数据很脏，一定要做数据清洗；2.如果垂域没那么垂直，比如法律方向，大概率 Base 模型见过了，可以选择不做垂域和通用的数据配比；评估 Case :搞两个 Benchmark ，垂域和通用的，通用不能掉点太多;评估下一致性，从训练集里按任务分层抽样看看 case ;3️⃣做一个大模型应用做完上面两个项目后，其实都可以在此基础上构建一个大模型应用，目前最多的就是 rag 或者 agent 嘛，讲讲如何构建一个 RAG 。✅前置能力：1．学下 Langchain 和 Llama - index ;2.看看简单的 workflow 怎么做的，强烈推荐看看 Anthropic 的《 Building effective agents 》;3．有一定的工程能力。✅参考框架：1.Langchian- Chatchat ，之前笔记就推荐了， rag 很有影响力的开源项目，而且可优化点多；2.Qanything;3.自己手搓个 workflow .可优化点：内容供给；重排策略;微调 embedding ;意图分流单独训个 agent ;优化归纳📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系

今天老师给大家分享推荐算法3轮面经，供各位同学参考。1️⃣第一轮1、先自我介绍，我的习惯是经历简单介绍一下，然后自然转向准备最充分的一个项目开始详细讲，面试官感兴趣的话最好，不感兴趣的话会直接打断的。主要介绍了项目的背景，难点和解决方案，面试官关心的点主要集中在问题抽象和损失函数，讲清楚为什么这么做，项目大概聊了半小时左右2、机器学习基础：推导 lr，写出loss和梯度（比起推导svm来说简直就是送分题，要是写不出来的话估计会直接挂，基础还是要好好准备）3、算法 链表对折 1 2 3 4 5 变成 1 5 2 4 3拆解一下题目，(灵活)找到链表的中点 牛客题霸: 链表中倒数第k个节点 是找中点的复杂版，都是双指针解法翻转后半段链表 牛客题霸: 翻转链表合并两个链表 牛客题霸: 合并两个有序链表 是复杂版2️⃣第二轮1、先介绍项目，主要聊了项目背景和收益，收益具体怎么衡量，项目如何上线生效2、算法题 m*n的二维数组，只能往右或者往下，找最短路径，n空间 牛客题霸: 矩阵的最小路径和3、有了解过设计模式吗？(答了常见的工厂模式和单例模式，对应的应用场景，简单扯了一下装饰器模式，也是看xgb源码看到的，其实不会用)4、系统设计需要注意什么，如何设计一个系统，系统性能如何评估，需要考虑哪些指标（考察点应该是线上的系统了，指标比如内存使用率，qps，99 39 49时间之类的）5、之前帮阿里云录制过一些深度学习的入门课程，简单聊了一下相关的内容3️⃣第三轮1、先介绍项目，主要聊了项目背景和收益，收益具体怎么衡量，项目如何上线生效2、介绍xgbgbdt和xgb的区别(居然没有问lgb)怎么选最优分裂节点，怎么加速，预排序有什么作用，怎么分箱，等宽还是等深怎么处理缺失值的，预测时候缺失值怎么办3、为什么离职，希望一份什么样的工作4、有没有什么问题想要了解的（问了业务场景 工作内容）📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。#算法#

今天给大家分享一下，在面试中，大厂面试官如何去判断算法岗面试者的能力。本期分享主要针对实习和校招求职，社招下期在进行分享。🌟针对算法岗主流的方向，比如CV/NLP/LLM/多模态/AIGC/搜广推等等，面试中存在一些算法岗考核的共同点。1️⃣项目质量：主要通过从面试者的描述中，提取关键信息，比如解决什么关键问题，是否有系统性的优化思路或者创新点，以及最终能达到什么样的指标/效果。里面包括实习项目/横向课题/实验室项目等，无论是什么类型，都要对问题和解决方案有深度理解才行。2️⃣逻辑表达能力：结合第一点来考察，具体体现在是否可以在5-10min内把经历讲清楚。3️⃣基础知识：具体不同岗位考察的侧重点不同，会分为两部分，比如项目相关的基础知识以及纯粹的八股问题。如果面试大模型岗位，一些基本的LLM架构/训练方法/RAG等是重点。如果是搜广推，则是业务问题和机器学习概念为主。如果是面试AIGC算法岗，Diffusion/DIT/新方法等都可能会涉及。4️⃣代码能力：以leetcode为主，能AC并且能够进一步优化时间复杂度最好。如果不能完整AC，要能讲出代码和优化思路，但是也有不通过的可能。5️⃣头脑灵活度和学习能力：主要通过提出公司内部目前面临的问题，让面试者讲自己的想法。比如阿里/字节很喜欢这种方式，一方面有机会获得可行的思路，另一方面，如果回答能出乎面试官意料，就很加分。✴️关于我们：真实大厂在职（阿里/腾讯/百度/字节）的资深算法工程师，致力于帮助更多同学进入算法行业，推动行业发展！#算法# #互联网大厂招聘# #大家都开始春招面试了吗# #牛客AI配图神器#

通过大厂辅导老师，我走了哪些捷径想要进入互联网行业，从事高薪算法工作的朋友，如何走捷径，拿到算法 offer ？✴️自我介绍：我是转行进入算法行业，没有专业经历，但现已入职大厂，并且实现薪资大幅提升。✴️弯道超车:刚开始转行缺乏具体规划的时候，找了来自阿里，字节，腾讯等一线互联网大厂的在职算法工程师团队进行辅导，针对当前热门的算法就业方向，老师带着做大厂的算法项目，注重实践能力和面试能力的提升。✴️项目方向（热门方向）:1️⃣AIGC图像生成2️⃣多模态大模型3️⃣大语言模型4️⃣搜索，广告，推荐5️⃣自动驾驶我选择了1️⃣AIGC图像生成和2️⃣多模态大模型两个方向。✴️项目辅导流程：形式是1V1上课＋课后实践＋答疑。具体包括：理解项目流程，实践项目代码，学习方法原理，梳理面试问题，修改简历，提供虚拟面试等内容。✴️时间：老师会根据我的时间灵活安排课程，整个辅导我花了2个月左右，但后续也会因为各种琐事叨扰他们，他们是我在大厂的第一份人脉，哈哈🤗✴️成果：最终我的简历上增加了两个高质量的项目，相当于我的实习经历，并且有了这两个项目做基础，我的简历提升和面试过程就轻松了些，现在已经成功上岸！#简历中的项目经历要怎么写# #算法岗面试# #算法# #互联网大厂招聘# #牛客AI配图神器#