便利蜂 推荐算法二面

L1 和 L2 正则化的区别？它们都能防止过拟合吗？写出Cross entropy的公式，并解释推导过程。（我先从KL散度的角度回答，面试官提示从最大似然的角度回答，并问是否与贝叶斯有关）解释dropout的作用，训练和测试阶段是否有区别，如何解决dropout预估偏高的问题？如何判断模型是否过拟合？（仅仅训练集loss低，测试集loss高不一定是过拟合，有没有其他判断方式？我从模型偏差和方差的角度回答）如何缓解过拟合？（我说了四五种方法，面试官继续追问有没有其他方法）概率题：计算骰子第一次扔到6的次数的期望。解释AUC的定义，它解决了什么问题，优缺点是什么，并说出工业界如何计算AUC。（特别...

岗位是：机器学习/数据挖掘/自然语言处理工程师-上海，全程63分钟1.自我介绍2.拷打实习项目，先让我整体介绍了一下，然后问我数据是怎么构建的，然后问我模型规模，让我讲一下deepspeed框架，问我数据做了哪些探索，问我llama2的结构、然后问我vllm讲一下，最后让我说一下模型评估的方式3.拷打第二个项目，我的是一个rag的项目，先问我数据怎么处理的，我说了一下解析、清洗、分块、向量化相关的，他又问了一下分块具体用什么、向量化用的什么模型、bge模型结构、召回怎么做的，然后让我讲了一下缓解幻觉的解码细节4.看我发了几篇论文，问我了一些研究方向相关的5.算法题，让将一个数组打乱，时间复杂度On6.反问，问部门做什么的，说是做广告推荐的 #我的失利项目复盘# #软件开发笔面经#  #如何判断面试是否凉了#

腾讯-暑期实习-推荐算法-初试(已offer)暑期实习的面经现在才有空发出来哈哈哈个人背景：双985Timeline：2.25投递，3.4通知初试，3.5初试，3.8复试，3.10 HR面，3.12 HR电话沟通offer，3.15 正式offer邮件面试部门：PCG腾讯会议面了一个半小时，过程如下：1.先简单介绍一下自己。2.挑一个你觉得最能体现你的能力的项目经历展开讲讲。我挑了我正在投稿的论文来讲。然后面试官让我先介绍一下研究任务的背景。因为面试官对我做的任务不了解，所以我几乎是边讲边给他解释一些生疏的概念（在这种时候怎么简短有效地向别人解释新概念就很体现个人表达能力了）。之后就是深挖项目，问的很细，处理的数据集是什么格式，模型输入是什么，样本是什么，模型怎么训练的，full-batch还是mini-batch，有监督还是无监督，数据集太大为什么用 CPU 训练不用 GPU，怎么优化等等（氪金，买 v100 卡、mini-batch、分布式多卡训练）。然后问我 F1-macro 指标怎么计算的（F1是precision 和 recall 的调和平均，F1-macro 和 F1-micro 求平均的计算方式略有不同）。我看你的 AUC 指标挺高的，你觉得这样的性能提升幅度算大吗（AUC 的提升幅度比较小，一点点的提升都是突破）？AUC 指标的数值意义是什么，不用库函数的话具体计算公式是什么（具体计算方式我只记得一个大概的要做排序什么的了，面试官说基本上是这样）。3.对推荐系统感兴趣吗？了解推荐算法吗？（因为我的简历里有写了解具体的推荐算法），自己挑一个算法展开讲讲（我挑了 YouTubeDNN 进行介绍）。然后问 YouTubeDNN 和 DSSM 的区别是什么（我从两者双塔结构的区别、对 Item embedding 处理的区别进行了分析）。4.面试官口头表述出了两道 medium 代码题，都是动态规划：）力扣对应题目见下方。我是直接在 vscode 上写然后讲思路的。5.可以实习多久，什么时候可以开始实习，有在考虑其他公司的机会吗？我说这个不太方面透露，面试官笑了：）所以这个问题一般怎么回答比较好。有什么想问的问题，我问了一下部门的业务方向是什么，面试官说是QQ的部门，做QQ短视频推荐的，然后让我打开QQ看一下就知道了。我打开QQ找了一下才看到，面试官说你是不是把QQ卸了：）我说我平时比较忙，QQ基本上只用聊天功能哈哈哈哈哈哈哈（好吧）。力扣对应题目：【1143. 最长公共子序列】（原题，代码见图片）给定两个字符串 text1 和 text2，返回这两个字符串的最长公共子序列的长度。如果不存在公共子序列，返回 0。一个字符串的子序列是指这样一个新的字符串：它是由原字符串在不改变字符的相对顺序的情况下删除某些字符（也可以不删除任何字符）后组成的新字符串。例如，"ace" 是 "abcde" 的子序列，但 "aec" 不是 "abcde" 的子序列。两个字符串的公共子序列是这两个字符串所共同拥有的子序列。（我直接用二维 dp 秒了，然后面试官问我 text1 和 text2 的当前字符不相等时的状态转移方程求 max 为什么不加一个 dp[i-1][j-1]，我还想了一点时间怀疑自己的代码，最后说 dp[i-1][j-1] 的情况已经包含在了 dp[i-1][j] 和 dp[i][j-1] 里了。然后面试官问我如果要求最长公共子序列具体的序列是什么怎么求，然后我就蒙了，思考了很久，觉得可以用 dfs 爆搜，然后还是用 dp 的话可不可以将 dp 数组的 int 改成 string，但是这样字符不相等的时候状态会分裂，所以应该比较难做，最后面试官说把这个当做课后题我回去再思考一下吧）【最长公共子串】（好像没找到 string 类型的原题，但是有数组类型原题【718. 最长重复子数组】，代码见图片）直接把上一题【1143. 最长公共子序列】的求公共子序列改成求公共子串。（面试官还是继续从上面那题展开考我变体，问我把求公共子序列改成求公共子串要怎么求。我一开始还想着用扩展 kmp (z函数) 解，但是发现这样需要把其中一个字符串的所有子串先求出来，多此一举，就还是用二维 dp 秒了。其实代码就是把【1143. 最长公共子序列】的第二个状态转移方程变一下，然后用一个 maxLen 实时更新求到的最长公共子串）复盘：1.前面经过几次面试， 现在对面试的流程和自己的简历内容已经比较熟悉了，但是因为对推荐算法的知识是新学的，所以遗忘很快，需要抽时间复习一下。2.这次直接出了两道中等动态规划题，差点招架不住，因为动态规划真的是我最弱的知识点，动态规划的题只要一难一变化我很容易就歇菜：）所以还是多练练动态规划吧：） #腾讯#  #暑期实习#  #面经#  #算法#

一面没问推荐算法的八股，只问了项目算法题：并查集，其他能代替并查集的算法？梯度下降和二分求函数的解，梯度下降法如何初始化1. 项目的loss是什么，模型特点，项目问了很多2. maxpooling的反向传播3. 多模态怎么处理成特征数据的4. scaled dot product attention 公式二面算法题：全排列21. CNN用的什么卷积核，项目2. 实习做的精排，目标是什么，模型用的什么，mmoe预测和单独用多个模型预测的区别3. 排序指标用的啥4. self attention公式，为啥除以根号dk5. fm的公式，如何优化的三面算法题：前k个高频基本都问的项目1. CNN的特点、好在哪，visiontransformer的输入2. 激活函数有哪些，介绍，leakyrelu零点的导数怎么求3. sigmoid有什么问题，梯度爆炸算法题我开始用优先队列，问了下大根堆的时间复杂度，面试官说用快排的思路写，没写出来