想去上海的傻狍子前程似锦 level
获赞
66
粉丝
6
关注
2
看过 TA
334
James Cook University
2024
算法工程师
IP属地:广西
八股背太多把自己也骗了
私信
关注
这次面试的问题都比较有意思,记录一下:1、介绍一下之前工作的业务场景(code LLM)2、你微调过这么多不同家的大模型(LLama、Qwen、codellam、mistral等),都有什么区别(在业务上,并不是八股结构)3、在业务上比较有效的微调手段4、具体代码翻译场景下,遇到的两种不同语言的函数不能完全一致对应,该用什么方法解决。    我提出说用一些RAG可以解决5、使用工程手段解决4好,还是使用SFT解决4好,6、如何进行5的SFT    我认为这是一个较难的问题,还是说之前在工作的时候是使用RAG解决的,此外又讲了一些在数据构造上的手段和prompt上的手段7、面试官认为可以使用RLHF解决(似乎他没有完全理解我说的业务场景)    讲了使用DPO的做法8、讲一下DPO、PPO、GRPO、KTO    其他的讲了,不了解KTO8.5、为什么不考虑对Base直接做DPO9、问DPO的数据如何构造10、问RAG问题的痛点在哪里、优点在哪里11、是否了解COT    讲了另外一段NLP实习做的COT的经历11.5、问COT从数理逻辑上为什么奏效12、问之前具体负责了哪些工作,是否具体做过训练的内容    表明做过(正常流程下面要问DeepSpeed了,但并没有问)13、问Attention上都有哪些优化措施    把GQA和FlashAttention搞混了好像这次面的比较差,可能要挂,来攒攒人品
查看15道真题和解析
0 点赞 评论 收藏
分享
9硕、研二、两段LLM实习、一段自动驾驶实习、算竞选手因为之前做的是code LLM方向,投递了字节的code LLM,但上周HR主动联系我让我面试广告方向,我表明不了解该方向并且投递的是code LLM方向,面试官说明可能是code部门对应流程结束推到了他们部门,我就接受了面试,但晚上回去发现code llm流程并未结束。面试几乎没有问过项目的具体细节,在问一些非常非常基础的八股题目:什么是MAE、MSE、RMSE什么是损失函数交叉熵怎么算什么是二项分布、正态分布、泊松分布什么是LSTM、Transfomer什么是BatchNorm和LayerNorm中心极限定理的公式DPO和PPO的区别-我主动插话引到我实习中使用DPO,具体业务场景和为什么这么做,他完全没有追问的打算我的简历中本科毕设只占了一行不到的位置,实习经历占了3/4,但他一直在问我本科毕设时间序列的东西。然后进入算法题流程,我以为做完算法之后问项目:最长01相等字串,我打ACM的随便写一个前缀和就可以做出,但他看了我的代码蛮久的然后噩梦就开始了,说问几道发散性的题目,我以为是具体业务场景的优化题目:1、圆上三点组成锐角三角形的概率。我听成了平面三点锐角三角形的概率,这里是我的问题。然后他说不对,并给我提示,提示的过程中我发现了是圆上,我打断了他的提示,表明想自己先思考一下。我问他是否可以打开电脑自带画板做图,他同意了。然后我打开的过程中,他告诉我:你不要使用ChatGPT,这题ChatGPT答不出来。我有些生气:我如果不会,我就会告诉你不会,我不会使用GPT作弊的。他说:如果你不会就下一题。此时我有点没有心情继续面下去了,就继续了下一题2、2颗鸡蛋,从100楼扔下去,给出一个策略他自己说完题意又否定重复了3到5遍才完整的把题意说出来,我吸取上题的经验,没有进行思考,直接一边思考一边回答,首先给出了二分的方法,然后说需要试着求一下期望。他直接回答我二分不对,最优解应该是x+n/x,然后问我是否会优化,我说我没有理解他的意思,他重复了一遍,我仍然没有理解。实际上直到面试结束我去查了题目才知道,需要给出worst case中最少尝试次数的一种方案,这题因为他重复了很多遍题目,我自己重新复述了题意给他,让他确认了才开始思考的,但我复述的题意中没有提到worst case,他仍然认同了我的复述。面试到这里其实我们两个都不想继续下去了3、抛硬币,先手获胜的概率我直接给出了调和级数。他说存在另外的做法,可以直接用pa和pb表示,我给出了公式:pb = 1/2 * papa + pb = 1他说我的公式里的1/2用(1 - p)来代替,我非常疑惑,问他用pa还是pb代替。他复述了一边说:pb = (1 - pa) * pa,这里他似乎口误把1-p说成了1-pa。我陷入长考,为什么是这样。几分钟后他结束了面试,我复盘时发现,硬币正面朝上的概率没有默认1/2,他没有说明正面朝上的概率是p。因为不清楚字节的流程,直接接了HR的面试,这两天看了蛮多搜广推的内容,结果没想到面试是这样的。
查看11道真题和解析
0 点赞 评论 收藏
分享

创作者周榜

更多
关注他的用户也关注了:
牛客网
牛客企业服务