大模型推理

如题，要准备投暑期实习了开始焦虑hhhbg双九科班，实验室是体系结构方向，AI Infra和搜广推都有过大厂实习没想好就业选什么方向，AI Infra的hc太少，搜广推又似乎瓶颈了#AIinfra##推理优化##大模型推理##搜广推##推荐算法##算法##体系结构##暑期##牛客AI配图神器#

RT  投算法每次能过简历但是一面试就说我bg偏工程…但是看开发岗也没有跟大模型推理沾边的  就很迷惑 #秋招#  #面试#  #算法#  #大模型#  #大模型推理#

现在有两个地方看起来比较合适，一个是去做业务场景落地，比如大模型应用到业务上，微调，agent这些；一个是去做基础技术，比如大模型 KV cache 等等优化，针对多模态场景的 KV cache 等等。两个平台都不错，图片上就是第二个。我的情况是，博士读书期间主要做科研，写论文，做的是多模态算法，改改网络结构，发发论文这些。感觉很多师兄师姐都是去做业务场景落地，不过工作可能也比较偏数据处理，业务调优等等。好处就是这个岗位需求大，跳槽也容易。坏处就是卷。。。基础技术研发感觉比较偏底层，做 kv 复用，kv检索等等，里面研究员，博士比较多。这个岗位好处是技术比较深，坏处可能需求量少，做模型基础平台技术不需要太多人请问大家这两个应该怎么选呢 #计算机# #深度学习与神经网络# #多模态# #大模型#  #大模型推理# #offer帮选#

bg一段芯片厂推理框架开发实习一个推理框架开发的项目一面一面的面试官是搞算法的，可能对推理相关的内容了解的不多，主要是针对CUDA的内容问的，比如内存模型，加速方法等，不算深入。顺便还考了一个softmax的CUDA手撕。其他的就是针对简历上提到的一些工作进行了提问，因为面试官本身也了解不深入，所以算是给他回答一些疑惑。手撕除了上面说到的CUDA，还有LC19删除链表的倒数第N个节点。二面一开始就是对项目和实习进行了询问，属于聊天型的。然后从简历出发，考了一些八股，flash attention、attention的计算复杂度，llama模型结构，为什么注意力分数计算要除以根号d，KV cac...

https://mp.weixin.qq.com/s/96NdHInxMUnd_et5WQQMBw #大模型# #大模型面试# #大模型推理#