建行面试相关问题

小红书推荐算法面经一面（60min）1、自我介绍（5分钟）2、项目和一些八股（40分钟）- 模型label是什么- 这一结构为什么会有效果提升，分析- embedding怎么得到的- 简单介绍一下sim3、手撕代码（10分钟）- 最大子数组和4、反问二面（40min）1、自我介绍（5分钟）2、项目（20分钟）- 为什么模型有效果- 召回粗排和精排要解决什么问题，选一个最熟悉的讲一下未来的迭代方向- 怎么保证链路一致性3、手撕代码（10分钟）- 给链表的头结点，将其按照升序排列并返回排序后的链表4、反问虽然两次面试前几个小时，面试官都因为临时开会更改了面试时间，让人有点不舒服，但是面试官人真的都...

屁都不会放一句啊 挂了就说挂了呗 哑巴也能当hr了

我可能就是那个无志的飞舞吧哎

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...