本科人工智能现状

图片懒加载实现(interaction obersever，也可以自己实现，考虑防抖和once)缓存（强缓存响应码200；协商缓存响应码304，service worker没了解）骨架屏（element plus手画，很简单）cookie，localstorage，sessionStroage区别，作用localstorage实现过期清理（疑似没有API，可以自己轮询实现）有遇到跨域吗（vite的proxy就很好，可以解决开发阶段的跨域）

友友有无推荐，审稿快好中的期刊，人工智能，最好和语音相关的，手上工作比较僵硬再不投要烂在手里了。

回头看看这一年，真是感慨万千。这一年，我参与了很多项目，从研发到生产，再到市场推广和客户服务，真是全方位体验了一把。和同事们一起合作，我学会了倾听不同的声音，也知道怎么在团队里发挥自己的长处。在蔚来，挑战是家常便饭，但也正因为这些挑战，能够让我不断突破自己。每次解决技术难题，优化流程，成就感都满满的，同时也明白了失败其实是成功的垫脚石，只要坚持，总能看到曙光。这一年，我也见证了蔚来的飞速发展。新车型、市场份额、用户口碑，样样都在提升，希望工资也能再提一提

具体是做大模型训练套件的中台组，所以很考察涉及大模型内部计算的细节。1.自我介绍2.手撕 和最大的连续子序列3 写一个多头注意力 reshape transpose4 为什么要使用多头注意力 更多的qkv嵌入更好的表达能力5 单头注意力和多头注意力计算量比较。多头略多一些，具体应该是多在多头注意力concat之后的又一次线性变换上。这题当时没答对。6 为什么使用gqa，gqa的好处有啥。略微减少参数量，均衡性能并减少kv cache的压力。7 为什么是kv cache 而不是qv cache。我理解是，如果是qv cache，这东西能算的注意力是最后一列而不是最后一行，这种计算甚至是反因果系统这个前提的，我感觉我的解释有道理，但面试官不满意，可能有更好的答案。8 lora具体为什么能减少计算过程中的显存占用，具体减少在那部分上了？我认为权重和前向过程中的激活值在加上lora之后，整体也不会少太多，那么少的只能是来自梯度和优化器状态，其中大头是优化器状态。9 拷打Megatron中的张量并行都存在哪些地方，具体如何做张量并行，当时没太完全看透Megatron（虽然现在也没看透），所以这题直接爆炸了。10 具体来说Megatron在transformers中的张量并行，可以发生在mlp，attention，embedding，cross entropy这几块。在mlp上，存在一个因为非线性变换，而对两个矩阵乘中的右侧矩阵列split，左侧矩阵不切的方式进行并行，减少一个同步点。attention中的并行主要是对头并行。embedding和cross entropy中这是要减少vocab这个超大纬度给计算带来的压力，做vocab纬度的张量并行。11 见我Megatron 张量并行打的不是很好，可能是想引导一下，面试官问我长文本训练中，需要算loss的token很多，怎么缓解这个过程的计算压力，我觉得他当时想引导我讲cross entropy的张量并行的，但我当时没想到。反问 很套路的了解部门业务结果 面完秒挂 😭 #如何判断面试是否凉了# #百度求职进展汇总# #互联网没坑了，还能去哪里？#