大模型预训练面经(五）

1. 自我介绍与项目介绍3. cuda bank conflict4. cuda softmax5. online softmax与flash attention6. 大模型的端侧部署7. 模型导出的动态维度问题8. 对感知规划控制算法的了解9. 量化相关10. 多线程，openmp，mpi11. ncnn交叉编译12. ncnn源码懂多少技术面就一面，后面约了线下终面，懒得折腾，不占坑位了，拒掉了。#高性能计算##高性能计算面经#

1. 自我介绍。2. 请介绍一段你印象最深的实习经历。3. 在这个活动中，你洞察到了什么？采取了哪些措施来满足特定人群的需求？4. 为什么选择不留在xx司转正？5. 你对工作的状态和期待是什么？

1.上来先手撕，撕的最小路径和。实现之后让我用动态规划实现一遍，问状态方程，然后又问时间复杂度以及为什么。2.问对架构的理解,arm,gpu这些架构了解多少3.对原子操作的理解4.vector和list区别5.vector怎么动态扩容6.线程间通信方式有哪些7.为什么要用cache，从原理以及缓存命中等角度考虑。8.说一下常用的Linux调试工具9.top命令一般展示什么10.Linux有哪些调度方式，cfs的调度原理11.neon了解嘛12.了解哪些opencv算法，说一下常见的算子13.问了一些科学计算库了解嘛

background纯后端厌倦了，一句话形容，又事多又无聊又着迷LLM，想转main-content主旨就是狠狠拷打，有点压力的意思先是对项目的真实性表示质疑，我这边给了一些具体的信息又怀疑项目达到的性能，三方面进行拷打：PE，LoRA，RAGLoRA主要说了概念，具体怎么用，用在哪些层，为什么有效，成本控制RAG主要说了知识库建立，也是老生常谈的语义分割和上下文长记忆问题PE就是列举了几个case，就是CoT，角色扮演，多次迭代最后做了一道算法 dfs秒了summary一定要对基础知识掌握扎实，活学活用，比如问LoRA和Adapter，Knowledge distillation的异同RAG...