华为云25届大模型校招

一面介绍你最熟悉的项目数据质量、来源训练细节、模型评估BPE拷打论文、问其他工作的区别手撕：链表easy题手撕MHA二面拷打项目数据清洗、分词、配比数据来源、代码比例并行策略loss抖动对齐拷打论文八股：生成式和判别式、KL散度三面hr职业规划选择offer看什么base、薪资期望老家哪的有无其他offer具体问题可以私聊我虽然是提前批，但是流程不算快，隔几天出结果

一面/技术面 2024/8/23 上午11:00-12:00自我介绍挑一个实习介绍了解哪些位置编码技术RoPE原理线性内插、NTK到YaRN位置内插后注意力计算会增加，如何缓解介绍LongLoRA数据集构建时各种类型的比例是如何确定的使用华为910B及其相关平台时遇到过哪些困难，如何解决的效果如何评测最终的效果提升有没有什么具体的指标Coding：两数之和为什么要投蔚来反问二面/技术面 2024/9/3 下午16:00-17:00自我介绍介绍实习自己做了哪些工作，mentor提供了哪些支持介绍LongLoRAYaRN原理主要业务场景训练过程中如何降低显存使用训练的细节，时长，参数设置，显卡数量...

1. 面试官先自我介绍了一下2. 我的自我介绍3. 主要比较care实习里面的各个阶段的数据流程，问了一下合成数据的优缺点？4. 问了一下LLM评估方面，人工还是自动化？离线评估指标和线上评估指标有什么区别？5. 问了一下推荐系统和LLM结合的理解，从召回和精排两部分稍微说了一下理解，以及结合多模态blabla6. 做了一个最长回文子串的题，我用的一般的O(n^2)的算法，那个O(n)的记不得了，面试官让优化，大概说了一下可以剪枝什么的，没有具体做（确实不太会）7. 反问，其实更多的是面试官在给我讲推荐系统的难点，以及他们认为LLM可以优化哪些地方#快手求职进展汇总##牛客创作赏金赛#

你了解 Mixtral 8*7B 模型训练的优化组选择吗？机内通信首选的策略组应该是什么，选择的原因是什么？shared_memory 一定重要吗，cuda 中的 memory 种类和使用方式介绍一下cuda launch 的过程，CPU 端怎么知道命令完成的GPU 之间的通信是如何完成的cuda 的计算和通信指令是如何发出的CP 的并行方式和并行思想，ring 和 ulysses 的技术介绍介绍一下在大模型训练/推理过程中常见的通信原语请解释并介绍一下 Roofline 模型，是怎么运用到实际场景中的如果给你一些 CPU，GPU 的型号，你如何去对他们进行比较合适的组装，以及机内机间的带宽你...