2024-12-18 09:32 中国科学院大学 算法工程师 发布于俄罗斯
关注
联想-AI开发
1. 场景题：订单评论情感分析的系统全流程
2. Langchain是否了解？工作机制
3. 大模型中如何更高效，更快速的工作？
4. 大模型的性能优化？
5. Agent的快速响应？识别准确率？用户的上下文管理？
准确率可以用思维链（CoT），响应速度需要和准确率去做trade-off
提升响应速度：
推理阶段：
模型剪枝：权重剪枝、结构剪枝
量化：将模型从高精度（如Float32）降低到低精度（int8），降低计算和内存要求
训练阶段：
知识蒸馏：使用大模型训练一个小模型，提升计算速度
混合精度训练：在训练和推理阶段使用不同的精度
部署阶段：
分布式并行：在多台机器上并行处理。
缓存：对常用的请求结果进行缓存
6. 个人发展
7. 业务场景
IT、电商团队、联想的全球供应链、端到端的设计
更新：二面完泡池子到12月，应该是无了
2. Langchain是否了解？工作机制
3. 大模型中如何更高效，更快速的工作？
4. 大模型的性能优化？
5. Agent的快速响应？识别准确率？用户的上下文管理？
准确率可以用思维链（CoT），响应速度需要和准确率去做trade-off
提升响应速度：
推理阶段：
模型剪枝：权重剪枝、结构剪枝
量化：将模型从高精度（如Float32）降低到低精度（int8），降低计算和内存要求
训练阶段：
知识蒸馏：使用大模型训练一个小模型，提升计算速度
混合精度训练：在训练和推理阶段使用不同的精度
部署阶段：
分布式并行：在多台机器上并行处理。
缓存：对常用的请求结果进行缓存
6. 个人发展
7. 业务场景
IT、电商团队、联想的全球供应链、端到端的设计
更新：二面完泡池子到12月，应该是无了
全部评论
相关推荐
查看13道真题和解析 点赞 评论 收藏
分享
查看11道真题和解析 点赞 评论 收藏
分享