快手小模型

1. 自然语言理解模块具体是怎么实现的？基于Bert，大模型升级2. Bert怎么实现自然语言理解模块3. 数据集是怎么构建的？4. 序列标注的CRF有什么作用？5. 分类问题分成几类？6. 准确率怎么衡量？更新：已挂

先说本人情况：研二、组里做嵌入式的，之前也有嵌入式平台上部署大模型的比赛参加过，现在于是单人solo大模型，没卡没人带，自己摸索找项目，马上3月份准备去实习，是一家小厂但是已备案大模型在南京，想问问以后秋招如果大模型有什么相关岗位，我之前看有AIGC，目前自己在做RAG的项目，对就业其实还不太了解，有什么岗位推荐啊大佬们，还有就是如果大模型明年g了，有没有后路推荐，是软开吗，我看好多人还推荐搜推，短时间能过去吗

Transformer部分：https://jwjyxndv6cs.feishu.cn/docx/YGS9dX0mUov1tvxf9cwcgfk5nQe?from=from_copylinkBert部分：https://jwjyxndv6cs.feishu.cn/docx/XQmFdDhddoDcQ8xrWDzcMRZWnZP?from=from_copylinkLLM部分：https://jwjyxndv6cs.feishu.cn/docx/XOzTdG7gMoNjXSxOJNJcBVJonGb?from=from_copylink手撕：https://jwjyxndv6cs.feishu.cn/docx/QkY3d8QhdokrTCxrPCdc5Lnhnrd?from=from_copylinkMegatron：https://jwjyxndv6cs.feishu.cn/docx/XC4CdmIVEoZX9xxh0B9cKn7JnDd?from=from_copylink

#面经#背景工作4年，长期从事深度学习相关工作。目前的主要方向是垂直领域大模型和RAG相关项目。  xdm本期要5个点赞！！有点赞继续分享面试问题1. LoRA原理，微调的哪些层，相关训练参数设置， epoch、learning_rate等等2.RAG 切片怎么做的？3. 微调中遇到了哪些问题，怎么解决？4. embedding 召回优化5. 原生模型复读不严重，为什么微调后复读严重？  感觉现在模型不咋重复了。。6. 领域知识能不能通过LoRA微调得到7. 如何解决大模型幻觉？或者说如何缓解吧8. loss 除以 10 和学习率除以10 有区别没？主要考优化器9. self-attention为什么要做qkv的线性变换？一开始听着这个题目，懵的10.机器学习懂不懂？11. self-attention 为什么 要做softmax？给你两个字符串，比如s1=acdk, s2=ckad，每次可以把s1的任意一个字母移动到末尾，问最少移动次数使s1=s2。如果不存在，则返回-1；题目：没见过，做不来。很想开cursor给它秒了。。。#牛客创作赏金赛#点赞给个鼓励吧~ 祝我们都拿到满意的offer!#ai智能作图#