京东三面面经

1. 自我介绍

2. transformer中softmax的作用?不做softmax会有什么问题?Softmax怎么解决上下溢的问题?除了减去最大值还有方法?
3. selfattention 和传统attention 的区别?为什么Q K矩阵要不一样?Q K相同会怎么样?
4. BERT的CLS token的作用?这个CLS在下游分类任务的效果不好,有什么不用CLS的改进方法吗?用BERT做分类如何更好表达句子含义?BERT的输出有几种?对应BERT中的哪两个函数?BERT当中哪些计算是线性的哪些是非线性的?BERT是怎么区分一词多义的?
5. 学习率warmup的用法和作用?解释梯度消失的原因和解决方法,Dropout可以解决梯度消失吗?
6. BERT和GPT各自结构的优势?如果大模型以后部署、速度都得到了很大的提升,BERT会被取代吗?
7. GBDT和随机森林的区别?各自的方法流程?各自的数据处理的特点?各自偏向于解决什么问题?GBDT和随机森林对异常值的敏感程度?随机森林随机体现在哪些地方?
8. 讲一下BN和LN,Transformer问什么不用BN?
9. LORA微调的目的?LORA可以增加领域知识吗?LORA矩阵初始化?两个矩阵的初始化反过来会怎么样?LORA微调的超参?
10. LLM复读机问题以及解决方法有哪些?怎么抑制LLM的幻觉问题?常用的位置编码有哪些? 一些对原始attention的改进有哪些?
11. 为什么要用多头注意力?多头的思想和QKV三个不同投影矩阵的思想的异同?QKV矩阵除了增加表达能力以外还有什么作用?(不太懂问的是啥,面试官后面提示说是还有降维的作用,不是很懂)类似多头的集成的思想在什么算法里面比较常见?(我答了机器学习的集成学习类,比如前面的随机森林,还说了MOE这种,面试官比较想听到的是多尺度CNN)

修改了一些内容,恢复开放了,之前热度太高有点😨

#京东求职进展汇总# #软件开发笔面经#
全部评论
八股仙人
13 回复 分享
发布于 2024-09-10 20:22 北京
没绷住,和我完全一样的面经,我也今天面的,晚上就挂了
6 回复 分享
发布于 2024-09-10 23:40 上海
已经能感受到面试的时候的窒息感了
5 回复 分享
发布于 2024-09-10 20:45 广东
这八股也太炸裂了😂
4 回复 分享
发布于 2024-09-10 20:32 安徽
😂你这nlp岗含金量妥妥拉满啊😂
3 回复 分享
发布于 2024-09-11 00:17 陕西
https://zhuanlan.zhihu.com/p/360343071
2 回复 分享
发布于 2024-09-10 20:53 北京
我去,这八股的拷打
1 回复 分享
发布于 2024-09-11 11:18 四川
佬,时间线可以说一下吗
点赞 回复 分享
发布于 2024-09-10 20:35 北京
人傻了
点赞 回复 分享
发布于 2024-09-11 14:48 北京
难死了
点赞 回复 分享
发布于 2024-09-11 15:12 江苏
请问一下是什么部门呀
点赞 回复 分享
发布于 2024-09-20 09:41 辽宁
有点像KPI,是不对口吗,为啥项目没问?
点赞 回复 分享
发布于 2024-09-20 16:43 辽宁
woc,传统算法现在也常问么😱
点赞 回复 分享
发布于 2024-09-30 21:12 安徽
请教一下,lora两个矩阵的初始化反过来会怎么样?答案应该是怎样的呢
点赞 回复 分享
发布于 2024-10-13 15:13 上海

相关推荐

1. 核心影响因素- 任务类型:- 简单任务(如文本分类):可能需数百到数千条标注数据。- 复杂任务(如对话生成、阅读理解):通常需数万条甚至更多数据,尤其需多样性和高质量样本。- 模型规模:- 大参数量模型(如GPT-3、PaLM)可能需更多数据防止过拟合,但通过策略(如参数冻结)可降低需求。- 较小模型(如BERT-base)可能在较少数据下表现良好。核心是数据质量:- 高质量、标注精准、多样化的数据可显著减少需求量。- 低质量数据可能导致模型性能瓶颈,需额外清洗或增补。领域差异:- 若预训练数据与目标领域差异大(如通用→医疗),需更多领域数据调整模型分布。- 训练策略:- 正则化技术(早停、Dropout、数据增强)可缓解小数据过拟合。- 迁移学习技巧(如Adapter、LoRA)可减少可训练参数量,降低数据需求。经验可参考范围- 常规任务(分类/标注):- 小模型(如BERT):1k-10k样本。- 大模型(如GPT-3.5):可能需10k-50k样本(结合领域适配策略)。- 生成任务(对话/摘要):- 通常需5k-100k+样本,依赖生成质量要求。- 领域适配:- 若领域差异大,需额外增加20%-50%数据量。产品经理的权衡维度- 业务目标:- 若需快速验证MVP,可接受小数据+低精度(如数百样本),后续迭代优化。- 若追求高精度(如医疗、金融场景),需预留足够标注预算。- 资源限制:- 标注成本:若数据获取昂贵,需优先优化数据质量或采用主动学习。- 算力与时间:大数据量需更高训练成本,需权衡ROI。- 替代方案:- Prompt Engineering:用少量样本设计提示词,可能无需微调。- Few-shot Learning:结合模型原生能力减少数据依赖。 #牛客激励计划#  #聊聊我眼中的AI#   #数据人的面试交流地#  #AI了,我在打一种很新的工#  #面试被问期望薪资时该如何回答#  #面试题刺客退退退#  #大家都开始春招面试了吗#  #24届软开秋招面试经验大赏# #牛客AI配图神器#
点赞 评论 收藏
分享
评论
41
188
分享

创作者周榜

更多
牛客网
牛客企业服务