接好运

全部评论

相关推荐

大模型幻觉(Hallucination)是指模型生成与事实不符、缺乏依据或逻辑混乱的内容,其产生根源可从多个维度分析:数据驱动缺陷训练数据的噪声与偏见:大模型依赖海量互联网文本训练,而网络数据本身包含错误信息、主观偏见、过时知识甚至虚构内容。模型无法辨别数据真伪,可能将错误模式内化为“知识”。长尾知识覆盖不足:即使训练数据规模庞大,某些冷门领域或细节知识仍可能缺失。当模型被迫生成此类内容时,可能通过“脑补”填补空白,导致虚构。数据时效性滞后:模型训练存在时间差(如GPT-4数据截止到2023年10月),无法获取最新事件或研究成果,可能生成过时信息。概率生成的本质:模型通过最大化token预测概率生成文本,目标是“流畅合理”而非“真实准确”。当高概率路径与事实冲突时,模型优先选择语言连贯性。缺乏现实世界感知:模型仅学习文本间的统计关联,缺乏对物理世界、因果关系或社会常识的深层理解。例如,可能生成“太阳从西边升起”的合理句式,但违背常识。自回归生成误差累积:生成过程逐步依赖前文,早期错误(如错误的前提假设)会导致后续内容偏离事实,形成“幻觉链”。训练目标与评估偏差损失函数局限性:训练时以预测下一个token的准确性为目标,未直接优化事实正确性。模型擅长模仿语言模式,但缺乏事实核查能力。缺乏显式知识验证机制:传统架构未内置实时知识检索或逻辑推理模块,无法在生成过程中交叉验证信息真实性。应用场景的复杂性模糊性指令的过度泛化:当用户需求模糊(如“写一篇关于量子物理的论文”)时,模型可能虚构术语、引用不存在的文献以完成响应。对抗性提示诱导:特定提问方式(如“请描述历史上不存在的某场战争”)可能触发模型的创造性生成模式,混淆虚构与事实边界。缓解幻觉的常见策略知识增强:引入检索增强生成(RAG),实时调用权威数据库辅助生成。强化对齐:通过RLHF(基于人类反馈的强化学习)优化模型对“真实性”的偏好。不确定性标注:让模型主动标记低置信度内容,如“据某些资料显示…”。 #牛客激励计划#  #AI产品经理#  #产品经理#  #聊聊我眼中的AI#  #聊聊我眼中的AI#  #如果可以选,你最想从事什么工作# #牛客AI配图神器#
点赞 评论 收藏
分享
家庭背景:本人男,三线城市中产家庭,有个马上读初中的妹妹,家里人脉资源偏下学术背景:计科 本2上海top2学硕研一,研究方向是llm的一个冷门领域,虽然研究的人比较少,但是比较好想创新点和写文章(其实就是把在其他领域有用的技术迁移过来就行)。本科无科研经历,研一上投了2篇一作论文,研一下目前同步研究两个项目,目前无中稿。实习有一段对口的国企实习,做的是政府的项目。导师情况:实验室大导名气很大,不过我是底下小导的第一届硕士,转博的话也是第一届博士,目前无横向。导师不push人比较好,放研二下实习,大组硕博去向都很好。有一个硕士同门已经确定研二转博,目前申请跟我导师读博的竞争比较激烈。最近老师跟我说我可以考虑转个博,因为他观察下来觉得我还蛮适合读博的。但是我一直都是想硕士就业的,有以下几个理由:1、本人不婚,比较想尽快赚钱实现自己的愿望清单2、妹妹比我更聪明很多,我想供妹妹高中或者本科就出国念书(如果读博可能没法攒到那么多钱)3、我目前所有的规划都是基于三年毕业直接就业来设计的,包括课题的进度、实习的选择等4、相比于读研,本人更喜欢实习的生活。可能是由于国企实习正常上下班并且mentor很好,所以感觉实习的时候能量是向上的自身缺点:1、很容易内耗和瞎想,性格比较内向,感觉读博需要强大的内心2、本人数学能力中等,代码能力中等,因为研究主要是偏向CoT和端到端llm之类的,因此不需要我设计新模型或者进行复杂的推理证明(感觉自己在这些方面能力有限,比较偏工程型而不是学术型)3、从来没有想过读博,因此对于读博所需要的条件(包括精神和学术),面临的挑战与毕业的要求我都不懂自身或者读博优点:1、本人极度念家,家乡没有互联网公司,因此硕士就业只能在江浙沪。但是博士毕业完可以拿家乡一本学校的教职2、读博期间可以确保出国交换至少一学期,进入大厂实习至少半年(留学是我一直梦寐以求的事情)3、我从未自暴自弃或者妄自菲薄,而且压力越大或者事情越多,我做事的效率越高(就是尽管我会内耗想东想西,但是我的手不会停)4、目前有稳定的教培兼职,并已经初步攒够fy money#牛客AI配图神器##博士##读博士还是工作##硕士#
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客企业服务