大语言模型

岗位是大模型方向，面经可以看之前的帖子，附上timeline：10.11 一面/技术面10.17 二面/技术面10.23 三面/HR面10.24 OC#斑马智行##NLP算法工程师##大语言模型##25届秋招#

一二面连在一起，当时被打了个措手不及一面/HR面 2024/9/5 下午13:30-13:40自我介绍从实习中学到了什么实习和在学校的差异你觉得有哪些找工作时最关注哪些因素家乡是哪里，base选择做一个自我分析，谈下自己面试这个岗位时有哪些优势，同时有哪些不足需要去改进反问：面试流程问题，HR面和一面技术面一起，后边再来一轮技术面就OK了二面/技术面 2024/9/5 下午13:40-14:40直接开始八股Transformers中为什么用LN不用BN图像中BN是怎么用的在NLP中如果句子长度不一致，用BN会有什么后果给定一个三维矩阵bsz * seq_len * dim，BN和L...

人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法 1.SFT 监督微调 1.1 SFT 监督微调基本概念 SFT（Supervised Fine-Tuning）监督微调是指在源数据集上预训练一个神经网络模型，即源模型。然后创建一个新的神经网络模型，即目标模型。目标模型复制了源模型上除了输出层外的所有模型设计及其参数。这些模型参数包含了源数据集上学习到的知识，且这些知识同样适用于目标数据集。源模型的输出层与源数据集的标签紧密相关，因此在目标模型中不予采用。微调时，为目标模型添加一个输出大小为目标数据集类别个数的输出层，...

我这里有个大模型的比赛，感觉比较好拿奖，还有丰厚的奖金，想找队友 #大模型# #nlp# #llm# #大语言模型#

莫名其妙送到百度发来的广告我有点好奇这是文心一言的体验资格吗？ #百度# #大语言模型#

大语言模型的预训练[5]：语境学习、上下文学习In-Context Learning：精调LLM、Prompt设计和打分函数（Scoring Function）设计以及ICL底层机制等原理详解 1.In-Context Learning背景与定义 背景 大规模预训练语言模型（LLM）如 GPT-3 是在大规模的互联网文本数据上训练，以给定的前缀来预测生成下一个 token（Next token prediction）。通过预测词的训练目标、大规模数据集以及超高参数量的模型相结合，产生了性能极强的 LLM，它可以 “理解” 任何文本输入，并在其基础上进行“写作”，除此以外，GPT-3 的论文...

随着生成式人工智能的蓬勃发展，大语言模型 (LLM) 正成为人工智能领域的核心技术，推动了 AI 编程、智能客服、AI 办公等应用场景的落地。然而，这些技术通常依赖强大的云计算资源，而将其扩展到端侧设备需要克服计算能力、延时和功耗等众多挑战。乐鑫科技凭借其领先的无线 SoC 技术，为这一挑战提供了解决方案。暨火山引擎 2024 冬季 FORCE 原动力大会宣布与乐鑫、ToyCity、Folotoy 及魂伴科技联合发布 AI+ 硬件智跃计划之后，公司官网上线了 AI 大模型解决方案。乐鑫携手火山引擎豆包大模型，致力于为用户提供卓越的端到端解决方案，融合前沿技术，为智能设备注入强大的智能内核。 方...

ChatGLM3-6B：新一代开源双语对话语言模型，流畅对话与低部署门槛再升级 1.ChatGLM3简介 ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性： 更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Ba...

大语言模型的预训练[6]：思维链(Chain-of-thought，CoT)定义原理详解、Zero-shot CoT、Few-shot CoT 以及在LLM上应用 1.思维链定义 背景 在 2017-2019 年之间，随着 Transformer 模型的提出，计算资源与大规模语料库不断出现，自然语言处理领域发生了翻天覆地的变化，传统的全监督学习的范式逐渐达到了瓶颈，很难在传统的训练方式上取得大幅度提升。这时大规模预训练模型的如 Bert、RoBERTa 等模型的出现使得研究方向转向了以预训练模型为基础 + 下游任务 Fine-tune 的范式。 然而随着语言模型规模的不断增大，Fine-t...

“超级AI助手：全新提升！中文NLP训练框架，快速上手，海量训练数据，ChatGLM-v2、中文Bloom、Dolly_v2_3b助您实现更智能的应用！” 1.简介 目标：基于pytorch、transformers做中文领域的nlp开箱即用的训练框架，提供全套的训练、微调模型（包括大模型、文本转向量、文本生成、多模态等模型）的解决方案； 数据： 从开源社区，整理了海量的训练数据，帮助用户可以快速上手； 同时也开放训练数据模版，可以快速处理垂直领域数据； 结合多线程、内存映射等更高效的数据处理方式，即使需要处理百GB规模的数据，也是轻而易举； 流程：每一个项目有完整的模型训练步骤，如：...

大规模语言LLaVA：多模态GPT-4智能助手，融合语言与视觉，满足用户复杂需求 一个面向多模式GPT-4级别能力构建的助手。它结合了自然语言处理和计算机视觉，为用户提供了强大的多模式交互和理解。LLaVA旨在更深入地理解和处理语言和视觉信息，从而实现更复杂的任务和对话。这个项目代表了下一代智能助手的发展方向，它能够更好地理解和应对用户需求。 效果展示 demo链接：https://llava.hliu.cc/ 当我来这里旅游时，我应该注意哪些事情? 在平静的湖面上游览码头时，有几件事你应该小心。首先，要注意天气状况，因为图像显示的是多云的天空。这可能表明天气突然变化的可能性，如...

#OPPO开奖# 请问一下大家，oppo和实在智能这两家的nlp/llm实习怎么选。面试官都是直系上司，也都聊着很好。但是实在智能这边描述的项目更具体，感觉暑假三个月的时间能学到更多东西以及做更多事情。原来没有实习过，想问一下大家有没有什么办法！#实习##nlp##oppo##大语言模型#

NL2SQL基础系列(2)：主流大模型与微调方法精选集，Text2SQL经典算法技术回顾七年发展脉络梳理 Text-to-SQL（或者Text2SQL），顾名思义就是把文本转化为SQL语言，更学术一点的定义是：把数据库领域下的自然语言（Natural Language，NL）问题，转化为在关系型数据库中可以执行的结构化询语言（Structured Query Language，SQL），因此Text-to-SQL也可以被简写为NL2SQL。 输入：自然语言问题，比如“查询表t_user的相关信息，结果按id降序排序，只保留前10个数据” 输出：SQL，比如“SELECT * FROM...

MedicalGPT：基于LLaMA-13B的中英医疗问答模型（LoRA）、实现包括二次预训练、有监督微调、奖励建模、强化学习训练[LLM:含Ziya-LLaMA]。 **** 训练医疗大模型，实现包括二次预训练、有监督微调、奖励建模、强化学习训练。 分四阶段训练GPT模型，来自Andrej Karpathy的演讲PDF State of GPT，视频 Video 版本迭代 V1：发布中文医疗LoRA模型，基于Ziya-LLaMA-13B-v1模型，SFT微调了一版医疗模型，医疗问答效果有提升，发布微调后的LoRA权重， V0：以医疗为例，训练领域大模型，实现了四阶段训练：包括二...

人工智能的新篇章：深入了解大型语言模型(LLM)的应用与前景 LLM（Large Language Model）技术是一种基于深度学习的自然语言处理技术，旨在训练能够处理和生成自然语言文本的大型模型。 LLM 技术的核心思想是使用深度神经网络，通过大规模的文本数据预训练模型，并利用这些预训练模型进行下游任务的微调或直接应用。 LLM 技术的主要特点是可以从大规模文本数据中学习到丰富的语言知识和语言模式，使得模型能够对自然语言的语义、语法等进行理解和生成，具备更强的语言处理能 LLM 技术在自然语言处理领域具有广泛的应用前景。以下是一些应用前景的示例： 语言理解和生成：LLM 技术可以应用...