解锁LLMs的“思考”能力：Chain-of-Thought(CoT) 技术推动复杂推理的新发展 1.简介 Chain-of-Thought(CoT)是一种改进的Prompt技术，目的在于提升大模型LLMs在复杂推理任务上的表现，如算术推理（arithmetic reasoning）、常识推理（commonsense reasoning）、符号推理（symbolic reasoning）。 起源：CoT技术的概念是在Google的论文“Chain-of-Thought Prompting Elicits Reasoning in Large Language Models”中被首次提出。 ...

LLM 大模型学习必知必会系列(十三)：基于SWIFT的VLLM推理加速与部署实战 1.环境准备 GPU设备: A10, 3090, V100, A100均可. #设置pip全局镜像 (加速下载) pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/ #安装ms-swift pip install 'ms-swift[llm]' -U #vllm与cuda版本有对应关系，请按照`https://docs.vllm.ai/en/latest/getting_started/installation.ht...

LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架] 训练后的模型会用于推理或者部署。推理即使用模型用输入获得输出的过程，部署是将模型发布到恒定运行的环境中推理的过程。一般来说，LLM的推理可以直接使用PyTorch代码、使用VLLM/XInference/FastChat等框架，也可以使用llama.cpp/chatglm.cpp/qwen.cpp等c++推理框架。 常见推理方法 Greedy Search 贪婪搜索方式。按照前面的讲解，模型会按照词表尺寸生成概率。贪婪方式会不断选择生...

LLM 大模型学习必知必会系列(十一)：大模型自动评估理论和实战以及大模型评估框架详解 0.前言 大语言模型（LLM）评测是LLM开发和应用中的关键环节。目前评测方法可以分为人工评测和自动评测，其中，自动评测技术相比人工评测来讲，具有效率高、一致性好、可复现、鲁棒性好等特点，逐渐成为业界研究的重点。 模型的自动评测技术可以分为rule-based和model-based两大类： rule-based方法： benchmark以客观题为主，例如多选题，被测的LLM通过理解context/question，来指定最佳答案 解析LLM的response，与标准答案做对比 计算metr...

LLM 大模型学习必知必会系列(十)：基于AgentFabric实现交互式智能体应用,Agent实战 0.前言 **Modelscope **是一个交互式智能体应用基于ModelScope-Agent，用于方便地创建针对各种现实应用量身定制智能体，目前已经在生产级别落地。AgentFabric围绕可插拔和可定制的LLM构建，并增强了指令执行、额外知识检索和利用外部工具的能力。AgentFabric提供的交互界面包括： 智能体构建器：一个自动指令和工具提供者，通过与用户聊天来定制用户的智能体 用户智能体：一个为用户的实际应用定制的智能体，提供构建智能体或用户输入的指令、额外知识和工具 ...

LLM 大模型学习必知必会系列(八)：10分钟微调专属于自己的大模型 1.环境安装 # 设置pip全局镜像 (加速下载) pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/ # 安装ms-swift pip install 'ms-swift[llm]' -U # 环境对齐 (通常不需要运行. 如果你运行错误, 可以跑下面的代码, 仓库使用最新环境测试) pip install -r requirements/framework.txt -U pip install -r requirements/...

LLM 大模型学习必知必会系列(七)：掌握分布式训练与LoRA/LISA微调：打造高性能大模型的秘诀进阶实战指南 1.微调（Supervised Finetuning） 指令微调阶段使用了已标注数据。这个阶段训练的数据集数量不会像预训练阶段那么大，最多可以达到几千万条，最少可以达到几百条到几千条。指令微调可以将预训练的知识“涌现”出来，进行其他类型的任务，如问答类型的任务。一般指令微调阶段对于在具体行业上的应用是必要的，但指令微调阶段一般不能灌注进去新知识，而是将已有知识的能力以某类任务的形式展现出来。 指令微调任务有多种场景，比较常用的有： 风格化：特定的问答范式 自我认知：自我认知改变 ...

LLM 大模型学习必知必会系列(四)：LLM训练理论篇以及Transformer结构模型详解 1.模型/训练/推理知识介绍 深度学习领域所谓的“模型”，是一个复杂的数学公式构成的计算步骤。为了便于理解，我们以一元一次方程为例子解释： y = ax + b 该方程意味着给出常数a、b后，可以通过给出的x求出具体的y。比如： #a=1 b=1 x=1 y = 1 * 1 + 1 -> y=2 #a=1 b=1 x=2 y = 1 * 2 + 1 => y=3 这个根据x求出y的过程就是模型的推理过程。在LLM中，x一般是一个句子，如“帮我计算23+20的结果”，y一般...

LLM 大模型学习必知必会系列(六)：量化技术解析、QLoRA技术、量化库介绍使用（AutoGPTQ、AutoAWQ） 模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类更多，速度更快，但一般都是单条计算；而显卡能进行的都是基础的并行计算，做矩阵乘法再好不过。如果把所有的矩阵都加载到显卡上，就会导致显卡显存的占用大量增加，尤其是LLM模型大小从7b、14b、34b到几百b不等，占用显存的大小就是惊人的数字，如何在减少运算量和显存占用的条件下，做到推理效果不下降太多呢？在这里需要引入浮点数和定点数的概念。 1.量化的...

LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践 1.多模态大模型推理 LLM 的推理流程： 多模态的 LLM 的原理： 代码演示：使用 ModelScope NoteBook 完成语言大模型，视觉大模型，音频大模型的推理 环境配置与安装 以下主要演示的模型推理代码可在魔搭社区免费实例 PAI-DSW 的配置下运行（显存 24G） ： 点击模型右侧 Notebook 快速开发按钮，选择 GPU 环境： 打开 Python 3 (ipykernel)： 示例代码语言大模型推理示例代码 #通义千问1_8B LLM大模型的推理代码示例 #通义千问1_8B:https:...

LLM 大模型学习必知必会系列(五)：数据预处理(Tokenizer分词器)、模板（Template）设计以及LLM技术选型 在模型训练过程中，数据及数据处理是最为重要的工作之一。在当前模型训练流程趋于成熟的情况下，数据集的好坏，是决定了该次训练能否成功的最关键因素。 在上一篇中，我们提到了模型训练的基本原理是将文字转换索引再转换为对应的向量，那么文字转为向量的具体过程是什么？ 1.分词器（Tokenizer） 在NLP（自然语言处理）领域中，承担文字转换索引（token）这一过程的组件是tokenizer。每个模型有自己特定的tokenizer，但它们的处理过程是大同小异的。 首先我们安装好...

新一代AI搜索引擎神器推荐效果测试：秘塔AI、天工AI、Perplexity等 0.前言： 搜索的核心：事物对象级别的搜索 回到搜索引擎本身，搜索引擎的早期出现是为了解决互联网上信息过载的问题。随着互联网的快速发展，越来越多的网页被创建并发布，用户需要一种有效的方式来找到他们感兴趣的信息。因此，搜索引擎的出现提供了一种更便捷、更高效的方式来检索互联网上的信息但是，搜索的本质在于以最少的信息输入，获取到最精准的结果。用户希望直接搜索最终的答案，例如用户问：“AI搜索引擎有哪些？”，希望得到对事物的精准描述——BingAI、Monica...，而非返回很多页面，让用户自己从众多页面中寻找正确答...

LLM 大模型学习必知必会系列(二)：提示词工程-Prompt Engineering 以及实战闯关 prompt（提示词）是我们和 LLM 互动最常用的方式，我们提供给 LLM 的 Prompt 作为模型的输入，并希望 LLM 反馈我们期待的结果。 虽然 LLM 的功能非常强大，但 LLM 对提示词（prompt）也非常敏感。这使得提示词工程成为一项需要培养的重要技能。 推荐使用环境：通义千问 - 72B - 对话 - Demo · 创空间 (modelscope.cn) LLM 的超参配置 LLM 提供了一些参数可以影响输出结果的创造力和确定性。 在每个步骤中，LLM 会生成一个最有...

LLM 大模型学习必知必会系列(一)：大模型基础知识篇 魔搭 ModelScope 开源的 LLM 模型 魔搭 ModelScope 欢迎各个开源的 LLM 模型在社区上做开源分享。目前社区上已经承载了来自各个机构贡献的不同系列的 LLM 模型。并且社区的开发者也在这些模型的基础上，贡献了许多创新应用，并在 ModelScope 的创空间上进行分享。本专题初步梳理了当前社区上一些典型的 LLM 以及对应的创空间应用，方便大家对于 LLM 及其周边生态有更好的整体了解，也欢迎大家贡献更多的模型和创空间，一起玩转 LLM 的世界。 https://modelscope.cn/topic/dfe...