07-25 10:07 阿里巴巴_算法工程师

发布于浙江

关注

胜未来：国内大模型+Agent应用案例精选，Agent框架

智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐

Agent是以大模型为核心的智能体，通过与用户对话的形式，来完成各种任务，它很像一个“人”。如果和人做类比，它应该具备以下能力：

Agent的各个要素各个子模块：

1.对话式Agent

1.1 月之暗面(Moonshot AI)-Kimi

官方：https://kimi.moonshot.cn/

Kimi 作为月之暗面科技有限公司（Moonshot AI）推出的智能助手产品，凭借其在自然语言处理、长文本处理、多语言对话支持等方面的技术优势，为用户提供了高效、智能的交互体验

Kimi 在日常工作与生活和学术研究领域中的应用表现突出。如文献管理，Kimi 能够帮助研究人员管理和整理大量的学术文献，通过其文本处理能力，快速提取关键信息和摘要；如论文撰写，Kimi 还能够辅助研究人员在撰写学术论文时提供语言上的帮助，包括语法检查、用词建议等，提高论文的质量；如办公自动化，在办公场景中，Kimi 能够帮助用户处理文档、表格和演示文稿，甚至能够根据用户的需求自动生成报告和总结。

1.2.科大讯飞(🔺)

讯飞官网：https://xinghuo.xfyun.cn/spark

讯飞星火V4.0 发布，全面对标GPT-4 Turbo[2024.06.28], 星火助手是基于讯飞星火认知大模型，面向用户使用场景，打造的高效生产力工具。通过设置结构化的指令模板，用户即可完成助手功能设定，每个助手在对话的模式下能够快速满足场景需求。同时支持助手模板、数据集、web应用、助手API等功能。

在新建助手页面中，完成助手名称、助手类型、功能描述、输入模板、知识库信源、其他示例、角色设定、目标任务、需求说明、风格设定等字段的设置后，可在右侧进行调试与预览。调试完成，确认助手效果无误后，点击“创建”即可创建完成您的助手。

星火助手创建文档：https://developer.xfyun.cn/thread/116465

1.3. 百川（百小应）.

官方：https://ying.baichuan-ai.com/chat

百小应是百川智能于 2024 年 5 月 22 日推出的首款 AI 助手，名称源自“一呼百应”。它基于百川智能最新发布的基座大模型 Baichuan 4，具备以下特点：多轮搜索与定向搜索、文件阅读与资料整理、智能交互、多模态能力、语音交互、Web 端和移动端应用、图标寓意，

感觉一般，产品界面等有待提升

2.工作流编排

2.1 文心智能体(🔺)

文心智能体平台AgentBuilder 是百度推出的基于文心大模型的智能体（Agent）平台，支持广大开发者根据自身行业领域、应用场景，选取不同类型的开发方式，打造大模型时代的产品能力。开发者可以通过 prompt 编排的方式低成本开发智能体（Agent），同时，文心智能体平台还将为智能体（Agent）开发者提供相应的流量分发路径，完成商业闭环

官网：https://agents.baidu.com

多样能力的开发者：文心智能体平台支持拥有不同能力的开发者入驻。
- 有开发能力：平台提供开发的全套技术解决方案，支持开发者自主开发智能体/插件。
- 有丰富数据：平台提供了低代码的技术解决方案，提供数据即可完成智能体/插件创建。
- 有灵感想法：平台提供了零代码的解决方案，可快捷的将想象转化为智能体/插件。
平台的优势
- 强大的大模型能力：依托文心一言大模型，在内容创作、数理逻辑推算、中文理解、多模态生成等多方面均有良好表现；
- 多样化的方式链接用户：开发者可选取不同类型的开发方式、模板组件等进行接入，包括零代码/低代码智能体、数据类/能力类插件，为 C 端用户提供更加优质服务；
- 多场景触达用户：传统搜索 & AI搜索双引擎分发；文心一言 App 内调用插件；智能体&插件可进入体验中心，对 C 端用户分发的同时也面向企业级开发者。
智能体类型
- 零代码智能体：通过 prompt 编辑的方式，表达意图、提供行为说明，引入数据集、工具等能力，创建智能体。
- 低代码智能体：通过拖拽方式快捷搭建业务流，结合大模型、数据集、工具等组件，完成智能体开发。

整体文心智能体还是很全面的，了解到百度目前也在主要做Agent商业化方面，产品成熟度还是可以的

2.2 智谱清言(🔺)

官网：https://chatglm.cn/main/alltoolsdetail

北京智谱华章科技有限公司（简称“智谱AI”）致力于打造新一代认知智能大模型，专注于做大模型的中国创新。公司合作研发了中英双语千亿级超大规模预训练模型GLM-130B，并基于此推出对话模型ChatGLM，开源单卡版模型ChatGLM-6B。同时，团队还打造了AIGC模型及产品矩阵，包括AI提效助手智谱清言（chatglm.cn）、高效率代码模型CodeGeeX、多模态理解模型CogVLM和文生图模型CogView等。公司践行Model as a Service（MaaS）的市场理念，推出大模型MaaS开放平台

智谱AI大模型MaaS开放平台新一代认知智能基于领先的千亿级多语言、多模态预训练模型，打造高效率、通用化的“模型即服务”AI开发新范式

网站：https://bigmodel.cn/
https://github.com/THUDM/GLM-4 GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中， GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出超越 Llama-3-8B 的卓越性能。除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。我们还推出了支持 1M 上下文长度（约 200 万中文字符）的 GLM-4-9B-Chat-1M 模型和基于 GLM-4-9B 的多模态模型 GLM-4V-9B。GLM-4V-9B 具备 1120 * 1120 高分辨率下的中英双语多轮对话能力，在中英文综合能力、感知推理、文字识别、图表理解等多方面多模态评测中，GLM-4V-9B 表现出超越 GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max 和 Claude 3 Opus 的卓越性能。

2.3 天工 SkyAgents

天工大模型：昆仑万维旗下公司昆仑天工自研大语言模型，最多支持10000字以上文本对话，实现20轮以上问答交互，擅长语义理解、文本写作，实测能力出众。采用蒙特卡洛搜索树算法进行优化，快速且准确地响应指令。采用千亿参数的超大规模结构，具有智能涌现能力。天工大模型基于大规模预训练进行场景化微调，为企业提供高效且个性化的专业化帮助。

官网：https://model-platform.tiangong.cn/

agent官网：https://model-platform-skyagents.tiangong.cn/home/agent

天工AI:https://www.tiangong.cn/

感觉一般，Agent相关产品方面有点提高

2.4 BetterYeah AI(🔺)

BetterYeah AI 是一个的Agent开发平台。我们极大的简化了AI Agent的开发流程，无需代码就可以构建符合企业业务场景的Agent。BetterYeah 提供用户友好界面，支持各类开发节点，自定义自己的业务流程。还有丰富的官方插件，增强 Agent 扩展性，海量业务场景快速落地。也可以通过 API、SDK、Webhook 集成到企业系统中，可以和微信客服、钉钉、飞书集成。

官网：https://www.betteryeah.com/product/agent

斑头雁（杭州）智能科技有限责任公司，是一家技术型科技公司，专注为企业提供 AI 应用开发平台，及协同开发平台，分别于 2022 年、2023 年完成天使轮、A 轮融资。核心团队来自阿里巴巴钉钉创始团队，CEO 张毅（花名陶钧），原阿里集团无线技术委员会委员、2B 产品委员会委员，钉钉创始团队成员、钉钉副总裁，负责构建的手机考勤、审批工作流、智能人事等，市占率均 TOP 1，服务了上亿用户。

零代码搭建Agent：无需任何代码就可以搭建Agent，快速的释放大模型的能力
一站式模型集成：内置ChatGLM、阿里通义千问、百度千帆等国内外知名模型，根据场景灵活可选
知识库：提供包括自动向量化、自动分段、混合检索在内的数据处理工具，确保高质量、精准可控的输出
数据库：让Agent有持久记忆，并与企业的业务数据打通，让Agent更贴近企业业务
Flow：提供用户友好界面，支持各类开发节点，自定义自己的业务流程
Plugin：提供了丰富的官方插件，增强Agent扩展性，海量业务场景快速落地
随处可用：可以通过API、SDK、Webhook集成到你的系统中，也可以和微信客服、钉钉、飞书集成
多模态ChatBot：支持文字、图片、语音、视频的内容解析和生成
简单的开发运维：提供全方位的开发运维能力，包括在线调试、日志追踪、一键发布等

做的确实不错，可以和一些大厂媲美，但是也会发现市面上Agent商业产品全都一样，交互界面Agent设计都是一样的，这个时候就要考虑性价比和安全性了

2.5 Gnomic

Gnomic 智能体平台是一款基于大语言模型、第三方 API 和 AI 插件等技术的创新产品，支持多模态 AI Agent 创作，可轻松接入智谱 ChatGLM、文心一言等多种大模型，并在模型间无缝切换。其利用 GPT-4 等大语言模型，为用户提供更智能、更自然的对话体验。

官网：https://www.gnomic.cn

产品特色：
1. 利用GPT-4大语言模型，为用户提供更智能、更自然的对话体验；
2. 借助OpenAI的技术支持，Gnomic智能体平台拥有强大的AI能力；
3. 集成了chatgpt、gpt3.5、gpts等技术，提供多种高级的智能体功能；
4. AI应用商店行业领先者，为用户提供丰富的AI插件和扩展功能；
5. 基于Gemini技术的智能体创建，操作简便，适用于各种用户需求。
功能列表展示：
- 自然语言处理：智能体可以理解和回答用户的自然语言问题；
- 语音识别：支持语音输入和语音识别功能，方便用户进行语音交互；
- 情感分析：通过深度学习算法，智能体能够识别和分析用户的情感；
- 多语言支持：提供了多种语言的交互功能，满足全球用户的需求；
- 人脸识别：智能体具备人脸识别功能，可以识别用户的面部特征；
- 智能推荐：基于用户的历史数据和兴趣偏好，智能体能够进行智能推荐；
- 任务管理：智能体可以帮助用户管理任务，提供提醒和计划安排等功能；
- 音乐识别：智能体可以识别音乐，提供相关的信息和推荐。

2.6 腾讯元器

腾讯元器是腾讯混元大模型团队推出的智能体开放平台,开发者可以通过插件、知识库、工作流等方式快速、低门槛打造高质量的智能体,支持发布到QQ、微信等平台,同时也支持API调用。

官网：https://yuanqi.tencent.com/my-creation

腾讯混元大模型已在 600 多个腾讯内部业务和场景中落地测试，并在腾讯丰富的生态中持续迭代能力。例如微信读书基于混元大模型推出了 AI 问书、AI 大纲等新功能，大幅提升用户的阅读效率和体验。腾讯客服团队基于混元大模型升级智能客服体系，大幅提升智能对话的意图理解准确性和多轮问答流畅性。

发展的有点慢

2.7 Dify AI (🔺)

生成式 AI 应用创新引擎：开源的 LLM 应用开发平台。提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用。比 LangChain 更易用。

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。由于 Dify 内置了构建 LLM 应用所需的关键技术栈，包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的流程编排，并同时提供了一套易用的界面和 API。这为开发者节省了许多重复造轮子的时间，使其可以专注在创新和业务需求上。

官方网址：https://difyai.com/ github：https://github.com/langgenius/dify

Dify 能做什么
1. 创业：快速的将你的 AI 应用创意变成现实，无论成功和失败都需要加速。在真实世界，已经有几十个团队通过 Dify 构建 MVP（最小可用产品）获得投资，或通过 POC（概念验证）赢得了客户的订单。
2. 将 LLM 集成至已有业务：通过引入 LLM 增强现有应用的能力，接入 Dify 的 RESTful API 从而实现 Prompt 与业务代码的解耦，在 Dify 的管理界面是跟踪数据、成本和用量，持续改进应用效果。
3. 作为企业级 LLM 基础设施：一些银行和大型互联网公司正在将 Dify 部署为企业内的 LLM 网关，加速 GenAI 技术在企业内的推广，并实现中心化的监管。
4. 探索 LLM 的能力边界：即使你是一个技术爱好者，通过 Dify 也可以轻松的实践 Prompt 工程和 Agent 技术，在 GPTs 推出以前就已经有超过 60,000 开发者在 Dify 上创建了自己的第一个应用。

苏州语灵人工智能科技有限公司

3. 自主智能体

3.1 实在Agent（智能体）

实在智能（Intelligence Indeed）是一家基于RPA Agent（智能体）+AGI大模型+超自动化技术,领跑人机协同时代的人工智能科技公司。作为中国AI准独角兽和RPA行业头部企业,超自动化解决方案提供商。

实在Agent（智能体）是实在智能基于RPA和自研屏幕语义理解技术，结合最前沿的AI大模型打造的自动化智能体产品。它能像朋友一样聊天，并通过对话的方式理解你的任务需求，自动规划任务的实现方式，并在电脑上一步步替你执行任务流程。简单来说，实在Agent将成为你的工作小助手，你动动嘴，他就能替你操作电脑完成工作任务，即快又准.实在Agent 包含了认知、记忆、思考、行动四大核心能力，每次迭代时都会生成自我导向的指令和操作，不依赖人类指导，具备高度可扩展性。现已在运营商、零售、金融等领域落地，钉钉 AI 市场也可以直接体验，是国内探索大语言模型应用落地和AI Agent 的先行者。

官网：https://www.ai-indeed.com/products/agentRpa

3.2 欧姆智能体

官网：https://om.linker.cc/omopen/#/robot

联汇科技打造了空间运营智能体和知识服务智能体两大智能体产品体系，已面向零售、酒店、景区、政务等数行业落地了数十种智能体应用，助力企业数字化转型

Om多模态大模型是一款创新的人工智能技术，专注于视觉语言场景，为通用人工智能时代的AI应用开发提供全新范例。Om大模型具备图文向量化、大词表目标检测、开放目标检测、多模态大语言模型，四大视觉语言模型能力。

图文向量化：支持将图像与文本信息转化为向量形式，实现图文信息的高效表示。通过图文向量化，用户可以在不同模态的数据之间建立关联，为多领域的应用提供强大支持。
大词表目标检测：支持对上千类的目标物体进行高效而准确地识别及定位。应用场景广泛，包括但不限于工业检测、医学影像分析、自动驾驶、零售行业的商品识别等。
开放目标检测：支持无限类的目标物体，即用户可自定义想要识别的目标、属性、行为，进行高效而准确地识别及定位，实现对多样化场景下的目标检测。这一特性使得模型更具通用性，能够适应广泛的应用领域。
多模态大语言模型：结合了语言和视觉信息，实现跨模态的深度融合。支持视觉推理、视觉描述、视觉对话的能力，为实现深度的多模态理解和智能交互提供了强大的基础。

3.3 AskXBOT 澜码科技

AskXBOT平台是澜码科技自主研发的基于大语言模型的企业级 AI Agent 平台。平台集Agent与工作流设计、开发、使用、管理，与知识沉淀于一体。在AskXBOT平台上，企业用户可以用对话的方式提出需求，设计、创建和管理Agent，快速定制企业级AI Agent来完成各类任务，提升工作质量的同时降低成本。

官网：https://www.xbotspace.com/

提供多样化的Agent模板，可快速定制符合企业特色的AI Agent
结合API、RPA等技术，与企业业务系统深度融合与高效互动，推动业务的增强自动化
具备强大的文件处理能力，高效处理多种类型文档，解决企业在文件解析与处理方面的复杂需求

3.4 钉钉 AI 助理

钉钉 AI 助理是钉钉平台推出的一款集成了多项AI产品功能的智能助手，旨在以智能化的方式辅助企业的日常工作流程。钉钉 AI 助理能够进行智能对话，帮助用户快速了解聊天背景，生成多主题总结，并通过 AI 助理快速回顾每一段聊天。

官网：https://page.dingtalk.com/wow/dingtalk/default/dingtalk/I0HfYX4QStBIpLgxnZQe

4.多智能体协同

4.1 盘古智能体（Pangu-Agent）

来自华为诺亚方舟实验室、伦敦大学学院（UCL）、牛津大学等机构的研究者提出了盘古智能体框架（Pangu-Agent），这是一种通用的、可微调的、具有结构化推理能力的智能体模型，盘古智能体框架（Pangu-Agent）的论文题为《Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning》。该模型在多个单智能体和多智能体的任务上，使用不同的通用语言模型和提示方法，对盘古智能体进行了广泛的评估，展示了其在结构化推理和微调方面的优势。本文的主要目的是从技术和应用的角度，对盘古智能体的五个创新点进行分析：

提出一个通用的强化学习目标，用于优化智能体的内在函数和外在函数，使得智能体能够在多种任务和环境中表现出灵活的推理和决策能力。
设计多种内在函数，如思考、规划、反思、交流和使用工具等，使得智能体能够根据自己的记忆状态和上下文信息，进行内部的变换和操作，以及与外部的工具和其他智能体进行交互。
实现多种复合方法，如SwiftSage、ReAct和Least-to-Most等，使得智能体能够在每个环境时间步骤中使用多个内在函数步骤来决定最终的动作，实现更复杂和更灵活的智能体行为。
探索多种微调方法，如监督微调和强化学习微调，使得智能体能够根据专家数据和环境反馈，调整通用语言模型的权重，以提高智能体的性能和适应能力。
在多个单智能体和多智能体的任务上，使用不同的通用语言模型和提示方法，对盘古智能体进行了广泛的评估，展示了其在结构化推理和微调方面的优势。

论文链接：https://dblp.uni-trier.de/rec/journals/corr/abs-2312-14878.html https://arxiv.org/abs/2312.14878

工业智能体 IIT：工业智能体，依托盘古大模型，提供设计、生产、物流、销售、服务全链式智能服务，挖掘数据价值，助力企业借助新技术，构筑领先优势

4.2 ChatDev

ChatDev IDE是一个用于构建智能体的集成开发环境，无论是游戏中的NPC还是强大的智能体工具，您都可以在这个平台设计。

官网：https://chatdev.toscl.com/zh/

github：https://github.com/OpenBMB/ChatDev https://github.com/10cl/chatdev

游戏模式这是一个模拟的AI城镇社交环境，由25个具有独立意识的NPC和一个可控的玩家组成，所有角色都可以自定义，你可以设计一个数学家，一个心理分析专家来解决你的各种问题，你只需要定义一个合理的提示词角色定义。在AI镇社会模拟中，您可以自定义这些NPC和位置标记。
聊天模式当你选择聊天模式，并在右上角关闭智能体，在左侧选择你喜欢的大模型，聊天模式将是一个整合各种大模型聊天界面。
提示词工程开发环境它包含提示词编辑器、提示流结构可视化、Js编程支持。旨在简化基于智能体的端到端开发周期，从构思、原型、测试、评估。它使提示词工程变得更加容易，并使您能够构建具有生产质量的智能体应用。 PromptIDE：自动完成，双屏显示，可视化PromptFlow，JavaScript节点支持

4.3 更多智能体框架参考：

Agent详细介绍

*************************************************

*****************************************************

*********************************************************************

********************************************

实战

*****************************************

*************************************************

5.字节跳动

5.1 Coze

官网：https://www.coze.cn/home

Coze 是新一代一站式 AI Bot 开发平台。无论你是否有编程基础，都可以在 Coze 平台上快速搭建基于 AI 模型的各类问答 Bot。而且你可以将搭建的 Bot 发布到各类社交平台和通讯软件上，让更多的用户与你搭建的 Bot 聊天。Coze 支持将 AI Bot 发布为 API 服务，你可以通过 HTTP 方式与 Bot 进行交互。

无限拓展的能力集扣子集成了丰富的插件工具，可以极大地拓展 Bot 的能力边界。
- 内置插件：目前平台已经集成了近百款各类型的插件，包括资讯阅读、旅游出行、效率办公、图片理解等 API 及多模态模型。你可以直接将这些插件添加到 Bot 中，丰富 Bot 能力。例如使用新闻插件，打造一个可以播报最新时事新闻的 AI 新闻播音员。
- 自定义插件：扣子平台也支持创建自定义插件。你可以将已有的 API 能力通过参数配置的方式快速创建一个插件让 Bot 调用。
丰富的数据源扣子提供了简单易用的知识库功能来管理和存储数据，支持 Bot 与你自己的数据进行交互。无论是内容量巨大的本地文件还是某个网站的实时信息，都可以上传到知识库中。这样，Bot 就可以使用知识库中的内容回答问题了。
- 内容格式：知识库支持添加文本格式、表格格式、照片格式的数据。
- 内容上传：知识库支持 TXT 等本地文件、在线网页数据、Notion 页面及数据库、API JSON 等多种数据源，你也可以直接在知识库内添加自定义数据。

当前扣子 API 免费供开发者使用，每个空间的 API 请求限额如下：

QPS (每秒发送的请求数)：2
QPM (每分钟发送的请求数)：60
QPD (每天发送的请求数)：3000

Coze 可以使用字节跳动自家的云雀语言模型，也可以接入其他大模型，如 moonshot 的 Kimi。创建的 Bot 可以发布到不同的平台和应用中，如豆包、飞书、微信等，方便用户在不同环境中使用。Coze 拥有一个活跃的社区和市场，用户可以分享自己创建的 Bot，也可以发现和使用其他人创建的 Bot。

5.2 豆包

豆包是由字节跳动公司基于其云雀大模型开发的 AI 工具，提供多种智能服务，包括但不限于聊天机器人、写作助手以及英语学习助手等功能。豆包支持网页 Web 平台，iOS 以及安卓平台，iOS 用户可以通过 TestFlight 进行安装。豆包具备文案创作、PDF 问答、长文本分析、学习辅助、图像生成、信息搜索与整合、AI 智能体等能力。

官网：https://www.doubao.com