强化学习从基础到进阶-案例与实践[4]：深度Q网络-DQN、double DQN、经验回放、rainbow、分布式DQN 传统的强化学习算法会使用表格的形式存储状态价值函数 V(s)V(s)V(s) 或动作价值函数 Q(s,a)Q(s,a)Q(s,a)，但是这样的方法存在很大的局限性。例如，现实中的强化学习任务所面临的状态空间往往是连续的，存在无穷多个状态，在这种情况下，就不能再使用表格对价值函数进行存储。价值函数近似利用函数直接拟合状态价值函数或动作价值函数，降低了对存储空间的要求，有效地解决了这个问题。 为了在连续的状态和动作空间中计算值函数 Qπ(s,a)Q_{\pi}(s,a)Qπ​(...

强化学习从基础到进阶-常见问题和面试必知必答[3]：表格型方法：Sarsa、Qlearning；蒙特卡洛策略、时序差分等以及Qlearning项目实战 1.核心词汇 概率函数和奖励函数：概率函数定量地表达状态转移的概率，其可以表现环境的随机性。但是实际上，我们经常处于一个未知的环境中，即概率函数和奖励函数是未知的。 Q表格：其表示形式是表格，其中表格的横轴为动作（智能体的动作），纵轴为环境的状态，每一个坐标点对应某时刻智能体和环境的状态，并通过对应的奖励反馈选择被执行的动作。一般情况下，Q表格是一个已经训练好的表格，不过我们也可以每执行一步，就对Q表格进行更新，然后用下一个状态的Q值来...

强化学习从基础到进阶-案例与实践[3]：表格型方法：Sarsa、Qlearning；蒙特卡洛策略、时序差分等以及Qlearning项目实战 策略最简单的表示是查找表（look-up table），即表格型策略（tabular policy）。使用查找表的强化学习方法称为表格型方法（tabular method），如蒙特卡洛、Q学习和Sarsa。本章通过最简单的表格型方法来讲解如何使用基于价值的方法求解强化学习问题。 1 马尔可夫决策过程 强化学习是一个与时间相关的序列决策的问题。 例如，如图 3.1 所示，在 t−1t-1t−1 时刻，我看到熊对我招手，下意识的动作就是逃跑。熊看到有人逃跑，就...

强化学习从基础到进阶-常见问题和面试必知必答[2]：马尔科夫决策、贝尔曼方程、动态规划、策略价值迭代 1.马尔科夫决策核心词汇 马尔可夫性质（Markov property，MP）：如果某一个过程未来的状态与过去的状态无关，只由现在的状态决定，那么其具有马尔可夫性质。换句话说，一个状态的下一个状态只取决于它的当前状态，而与它当前状态之前的状态都没有关系。 马尔可夫链（Markov chain）： 概率论和数理统计中具有马尔可夫性质且存在于离散的指数集（index set）和状态空间（state space）内的随机过程（stochastic process）。 状态转移矩阵（sta...

强化学习从基础到进阶-案例与实践[1]：强化学习概述、序列决策、动作空间定义、策略价值函数、探索与利用、Gym强化学习实验 1.1 强化学习概述 强化学习（reinforcement learning，RL） 讨论的问题是智能体（agent）怎么在复杂、不确定的环境（environment）中最大化它能获得的奖励。如图 1.1 所示，强化学习由两部分组成：智能体和环境。在强化学习过程中，智能体与环境一直在交互。智能体在环境中获取某个状态后，它会利用该状态输出一个动作 （action），这个动作也称为决策（decision）。然后这个动作会在环境中被执行，环境会根据智能体采取的动作，输出下一个状...

强化学习从基础到进阶-常见问题和面试必知必答[1]：强化学习概述、序列决策、动作空间定义、策略价值函数、探索与利用、Gym强化学习实验 1.强化学习核心概念 强化学习（reinforcement learning，RL）：智能体可以在与复杂且不确定的环境进行交互时，尝试使所获得的奖励最大化的算法。 动作（action）： 环境接收到的智能体基于当前状态的输出。 状态（state）：智能体从环境中获取的状态。 奖励（reward）：智能体从环境中获取的反馈信号，这个信号指定了智能体在某一步采取了某个策略以后是否得到奖励，以及奖励的大小。 探索（exploration）：在当前...

全国大数据与计算智能挑战赛：面向低资源的命名实体识别基线方案，排名13/64 全国大数据与计算智能挑战赛：面向低资源的命名实体识别baseline，排名13/64。第一名：0.68962791，基线：0.67902593 ，感兴趣小伙伴可以刷刷榜。 国防科技大学系统工程学院（大数据与决策实验室） 项目链接以及本地码源见文末 1.赛题介绍 大赛背景   全国大数据与计算智能挑战赛是由国防科技大学系统工程学院大数据与决策实验室组织的年度赛事活动，旨在深入挖掘大数据应用实践中亟需的能力生成难题，选拔汇聚数据领域优势团队，促进大数据领域的技术创新和面向需求的成果生成，推动形成 “集智众筹、联合攻...

2023中国高校计算机大赛 — 大数据挑战赛：论文学科分类（清华大学主办） 官方地址：https://www.heywhale.com/home/competition 项目码源见文末 1.比赛介绍 赛事背景 自 2022 年底以来，大规模语言模型在各行各业产生了广泛的应用，其中围绕学术工具开发也诞生了许多具有影响力的应用，例如 ChatPDF 等。另一方面，在 2023 年 3 月 14 日，智谱 AI 与清华大学联合发布了 ChatGLM-6B 开源模型，并在不到一个月的时间内吸引了超过 100 万人下载安装。该模型在 Hugging Face (HF) 全球大模型下载榜中连续 12 天...

人工智能领域：面试常见问题超全（深度学习基础、卷积模型、对抗神经网络、预训练模型、计算机视觉、自然语言处理、推荐系统、模型压缩、强化学习、元学习） 人工智能领域：面试常见问题 1.深度学习基础 为什么归一化能够提高求解最优解的速度？ 为什么要归一化？ 归一化与标准化有什么联系和区别？ 归一化有哪些类型？ Min-max归一化一般在什么情况下使用？ Z-score归一化在什么情况下使用？ 学习率过大或过小对网络会有什么影响？ batch size的大小对网络有什么影响？ 在参数初始化时，为什么不能全零初始化？ 激活函数的作用？ sigmoid函数有什么优缺点？ RELU函数有什么优缺点？ 如何...

深度学习实践篇[17]：模型压缩技术、模型蒸馏算法：Patient-KD、DistilBERT、DynaBERT、TinyBERT 1.模型压缩概述 1.2模型压缩原有 理论上来说，深度神经网络模型越深，非线性程度也就越大，相应的对现实问题的表达能力越强，但相应的代价是，训练成本和模型大小的增加。同时，在部署时，大模型预测速度较低且需要更好的硬件支持。但随着深度学习越来越多的参与到产业中，很多情况下，需要将模型在手机端、IoT端部署，这种部署环境受到能耗和设备体积的限制，端侧硬件的计算能力和存储能力相对较弱，突出的诉求主要体现在以下三点： 首先是速度，比如像人脸闸机、人脸解锁手机等应用，对响...

基于ERNIELayout&pdfplumber-UIE的多方案学术论文信息抽取，小样本能力强悍，OCR、版面分析、信息抽取一应俱全。 0.问题描述 可以参考issue： ERNIE-Layout在（人名和邮箱）信息抽取的诸多问题阐述#4031 ERNIE-Layout因为看到功能比较强大就尝试了一下，但遇到信息抽取错误，以及抽取不全等问题 使用PDFPlumber库和PaddleNLP UIE模型抽取，遇到问题：无法把姓名和邮箱一一对应。 1.基于ERNIE-Layout的DocPrompt开放文档抽取问答模型 ERNIE-Layout以文心文本大模型ERNIE为底座，融合文本、...

基于Ernie-3.0 CAIL2019法研杯要素识别多标签分类任务 本项目将介绍如何基于PaddleNLP对ERNIE 3.0预训练模型微调完成法律文本多标签分类预测。本项目主要包括“什么是多标签文本分类预测”、“ERNIE 3.0模型”、“如何使用ERNIE 3.0中文预训练模型进行法律文本多标签分类预测”等三个部分。 1. 什么是多标签文本分类预测 文本多标签分类是自然语言处理（NLP）中常见的文本分类任务，文本多标签分类在各种现实场景中具有广泛的适用性，例如商品分类、网页标签、新闻标注、蛋白质功能分类、电影分类、语义场景分类等。多标签数据集中样本用来自 n_classes 个可能类别的...

深度学习应用篇-元学习[16]：基于模型的元学习-Learning to Learn优化策略、Meta-Learner LSTM 1.Learning to Learn Learning to Learn by Gradient Descent by Gradient Descent 提出了一种全新的优化策略， 用 LSTM 替代传统优化方法学习一个针对特定任务的优化器。 在机器学习中，通常把优化目标 f(θ)f(\theta)f(θ) 表示成 θ∗=argmin⁡θ∈Θf(θ)\theta^{*}=\operatorname{argmin}_{\theta \in \Theta} f(\th...

深度学习应用篇-元学习[15]：基于度量的元学习：SNAIL、RN、PN、MN 1.Simple Neural Attentive Learner(SNAIL) 元学习可以被定义为一种序列到序列的问题， 在现存的方法中，元学习器的瓶颈是如何去吸收同化利用过去的经验。 注意力机制可以允许在历史中精准摘取某段具体的信息。 Simple Neural Attentive Learner (SNAIL) 组合时序卷积和 soft-attention， 前者从过去的经验整合信息，后者精确查找到某些特殊的信息。 1.1 Preliminaries 1.1.1 时序卷积和 soft-attention 时序...