元学习

深度学习应用篇-元学习[16]：基于模型的元学习-Learning to Learn优化策略、Meta-Learner LSTM 1.Learning to Learn Learning to Learn by Gradient Descent by Gradient Descent 提出了一种全新的优化策略， 用 LSTM 替代传统优化方法学习一个针对特定任务的优化器。 在机器学习中，通常把优化目标 f(θ)f(\theta)f(θ) 表示成 θ∗=argmin⁡θ∈Θf(θ)\theta^{*}=\operatorname{argmin}_{\theta \in \Theta} f(\th...

深度学习应用篇-元学习[14]：基于优化的元学习-MAML模型、LEO模型、Reptile模型 1.Model-Agnostic Meta-Learning Model-Agnostic Meta-Learning (MAML)： 与模型无关的元学习，可兼容于任何一种采用梯度下降算法的模型。 MAML 通过少量的数据寻找一个合适的初始值范围，从而改变梯度下降的方向， 找到对任务更加敏感的初始参数， 使得模型能够在有限的数据集上快速拟合，并获得一个不错的效果。 该方法可以用于回归、分类以及强化学习。 该模型的Paddle实现请参考链接：PaddleRec版本 1.1 MAML MAML 是典型的...

# 深度学习应用篇-元学习[13]：元学习概念、学习期、工作原理、模型分类等 1.元学习概述 1.1元学习概念 元学习 (Meta-Learning) 通常被理解为“学会学习 (Learning-to-Learn)”， 指的是在多个学习阶段改进学习算法的过程。 在基础学习过程中， 内部（或下层/基础）学习算法解决由数据集和目标定义的任务。 在元学习过程中，外部（或上层/元）算法更新内部学习算法，使其学习的模型改进外部目标。 因此，元学习的核心想法是学习一个先验知识 (prior)。 1.2 元学习含义 元学习的含义有两层， 第一层是让机器学会学习，使其具备分析和解决问题的能力， 机器通过完成任...