深度学习核心技术实践与图神经网络新技术应用
各企事业单位：
国家“十四五”规划中，“智能”“智慧”相关表述高达57处，这表明在当前我国经济从高速增长向高质量发展的重要阶段，以人工智能为代表的新一代信息技术，将成为我国“十四五”期间推动经济高质量发展、建设创新型国家的重要技术保障和核心驱动力之一。当前，人工智能的发展，在很大程度上归功于深度学习技术的发展。人们逐渐认识到，当你有了深度学习算法、模型，并构建了深度神经网络时，需要足够多的数据去训练这个网络。只有加入更多的数据，才会让深度神经网络变的更大、更好。通过使用深度学习，我们在很多传统的AI领域取得了长足的进展，比如机器翻译、语音识别、计算机视觉等等。同时，深度学习也可以逐步替换这些领域发展多年的专用算法。
为积极响应科研及工程人员的需求，根据《国务院关于推行终身职业技能培训制度的意见》提出的“紧跟新技术、新职业发展变化，建立职业分类动态调整机制，加快职业标准开发工作”要求，中国管理科学研究院现代教育研究所（http://www.zgyxdjy.com）联合北京龙腾亚太教育咨询有限公司特举办“深度学习核心技术实践与图神经网络新技术应用研修班”。本次培训采用全实战培训模式。
上课时间、地点
2022年10月13日 — 2022年10月17日
线上直播
（13日发放上课材料，14日-17日上课）
01
特色
1、采用深入浅出的方法，结合实例并配以大量代码练习，重点讲解深度学习框架模型、科学算法、训练过程技巧。
2、能够把握深度学习的技术发展趋势，可以熟练掌握深度学习核心技术、实践技巧，同时针对工作中存在的疑难问题进行分析讲解和专题讨论，有效的提升学员解决复杂问题的能力；
3、掌握深度学习平台Tensorflow训练网络搭建与配置、掌握数据价值的深度挖掘。
4、掌握图神经网络模型及框架PyTorch
5、实践手写字体识别、叶片分类等案例，动手练习让AI自己玩游戏。
6、根据自己的科研项目及课题研究，灵活掌握应用深度学习五大框架模型。注：其它开源的公开数据集：ImageNet、MS-COCO、UCF101、HMDB51、PASCAL VOC、Open Images等。
02
专家
中国科学院计算技术研究所、清华大学、北京理工大学等科研机构和大学的高级专家，拥有丰富的科研及工程技术经验，长期从事人工智能、机器学习、深度学习、大数据分析等领域的教学与研究工作。
05
具体安排
关键点：
人工智能、深度学习的发展历程
深度学习框架
神经网络训练方法
卷积神经网络，卷积核、池化、通道、激活函数
循环神经网络，长短时记忆LSTM、门控循环单元GRU
参数初始化方法、损失函数Loss、过拟合
对抗生成网络GAN
迁移学习TL
强化学习RF
图神经网络GNN
壹 / 算法和场景融合理解
1、空间相关性的非结构化数据，CNN算法。典型的图像数据，像素点之间具有空间相关性，例如图像的分类、分割、检测都是CNN算法。
2、时间相关性的非结构化数据，RNN算法。这类场景普遍的一个现象就是数据之间具有时序相关性，也就是数据之间存在先后依赖关系。例如自然语言处理、语音相关算法都是基于RNN算法。
3、非欧氏数据结构， GNN。这类场景典型的可以用图来表示。例如社交网络等。
案例摘要讲解
医疗领域：如流行疾病、肿瘤等相关疾病检测
遥感领域：如遥感影像中的场景识别
石油勘探：如石油油粒大小检测
轨道交通：如地铁密集人流检测
检测领域：如故障检测
公安领域：如犯罪行为分析
国防领域：目标检测、信号分析、态势感知…
经济领域：如股票预测
贰 / 数据理解及处理
分析典型场景中的典型数据，结合具体的算法，对数据进行处理
案例摘要讲解
结构化数据，如何对数据进行读取，进行组织。
图像数据，在实际应用过程中的处理方法，怎样做数据的预处理、进行数据增强等。
时序信号，将单点的数据如何组合成一个序列，以及对序列数据处理的基本方法。
叁 / 技术路径设计
针对具体的场景设计特定的神经网络模型，对典型数据适配的网络结构进介绍。
案例摘要讲解
DNN模型搭建的基本原则
CNN模型中常见的网络结构，以及参数分析。
RNN中支持的一些基本算子，如何对序列数据进行组织。
肆 / 模型验证及问题排查
简单的算法或者模型对典型的场景进行快速验证，并且针对一些频发的问题进行讲解。
案例摘要讲解
模型收敛状态不佳
分类任务重最后一层激活函数对模型的影响
伍 / 高级-模型优化的原理
不同的模型需要采用的优化函数以及反向传播中参数的优化方法
案例摘要讲解
模型优化的算法介绍，基于随机梯度下降的算法介绍
不同场景适应的损失函数介绍
针对典型场景的反向传播梯度的推到过程
陆/ 高级-定制化思路
结合往期学员的一些项目，简单介绍一下解决一个具体问题的思路
案例摘要讲解
遥感成像中，地块农作物种类的识别。
实操解析与训练
壹/ 神经网络实践
神经网络中基本概念理解：epoch、batch size、学习率、正则、噪声、激活函数等。
不同的数据生成模型、调整网络参数、调整网络规模
神经网络分类问题
不同数据特征的作用分析、隐含层神经元数目
过拟合
高频问题：
1、输入数据与数据特征
2、模型设计的过程中的参数与功能的关系。
关键点：
1、掌握神经网络的基本概念
2、学会搭建简单的神经网络结构
3、理解神经网络参数
贰 / 深度学习三种编程思想
Keras实践
理解Keras基本原理
学会Keras编程思想
三种不同的深度神经网络构建编程方式
给定数据集，采用Keras独立完成实际的工程项目
高频问题：
1、如何编程实现深度神经网络
2、三种开发方式的具体使用
关键点：
1、掌握Keras编程思想
2、采用三种不同方式编写深度神经网络
叁/ CNN实践
实验：图像分类
使用CNN解决图像分类问题
搭建AlexNet
VGG16/19
GoogleNet
ResNet
高频问题：
1、CNN更复杂的模型在哪里可以找到代码
关键点：
1、使用卷积神经网络做图像分类
2、常见开源代码以及适用的问题
实验：视频人物行为识别
基于C3D的视频行为识别方法
基于LSTM的视频行为识别方法
基于Attention的视频行为识别方法
高频问题：
1、2D卷积与3D卷积
2、视频的时空特征
关键点：
1、C3D网络的构建
2、Attention机制
肆 / R-CNN及YOLO实践
实验：目标检测
目标检测发展现状及代表性方法
两阶段目标检测方法：R-CNN系列模型
一阶段目标检测方法：YOLO系列模型
高频问题：
1、提名与分类
2、BBOX实现策略
3、YOLO Loss函数
关键点：
1、提名方法
2、ROI Pooling
3、SPP Net
4、RPN
5、YOLO
伍 / RNN实践
实验：股票预测
股票数据分析
同步预测
异步预测
高频问题：
1、历史数据的使用
关键点：
1、构建RNN
2、采用Keras编程实现
陆/ Encoder-Decoder实践
实验：去噪分析
自编码器
去噪自编码器
高频问题：
1、噪声的引入与去除
关键点：
1、设计去噪自编码器
实验：图像标题生成
结合计算机视觉和机器翻译的最新进展，利用深度神经网络生成真实的图像标题。
1、掌握Encoder-Decoder结构
2、学会Seq2seq结构
3、图像CNN +文本RNN
4、图像标题生成模型
高频问题：
1、如何能够根据图像生成文本？
关键点：
1、提取图像特征CNN，生成文本RNN
2、构建Encoder-Decoder结构
柒 / RNN实践
实验：艺术家作品生成
生成对抗网络原理
GAN的生成模型、判别模型的设计
高频问题：
1、生成模型与判别模型的博弈过程
关键点：
1、掌握GAN的思想与原理
2、根据需求学会设计生成模型与判别模型
捌 / 强化学习实践
实验：游戏分析
游戏场景分析
强化学习的要素分析
深度强化学习
高频问题：
1、DNN 与DQN
2、探索与利用
关键点：
1、深度强化学习的原理
2、根据实际需求，设计深度强化学习模型
玖/ 图卷积神经网络实践
实验：社交网络分析
图神经网络的原理
图卷积神经网络的思想
设计图卷积神经网络进行社交网络分析
高频问题：
1、如何从图神经网络的原理转化到实际编程
关键点：
1、掌握图神经网络原理
2、图卷积神经网络编程实现
拾 / Transformer实践
实验：基于Transformer的对话生成
Transformer原理
基于Transformer的对话生成
基于 Transformer 的应用
高频问题：
1、如何应用自注意力机制
2、如何应用于自然语言处理与计算机视觉
关键点：
1、self-Attention机制
2、position
