M2M-GAN: Many-to-Many Generative Adversarial Transfer Learning for Person
Re-Identification
和我毕设好像！

摘要

行人重识别任务中，在实际应用的场景下会遇到跨域不适应的问题，所以也可以说是现在深度学习方法的一个研究方向：跨域迁移学习。说点题外的，之前有看到旷视video的reid研究组说过，现在针对这类跨域适应其实可以通过一个很大的源域数据集就可以很好的使用在实际的场景下，类似于ImageNet这样的数据集，训练的模型，就可以很好的应用在实际的分类任务中，他们现在更关注于遮挡、部分身体、以及相同服装（学校，工厂）的行人重识别。那为什么还有很多人在做呢？我认为很大情况下是因为人工标签的昂贵，对于分类可以直接标注类别就可以了，但是对于行人重识别任务来讲，要标注一个庞大具有很好适应各种场景的数据是需要极其的努力，更何况标注出错带来的影响更大。
在行人重识别的迁移学习的场景下，源数据域是有标签的，但是目标数据域没有标签。但是在重识别里面源域和目标域都存在很多子数据域，比如基于摄像头的子域。为了要解决这种多域的问题，作者提出了一个多对多的生成对抗迁移方法，该方法同时考虑源域的多个子域和目标域的多个子域。通过实现的源域到目标域的转换，就可以利用源于的标签进行监督训练，从而实现跨域适应的作用。

引言

现有的行人重识别跨域迁移学习的两步法CDTL：将有标签的源域数据通过GAN转换为目标域数据，然后对转换后的数据进行监督学习。
所以第一步转换的能力决定了跨域适应的效果。
现有的CDTL方法比如有Deng 和Wei将其作为一个经典的一对一的CycleGAN。然后这样就忽视了很多个子域之间的差别，影响实际的识别效果。
所以就需要有一个能够关注子域转换的方法，但是如果进行每个子域的对应，对应一个有M个子域的源域和有N个的子域的目标域，就需要有MxN个CycleGAN。

相关工作

有监督的：
首先是介绍了当前一些显著的reid的方法都是基于不同的损失函数，比如classification loss, verification loss and triplet loss。
然后就是基于部分身体特征的一些方法，有直接在特征图上面进行划分的，也有基于关键点标注的方法。还有基于spatial-temporal constraint时空约束的方法，可以达到market rank1 98的成绩。
跨域适应的：
采用领域分类和域混淆的方法。
基于GAN的风格迁移方法，目前是一对一或者一对二的方法，忽略了多样性。

提出的方法

给定有标注的数据域S和无标注的数据域T
S的子域对应各个摄像头
T的子域
要想实现多对多的转换，就是要实现和的转换
如果不考虑子域的存在，cycleGAN将很难优化。这也是之前的风格转换的方法不能够得到很好效果的原因之一。
M2M-GAN目的也很简单，就是要让生成在生成的过程中关注要生成的目标子领域，同时也要知道从哪个领域生成的，所以输入就是这样的：

整个的算法框架如下：

损失函数

Adversarial Loss

判别器D的目的就是能够很好的去判断目标域和根据源域生成的目标域图片的真假，而生成器G的就是能够生成能够骗过判别器的结果。

Reconstruction Loss

CycleGAN里面的东西，能够很好的保证生成的结果足够的真实。

Mask-based Identity Preserve Loss

根据Mask-RCNN的分割结果，来很好的保证行人的图像信息。这里M(.)就是一个输入的mask，将没有人的地方去除掉。

Sub-domain Classification Loss

这里是为了保证生成的子领域的正确性，需要一个分类器进行监督。

整个优化目标

实验结果

总的来说，实验还是很丰富的，但是就是决定这是个工程项目，创新点不足吧。