Domain-Adversarial Neural Networks分析

· 转载请注明出处网址~

· 交流讨论、合作咨询请添加微信：yx_imagination

------------------------------------------------分割线-----------------------------------------------

1：什么是representation learning？

representations of data that make it easier to extract useful information when building classifiers or other predictors.

2：好词好句

The cost of generating labeled data for a new learning task is often an obstacle for applying machine learning methods.

3：好词好句

Domain adaptation tries to achieve such a transfer by exploiting an extra set of unlabeled training data for the new problem to which we wish to generalize.

4：读后感

    文章利用GAN网络的思想用于cross-domain识别，obviously，文章多次提到了“Ben-David的一篇文章：《Analysis of representations for domain adaptation》, 2006”。当然，GAN网络是对抗神经网络，具体的相关知识我还没深入了解。

    文章首先指出，先前的生成网络不适用于大的domain shift，并且先前的把辨别网络施加固定的权重没有利用GAN的loss。

    这里解释一下fine-tuning，它的应用情景是我们在target domain上有少量的label data，为了有效利用这部分label data，而且避免造成overfitting，以NN为例，我们让target和source的输出尽可能相近，同时NN 的参数尽可能相近，tune的时候，只tune几层，其他层数不发生变化。一般对于跨领域的学习任务，传统的方法是先训练source domain的样本，然后利用fine-tuning调整参数，但如果source domain没有足够的label，这样的方法将会失效。

    最近的一种domain adaptation方案是，将source domain和target domain映射到统一的特征空间，通过最小化一定的约束学习映射。那么怎么选择loss function呢？一类方法是通过一个loss function最小化source domain和target domain之间的差别；另一类方法是选择对抗性的loss function，使用一个domain二分类器，如简单的全连接神经网络，将获取的特征进行分类，然后定义为一个domain confusing loss，通过优化特征提取让该domain二分类器分辨不出他们。