大家好，欢迎来到IT知识分享网。
一.UDE,UDA以及几个其他相近概念的区别
几个相似概念的区别解释：
| 概念 | 解释 | 训练 | 测试 |
|---|---|---|---|
| 域泛化(Domain Generalization) | 域泛化的目标是从多个不同但相关的域学习一个模型，该模型能很好地在未见过的域泛化 | X D 1 , X D 2 . . . X D n , Y D 1 , Y D 2 . . . Y D n X_{D_1},X_{D_2}…X_{D_n},Y_{D_1},Y_{D_2}…Y_{D_n} XD1,XD2...XDn,YD1,YD2...YDn | X D n + 1 X_{D_{n+1}} XDn+1 |
| 单域泛化(Single Domain Generalization) | 域泛化的目标是从一个域学习一个模型，该模型能很好地在未见过的域泛化 | X S , Y S X_{S},Y_{S} XS,YS | X T X_{T} XT |
| 无监督域适应(Unsupervised Domain Adaptation) | 利用源域数据标签与目标域数据训练一个模型，使得模型在目标域表现的性能更好 | X S , X T , Y S X_{S},X_{T},Y_{S} XS,XT,YS | X T X_{T} XT |
| 半监督域适应(Semi-supervised Domain Adaptation) | 利用源域数据标签与目标域数据（部分带标签）训练一个模型，使得模型在目标域表现的性能更好 | X S , X T , Y S , Y D ⊆ T X_{S},X_{T},Y_{S},Y_{D \subseteq T} XS,XT,YS,YD⊆T | X T X_{T} XT |
| 无监督域扩张(Unsupervised Domain Expansion) | 利用源域数据标签与目标域数据训练一个模型，使得模型在源域与目标域的性能更好 | X S , X T , Y S X_{S},X_{T},Y_{S} XS,XT,YS | X S , X T X_{S},X_{T} XS,XT |
| 终身学习/增量学习/持续学习(Continuous Learning/Lifelong learning/Incremental Learning) | 在不同每个域训练模型，并保持模型学习不遗忘 | X D 1 , Y D 1 → X D 2 , Y D 2 → . . . → X D n , Y D n X_{D_1},Y_{D_1} \rightarrow X_{D_2},Y_{D_2} \rightarrow … \rightarrow X_{D_n},Y_{D_n} XD1,YD1→XD2,YD2→...→XDn,YDn | X D 1 , X D 2 . . . X D n X_{D_1},X_{D_2}…X_{D_n} XD1,XD2...XDn |
其他要点
- 通常来说，前五个都一般在相同的某个固定任务上，不会随着域的改变而改变。
- 而其中终身学习中依次每个域的学习的任务是不同的，但是域可能是相同的。更着重点在“任务”上。
- DA 和 DG和DE 相同点都存在different distributions across domains并且需要针对cross domains gap做设计。
二.DA 和 DG当前的主流论文分类
2.1 理论基础
待续…
2.2 分类
2.2.1 数据操作
2.2.2 表征学习
指的是学习领域不变特征（Domain-invariant representation learning）以使得模型对不同领域都能进行很好地适配。领域不变特征学习方面主要包括四大部分：核方法、显式特征对齐、领域对抗训练、以及不变风险最小化（Invariant Risk Minimiation, IRM）。特征解耦与领域不变特征学习的目标一致、但学习方法不一致，我们将其单独作为一大类进行介绍。
- 特征对齐方法(explicit feature alignment method)：
DDC（Deep Domain Confusion: Maximizing for Domain Invariance） - 域对抗学习(Domain adversarial learning):
DANN（Domain-Adversarial Training of Neural Networks） - 解耦方法（Feature disentanglement-based ）：
分为两种，第一种称为Multi-component analysis，目的是将参数分解为特定域和共享域参数。
共享域参数用于DG。
Deep Domain Generalization with StructuredLow-Rank Constraint
2.2.3学习策略
指的是将机器学习中成熟的学习模式引入多领域训练中使得模型泛化性更强。这一部分主要包括基于集成学习和元学习的方法。以及很多其他学习方法，如自监督学习。
三.Visual Domain Adaptation Challenge
3.1 VisDA介绍
域适应方向的比赛，已经举办了四届，17，18，19，20年，在ICCV和ECCV上举办。这里介绍2019年和2020年最新的两届的Top方法以及训练中的Trick。
3.1.1 2019：Semi-supervised domain adaptation 【其中之一】
3.1.2 2020：Domain Adaptive Pedestrian Re-identification
3.2 VisDA2019-Top3
3.2.1 Top1:
Style-Agnostic Networks
+Synthetic Data Augmentation（CycleGAN生成数据）
+Inter- and Intra-Domain Mixup
+Iterative Pseudo Labeling
+ensemble
作者还提及在345类里通过聚类构建伪标签的效果不好。
3.2.2 Top2:
3.2.3 Top3:
3.3 VisDA2020-Top3
3.3.1 Top1:
生成数据，模型，后处理
- SPGAN将源域生成目标域风格图片，成为SPGAN数据。对于SPGAN数据再拓展，使用StarGAN生成不同的相机风格图片，成为CamStyle数据。
- 利用源域生成的SPGAN数据，以及拓展的CamStyle数据，训练一个baseline监督模型。
- 进行域适应，按照下图的方式，聚类使用了DBSCAN。训练策略分为两个阶段，第一阶段关注样本多的500个id，第二阶段再加入剩余的200个id来调整。
- 后处理，核心解决相机偏差。第一步先训练一个相机模型。第二步计算所有特征对应的几个相机特征中心点，每个特征减去所属特征中心点。第三步根据不同相机中心点，计算不同相机的距离，检索到特征对应减去该距离（与被检索特征的相机距离）。第四步在验证集上计算，出现在某个相机后，出现在其他相机的概率，做一个拓扑图，生成一组权重。最后re-rank。
- 模型集成
3.3.2 Top2:
- 步骤一核心：将源域图片转化为目标域图片风格。
- 步骤二核心：利用目标域风格的有标签源域图片预训练一个模型。
- 使用auto-augmentation可以有效避免overfit
- 使用GeM pooling代替average pooling
- 训练过程中使用测试集通过模型adapt BN
- 步骤三核心：Improved Mutual Mean-Teaching for Unsupervised Domain Adaptive Re-ID
- 这一步最好不适用auto-augmentation
- 使用GeM pooling代替average pooling
- 训练过程中使用Domain-Specific Batch Normalization ，来消除domain gap对训练的影响
- 使用ArcFace或CosFace代替普通的linear classification loss；由于ArcFace或CosFace已经很强了，所以triplet loss作用不大了；
- baseline中加入IBN模块提升模型域自适应性
- 步骤四：后处理
3.3.3 Top3: RuiYan Technology
3.4 AI CITY CHALLENGE 2020
3.4.1 TOP1 baidu
Going Beyond Real Data: A Robust Visual Representationfor Vehicle Re-identification
3.4.2 TOP2 RuiYan Technology
VOC-ReID: Vehicle Re-identification based on Vehicle-Orientation-Camera
参考文献
免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://haidsoft.com/134177.html
