迁移学习 Transfer Learning

关于迁移学习的所有资料，包括：介绍、综述文章、最新文章、代表工作及其代码、常用数据集、硕博士论文、比赛等等。(可能是目前最全的迁移学习资料库？) 欢迎一起贡献！

Everything about Transfer Learning (Probably the most complete repository?). Your contribution is highly valued!

如果认为本仓库有用，请在你的论文和其他出版物中进行引用！ If you find this repo helpful, please cite it as follows:

@Misc{transferlearning.xyz,
howpublished = {\url{http://transferlearning.xyz}},   
title = {Everything about Transfer Learning and Domain Adapation},  
author = {Wang, Jindong and others}  
}  

---

目录 Table of contents

• 最新文章 Latest

• 迁移学习简介 Introduction to transfer learning

• 研究领域与相关文章 Research articles by area

• 理论与综述文章 Theoretical and survey papers

• 相关代码 Available codes

• 代表性研究学者 Scholars

• 相关硕博士论文 Thesis

• 数据集及算法结果 Datasets and benchmark

• 比赛 Challenges and competitions

• 迁移学习应用 Transfer learning applications

• 其他 Other resources

• Contributing

关于机器学习和行为识别的资料，请参考：行为识别｜机器学习

---

0.Latest

迁移学习文章汇总 Awesome transfer learning papers

• Latest publications

  • 20181206 NeurIPS-18 workshop Towards Continuous Domain adaptation for Healthcare

    • English: Continuous domain adaptation for healthcare
    • 中文：连续的domain adaptation用于健康监护

  • 20181206 NeurIPS-18 workshop A Hybrid Instance-based Transfer Learning Method

    • English: Instance-based transfer learning for healthcare
    • 中文：基于样本的迁移学习用于健康监护

  • 20181129 AAAI-19 Exploiting Coarse-to-Fine Task Transfer for Aspect-level Sentiment Classification

    • English: Aspect-level sentiment classification
    • 中文：迁移学习用于情感分类

  • 20181128 NeurIPS-18 workshop Multi-Task Generative Adversarial Network for Handling Imbalanced Clinical Data

    • English: Multi-task learning for imbalanced clinical data
    • 中文：多任务学习用于不平衡的就诊数据

  • 20181128 WACV-19 CNN based dense underwater 3D scene reconstruction by transfer learning using bubble database

    • English: Transfer learning for underwater 3D scene reconstruction
    • 中文：用迁移学习进行水下3D场景重建

• Preprints on arXiv (Not peer-reviewed)

  • 20181207 arXiv Moment Matching for Multi-Source Domain Adaptation

    • English: Moment matching and propose a new large dataset for domain adaptation
    • 中文：提出一种moment matching的网络，并且提出一种新的domain adaptation数据集，很大

  • 20181207 arXiv Feature Matters: A Stage-by-Stage Approach for Knowledge Transfer

    • English: Feature transfer in student-teacher networks
    • 中文：在学生-教师网络中进行特征迁移

  • 20181206 arXiv Transferring Knowledge across Learning Processes

    • English: Transfer learning across learning processes
    • 中文：学习过程中的知识迁移

  • 20181205 arXiv Unsupervised Domain Adaptation using Generative Models and Self-ensembling

    • English: UDA using CycleGAN
    • 中文：基于CycleGAN的domain adaptation

  • 20181205 arXiv VADRA: Visual Adversarial Domain Randomization and Augmentation

    • English: Domain randomization and augmentation
    • 中文：Domain randomization和增强

更多 More...

---

1.Introduction and Tutorials

• 简介文字资料

  • 简单的中文简介 Chinese introduction
  • PPT(English)
  • PPT(中文)
  • 迁移学习中的领域自适应方法 Domain adaptation: PDF ｜ Video
  • 清华大学龙明盛老师的深度迁移学习报告 Transfer learning report by Mingsheng Long @ THU：PPT(Samsung)、PPT(Google China)

• 入门教程

  • 《迁移学习简明手册》Transfer Learning Tutorial 开发维护地址

• 视频教程

  • 台湾大学李宏毅的视频讲解(中文视频)
  • 迁移学习中的领域自适应方法(中文)

• 迁移学习领域的著名学者、代表工作及实验室介绍 Transfer Learning Scholars and Labs

• 什么是负迁移(negative transfer)？

• 动手教程、代码、数据 Hands-on Codes

  • 基于深度学习和迁移学习的识花实践 Using Transfer Learning for Flower Recognition
  • 基于Pytorch的图像分类 Using Transfer Learning for Image Classification
  • 使用Pytorch进行finetune Using Pytorch for Fine-tune
  • 基于AlexNet和ResNet的finetune Fine-tune based on Alexnet and Resnet
  • 更多 More...

---

2.Transfer Learning Areas and Papers

Related articles by research areas:

• 领域自适应(非深度) Domain Adaptation (Shallow)

  • Domain adaptation介绍：Domain adaptation

• 在线迁移学习 Online transfer learning

• 终身迁移学习 Lifelong transfer learning

• 异构迁移学习 Heterogeneous Transfer Learning

• 深度迁移学习 Deep Transfer Learning

  • 深度对抗迁移迁移学习 Deep Adversarial transfer learning

• 传递迁移学习 Transitive Transfer Learning

• 强化迁移学习 Transfer Learning with Reinforcement Learning

• 应用 Applications

  • 迁移学习用于行为识别 Transfer learning for activity recognition

一个推荐、分享论文的网站比较好，我在上面会持续整理相关的文章并分享阅读笔记。详情请见paperweekly。

---

3.Theory and Survey

Here are some articles on transfer learning theory and survey.

• 迁移学习领域最具代表性的综述是A survey on transfer learning，发表于2010年，对迁移学习进行了比较权威的定义。 -- The most influential survey on transfer learning.

• 迁移学习的理论分析 Transfer Learning Theory：

  • 迁移学习方面一直以来都比较缺乏理论分析与证明的文章，以下三篇连贯式的理论文章成为了经典 Transfer learning theory：

    • NIPS-06 Analysis of Representations for Domain Adaptation
    • ML-10 A Theory of Learning from Different Domains
    • NIPS-08 Learning Bounds for Domain Adaptation

  • 许多研究者在迁移学习的研究中会应用MMD(Maximum Mean Discrepancy)这个最大均值差异来衡量不同domain之间的距离。MMD的理论文章是：

    • MMD的提出：A Hilbert Space Embedding for Distributions 以及 A Kernel Two-Sample Test
    • 多核MMD(MK-MMD)：Optimal kernel choice for large-scale two-sample tests
    • MMD及多核MMD代码：Matlab | Python

  • 理论研究方面，重点关注Alex Smola、Ben-David、Bernhard Schölkopf、Arthur Gretton等人的研究即可。

• 较新的综述 Latest survey：

  • 2018 一篇迁移度量学习的综述: Transfer Metric Learning: Algorithms, Applications and Outlooks
  • 2018 一篇最近的非对称情况下的异构迁移学习综述：Asymmetric Heterogeneous Transfer Learning: A Survey
  • 2018 Neural style transfer的一个survey：Neural Style Transfer: A Review
  • 2018 深度domain adaptation的一个综述：Deep Visual Domain Adaptation: A Survey
  • 2017 多任务学习的综述，来自香港科技大学杨强团队：A survey on multi-task learning
  • 2017 异构迁移学习的综述：A survey on heterogeneous transfer learning
  • 2017 跨领域数据识别的综述：Cross-dataset recognition: a survey
  • 2016 A survey of transfer learning。其中交代了一些比较经典的如同构、异构等学习方法代表性文章。
  • 2015 中文综述：迁移学习研究进展

• 迁移学习的应用

  • 视觉domain adaptation综述：Visual Domain Adaptation: A Survey of Recent Advances
  • 迁移学习应用于行为识别综述：Transfer Learning for Activity Recognition: A Survey
  • 迁移学习与增强学习：Transfer Learning for Reinforcement Learning Domains: A Survey
  • 多个源域进行迁移的综述：A Survey of Multi-source Domain Adaptation。

---

4.Code

请见这里 | Please see HERE for some popular transfer learning codes.

---

5.Transfer Learning Scholars

Here are some transfer learning scholars and labs.

全部列表以及代表工作性见这里

Please refer to here to see a complete list.

• Qiang Yang：中文名杨强。香港科技大学计算机系讲座教授，迁移学习领域世界性专家。IEEE/ACM/AAAI/IAPR/AAAS fellow。[Google scholar]

• Sinno Jialin Pan：杨强的学生，香港科技大学博士，现任新加坡南洋理工大学助理教授。迁移学习领域代表性综述A survey on transfer learning的第一作者（Qiang Yang是二作）。[Google scholar]

• Wenyuan Dai：中文名戴文渊，上海交通大学硕士，现任第四范式人工智能创业公司CEO。迁移学习领域著名的牛人，在顶级会议上发表多篇高水平文章，每篇论文引用量巨大。[Google scholar]

• Lixin Duan：中文名段立新，新加坡南洋理工大学博士，现就职于电子科技大学，教授。[Google scholar]

• Boqing Gong：南加州大学博士，现就职于腾讯AI Lab(西雅图)。曾任中佛罗里达大学助理教授。[Google scholar]

• Fuzhen Zhuang：中文名庄福振，中科院计算所博士，现任中科院计算所副研究员。[Google scholar]

• Mingsheng Long：中文名龙明盛，清华大学博士，现任清华大学助理教授、博士生导师。[Google scholar]

• Qingyao Wu：中文名吴庆耀，现任华南理工大学副教授。主要做在线迁移学习、异构迁移学习方面的研究。[Google scholar]

• Weike Pan：中文名潘微科，杨强的学生，现任深圳大学副教授，香港科技大学博士毕业。主要做迁移学习在推荐系统方面的一些工作。 [Google Scholar]

• Tongliang Liu：中文名刘同亮，现任悉尼大学助理教授。主要做迁移学习的一些理论方面的工作。[Google scholar]

• Tatiana Tommasi：Researcher at the Italian Institute of Technology.

---

6.Transfer Learning Thesis

Here are some popular thesis on transfer learning.

硕博士论文可以让我们很快地对迁移学习的相关领域做一些了解，同时，也能很快地了解概括相关研究者的工作。其中，比较有名的有

• 2016 Baochen Sun的Correlation Alignment for Domain Adaptation

• 2015 南加州大学的Boqing Gong的Kernel Methods for Unsupervised Domain Adaptation

• 2014 清华大学龙明盛的迁移学习问题与方法研究

• 2014 中科院计算所赵中堂的自适应行为识别中的迁移学习方法研究

• 2012 杨强的学生Hao Hu的Learning based Activity Recognition

• 2012 杨强的学生Wencheng Zheng的Learning with Limited Data in Sensor-based Human Behavior Prediction

• 2010 杨强的学生Sinno Jialin Pan的Feature-based Transfer Learning and Its Applications

• 2009 上海交通大学戴文渊的基于实例和特征的迁移学习算法研究

其他的文章，请见完整版。

---

7.Datasets and Benchmarks

Please see HERE for the popular transfer learning datasets and certain benchmark results.

这里整理了常用的公开数据集和一些已发表的文章在这些数据集上的实验结果。

---

8.Transfer Learning Challenges

一些关于迁移学习的国际比赛。

• Visual Domain Adaptation Challenge (VisDA)

---

Applications

See HERE for transfer learning applications.

迁移学习应用请见这里。

---

Other Resources

Call for papers about transfer learning:

• Transfer Learning for Multimedia Applications(A Special Issue on Multimedia Tools and Applications (MTAP))

Related projects:

• Salad: A semi-supervised domain adaptation library

---

Contributing

If you are interested in contributing, please refer to HERE for instructions in contribution.

[文章版权声明]这个仓库是我开源到Github上的，可以遵守相关的开源协议进行使用。这个仓库中包含有很多研究者的论文、硕博士论文等，都来源于在网上的下载，仅作为学术研究使用。我对其中一些文章都写了自己的浅见，希望能很好地帮助理解。这些文章的版权属于相应的出版社。如果作者或出版社有异议，请联系我进行删除。一切都是为了更好地学术！