深度学习论文精读

录制完成的论文

日期	标题	封面	时长	视频（4K）
12/9/21	如何找研究想法 1		5:34	B站
12/8/21	MAE 逐段精读		47:04	B站, 知乎, YouTube
11/29/21	ViT 逐段精读		71:30	B站, 知乎, YouTube
11/18/21	BERT 逐段精读		45:49	B站, 知乎, YouTube
11/9/21	GAN 逐段精读		46:16	B站, 知乎, YouTube
11/3/21	零基础多图详解 图神经网络（GNN/GCN）		66:19	B站, 知乎, YouTube
10/27/21	Transformer 逐段精读 （视频中提到的文献 1)		87:05	B站, 知乎, YouTube
10/22/21	ResNet 论文逐段精读		53:46	B站, 知乎, YouTube
10/21/21	撑起计算机视觉半边天的 ResNet		11:50	B站, 知乎, YouTube
10/15/21	AlexNet 论文逐段精读		55:21	B站, 知乎, YouTube
10/14/21	9年后重读深度学习奠基作之一：AlexNet		19:59	B站, 知乎, YouTube
10/06/21	如何读论文		06:39	B站, 知乎, YouTube

所有论文

包括已经录制完成和之后将要介绍的论文。选取的原则是10年内深度学习里有影响力文章（必读文章），或者近期比较有意思的文章。当然这十年里重要的工作太多了，不可能一一过一遍。在选取的时候我会偏向一些之前 直播课 中没讲到过的。 欢迎大家在 讨论区 里提供建（点）议（歌）。

（这里引用采用的是 semanticscholar，是因为它提供 API 可以自动获取，不用手动更新。）

计算机视觉 - CNN

已录制	年份	名字	简介	引用
✅	2012	AlexNet	深度学习热潮的奠基作	73342 (link)
	2014	VGG	使用 3x3 卷积构造更深的网络	55856 (link)
	2014	GoogleNet	使用并行架构构造更深的网络	26878 (link)
✅	2015	ResNet	构建深层网络都要有的残差连接。	80816 (link)
	2017	MobileNet	适合终端设备的小CNN	8695 (link)
	2019	EfficientNet	通过架构搜索得到的CNN	3426 (link)
	2019	MoCo	无监督训练效果也很好	2011 (link)
	2021	Non-deep networks	让不深的网络也能在ImageNet刷到SOTA	0 (link)

计算机视觉 - Transformer

已录制	年份	名字	简介	引用
✅	2020	ViT	Transformer杀入CV界	1527 (link)
	2021	CLIP	图片和文本之间的对比学习	399 (link)
	2021	Swin Transformer	多层次的Vision Transformer	384 (link)
	2021	MLP-Mixer	使用MLP替换self-attention	137 (link)
✅	2021	MAE	BERT的CV版	4 (link)

计算机视觉 - GAN

已录制	年份	名字	简介	引用
✅	2014	GAN	生成模型的开创工作	26024 (link)
	2015	DCGAN	使用CNN的GAN	9022 (link)
	2016	pix2pix		9752 (link)
	2016	SRGAN	图片超分辨率	5524 (link)
	2017	WGAN	训练更加容易	2620 (link)
	2017	CycleGAN		3401 (link)
	2018	StyleGAN		2708 (link)
	2019	StyleGAN2		1096 (link)
	2021	StyleGAN3		23 (link)

计算机视觉 - Object Detection

已录制	年份	名字	简介	引用
	2014	R-CNN	Two-stage	15545 (link)
	2015	Fast R-CNN		12578 (link)
	2015	Faster R-CNN		28396 (link)
	2016	SSD	Single stage	13449 (link)
	2016	YOLO		14099 (link)
	2017	Mask R-CNN		3580 (link)
	2017	YOLOv2		6915 (link)
	2018	YOLOv3		7002 (link)
	2019	CentorNet	Anchor free	773 (link)
	2020	DETR	Transformer	1053 (link)

自然语言处理 - Transformer

已录制	年份	名字	简介	引用
✅	2017	Transformer	继MLP、CNN、RNN后的第四大类架构	26029 (link)
	2018	GPT	使用 Transformer 来做预训练	2752 (link)
✅	2018	BERT	Transformer一统NLP的开始	25340 (link)
	2019	GPT-2		4534 (link)
	2020	GPT-3	朝着zero-shot learning迈了一大步	2548 (link)

通用技术

已录制	年份	名字	简介	引用
	2014	Adam	深度学习里最常用的优化算法之一	77401 (link)
	2016	为什么超大的模型泛化性不错		3112 (link)
	2017	为什么Momentum有效	Distill的可视化介绍	116 (link)

其他领域

已录制	年份	名字	简介	引用
	2014	Two-stream networks	首次超越手工特征的视频分类架构	5093 (link)
	2016	AlphaGo	强化学习出圈	10257 (link)
✅	2021	图神经网络介绍	GNN的可视化介绍	4 (link)
	2021	证明数学定理	分析不同数学物体之前的联系来帮助发现和证明定理	4 (link)

TODO：

1. Out-of-distribution
2. AlphaFold
3. Anchor-free object detection
4. Knowledge graph

Footnotes

1. 1 斯坦福100+作者的200+页综述，2 对LayerNorm的新研究，3 对Attention在Transformer里面作用的研究 ↩