友情链接

• Dlib组主页
• MOOC研究资源
• 健康大数据资源

深度学习资源

简介

深度学习（Deep Learning）是机器学习（Machine Learning）的一个分支，一般指代“深度神经网络”（Deep Neural Network）。历史上，人工神经网络（Artificial Neural Networks）经历了三次发展浪潮：20世纪40年代到60年代，神经网络以“控制论”（cybernetics）闻名；20世纪80年代到90年代，表现为“联结主义”（connectionism）；2006年至今，以“深度学习”之名复兴。得益于与日俱增的数据量和计算能力（GPU, TPU)，深度学习已经成功应用于计算机视觉、语音识别、自然语言处理、推荐系统等领域。

本组研究成果

• Jian Tang, Zhaoshi Meng, XuanLong Nguyen, Qiaozhu Mei, Ming Zhang. Understanding the Limiting Factors of Topic Modeling via Posterior Contraction Analysis. ICML 2014: 190-198 (Best Paper)
• Jian Tang, Meng Qu, Mingzhe Wang, Ming Zhang, Jun Yan, Qiaozhu Mei. LINE: Large-scale Information Network Embedding. WWW 2015: 1067-1077.
• Chenguang Wang, Yangqiu Song, Ahmed El-Kishky, Dan Roth, Ming Zhang, Jiawei Han. Incorporating World Knowledge to Document Clustering via Heterogeneous Information Networks. KDD 2015: 1215-1224.
• Jian Tang, Jingzhou Liu, Ming Zhang, Qiaozhu Mei. Visualizing Large-scale and High-dimensional Data. WWW 2016: 287-297. Best paper nominee.
• Xiang Li, Lili Mou, RuiYan, Ming Zhang. StalemateBreaker: A Proactive Content-Introducing Approach to Automatic Human-Computer Conversation. IJCAI 2016: 2845-2851.《每日邮报》报道;北大新闻报道
• Yin Yichun, Wei Furu, Dong Li, Xu Kaimeng, Zhang Ming and Zhou Ming. Unsupervised Word and Dependency Path Embeddings for Aspect Term Extraction. IJCAI 2016: 2979-2985.
• Yiping Song, Cheng-Te Li, Jian-Yun Nie, Ming Zhang, Dongyan Zhao, Rui Yan. An Ensemble of Retrieval-Based and Generation-Based Human-Computer Conversation Systems. IJCAI 2018: 4382-4388.
• Luchen Liu, Jianhao Shen, Ming Zhang, Zichang Wang, Jian Tang. Learning the Joint Representation of Heterogeneous Temporal Events for Clinical Endpoint Prediction. AAAI 2018: 109-116.

基础教程

1. http://deeplearning.net/tutorial/
2. 《神经网络与深度学习》讲义，邱锡鹏
3. 《机器学习》完整版笔记，李宏毅

参考书籍

1. Deep Learning, Yoshua Bengio, Ian Goodfellow, Aaron Courville, MIT Press, In preparation. 网页版
2. 周志华《机器学习》
3. 李航《统计学习方法》
4. Bishop et.al. 《Pattern Recognition and Machine Learning》

经典论文

1. Hinton, Geoffrey E. “Deterministic Boltzmann learning performs steepest descent in weight-space.” Neural computation 1.1 (1989): 143-150.
2. Hinton, Geoffrey E., and Ruslan R. Salakhutdinov. “Reducing the dimensionality of data with neural networks.” Science 313.5786 (2006): 504-507.
3. LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. “Deep learning.” Nature 521, no. 7553(2015): 436-444.
4. Yoshua Bengio, Aaron Courville, Pascal Vincent. “Representation Learning: A Review and New Perspectives.” Arxiv, 2012.
5. Le Roux, Nicolas, and Yoshua Bengio. “Deep belief networks are compact universal approximators.” Neural computation 22.8 (2010): 2192-2207.
6. Hochreiter, Sepp, and Jürgen Schmidhuber. “Long short-term memory.” Neural computation 9.8 (1997): 1735-1780.
7. Alex Krizhevsky, Ilya Sutskever, Geoffrey E Hinton, “ImageNet Classification with Deep Convolutional Neural Networks.” NIPS 2012.
8. Mikolov, Tomas, Ilya Sutskever, Kai Chen, Greg S. Corrado, and Jeff Dean. “Distributed representations of words and phrases and their compositionality.” In Advances in Neural Information Processing Systems, pp. 3111-3119. 2013.

公开课

1. http://videolectures.net/deeplearning2015_montreal
2. http://videolectures.net/deeplearning2016_montreal
3. http://videolectures.net/kdd2014_salakhutdinov_deep_learning

框架（排名不分先后）

1. TensorFlow
   官方网站：https://www.tensorflow.org/
   TensorFlow是谷歌开源的机器学习框架，提供可靠的python和C++接口，Go和Java的接口仍在开发中。
2. Theano
   官方网站：http://deeplearning.net/software/theano/
   Theano是元老级的深度学习框架，提供python接口，具有良好的计算图抽象方式.
3. Torch
   官方网站：http://torch.ch/
   Torch是用Lua语言编写的计算框架，有很多已定义模型，容易编写自己的层类型并在GPU上运行，但不适合RNN。
4. Caffe
   官方网站：http://caffe.berkeleyvision.org/
   Caffe是应用较为广泛的机器视觉库，最适合于图像处理，不适合文本、声音等数据类型的深度学习应用.
5. CNTK
   官方网站：https://github.com/Microsoft/CNTK
   CNTK是微软开源的深度学习框架，主要包括前馈DNN、卷积网络和循环网络。
6. MXNet
   官方网站：https://github.com/dmlc/mxnet
   MXNet是陈天奇等开发的深度学习框架，目前已被亚马逊选中成为其深度学习平台。特点是运行速度快，内存管理效率高。

其它资源

1. http://deeplearning.net/reading-list/
2. https://github.com/ty4z2008/Qix/blob/master/dl.md
3. Andrew Ng 的机器学习网络公开课
4. Andrew Moore 的机器学习算法教程
5. 无监督的特征学习和深度学习（中文翻译）
6. 张志华公开课: 机器学习导论、 统计机器学习