全网爆火的🔥🔥🔥 《深度学习100例》 现在对外开放了，提供可运行的代码和数据。正在更新中~

原创文章每周最少两篇，后续最新文章 会在【公众号】首发，比博客早一到两篇。大家可以加我【微信】，技术交流或提意见都可以，欢迎Star！

【从Python到AI】~

【👉 训练营介绍】~

书籍系列

• 🎈 机器学习-周志华 百度云下载链接 提取码：hnzu
• 🎆 统计学习-李航 百度云下载链接 提取码：lc5e
• 🧨 神经网络与深度学习-邱锡鹏 百度云下载链接 提取码：m3ls
• ✨ 深度强化学习 Hung-yi Lee 百度云下载链接 提取码：9b0a
• 🎉 机器学习实战 中文双页版 百度云下载链接 提取码：jy7r
• 🎊 斯坦福大学-深度学习基础教程 百度云下载链接 提取码：hjz7
• 🎃 Tensorflow 实战Google深度学习框架百度云下载链接 提取码：f6wf

面试笔记系列

• 🎄 谷歌和阿里大佬的Leetcode刷题笔记 百度云下载链接 提取码：9go2
• 🎋 Leetcode 1300道算法题解 百度云下载链接 提取码：eg9z
• 🎍 labuladong 的算法小抄 百度云下载链接 提取码：v4qf
• 🎎 程序员面试宝典 百度云下载链接 提取码：gm7o
• 🎏 大厂面试真题 百度云下载链接 提取码：u9y4

目录（善用Ctrl+F）

深度学习 📚

目标识别 ✨

• 深度学习100例-卷积神经网络（CNN）实现mnist手写数字识别 | 第1天
• 深度学习100例-卷积神经网络（CNN）彩色图片分类 | 第2天
• 深度学习100例-卷积神经网络（CNN）服装图像分类 | 第3天
• 深度学习100例-卷积神经网络（CNN）花朵识别 | 第4天
• 深度学习100例-卷积神经网络（CNN）天气识别 | 第5天
• 深度学习100例-卷积神经网络（VGG-16）识别海贼王草帽一伙 | 第6天
• 深度学习100例-卷积神经网络（VGG-19）识别灵笼中的人物 | 第7天
• 深度学习100例-卷积神经网络（ResNet-50）鸟类识别 | 第8天
• 深度学习100例-卷积神经网络（AlexNet）手把手教学 | 第11天
• 深度学习100例-卷积神经网络（CNN）识别验证码 | 第12天
• 深度学习100例-卷积神经网络（Inception V3）识别手语 | 第13天
• 深度学习100例-卷积神经网络（Inception-ResNet-v2）识别交通标志 | 第14天
• 深度学习100例-卷积神经网络（CNN）实现车牌识别 | 第15天
• 深度学习100例-卷积神经网络（CNN）识别神奇宝贝小智一伙 | 第16天
• 深度学习100例-卷积神经网络（CNN）注意力检测 | 第17天
• 深度学习100例-卷积神经网络（VGG-16）猫狗识别 | 第21天
• 深度学习100例-卷积神经网络（LeNet-5）深度学习里的“Hello Word” | 第22天
• 深度学习100例-卷积神经网络（CNN）3D医疗影像识别 | 第23天
• 深度学习100例 | 第24天-卷积神经网络（Xception）：动物识别
• 深度学习100例 | 第25天-卷积神经网络（CNN）：中文手写数字识别
• 深度学习100例 | 第26天-卷积神经网络（CNN）：乳腺癌识别
• 深度学习100例 | 第27天-卷积神经网络（CNN）：艺术作品识别

循环神经网络篇（RNN） 🚀

• 深度学习100例-循环神经网络（RNN）实现股票预测 | 第9天
• 深度学习100例-循环神经网络（LSTM）实现股票预测 | 第10天
• 深度学习100例 | 第32天（GRU模型）：利用算法生成小说（斗罗大陆版）

生成对抗网络篇（GAN） 🎎

• 深度学习100例-生成对抗网络（GAN）手写数字生成 | 第18天
• 深度学习100例-生成对抗网络（DCGAN）手写数字生成 | 第19天
• 深度学习100例-生成对抗网络（DCGAN）生成动漫小姐姐 | 第20天

图卷积神经网络（GCN）🔥

• 深度学习100例 | 第52天-图卷积神经网络（GCN）：实现论文分类

自然语言处理 📰

• 如何用Python做情感分析？
• 在线课程评论情感分析-本科毕设实战案例

机器学习 🧰

- 机器学习第1天：数据预处理 - 机器学习第2天：简单线性回归模型 - 机器学习第3天：多元线性回归 - 机器学习第4天：线性回归及梯度下降 - 机器学习第5天：逻辑回归 - 机器学习第6天：数据可视化神器--Matplotlib - 机器学习第7天：深入了解逻辑回归 - 机器学习第8天：IPyhon与Jupyter notebook

实战篇:

• 数据预处理
• 线性回归（代码篇）
• 垃圾短信识别
• 乳腺癌肿瘤预测
• 预测汽车的燃油效率

数据分析 📊

• 抓取豆瓣上的《长津湖》的热评，我发现了这些
• 数据分析告诉你，历年的诺贝尔奖都被哪些人拿走了？

Matplotlib实例教程 📈

• Matplotlib实例教程（一）柱状图
• Matplotlib实例教程（二）饼状图
• Matplotlib实例教程（三）折线图
• Matplotlib实例教程（四）水平条形图
• Matplotlib实例教程（五）绘制散点图
• Matplotlib实例教程（六）直方图
• Matplotlib实例教程（七）密度图
• Matplotlib实例教程（八）直方密度线图
• Matplotlib实例教程（九）热力图
• Matplotlib实例教程（十）边缘直方图
• Matplotlib实例教程（十一）堆栈图
• Matplotlib实例教程（十二）箱形图
• Matplotlib实例教程（十三）小提琴图
• Matplotlib实例教程（十四）误差条形图
• Matplotlib实例教程（十五） 3D散点图
• Matplotlib实例教程（十六）3D直方图
• Matplotlib实例教程（十七）3D山体图

爬虫 🕷

• 实战项目一：爬取西刺代理（获取代理IP）
• 实战项目二：实现CSDN自动点赞
• 实战项目三：爬取QQ群中的人员信息
• 实战项目四：爬取911网站
• 实战项目五：抓取简书文章信息
• 教程一：Xpath教程
• 教程二：selenium教程
• 教程三：正则表达式教程
• 知识点讲解一：代理ip中的proxies
• 知识点讲解二：requests中的timeout()
• 知识点讲解三：获取重定位后的网址
• 知识点讲解四：栈溢出（stack overflow）问题解决方案
• 知识点讲解五：处理js异步加载问题
• 知识点讲解六：fake-useragent的用法
• 知识点讲解七：Python中的异常处理机制
• 知识点讲解八：Python中的尾递归
• 知识点讲解九：判断字符串是否为纯数字

DeepLearning Tutorial

一. 入门资料

完备的 AI 学习路线，最详细的中英文资源整理 :star:

AiLearning: 机器学习 - MachineLearning - ML、深度学习 - DeepLearning - DL、自然语言处理 NL

Machine-Learning

数学基础

• 矩阵微积分
• 机器学习的数学基础
• CS229线性代数与概率论基础

机器学习基础

快速入门

• 机器学习算法地图
• 机器学习 吴恩达 Coursera个人笔记  && 视频（含官方笔记）  
• CS229 课程讲义中文翻译 && 机器学习 吴恩达 cs229个人笔记 && 官网（笔记）  && 视频（中文字幕）  
• 百页机器学习

深入理解

• 《统计学习方法》李航 && 《统计学习方法》各章节笔记 && 《统计学习方法》各章节笔记 && 推荐答案：statistical-learning-method-solutions-manual 《统计学习方法》各章节笔记 && 《统计学习方法》各章节代码实现与课后习题参考解答
• 《模式识别与机器学习》 Christopher Bishop
• 《机器学习》 周志华 && 南瓜书：pumpkin-book
• 《机器学习实战》 PelerHarrington
• 机器学习与深度学习书单

深度学习基础

快速入门

• 深度学习思维导图
• 《斯坦福大学深度学习基础教程》 Andrew Ng（吴恩达）
• 深度学习 吴恩达 个人笔记  && 视频
• MIT深度学习基础-2019视频课程
• 台湾大学（NTU）李宏毅教授课程 && [leeml-notes
• 图解深度学习Grokking-Deep-Learning
• 《神经网络与深度学习》 Michael Nielsen    
• CS321-Hinton
• CS230: Deep Learning
• CS294-112

计算机视觉

• CS231 李飞飞 已授权个人翻译笔记 && 视频
• 计算机视觉研究方向

自然语言处理

• CS224n: Natural Language Processing with Deep Learning
• NLP上手教程
• NLP入门推荐书目（2019版）

深度强化学习

• CS234: Reinforcement Learning

深入理解

• 《深度学习》 Yoshua Bengio.Ian GoodFellow:star:  
• 《自然语言处理》Jacob Eisenstein
• 《强化学习》 && 第二版
• hangdong的深度学习博客,论文推荐
• Practical Deep Learning for Coders, v3
• 《Tensorflow实战Google深度学习框架》 郑泽宇 顾思宇

一些书单

• 2019年最新-深度学习、生成对抗、Pytorch优秀教材推荐

工程能力

• 如何系统地学习算法？ && LeetCode && leetcode题解 && 《算法导论》中算法的C++实现
• 机器学习算法实战
• 深度学习框架
• 如何成为一名算法工程师 && 从小白到入门算法，我的经验分享给你～ && 我的研究生这三年 :star:
• 编程面试的题目分类
• 《AI算法工程师手册》
• 如何准备算法工程师面试，斩获一线互联网公司机器学习岗offer？
• 【完结】深度学习CV算法工程师从入门到初级面试有多远，大概是25篇文章的距离
• 计算机相关技术面试必备 && CS-WiKi && 计算机基础面试问题全面总结 && TeachYourselfCS-CN && 面试算法笔记-中文
• 算法工程师面试
• 深度学习面试题目
• 深度学习500问
• AI算法岗求职攻略
• [Kaggle实战]()

* 常用算法： * Feature Engineering：continue variable && categorical variable * Classic machine learning algorithm：LR, KNN, SVM, Random Forest, GBDT(XGBoost&&LightGBM), Factorization Machine, Field-aware Factorization Machine, Neural Network * Cross validation, model selection：grid search, random search, hyper-opt * Ensemble learning * kaggle竞赛宝典第一章-竞赛框架篇！:star: * Kaggle 项目实战（教程） = 文档 + 代码 + 视频 * Kaggle入门系列：（一）机器学习环境搭建 && Kaggle入门系列：（二）Kaggle简介 && Kaggle入门系列（三）Titanic初试身手 * 从 0 到 1 走进 Kaggle * Kaggle 入门指南 * 一个框架解决几乎所有机器学习问题 && Approaching (Almost) Any Machine Learning Problem | Abhishek Thakur * 分分钟带你杀入Kaggle Top 1% * 如何达到Kaggle竞赛top 2%？这里有一篇特征探索经验帖 * 如何在 Kaggle 首战中进入前 10%？ * Kaggle 首战 Top 2%, APTOS 2019 复盘总结 + 机器学习竞赛通用流程归纳 * kaggle的riiid比赛里关于数据处理时间空间优化的笔记

• 大数据&机器学习相关竞赛推荐

二. 神经网络模型概览

• 1. 一文看懂25个神经网络模型
• 2. DNN概述论文：详解前馈、卷积和循环神经网络技术
• 3. colah's blog
• 4. Model Zoom
• 5. DNN概述
• GitHub上的机器学习/深度学习综述项目合集
• AlphaTree-graphic-deep-neural-network

CNN

发展史

• 94页论文综述卷积神经网络：从基础技术到研究前景

图像分类

• 从LeNet-5到DenseNet
• 深度学习笔记（十一）网络 Inception, Xception, MobileNet, ShuffeNet, ResNeXt, SqueezeNet, EfficientNet, MixConv
• CNN网络结构的发展
• Awesome - Image Classification：论文&&代码大全
• pytorch-image-models

目标检测

• 深度学习之目标检测的前世今生（Mask R-CNN）
• 深度学习目标检测模型全面综述：Faster R-CNN、R-FCN和SSD
• 从RCNN到SSD，这应该是最全的一份目标检测算法盘点
• 目标检测算法综述三部曲

- 基于深度学习的目标检测算法综述（一） - 基于深度学习的目标检测算法综述（二） - 基于深度学习的目标检测算法综述（三）

• [From RCNN to YOLOv3]()：上，下
• 后 R-CNN时代， Faster R-CNN、SSD、YOLO 各类变体统治下的目标检测综述：Faster R-CNN系列胜了吗？
• 目标检测进化史
• CVPR2019目标检测方法进展综述
• 一文看尽21篇目标检测最新论文（腾讯/Google/商汤/旷视/清华/浙大/CMU/华科/中科院等
• 我这两年的目标检测
• [Anchor-Free目标检测算法](): 第一篇：arxiv2015baiduDenseBox， 如何评价最新的anchor-free目标检测模型FoveaBox？, FCOS: 最新的one-stage逐像素目标检测算法 && 最新的Anchor-Free目标检测模型FCOS，现已开源！ && 中科院牛津华为诺亚提出CenterNet，one-stage detector可达47AP，已开源！ && AnchorFreeDetection
• Anchor free深度学习的目标检测方法
• 聊聊Anchor的"前世今生"（上）&&聊聊Anchor的"前世今生"（下）
• 目标检测算法综述之FPN优化篇 && 一文看尽物体检测中的各种FPN
• awesome-object-detection：论文&&代码
• deeplearningobject_detection
• ObjectDetectionImbalance

图像分割（语义分割、实例分割、全景分割）

• 图像语义分割(Semantic segmentation) Survey
• 干货 | 一文概览主要语义分割网络
• 语义分割 发展综述
• 9102年了，语义分割的入坑指南和最新进展都是什么样的
• 实例分割最新最全面综述：从Mask R-CNN到BlendMask
• 语义分割综述：深度学习背景下的语义分割的发展状况【推荐】
• Awesome Semantic Segmentation：论文&&代码
• 一篇看完就懂的最新语义分割综述
• 基于深度学习的语义分割综述

轻量化卷积神经网络

• 纵览轻量化卷积神经网络：SqueezeNet、MobileNet、ShuffleNet、Xception

人脸相关

• 如何走近深度学习人脸识别？你需要这篇超长综述 | 附开源代码
• [人脸检测和识别算法综述]()      

* 人脸检测算法综述           * 人脸检测背景介绍和发展现状 * 人脸识别算法演化史 * CascadeCNN   * MTCNN * awesome-Face_Recognition * 异质人脸识别研究综述 * 老板来了：人脸识别+手机推送，老板来了你立刻知道。&& 手把手教你用Python实现人脸识别 && 人脸识别项目，网络模型，损失函数，数据集相关总结 * 基于深度学习的人脸识别技术综述 && 如何走近深度学习人脸识别？你需要这篇超长综述 && 人脸识别损失函数综述（附开源实现） && Face Recognition Loss on Mnist with Pytorch && 人脸识别的LOSS（上） && 人脸识别的LOSS（下）

• [人脸关键点检测]()

* 【每周CV论文推荐】 初学深度学习人脸关键点检测必读文章 * 从传统方法到深度学习，人脸关键点检测方法综述 * 人脸关键点检测综述 * 人脸专集4 | 遮挡、光照等因素的人脸关键点检测 * 【Face key point detection】人脸关键点检测实现 * OpenCV实战：人脸关键点检测（FaceMark） * CenterFace+TensorRT部署人脸和关键点检测400fps

图像超分辨率

• 深度学习图像超分辨率综述
• 从SRCNN到EDSR，总结深度学习端到端超分辨率方法发展历程

行人重识别

• 【CVPR2019正式公布】行人重识别论文
• 【CVPR2019正式公布】行人重识别论文，2019 行人再识别年度进展回顾

图像着色

• Awesome-Image-Colorization

边检测

• Awesome-Edge-Detection-Papers

OCR&&文本检测

• 2019CVPR文本检测综述
• OCR文字处理
• 自然场景文本检测识别技术综述

点云

• awesome-point-cloud-analysis

细粒度图像分类

• 超全深度学习细粒度图像分析：项目、综述、教程一网打尽

图像检索

• 图像检索的十年上、下

人群计数

• 人群计数, 1, 2, 3

教程

前馈神经网络

• 从基本原理到梯度下降，小白都能看懂的神经网络教程

激活函数

• 激活函数一览 && 深度学习中几种常见的激活函数理解与总结
• 一个激活函数需要具有哪些必要的属性

反向传播算法

• 反向传播算法（过程及公式推导）
• 通俗理解神经网络BP传播算法

优化问题

• 神经网络训练中的梯度消失与梯度爆炸
• 梯度消失和梯度爆炸问题详解
• 详解深度学习中的梯度消失、爆炸原因及其解决方法 && 神经网络梯度消失和梯度爆炸及解决办法

卷积层

• A Comprehensive Introduction to Different Types of Convolutions in Deep Learning && 翻译：上、下
• 卷积有多少种？一文读懂深度学习中的各种卷积
• 各种卷积
• Convolution Network及其变种（反卷积、扩展卷积、因果卷积、图卷积）
• 深度学习基础--卷积类型
• 变形卷积核、可分离卷积
• 对深度可分离卷积、分组卷积、扩张卷积、转置卷积（反卷积）的理解
• 反卷积
• Dilated/Atrous conv 空洞卷积/多孔卷积
• 卷积层输出大小尺寸计算及 “SAME” 和 “VALID” && 卷积的三种模式full, same, valid以及padding的same, valid
• 正常卷积与空洞卷积输出特征图与感受野大小的计算
• 【Tensorflow】tf.nn.depthwiseconv2d如何实现深度卷积?
• 【Tensorflow】tf.nn.atrousconv2d如何实现空洞卷积？
• 【Tensorflow】tf.nn.separableconv2d如何实现深度可分卷积?
• 【TensorFlow】tf.nn.conv2dtranspose是怎样实现反卷积的？

池化层

• 卷积神经网络中的各种池化操作

卷积神经网络

• 卷积神经网络工作原理
• 「七夕的礼物」: 一日搞懂卷积神经网络
• 一文读懂卷积神经网络中的1x1卷积核
• 如何理解神经网络中通过add和concate的方式融合特征？ && 神经网络中对需要concat的特征进行线性变换然后相加是否好于直接concat?
• CNN 模型所需的计算力（flops）和参数（parameters）数量是怎么计算的？ && 深度学习中卷积的参数量和计算量

图像分类网络详解

• 经典CNN模型LeNet解读
• 机器学习进阶笔记之三 | 深入理解Alexnet
• 一文读懂VGG网络
• Inception V1,V2,V3,V4 模型总结
• ResNet解析
• 一文简述ResNet及其多种变体
• CapsNet入门系列

- CapsNet入门系列之一：胶囊网络背后的直觉 - CapsNet入门系列之二：胶囊如何工作 - CapsNet入门系列之三：囊间动态路由算法 - CapsNet入门系列之四：胶囊网络架构

• 深入剖析MobileNet和它的变种（例如：ShuffleNet）为什么会变快？
• CNN模型之ShuffleNet
• ShuffleNet V2和四个网络架构设计准则
• ResNeXt 深入解读与模型实现
• 如何评价Momenta ImageNet 2017夺冠架构SENet?
• CBAM：卷积块注意力模块 && CBAM: Convolutional Block Attention Module
• SKNet——SENet孪生兄弟篇
• GCNet：当Non-local遇见SENet
• 深度学习笔记（十一）网络 Inception, Xception, MobileNet, ShuffeNet, ResNeXt, SqueezeNet, EfficientNet, MixConv
• 如何评价最新的Octave Convolution？
• ResNeSt 之语义分割 && 关于ResNeSt的点滴疑惑 && ResNeSt在刷榜之后被ECCV2020 strong reject

目标检测网络详解

• 目标检测的性能评价指标 && NMS和计算mAP时的置信度阈值和IoU阈值 && 白话mAP && 目标检测模型的评估指标mAP详解(附代码）
• 深度学习中IU、IoU(Intersection over Union)
• Selective Search for Object Detection （译文）
• Region Proposal Network(RPN)
• 边框回归(Bounding Box Regression)详解
• NMS——非极大值抑制 && 非极大值抑制NMS的python实现
• 一文打尽目标检测NMS——精度提升篇 && 一文打尽目标检测NMS——效率提升篇
• 目标检测回归损失函数简介：SmoothL1/IoU/GIoU/DIoU/CIoU Loss
• 将CNN引入目标检测的开山之作：R-CNN
• R-CNN论文详解
• 深度学习（十八）基于R-CNN的物体检测
• Fast R-CNN
• 深度学习（六十四）Faster R-CNN物体检测 && 你真的学会RoI Pooling了吗?
• 目标检测论文阅读：Feature Pyramid Networks for Object Detection
• SSD
• 实例分割--Mask RCNN详解(ROI Align / Loss Function) && 令人拍案称奇的Mask RCNN
• 何恺明大神的「Focal Loss」，如何更好地理解？ && FocalLoss 对样本不平衡的权重调节和减低损失值 && focalloss 多类别和二分类 Pytorch代码实现 && 多分类focal loss及其tensorflow实现
• 堪比Focal Loss！解决目标检测中样本不平衡的无采样方法
• 目标检测正负样本区分策略和平衡策略总结(一) && 目标检测正负样本区分策略和平衡策略总结(二) && 目标检测正负样本区分策略和平衡策略总结(三）
• YOLO && 目标检测|YOLO原理与实现 && 图解YOLO && 【论文解读】Yolo三部曲解读——Yolov1
• 目标检测|YOLOv2原理与实现(附YOLOv3) && YOLO2 && 【论文解读】Yolo三部曲解读——Yolov2
• <机器爱学习>YOLO v3深入理解 && 【论文解读】Yolo三部曲解读——Yolov3
• YOLOv4
• 目标检测之CornerNet, 1, 2, 3
• 目标检测小tricks--样本不均衡处理

图像分割网络详解

• 超像素、语义分割、实例分割、全景分割 傻傻分不清 && 语义分割、实例分割和全景分割的区别
• 语义分割卷积神经网络快速入门
• 图像语义分割入门+FCN/U-Net网络解析 && 深入理解深度学习分割网络Ｕnet
• Unet神经网络为什么会在医学图像分割表现好？
• 图像语义分割的工作原理和CNN架构变迁
• 语义分割中的Attention和低秩重建
• 打通多个视觉任务的全能Backbone:HRNet

注意力机制

• 深度学习中的注意力模型（2017版）
• Attention Model（mechanism） 的 套路
• 计算机视觉中的注意力机制（推荐）
• More About Attention（推荐）
• 计算机视觉中的注意力机制
• NLP中的Attention Mechanism
• Transformer中的Attention
• 综述：图像处理中的注意力机制

特征融合

• 盘点目标检测中的特征融合技巧（根据YOLO v4总结）
• 多尺度融合介绍

Action

• PyTorch官方实现ResNet && pytorchresnetcifar10
• PyTorch 63.Coding for FLOPs, Params and Latency
• 先读懂CapsNet架构然后用TensorFlow实现
• 目标检测-20种模型的原味代码汇总
• TensorFlow Object Detection API 教程

* TensorFlow 对象检测 API 教程1 * TensorFlow 对象检测 API 教程2 * TensorFlow 对象检测 API 教程3 * TensorFlow 对象检测 API 教程 4 * TensorFlow 对象检测 API 教程5

• 在TensorFlow+Keras环境下使用RoI池化一步步实现注意力机制
• mxnet如何查看参数数量 && mxnet查看FLOPS
• Pytorch-UNet
• segmentation_models.pytorch

GAN

发展史

• 千奇百怪的GAN变体
• 苏剑林博客，讲解得淋漓尽致
• The GAN Landscape：Losses, Architectures, Regularization, and Normalization
• 深度学习新星：GAN的基本原理、应用和走向
• GAN生成图像综述
• 2017年GAN 计算机视觉相关paper汇总
• 必读的10篇关于GAN的论文

教程

• GAN原理学习笔记
• GAN万字长文综述
• 极端图像压缩的对抗生成网络
• 台湾大学李宏毅GAN教程

* Basic.pdf) * Improving.pdf)

• CycleGAN：图片风格，想换就换 | ICCV 2017论文解读
• Wasserstein GAN && GAN：两者分布不重合JS散度为log2的数学证明
• 用变分推断统一理解生成模型（VAE、GAN、AAE、ALI）

Action

• GAN学习指南：从原理入门到制作生成Demo
• 机器之心GitHub项目：GAN完整理论推导与实现
• 在Keras上实现GAN：构建消除图片模糊的应用

RNN

发展史

• 从90年代的SRNN开始，纵览循环神经网络27年的研究进展

教程

• Awesome-Chinese-NLP
• nlp-pytorch-zh
• 完全图解RNN、RNN变体、Seq2Seq、Attention机制
• 循环神经网络(RNN, Recurrent Neural Networks)介绍
• RNN以及LSTM的介绍和公式梳理
• （译）理解长短期记忆(LSTM) 神经网络
• 一文读懂LSTM和RNN
• 探索LSTM：基本概念到内部结构
• 翻译：深入理解LSTM系列            
• 深入理解 LSTM 网络 (一)
• 深入理解 LSTM 网络 (二)
• LSTM
• 深度学习其五 循环神经网络                      
• 用循环神经网络进行文件无损压缩：斯坦福大学提出DeepZip
• [吴恩达序列建模课程]()

* Coursera吴恩达《序列模型》课程笔记（1）-- 循环神经网络（RNN） * Coursera吴恩达《序列模型》课程笔记（2）-- NLP & Word Embeddings * Coursera吴恩达《序列模型》课程笔记（3）-- Sequence models & Attention mechanism

• word2vec

- 原理 - NLP 秒懂词向量Word2vec的本质 - 一篇通俗易懂的word2vec - YJango的Word Embedding--介绍 - nlp中的词向量对比：word2vec/glove/fastText/elmo/GPT/bert - 词嵌入（word2vec） - 谈谈谷歌word2vec的原理 - Word2Vec中为什么使用负采样？ - 训练词向量 - 练习-word2vec - word2vec方法的实现和应用 - 自然语言处理入门 word2vec 使用tensorflow自己训练词向量 - 使用tensorflow实现word2vec中文词向量的训练 - 如何用TensorFlow训练词向量

• 聊聊 Transformer
• 基于Transform的机器翻译系统
• 基于word2vec训练词向量(一)
• 基于word2vec训练词向量(二)
• 自然语言处理中的自注意力机制（Self-Attention Mechanism）    
• 自然语言处理中注意力机制综述
• YJango的Word Embedding--介绍

Action

• 推荐：nlp-tutorial
• nlp-tutorial
• tensorflow中RNNcell源码分析以及自定义RNNCell的方法
• TensorFlow中RNN实现的正确打开方式
• TensorFlow RNN 代码
• Tensorflow实现的深度NLP模型集锦
• 用tensorflow LSTM如何预测股票价格
• TensorFlow的多层LSTM实践
• 《安娜卡列尼娜》文本生成——利用TensorFlow构建LSTM模型

GNN

发展史

• Graph Neural Network（GNN）综述
• 深度学习时代的图模型，清华发文综述图网络
• 清华大学图神经网络综述：模型与应用
• 图神经网络概述第三弹：来自IEEE Fellow的GNN综述
• GNN最全文献资料整理 && Awesome-Graph-Neural-Networks

教程

• 如何理解 Graph Convolutional Network（GCN）
• 图卷积网络(GCN)新手村完全指南
• 何时能懂你的心——图卷积神经网络（GCN）
• 图卷积网络GCN的理解与介绍
• 一文读懂图卷积GCN
• 2020 年 GNN 开卷有益与再谈图卷积
• 【GCN】万字长文带你入门 GCN
• 如何解决图神经网络（GNN）训练中过度平滑的问题？
• 全连接的图卷积网络(GCN)和self-attention这些机制有什么区别联系 && CNN与GCN的区别、联系及融合

Action

• 图卷积网络到底怎么做，这是一份极简的Numpy实现
• DGL

三. 深度模型的优化与正则化

• 1. 优化算法纵览
• 2. 从梯度下降到Adam
• 3. 从梯度下降到拟牛顿法：盘点训练神经网络的五大学习算法
• 4. 正则化技术总结

* 史上最全面的正则化技术总结与分析--part1 * 史上最全面的正则化技术总结与分析--part2

• 权重衰减（weight decay）与学习率衰减（learning rate decay） && pytorch必须掌握的的4种学习率衰减策略
• 5. 最优化算法系列（math）
• 6. 神经网络训练中的梯度消失与梯度爆炸        
• 7. 神经网络的优化及训练
• 8. 通俗讲解查全率和查准率 && 全面梳理：准确率,精确率,召回率,查准率,查全率,假阳性,真阳性,PRC,ROC,AUC,F1 && 机器学习之类别不平衡问题 (1) —— 各种评估指标 && 机器学习之类别不平衡问题 (2) —— ROC和PR曲线 && AUC详解与python实现 && 微平均和宏平均 && 机器学习中的性能度量 && 精确率、召回率、F1 值、ROC、AUC 各自的优缺点是什么
• 激活函数一览 && 深度学习中几种常见的激活函数理解与总结
• 深度学习笔记(三)：激活函数和损失函数
• 激活函数/损失函数汇总
• 机器学习中常见的损失函数及其应用场景 && PyTorch的十八个损失函数
• 深度度量学习中的损失函数
• 反向传播算法（过程及公式推导）
• 通俗理解神经网络BP传播算法
• 10. Coursera吴恩达《优化深度神经网络》课程笔记（3）-- 超参数调试、Batch正则化和编程框架
• 11. 机器学习各种熵
• 12. 距离和相似性度量
• 13. 机器学习里的黑色艺术：normalization, standardization, regularization && 数据标准化/归一化normalization && 特征工程中的「归一化」有什么作用？
• 14. LSTM系列的梯度问题
• 15. 损失函数整理
• 16. 详解残差块为何有助于解决梯度弥散问题
• 17. FAIR何恺明等人提出组归一化：替代批归一化，不受批量大小限制
• [18. Batch Normalization（BN）]():1 ,2 ,3 ,4 , 5, 6, 7
• 19. 详解深度学习中的Normalization，不只是BN && 如何区分并记住常见的几种 Normalization 算法
• 20. BFGS
• 21. 详解深度学习中的梯度消失、爆炸原因及其解决方法 && 神经网络梯度消失和梯度爆炸及解决办法
• 22. Dropout, 1, 2, 3，系列解读Dropout
• 23.谱归一化（Spectral Normalization）的理解，常见向量范数和矩阵范数，谱范数正则（Spectral Norm Regularization）的理解
• 24.L1正则化与L2正则化 && 深入理解L1、L2正则化 && L2正则=Weight Decay？并不是这样 && 都9102年了，别再用Adam + L2 regularization
• 25.为什么选用交叉熵而不是MSE &&为什么使用交叉熵作为损失函数 &&二元分类为什么不能用MSE做为损失函数？&& 为什么平方损失函数不适用分类问题？
• 浅谈神经网络中的梯度爆炸问题
• 为什么weight decay能够防止过拟合
• 交叉熵代价函数（作用及公式推导） && 交叉熵损失的来源、说明、求导与pytorch实现 && Softmax函数与交叉熵 && 极大似然估计与最小化交叉熵损失或者KL散度为什么等价
• 梯度下降优化算法纵览, 1, 2, 几种优化算法的比较（BGD、SGD、Adam、RMSPROP）
• Softmax：详解softmax函数以及相关求导过程 && softmax的log似然代价函数（公式求导） && 【技术综述】一文道尽softmax loss及其变种
• 从最优化的角度看待Softmax损失函数 && Softmax理解之二分类与多分类 && Softmax理解之Smooth程度控制 && Softmax理解之margin
• 权重初始化

* 神经网络中的权重初始化一览：从基础到Kaiming * 深度学习中常见的权重初始化方法 * 深度学习中神经网络的几种权重初始化方法 * 谈谈神经网络权重为什么不能初始化为0 * 神经网络中的偏置（bias）究竟有这么用？ * 深度学习里面的偏置为什么不加正则？

• 为什么说bagging是减少variance，而boosting是减少bias?

四. 炼丹术士那些事

调参经验

• 训练的神经网络不工作？一文带你跨过这37个坑
• Deep Learning 之 训练过程中出现NaN问题
• 神经网络训练trick
• 你有哪些deep learning（rnn、cnn）调参的经验？
• GAN的一些小trick
• 深度学习与计算机视觉系列(8)_神经网络训练与注意点
• 神经网络训练loss不下降原因集合 && loss不下降的解决方法
• 深度学习：欠拟合问题的几种解决方案 &&过拟合和欠拟合问题
• 机器学习：如何找到最优学习率及实现
• 神经网络中 warmup 策略为什么有效
• [不平衡数据集处理方法](): 其一, 其二, 其三 && Awesome Imbalanced Learning && Class-balanced-loss-pytorch
• 同一个神经网络使用不同激活函数的表达能力是否一致
• 论文笔记之数据增广：mixup
• 避坑指南：数据科学家新手常犯的13个错误
• 凭什么相信CNN的结果?--可视化

* 凭什么相信你，我的CNN模型？（篇一：CAM和Grad-CAM) && pytorch-grad-cam && Grad-CAM-tensorflow && grad-cam.tensorflow && cnn_visualization * 凭什么相信你，我的CNN模型？（篇二：万金油LIME) * 论文笔记:Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization * CV：基于Keras利用训练好的hdf5模型进行目标检测实现输出模型中的表情或性别的gradcam(可视化)

• [大卷积核还是小卷积核?]() 1, 2
• 模型可解释性差？你考虑了各种不确定性了吗？
• [炼丹笔记系列]()

* 炼丹笔记一：样本不平衡问题 * 炼丹笔记二：数据清洗 * 炼丹笔记三：数据增强 * 炼丹笔记四：小样本问题 * 炼丹笔记五：数据标注 * 炼丹笔记六 : 调参技巧 * 炼丹笔记七：卷积神经网络模型设计

刷排行榜的小技巧

• Kaggle 六大比赛最全面解析（上）

• Kaggle 六大比赛最全面解析（下）

图像分类

• 炼丹笔记三：数据增强 && 数据增强(Data Augmentation)
• 【技术综述】 深度学习中的数据增强（上） && 【技术综述】深度学习中的数据增强（下）
• 深度学习数据增广技术一览
• 《Bag of Tricks for Image Classification with CNN》&& pdf
• 深度神经网络模型训练中的最新tricks总结【原理与代码汇总】 && 神经网络训练trick
• [Kaggle解决方案分享]()

* 从0上手Kaggle图像分类挑战：冠军解决方案详解 * Kaggle 冰山图像分类大赛近日落幕，看冠军团队方案有何亮点 * 【Kaggle冠军分享】图像识别和分类竞赛，数据增强及优化算法 * 识别座头鲸，Kaggle竞赛第一名解决方案解读 * kaggle 首战拿金牌总结 * 16岁高中生夺冠Kaggle地标检索挑战赛！而且竟然是Kaggle老兵 * 6次Kaggle计算机视觉类比赛赛后感 * Kaggle首战斩获第三-卫星图像识别

目标检测

• ensemble
• deformable
• sync bn
• ms train/test
• 目标检测任务的优化策略tricks
• 目标检测小tricks--样本不均衡处理
• 汇总|目标检测中的数据增强、backbone、head、neck、损失函数
• 目标检测算法中的常见trick
• Bag of Freebies —— 提升目标检测模型性能的免费tricks
• 目标检测比赛中的tricks（已更新更多代码解析）
• Kaggle：肺癌自动诊断系统3D Deep Leaky Noisy-or Network 论文阅读
• 干货|大神教你如何参加kaggle比赛——根据CT扫描图预测肺癌

五. 年度总结

• 新年大礼包：机器之心2018高分教程合集
• 收藏、退出一气呵成，2019年机器之心干货教程都在这里了

六. 科研相关

深度学习框架

Python3.x(先修)

• The Python Tutorial
• 廖雪峰Python教程
• 菜鸟教程    
• 给深度学习入门者的Python快速教程 - 基础篇
• Python - 100天从新手到大师
• Python中读取,显示,保存图片的方法 && Python的图像打开保存显示的几种方式

Numpy(先修)

• Quickstart tutorial

• Numpy快速入门(Numpy 1.14 官方文档中文翻译)
• Numpy中文文档
• 给深度学习入门者的Python快速教程 - numpy和Matplotlib篇

Opencv-python

• OpenCV-Python Tutorials
• OpenCV官方教程中文版（For Python）
• 数字图像处理系列
• python+OpenCV图像处理
• 给深度学习入门者的Python快速教程 - 番外篇之Python-OpenCV

Pandas

• Python 数据科学入门教程：Pandas

Tensorflow

• 如何高效地学习 TensorFlow 代码
• 中文教程
• TensorFlow官方文档
• CS20:Tensorflow for DeepLearning Research
• 吴恩达TensorFlow专项课程
• 【干货】史上最全的Tensorflow学习资源汇总
• 《21个项目玩转深度学习———基于TensorFlow的实践详解》  
• 最全Tensorflow2.0 入门教程持续更新
• Github优秀开源教程

MXNet

• Gluon
• GluonCV
• GluonNLP

PyTorch

• Pytorch版动手学深度学习
• PyTorch中文文档
• WELCOME TO PYTORCH TUTORIALS
• 史上最全的PyTorch学习资源汇总
• 【干货】史上最全的PyTorch学习资源汇总
• Hands-on tour to deep learning with PyTorch
• pytorch学习(五)—图像的加载/读取方式 && PyTorch—ImageFolder/自定义类 读取图片数据

深度学习常用命令

• commandfor_deeplearning

Python可视化

• Top 50 matplotlib Visualizations – The Master Plots (with full python code)
• Python之MatPlotLib使用教程
• 十分钟上手matplotlib，开启你的python可视化
• 给深度学习入门者的Python快速教程 - numpy和Matplotlib篇

标注工具

• 目标检测标注工具

* labelImg

• 语义分割标注工具

* labelme

数据集

• 1. 25个深度学习相关公开数据集
• 2. 自然语言处理（NLP）数据集
• 3.全唐诗(43030首)
• 4. 伯克利大学公开数据集
• 5. ACL 2018资源：100+ 预训练的中文词向量
• 6. 预训练中文词向量

---

README truncated. View on GitHub