DeepLearning Tutorial

一**.** 入门资料

完备的 AI 学习路线，最详细的中英文资源整理 (opens new window) ⭐

AiLearning: 机器学习 - MachineLearning - ML、深度学习 - DeepLearning - DL、自然语言处理 NL (opens new window)

Machine-Learning (opens new window)

数学基础

 (opens new window)

• 矩阵微积分 (opens new window)
• 机器学习的数学基础 (opens new window)
• CS229线性代数与概率论基础 (opens new window)

机器学习基础

快速入门

• 机器学习算法地图 (opens new window)
• [机器学习 吴恩达 Coursera个人笔记](https://github.com/Mikoto10032/DeepLearning/blob/master/books/[ML-Coursera][2014][Andrew Ng]/[2014]机器学习个人笔记完整版v5.1.pdf) && 视频（含官方笔记） (opens new window)
• CS229 课程讲义中文翻译 (opens new window) && [机器学习 吴恩达 cs229个人笔记](https://github.com/Mikoto10032/DeepLearning/blob/master/books/[ML-CS229][2011][Andrew NG]/[2011]斯坦福大学机器学习课程个人笔.pdf) && 官网（笔记） (opens new window) && 视频（中文字幕） (opens new window)
• 百页机器学习 (opens new window)

深入理解

• 《统计学习方法》李航 (opens new window) && 《统计学习方法》各章节笔记 (opens new window) && 《统计学习方法》各章节笔记 (opens new window) && 推荐答案：statistical-learning-method-solutions-manual (opens new window) 《统计学习方法》各章节笔记 (opens new window) && 《统计学习方法》各章节代码实现与课后习题参考解答 (opens new window)
• 《模式识别与机器学习》 Christopher Bishop (opens new window)
• 《机器学习》 周志华 (opens new window) && 南瓜书：pumpkin-book (opens new window)
• [《机器学习实战》 PelerHarrington](https://github.com/Mikoto10032/DeepLearning/blob/master/books/机器学习实战 中文双页版.pdf)
• 机器学习与深度学习书单 (opens new window)

深度学习基础

快速入门

• 深度学习思维导图 (opens new window) && 深度学习算法地图 (opens new window)
• 《斯坦福大学深度学习基础教程》 Andrew Ng（吴恩达） (opens new window)
• 深度学习 吴恩达 个人笔记 (opens new window) && 视频 (opens new window)
• MIT深度学习基础-2019视频课程 (opens new window)
• 台湾大学（NTU）李宏毅教授课程 (opens new window) && [leeml-notes (opens new window)
• 图解深度学习_Grokking-Deep-Learning (opens new window)
• [《神经网络与深度学习》 Michael Nielsen](https://github.com/Mikoto10032/DeepLearning/blob/master/books/神经网络和深度学习neural networks and deep-learning-中文_ALL.pdf)
• CS321-Hinton (opens new window)
• CS230: Deep Learning (opens new window)
• CS294-112 (opens new window)

计算机视觉

• CS231 李飞飞 已授权个人翻译笔记 (opens new window) && 视频 (opens new window)
• 计算机视觉研究方向 (opens new window)

自然语言处理

• CS224n: Natural Language Processing with Deep Learning (opens new window)
• NLP上手教程 (opens new window)
• NLP入门推荐书目（2019版） (opens new window)

深度强化学习

• CS234: Reinforcement Learning (opens new window)

深入理解

• [《深度学习》 Yoshua Bengio.Ian GoodFellow](https://github.com/Mikoto10032/DeepLearning/blob/master/books/深度学习.Yoshua Bengio%2BIan GoodFellow.pdf)⭐
• [《自然语言处理》Jacob Eisenstein](https://github.com/Mikoto10032/DeepLearning/blob/master/books/自然语言处理.Jacob Eisenstein.pdf)
• [《强化学习》](https://github.com/Mikoto10032/DeepLearning/blob/master/books/Reinforcement Learning.Sutton.pdf) && 第二版 (opens new window)
• hangdong的深度学习博客,论文推荐 (opens new window)
• Practical Deep Learning for Coders, v3 (opens new window)
• [《Tensorflow实战Google深度学习框架》 郑泽宇 顾思宇](https://github.com/Mikoto10032/DeepLearning/blob/master/books/Tensorflow 实战Google深度学习框架.pdf)

一些书单

• 2019年最新-深度学习、生成对抗、Pytorch优秀教材推荐 (opens new window)

工程能力

 (opens new window)

• 如何系统地学习算法？ (opens new window) && LeetCode (opens new window) && leetcode题解 (opens new window) && 《算法导论》中算法的C++实现 (opens new window)

• 机器学习算法实战 (opens new window)

• 深度学习框架 (opens new window)

• 如何成为一名算法工程师 (opens new window) && 从小白到入门算法，我的经验分享给你～ (opens new window) && 我的研究生这三年 (opens new window) ⭐

• 编程面试的题目分类 (opens new window)

• 《AI算法工程师手册》 (opens new window)

• 如何准备算法工程师面试，斩获一线互联网公司机器学习岗offer？ (opens new window)

• 【完结】深度学习CV算法工程师从入门到初级面试有多远，大概是25篇文章的距离 (opens new window)

• 计算机相关技术面试必备 (opens new window) && CS-WiKi (opens new window) && 计算机基础面试问题全面总结 (opens new window) && TeachYourselfCS-CN (opens new window) && 面试算法笔记-中文 (opens new window)

• 算法工程师面试 (opens new window)

• 深度学习面试题目 (opens new window)

• 深度学习500问 (opens new window)

• AI算法岗求职攻略 (opens new window)

• Kaggle实战 (opens new window)

• • 常用算法：

  • • Feature Engineering：continue variable && categorical variable
    • Classic machine learning algorithm：LR, KNN, SVM, Random Forest, GBDT(XGBoost&&LightGBM), Factorization Machine, Field-aware Factorization Machine, Neural Network
    • Cross validation, model selection：grid search, random search, hyper-opt
    • Ensemble learning

  • Kaggle 项目实战（教程） = 文档 + 代码 + 视频 (opens new window)

  • Kaggle入门系列：（一）机器学习环境搭建 (opens new window) && Kaggle入门系列：（二）Kaggle简介 (opens new window) && Kaggle入门系列（三）Titanic初试身手 (opens new window)

  • 从 0 到 1 走进 Kaggle (opens new window)

  • Kaggle 入门指南 (opens new window)

  • 一个框架解决几乎所有机器学习问题 (opens new window) && Approaching (Almost) Any Machine Learning Problem | Abhishek Thakur (opens new window)

  • 分分钟带你杀入Kaggle Top 1% (opens new window)

  • 如何达到Kaggle竞赛top 2%？这里有一篇特征探索经验帖 (opens new window)

  • 如何在 Kaggle 首战中进入前 10%？ (opens new window)

  • Kaggle 首战 Top 2%, APTOS 2019 复盘总结 + 机器学习竞赛通用流程归纳 (opens new window)

• 大数据&机器学习相关竞赛推荐 (opens new window)

**二、 **神经网络模型概览

• 1. 一文看懂25个神经网络模型 (opens new window)
• 2. DNN概述论文：详解前馈、卷积和循环神经网络技术 (opens new window)
• 3. colah's blog (opens new window)
• 4. Model Zoom (opens new window)
• 5. DNN概述 (opens new window)
• GitHub上的机器学习/深度学习综述项目合集 (opens new window)
• AlphaTree-graphic-deep-neural-network (opens new window)

CNN

发展史

• 94页论文综述卷积神经网络：从基础技术到研究前景 (opens new window)

图像分类

• 从LeNet-5到DenseNet (opens new window)
• 深度学习笔记（十一）网络 Inception, Xception, MobileNet, ShuffeNet, ResNeXt, SqueezeNet, EfficientNet, MixConv (opens new window)
• CNN网络结构的发展 (opens new window)
• Awesome - Image Classification：论文&&代码大全 (opens new window)
• pytorch-image-models (opens new window)

目标检测

• 深度学习之目标检测的前世今生（Mask R-CNN） (opens new window)

• 深度学习目标检测模型全面综述：Faster R-CNN、R-FCN和SSD (opens new window)

• 从RCNN到SSD，这应该是最全的一份目标检测算法盘点 (opens new window)

• 目标检测算法综述三部曲 (opens new window)

• • 基于深度学习的目标检测算法综述（一） (opens new window)
  • 基于深度学习的目标检测算法综述（二） (opens new window)
  • 基于深度学习的目标检测算法综述（三） (opens new window)

• From RCNN to YOLOv3 (opens new window)：上 (opens new window)，下 (opens new window)

• 后 R-CNN时代， Faster R-CNN、SSD、YOLO 各类变体统治下的目标检测综述：Faster R-CNN系列胜了吗？ (opens new window)

• 目标检测进化史 (opens new window)

• CVPR2019目标检测方法进展综述 (opens new window)

• 一文看尽21篇目标检测最新论文（腾讯/Google/商汤/旷视/清华/浙大/CMU/华科/中科院等 (opens new window)

• 我这两年的目标检测 (opens new window)

• Anchor-Free目标检测算法 (opens new window): 第一篇：arxiv2015_baidu_DenseBox (opens new window)， 如何评价最新的anchor-free目标检测模型FoveaBox？ (opens new window), FCOS: 最新的one-stage逐像素目标检测算法 (opens new window) && 最新的Anchor-Free目标检测模型FCOS，现已开源！ (opens new window) && 中科院牛津华为诺亚提出CenterNet，one-stage detector可达47AP，已开源！ (opens new window) && AnchorFreeDetection (opens new window)

• Anchor free深度学习的目标检测方法 (opens new window)

• 聊聊Anchor的"前世今生"（上） (opens new window)&&聊聊Anchor的"前世今生"（下） (opens new window)

• 目标检测算法综述之FPN优化篇 (opens new window) && 一文看尽物体检测中的各种FPN (opens new window)

• awesome-object-detection：论文&&代码 (opens new window)

• deep_learning_object_detection (opens new window)

• ObjectDetectionImbalance (opens new window)

图像分割（语义分割、实例分割、全景分割）

• 图像语义分割(Semantic segmentation) Survey (opens new window)
• 干货 | 一文概览主要语义分割网络 (opens new window)
• 语义分割 发展综述 (opens new window)
• 9102年了，语义分割的入坑指南和最新进展都是什么样的 (opens new window)
• 实例分割最新最全面综述：从Mask R-CNN到BlendMask (opens new window)
• 语义分割综述：深度学习背景下的语义分割的发展状况【推荐】 (opens new window)
• Awesome Semantic Segmentation：论文&&代码 (opens new window)
• 一篇看完就懂的最新语义分割综述 (opens new window)
• 基于深度学习的语义分割综述 (opens new window)

轻量化卷积神经网络

• 纵览轻量化卷积神经网络：SqueezeNet、MobileNet、ShuffleNet、Xception (opens new window)

人脸相关

• 如何走近深度学习人脸识别？你需要这篇超长综述 | 附开源代码 (opens new window)

• 人脸检测和识别算法综述 (opens new window)

• • 人脸检测算法综述 (opens new window)
  • 人脸检测背景介绍和发展现状 (opens new window)
  • 人脸识别算法演化史 (opens new window)
  • CascadeCNN (opens new window)
  • MTCNN (opens new window)
  • awesome-Face_Recognition (opens new window)
  • 异质人脸识别研究综述 (opens new window)
  • 老板来了：人脸识别+手机推送，老板来了你立刻知道。 (opens new window)&& 手把手教你用Python实现人脸识别 (opens new window) && 人脸识别项目，网络模型，损失函数，数据集相关总结 (opens new window)
  • 基于深度学习的人脸识别技术综述 (opens new window) && 如何走近深度学习人脸识别？你需要这篇超长综述 (opens new window) && 人脸识别损失函数综述（附开源实现） (opens new window) && Face Recognition Loss on Mnist with Pytorch (opens new window) && 人脸识别的LOSS（上） (opens new window) && 人脸识别的LOSS（下） (opens new window)

• 人脸关键点检测 (opens new window)

• • 【每周CV论文推荐】 初学深度学习人脸关键点检测必读文章 (opens new window)
  • 从传统方法到深度学习，人脸关键点检测方法综述 (opens new window)
  • 人脸关键点检测综述 (opens new window)
  • 人脸专集4 | 遮挡、光照等因素的人脸关键点检测 (opens new window)
  • 【Face key point detection】人脸关键点检测实现 (opens new window)
  • OpenCV实战：人脸关键点检测（FaceMark） (opens new window)
  • CenterFace+TensorRT部署人脸和关键点检测400fps (opens new window)

图像超分辨率

• 深度学习图像超分辨率综述 (opens new window)
• 从SRCNN到EDSR，总结深度学习端到端超分辨率方法发展历程 (opens new window)

行人重识别

• 【CVPR2019正式公布】行人重识别论文 (opens new window)
• 【CVPR2019正式公布】行人重识别论文 (opens new window)，2019 行人再识别年度进展回顾 (opens new window)

图像着色

• Awesome-Image-Colorization (opens new window)

边检测

• Awesome-Edge-Detection-Papers (opens new window)

**OCR&&**文本检测

• 2019CVPR文本检测综述 (opens new window)
• OCR文字处理 (opens new window)
• 自然场景文本检测识别技术综述 (opens new window)

点云

• awesome-point-cloud-analysis (opens new window)

细粒度图像分类

• 超全深度学习细粒度图像分析：项目、综述、教程一网打尽 (opens new window)

图像检索

• 图像检索的十年上 (opens new window)、下 (opens new window)

人群计数

• 人群计数 (opens new window), 1 (opens new window), 2 (opens new window), 3 (opens new window)

教程

前馈神经网络

• 从基本原理到梯度下降，小白都能看懂的神经网络教程 (opens new window)

激活函数

• 激活函数一览 (opens new window) && 深度学习中几种常见的激活函数理解与总结 (opens new window)

反向传播算法

• 反向传播算法（过程及公式推导） (opens new window)
• 通俗理解神经网络BP传播算法 (opens new window)

优化问题

• 神经网络训练中的梯度消失与梯度爆炸 (opens new window)
• 梯度消失和梯度爆炸问题详解 (opens new window)
• 详解深度学习中的梯度消失、爆炸原因及其解决方法 (opens new window) && 神经网络梯度消失和梯度爆炸及解决办法 (opens new window)

卷积层

• A Comprehensive Introduction to Different Types of Convolutions in Deep Learning (opens new window) && 翻译：上 (opens new window)、下 (opens new window)
• 卷积有多少种？一文读懂深度学习中的各种卷积 (opens new window)
• 各种卷积 (opens new window)
• Convolution Network及其变种（反卷积、扩展卷积、因果卷积、图卷积） (opens new window)
• 深度学习基础--卷积类型 (opens new window)
• 变形卷积核、可分离卷积 (opens new window)
• 对深度可分离卷积、分组卷积、扩张卷积、转置卷积（反卷积）的理解 (opens new window)
• 反卷积 (opens new window)
• Dilated/Atrous conv 空洞卷积/多孔卷积 (opens new window)
• 卷积层输出大小尺寸计算及 “SAME” 和 “VALID” (opens new window) && 卷积的三种模式full, same, valid以及padding的same, valid (opens new window)
• 正常卷积与空洞卷积输出特征图与感受野大小的计算 (opens new window)
• 【Tensorflow】tf.nn.depthwise_conv2d如何实现深度卷积? (opens new window)
• 【Tensorflow】tf.nn.atrous_conv2d如何实现空洞卷积？ (opens new window)
• 【Tensorflow】tf.nn.separable_conv2d如何实现深度可分卷积? (opens new window)
• 【TensorFlow】tf.nn.conv2d_transpose是怎样实现反卷积的？ (opens new window)

池化层

• 卷积神经网络中的各种池化操作 (opens new window)

卷积神经网络

• 卷积神经网络工作原理 (opens new window)
• 「七夕的礼物」: 一日搞懂卷积神经网络 (opens new window)
• 一文读懂卷积神经网络中的1x1卷积核 (opens new window)
• 如何理解神经网络中通过add和concate的方式融合特征？ (opens new window) && 神经网络中对需要concat的特征进行线性变换然后相加是否好于直接concat? (opens new window)
• CNN 模型所需的计算力（flops）和参数（parameters）数量是怎么计算的？ (opens new window) && 深度学习中卷积的参数量和计算量 (opens new window)

图像分类网络详解

• 经典CNN模型LeNet解读 (opens new window)

• 机器学习进阶笔记之三 | 深入理解Alexnet (opens new window)

• 一文读懂VGG网络 (opens new window)

• Inception V1,V2,V3,V4 模型总结 (opens new window)

• ResNet解析 (opens new window)

• 一文简述ResNet及其多种变体 (opens new window)

• CapsNet入门系列 (opens new window)

• • CapsNet入门系列之一：胶囊网络背后的直觉 (opens new window)
  • CapsNet入门系列之二：胶囊如何工作 (opens new window)
  • CapsNet入门系列之三：囊间动态路由算法 (opens new window)
  • CapsNet入门系列之四：胶囊网络架构 (opens new window)

• 深入剖析MobileNet和它的变种（例如：ShuffleNet）为什么会变快？ (opens new window)

• CNN模型之ShuffleNet (opens new window)

• ShuffleNet V2和四个网络架构设计准则 (opens new window)

• ResNeXt 深入解读与模型实现 (opens new window)

• 如何评价Momenta ImageNet 2017夺冠架构SENet? (opens new window)

• CBAM：卷积块注意力模块 (opens new window) && CBAM: Convolutional Block Attention Module (opens new window)

• SKNet——SENet孪生兄弟篇 (opens new window)

• GCNet：当Non-local遇见SENet (opens new window)

• 深度学习笔记（十一）网络 Inception, Xception, MobileNet, ShuffeNet, ResNeXt, SqueezeNet, EfficientNet, MixConv (opens new window)

• 如何评价最新的Octave Convolution？ (opens new window)

• ResNeSt 之语义分割 (opens new window) && 关于ResNeSt的点滴疑惑 (opens new window) && ResNeSt在刷榜之后被ECCV2020 strong reject (opens new window)

目标检测网络详解

• 目标检测的性能评价指标 (opens new window) && NMS和计算mAP时的置信度阈值和IoU阈值 (opens new window)&& 白话mAP (opens new window) && 目标检测模型的评估指标mAP详解(附代码） (opens new window)
• 深度学习中IU、IoU(Intersection over Union) (opens new window)
• Selective Search for Object Detection (opens new window)（译文） (opens new window)
• Region Proposal Network(RPN) (opens new window)
• 边框回归(Bounding Box Regression)详解 (opens new window)
• NMS——非极大值抑制 (opens new window) && 非极大值抑制NMS的python实现 (opens new window)
• 一文打尽目标检测NMS——精度提升篇 (opens new window) && 一文打尽目标检测NMS——效率提升篇 (opens new window)
• 目标检测回归损失函数简介：SmoothL1/IoU/GIoU/DIoU/CIoU Loss (opens new window)
• 将CNN引入目标检测的开山之作：R-CNN (opens new window)
• R-CNN论文详解 (opens new window)
• 深度学习（十八）基于R-CNN的物体检测 (opens new window)
• Fast R-CNN (opens new window)
• 深度学习（六十四）Faster R-CNN物体检测 (opens new window) && 你真的学会RoI Pooling了吗? (opens new window)
• 目标检测论文阅读：Feature Pyramid Networks for Object Detection (opens new window)
• SSD (opens new window)
• 实例分割--Mask RCNN详解(ROI Align / Loss Function) (opens new window) && 令人拍案称奇的Mask RCNN (opens new window)
• 何恺明大神的「Focal Loss」，如何更好地理解？ (opens new window) && FocalLoss 对样本不平衡的权重调节和减低损失值 (opens new window) && focal_loss 多类别和二分类 Pytorch代码实现 (opens new window) && 多分类focal loss及其tensorflow实现 (opens new window)
• 堪比Focal Loss！解决目标检测中样本不平衡的无采样方法 (opens new window)
• 目标检测正负样本区分策略和平衡策略总结(一) (opens new window) && 目标检测正负样本区分策略和平衡策略总结(二) (opens new window) && 目标检测正负样本区分策略和平衡策略总结(三） (opens new window)
• YOLO (opens new window) && 目标检测|YOLO原理与实现 (opens new window) && 图解YOLO (opens new window) && 【论文解读】Yolo三部曲解读——Yolov1 (opens new window)
• 目标检测|YOLOv2原理与实现(附YOLOv3) (opens new window) && YOLO2 (opens new window) && 【论文解读】Yolo三部曲解读——Yolov2 (opens new window)
• <机器爱学习>YOLO v3深入理解 (opens new window) && 【论文解读】Yolo三部曲解读——Yolov3 (opens new window)
• YOLOv4 (opens new window)
• 目标检测之CornerNet (opens new window), 1 (opens new window), 2 (opens new window), 3 (opens new window)
• 目标检测小tricks--样本不均衡处理 (opens new window)

图像分割网络详解

• 超像素、语义分割、实例分割、全景分割 傻傻分不清 (opens new window)&& 语义分割、实例分割和全景分割的区别 (opens new window)
• 语义分割卷积神经网络快速入门 (opens new window)
• 图像语义分割入门+FCN/U-Net网络解析 (opens new window) && 深入理解深度学习分割网络Ｕnet (opens new window)
• Unet神经网络为什么会在医学图像分割表现好？ (opens new window)
• 图像语义分割的工作原理和CNN架构变迁 (opens new window)
• 语义分割中的Attention和低秩重建 (opens new window)
• 打通多个视觉任务的全能Backbone:HRNet (opens new window)

注意力机制

• 深度学习中的注意力模型（2017版） (opens new window)
• Attention Model（mechanism） 的 套路 (opens new window)
• 计算机视觉中的注意力机制（推荐） (opens new window)
• More About Attention（推荐） (opens new window)
• NLP中的Attention Mechanism (opens new window)
• Transformer中的Attention (opens new window)
• 综述：图像处理中的注意力机制 (opens new window)

Action

• PyTorch官方实现ResNet (opens new window) && pytorch_resnet_cifar10 (opens new window)

• 先读懂CapsNet架构然后用TensorFlow实现 (opens new window)

• 目标检测-20种模型的原味代码汇总 (opens new window)

• TensorFlow Object Detection API 教程 (opens new window)

• • TensorFlow 对象检测 API 教程1 (opens new window)
  • TensorFlow 对象检测 API 教程2 (opens new window)
  • TensorFlow 对象检测 API 教程3 (opens new window)
  • TensorFlow 对象检测 API 教程 4 (opens new window)
  • TensorFlow 对象检测 API 教程5 (opens new window)

• 在TensorFlow+Keras环境下使用RoI池化一步步实现注意力机制 (opens new window)

• mxnet如何查看参数数量 (opens new window) && mxnet查看FLOPS (opens new window)

• Pytorch-UNet (opens new window)

• segmentation_models.pytorch (opens new window)

GAN

发展史

• 千奇百怪的GAN变体 (opens new window)
• 苏剑林博客，讲解得淋漓尽致 (opens new window)
• The GAN Landscape：Losses, Architectures, Regularization, and Normalization (opens new window)
• 深度学习新星：GAN的基本原理、应用和走向 (opens new window)
• GAN生成图像综述 (opens new window)
• 2017年GAN 计算机视觉相关paper汇总 (opens new window)
• 必读的10篇关于GAN的论文 (opens new window)

教程

• GAN原理学习笔记 (opens new window)

• GAN万字长文综述 (opens new window)

• 极端图像压缩的对抗生成网络 (opens new window)

• 台湾大学李宏毅GAN教程 (opens new window)

• • [Basic](https://github.com/Mikoto10032/DeepLearning/blob/master/books/GAN-Basic Idea (2017.04.21).pdf)
  • [Improving](https://github.com/Mikoto10032/DeepLearning/blob/master/books/GAN-Improving GAN (2017.05.05).pdf)

• CycleGAN：图片风格，想换就换 | ICCV 2017论文解读 (opens new window)

• Wasserstein GAN (opens new window)

• 用变分推断统一理解生成模型（VAE、GAN、AAE、ALI） (opens new window)

Action

• GAN学习指南：从原理入门到制作生成Demo (opens new window)
• 机器之心GitHub项目：GAN完整理论推导与实现 (opens new window)
• 在Keras上实现GAN：构建消除图片模糊的应用 (opens new window)

RNN

发展史

• 从90年代的SRNN开始，纵览循环神经网络27年的研究进展 (opens new window)

教程

• Awesome-Chinese-NLP (opens new window)

• nlp-pytorch-zh (opens new window)

• 完全图解RNN、RNN变体、Seq2Seq、Attention机制 (opens new window)

• 循环神经网络(RNN, Recurrent Neural Networks)介绍 (opens new window)

• RNN以及LSTM的介绍和公式梳理 (opens new window)

• （译）理解长短期记忆(LSTM) 神经网络 (opens new window)

• 一文读懂LSTM和RNN (opens new window)

• 探索LSTM：基本概念到内部结构 (opens new window)

• 翻译：深入理解LSTM系列 (opens new window)

• 深入理解 LSTM 网络 (一) (opens new window)

• 深入理解 LSTM 网络 (二) (opens new window)

• LSTM (opens new window)

• 深度学习其五 循环神经网络 (opens new window)

• 用循环神经网络进行文件无损压缩：斯坦福大学提出DeepZip (opens new window)

• 吴恩达序列建模课程 (opens new window)

• • Coursera吴恩达《序列模型》课程笔记（1）-- 循环神经网络（RNN） (opens new window)
  • Coursera吴恩达《序列模型》课程笔记（2）-- NLP & Word Embeddings (opens new window)
  • Coursera吴恩达《序列模型》课程笔记（3）-- Sequence models & Attention mechanism (opens new window)

• word2vec

• • 原理

  • • NLP 秒懂词向量Word2vec的本质 (opens new window)
    • 一篇通俗易懂的word2vec (opens new window)
    • YJango的Word Embedding--介绍 (opens new window)
    • nlp中的词向量对比：word2vec/glove/fastText/elmo/GPT/bert (opens new window)
    • 词嵌入（word2vec） (opens new window)
    • 谈谈谷歌word2vec的原理 (opens new window)
    • Word2Vec中为什么使用负采样？ (opens new window)

  • 训练词向量

  • • 练习-word2vec (opens new window)
    • word2vec方法的实现和应用 (opens new window)
    • 自然语言处理入门 word2vec 使用tensorflow自己训练词向量 (opens new window)
    • 使用tensorflow实现word2vec中文词向量的训练 (opens new window)
    • 如何用TensorFlow训练词向量 (opens new window)

• 聊聊 Transformer (opens new window)

• 基于Transform的机器翻译系统 (opens new window)

• 基于word2vec训练词向量(一) (opens new window)

• 基于word2vec训练词向量(二) (opens new window)

• 自然语言处理中的自注意力机制（Self-Attention Mechanism） (opens new window)

• 自然语言处理中注意力机制综述 (opens new window)

• YJango的Word Embedding--介绍 (opens new window)

Action

• 推荐：nlp-tutorial (opens new window)
• nlp-tutorial (opens new window)
• tensorflow中RNNcell源码分析以及自定义RNNCell的方法 (opens new window)
• TensorFlow中RNN实现的正确打开方式 (opens new window)
• TensorFlow RNN 代码 (opens new window)
• Tensorflow实现的深度NLP模型集锦 (opens new window)
• 用tensorflow LSTM如何预测股票价格 (opens new window)
• TensorFlow的多层LSTM实践 (opens new window)
• 《安娜卡列尼娜》文本生成——利用TensorFlow构建LSTM模型 (opens new window)

GNN

发展史

• Graph Neural Network（GNN）综述 (opens new window)
• 深度学习时代的图模型，清华发文综述图网络 (opens new window)
• 清华大学图神经网络综述：模型与应用 (opens new window)
• 图神经网络概述第三弹：来自IEEE Fellow的GNN综述 (opens new window)
• GNN最全文献资料整理 (opens new window) && Awesome-Graph-Neural-Networks (opens new window)

教程

• 如何理解 Graph Convolutional Network（GCN） (opens new window)
• 图卷积网络(GCN)新手村完全指南 (opens new window)
• 何时能懂你的心——图卷积神经网络（GCN） (opens new window)
• 图卷积网络GCN的理解与介绍 (opens new window)
• 一文读懂图卷积GCN (opens new window)
• 2020 年 GNN 开卷有益与再谈图卷积 (opens new window)
• 【GCN】万字长文带你入门 GCN (opens new window)
• 如何解决图神经网络（GNN）训练中过度平滑的问题？ (opens new window)
• 全连接的图卷积网络(GCN)和self-attention这些机制有什么区别联系 (opens new window) && CNN与GCN的区别、联系及融合 (opens new window)

Action

• 图卷积网络到底怎么做，这是一份极简的Numpy实现 (opens new window)
• DGL (opens new window)

三**.** 深度模型的优化与正则化

• 1. 优化算法纵览 (opens new window)

• 2. 从梯度下降到Adam (opens new window)

• 3. 从梯度下降到拟牛顿法：盘点训练神经网络的五大学习算法 (opens new window)

• 4. 正则化技术总结 (opens new window)

• • 史上最全面的正则化技术总结与分析--part1 (opens new window)
  • 史上最全面的正则化技术总结与分析--part2 (opens new window)

• 权重衰减（weight decay）与学习率衰减（learning rate decay） (opens new window) && pytorch必须掌握的的4种学习率衰减策略 (opens new window)

• 5. 最优化算法系列（math） (opens new window)

• 6. 神经网络训练中的梯度消失与梯度爆炸 (opens new window)

• 7. 神经网络的优化及训练 (opens new window)

• 8. 通俗讲解查全率和查准率 (opens new window) && 全面梳理：准确率,精确率,召回率,查准率,查全率,假阳性,真阳性,PRC,ROC,AUC,F1 (opens new window) && 机器学习之类别不平衡问题 (1) —— 各种评估指标 (opens new window) && 机器学习之类别不平衡问题 (2) —— ROC和PR曲线 (opens new window) && AUC详解与python实现 (opens new window) && 微平均和宏平均 (opens new window) && 机器学习中的性能度量 (opens new window)

• 激活函数一览 (opens new window) && 深度学习中几种常见的激活函数理解与总结 (opens new window)

• 深度学习笔记(三)：激活函数和损失函数 (opens new window)

• 激活函数/损失函数汇总 (opens new window)

• 机器学习中常见的损失函数及其应用场景 (opens new window) && PyTorch的十八个损失函数 (opens new window)

• 深度度量学习中的损失函数 (opens new window)

• 反向传播算法（过程及公式推导） (opens new window)

• 通俗理解神经网络BP传播算法 (opens new window)

• 10. Coursera吴恩达《优化深度神经网络》课程笔记（3）-- 超参数调试、Batch正则化和编程框架 (opens new window)

• 11. 机器学习各种熵 (opens new window)

• 12. 距离和相似性度量 (opens new window)

• 13. 机器学习里的黑色艺术：normalization, standardization, regularization (opens new window) && 数据标准化/归一化normalization (opens new window) && 特征工程中的「归一化」有什么作用？ (opens new window)

• 14. LSTM系列的梯度问题 (opens new window)

• 15. 损失函数整理 (opens new window)

• 16. 详解残差块为何有助于解决梯度弥散问题 (opens new window)

• 17. FAIR何恺明等人提出组归一化：替代批归一化，不受批量大小限制 (opens new window)

• 18. Batch Normalization（BN） (opens new window):1 (opens new window),2 (opens new window),3 (opens new window),4 (opens new window), 5 (opens new window), 6 (opens new window), 7 (opens new window)

• 19. 详解深度学习中的Normalization，不只是BN (opens new window) && 如何区分并记住常见的几种 Normalization 算法 (opens new window)

• 20. BFGS (opens new window)

• 21. 详解深度学习中的梯度消失、爆炸原因及其解决方法 (opens new window) && 神经网络梯度消失和梯度爆炸及解决办法 (opens new window)

• 22. Dropout (opens new window), 1 (opens new window), 2 (opens new window), 3 (opens new window)，系列解读Dropout (opens new window)

• 23.谱归一化（Spectral Normalization）的理解 (opens new window)，常见向量范数和矩阵范数 (opens new window)，谱范数正则（Spectral Norm Regularization）的理解 (opens new window)

• 24.L1正则化与L2正则化 (opens new window) && 深入理解L1、L2正则化 (opens new window) && L2正则=Weight Decay？并不是这样 (opens new window) && 都9102年了，别再用Adam + L2 regularization (opens new window)

• 25.为什么选用交叉熵而不是MSE (opens new window) &&为什么使用交叉熵作为损失函数 (opens new window) &&二元分类为什么不能用MSE做为损失函数？ (opens new window)

• 浅谈神经网络中的梯度爆炸问题 (opens new window)

• 为什么weight decay能够防止过拟合 (opens new window)

• 交叉熵代价函数（作用及公式推导） (opens new window) && 交叉熵损失的来源、说明、求导与pytorch实现 (opens new window) && Softmax函数与交叉熵 (opens new window) && 极大似然估计与最小化交叉熵损失或者KL散度为什么等价 (opens new window)

• 梯度下降优化算法纵览 (opens new window), 1 (opens new window), 2 (opens new window), 几种优化算法的比较（BGD、SGD、Adam、RMSPROP） (opens new window)

• Softmax：详解softmax函数以及相关求导过程 (opens new window) && softmax的log似然代价函数（公式求导） (opens new window) && 从最优化的角度看待Softmax损失函数 (opens new window) && 【技术综述】一文道尽softmax loss及其变种 (opens new window)

• 权重初始化

• • 神经网络中的权重初始化一览：从基础到Kaiming (opens new window)
  • 深度学习中常见的权重初始化方法 (opens new window)
  • 深度学习中神经网络的几种权重初始化方法 (opens new window)
  • 谈谈神经网络权重为什么不能初始化为0 (opens new window)
  • 神经网络中的偏置（bias）究竟有这么用？ (opens new window)
  • 深度学习里面的偏置为什么不加正则？ (opens new window)

• 为什么说bagging是减少variance，而boosting是减少bias? (opens new window)

四**.** 炼丹术士那些事

调参经验

• 训练的神经网络不工作？一文带你跨过这37个坑 (opens new window)

• Deep Learning 之 训练过程中出现NaN问题 (opens new window)

• 神经网络训练trick (opens new window)

• 你有哪些deep learning（rnn、cnn）调参的经验？ (opens new window)

• GAN的一些小trick (opens new window)

• 深度学习与计算机视觉系列(8)_神经网络训练与注意点 (opens new window)

• 神经网络训练loss不下降原因集合 (opens new window) && loss不下降的解决方法 (opens new window)

• 深度学习：欠拟合问题的几种解决方案 (opens new window) &&过拟合和欠拟合问题 (opens new window)

• 机器学习：如何找到最优学习率 (opens new window)及实现 (opens new window)

• 神经网络中 warmup 策略为什么有效 (opens new window)

• 不平衡数据集处理方法 (opens new window): 其一 (opens new window), 其二 (opens new window), 其三 (opens new window) && Awesome Imbalanced Learning (opens new window) && Class-balanced-loss-pytorch (opens new window)

• 同一个神经网络使用不同激活函数的表达能力是否一致 (opens new window)

• 论文笔记之数据增广：mixup (opens new window)

• 避坑指南：数据科学家新手常犯的13个错误 (opens new window)

• 凭什么相信CNN的结果?--可视化 (opens new window)

• • 凭什么相信你，我的CNN模型？（篇一：CAM和Grad-CAM) (opens new window) && pytorch-grad-cam (opens new window) && Grad-CAM-tensorflow (opens new window) && grad-cam.tensorflow (opens new window) && cnn_visualization (opens new window)
  • 凭什么相信你，我的CNN模型？（篇二：万金油LIME) (opens new window)
  • 论文笔记:Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization (opens new window)
  • CV：基于Keras利用训练好的hdf5模型进行目标检测实现输出模型中的表情或性别的gradcam(可视化) (opens new window)

• 大卷积核还是小卷积核? (opens new window) 1 (opens new window), 2 (opens new window)

• 模型可解释性差？你考虑了各种不确定性了吗？ (opens new window)

• 炼丹笔记系列 (opens new window)

• • 炼丹笔记一：样本不平衡问题 (opens new window)
  • 炼丹笔记二：数据清洗 (opens new window)
  • 炼丹笔记三：数据增强 (opens new window)
  • 炼丹笔记四：小样本问题 (opens new window)
  • 炼丹笔记五：数据标注 (opens new window)
  • 炼丹笔记六 : 调参技巧 (opens new window)
  • 炼丹笔记七：卷积神经网络模型设计 (opens new window)

刷排行榜的小技巧

• Kaggle 六大比赛最全面解析（上） (opens new window)
• Kaggle 六大比赛最全面解析（下） (opens new window)

图像分类

• 炼丹笔记三：数据增强 (opens new window) && 数据增强(Data Augmentation) (opens new window)

• 【技术综述】 深度学习中的数据增强（上） (opens new window) && 【技术综述】深度学习中的数据增强（下） (opens new window)

• 深度学习数据增广技术一览 (opens new window)

• 《Bag of Tricks for Image Classification with CNN》 (opens new window)&& pdf (opens new window)

• 深度神经网络模型训练中的最新tricks总结【原理与代码汇总】 (opens new window) && 神经网络训练trick (opens new window)

• Kaggle解决方案分享 (opens new window)

• • 从0上手Kaggle图像分类挑战：冠军解决方案详解 (opens new window)
  • Kaggle 冰山图像分类大赛近日落幕，看冠军团队方案有何亮点 (opens new window)
  • 【Kaggle冠军分享】图像识别和分类竞赛，数据增强及优化算法 (opens new window)
  • 识别座头鲸，Kaggle竞赛第一名解决方案解读 (opens new window)
  • kaggle 首战拿金牌总结 (opens new window)
  • 16岁高中生夺冠Kaggle地标检索挑战赛！而且竟然是Kaggle老兵 (opens new window)
  • 6次Kaggle计算机视觉类比赛赛后感 (opens new window)
  • Kaggle首战斩获第三-卫星图像识别 (opens new window)

目标检测

• ensemble
• deformable
• sync bn
• ms train/test
• 目标检测任务的优化策略tricks (opens new window)
• 目标检测小tricks--样本不均衡处理 (opens new window)
• 汇总|目标检测中的数据增强、backbone、head、neck、损失函数 (opens new window)
• 目标检测算法中的常见trick (opens new window)
• Bag of Freebies —— 提升目标检测模型性能的免费tricks (opens new window)
• 目标检测比赛中的tricks（已更新更多代码解析） (opens new window)
• Kaggle：肺癌自动诊断系统3D Deep Leaky Noisy-or Network 论文阅读 (opens new window)
• 干货|大神教你如何参加kaggle比赛——根据CT扫描图预测肺癌 (opens new window)

五**.** 年度总结

• 新年大礼包：机器之心2018高分教程合集 (opens new window)
• 收藏、退出一气呵成，2019年机器之心干货教程都在这里了 (opens new window)

六**.** 科研相关

深度学习框架

Python3.x(先修)

• The Python Tutorial (opens new window)
• 廖雪峰Python教程 (opens new window)
• 菜鸟教程 (opens new window)
• 给深度学习入门者的Python快速教程 - 基础篇 (opens new window)
• Python - 100天从新手到大师 (opens new window)
• Python中读取,显示,保存图片的方法 (opens new window) && Python的图像打开保存显示的几种方式 (opens new window)

Numpy(先修)

• Quickstart tutorial (opens new window)
• Numpy快速入门(Numpy 1.14 官方文档中文翻译) (opens new window)
• Numpy中文文档 (opens new window)
• 给深度学习入门者的Python快速教程 - numpy和Matplotlib篇 (opens new window)

Opencv-python

• OpenCV-Python Tutorials (opens new window)
• OpenCV官方教程中文版（For Python） (opens new window)
• 数字图像处理系列 (opens new window)
• python+OpenCV图像处理 (opens new window)
• 给深度学习入门者的Python快速教程 - 番外篇之Python-OpenCV (opens new window)

Pandas

• Python 数据科学入门教程：Pandas (opens new window)

Tensorflow

• 如何高效地学习 TensorFlow 代码 (opens new window)
• 中文教程 (opens new window)
• TensorFlow官方文档 (opens new window)
• CS20:Tensorflow for DeepLearning Research (opens new window)
• 吴恩达TensorFlow专项课程 (opens new window)
• 【干货】史上最全的Tensorflow学习资源汇总 (opens new window)
• 《21个项目玩转深度学习———基于TensorFlow的实践详解》 (opens new window)
• 最全Tensorflow2.0 入门教程持续更新 (opens new window)
• Github优秀开源教程 (opens new window)

MXNet

• Gluon (opens new window)
• GluonCV (opens new window)
• GluonNLP (opens new window)

PyTorch

• Pytorch版动手学深度学习 (opens new window)
• PyTorch中文文档 (opens new window)
• WELCOME TO PYTORCH TUTORIALS (opens new window)
• 史上最全的PyTorch学习资源汇总 (opens new window)
• 【干货】史上最全的PyTorch学习资源汇总 (opens new window)
• Hands-on tour to deep learning with PyTorch (opens new window)
• pytorch学习(五)—图像的加载/读取方式 (opens new window) && PyTorch—ImageFolder/自定义类 读取图片数据 (opens new window)

深度学习常用命令

• [command_for_deeplearning](https://github.com/Stephenfang51/command_for_deeplearning/blob/master/command for deeplearning.md)

Python****可视化

• Top 50 matplotlib Visualizations – The Master Plots (with full python code) (opens new window)
• Python之MatPlotLib使用教程 (opens new window)
• 十分钟上手matplotlib，开启你的python可视化 (opens new window)
• 给深度学习入门者的Python快速教程 - numpy和Matplotlib篇 (opens new window)

标注工具

• 目标检测标注工具

• • labelImg (opens new window)

• 语义分割标注工具

• • labelme (opens new window)

数据集

• 1. 25个深度学习相关公开数据集 (opens new window)
• 2. 自然语言处理（NLP）数据集 (opens new window)
• 3.全唐诗(43030首) (opens new window)
• 4. 伯克利大学公开数据集 (opens new window)
• 5. ACL 2018资源：100+ 预训练的中文词向量 (opens new window)
• 6. 预训练中文词向量 (opens new window)
• 7. 公开数据集种子库 (opens new window)
• 8. 计算机视觉，深度学习，数据挖掘数据集整理 (opens new window)
• 9. 计算机视觉著名数据集CV Datasets (opens new window)
• 10. 计算机视觉相关数据集和比赛 (opens new window)
• 11. 这是一份非常全面的开源数据集，你，真的不想要吗？ (opens new window)
• 12. 人群密度估计现有主要数据集特点及其比较 (opens new window)
• 13. DANBOORU2017: A LARGE-SCALE CROWDSOURCED AND TAGGED ANIME ILLUSTRATION DATASET (opens new window)
• 14. 行人重识别数据集 (opens new window)
• 15. 自然语言处理常见数据集、论文最全整理分享 (opens new window)
• 16. paper, code, sota (opens new window)
• 17. 旷视RPC大型商品数据集发布！ (opens new window)
• 18. CVPR 2019「准满分」论文：英伟达推出首个跨摄像头汽车跟踪数据集(汽车Re-ID) (opens new window)
• 19.【OCR技术】大批量生成文字训练集 (opens new window)
• 20. 语义分析数据集-MSRA (opens new window)
• IEEE DataPort (opens new window)
• 数据集市 (opens new window)
• 医疗/医学图像数据集 (opens new window)：Medical Data for Machine Learning (opens new window) && 医疗领域图像挑战赛数据集 (opens new window) && 【医学影像系列：一】数据集合集 最新最全 (opens new window) && medical-imaging-datasets (opens new window) && 【数据集】一文道尽医学图像数据集与竞赛 (opens new window) && 医学图像数据集汇总 (opens new window)

记笔记工具

• Markdown编辑器：Typora介绍 (opens new window)
• Markdown语法介绍（常用） (opens new window)
• Markdown 语法手册 （完整整理版） (opens new window)
• Markdown中Latex 数学公式基本语法 (opens new window)

会议期刊列表

• 国际会议日期表 (opens new window)
• ai-deadlines (opens new window)
• Keep Up With New Trends (opens new window)
• 计算机会议排名等级 (opens new window)
• 中国计算机学会(CCF)推荐国际学术刊物和会议 (opens new window)

论文写作工具

• Windows: Texlive+Texstudio (opens new window)
• Ubuntu: Texlive+Texmaker (opens new window)
• Latex：基本用法、表格、公式、算法 (opens new window)
• LaTeX 各种命令，符号 (opens new window)

论文画图工具

• Visio2016 (opens new window)
• Matplotlib (opens new window)

论文写作教程

• 刘知远_如何写一篇合格的NLP论文 (opens new window)
• 刘洋_如何写论文_V7 (opens new window)
• 如何端到端地写科研论文-邱锡鹏 (opens new window)
• 论文Introduction写作其一 (opens new window), 论文Introduction写作其二 (opens new window), 论文Introduction写作其三 (opens new window)
• 毕业论文怎么写 (opens new window)
• 浅谈学术论文rebuttal (opens new window)
• 研之成理写作实验室 (opens new window)
• 智源论坛·论文写作专题报告会 (opens new window)：《论文写作小白的成长之路》 (opens new window) && 《谈如何写一篇合格的国际学术论文》 (opens new window) && 《计算机视觉会议论文从投稿到接收》 (opens new window)

ResearchGos

• ResearchGo:研究生活第一帖——文献检索与管理 (opens new window)
• ResearchGo:研究生活第二贴——文献阅读 (opens new window)
• ResearchGo:研究生活第三帖——阅读辅助 (opens new window)
• ResearchGo:研究生活第四帖——文献调研 (opens new window)
• ResearchGo:研究生活第五帖——文献综述 (opens new window)
• ResearchGo:研究生活第六帖——如何讲论文 (opens new window)
• ResearchGo:研究生活第七帖——专利检索与申请 (opens new window)
• ResearchGo:研究生活第八帖——写论文、做PPT、写文档必备工具集锦 (opens new window)

毕业论文排版

• 吐血推荐收藏的学位论文排版教程（完整版） (opens new window)
• 论文怎么写——如何修改毕业论文格式 (opens new window)

信号处理

傅里叶变换

• 傅里叶分析之掐死教程（完整版）更新于2014.06.06 (opens new window)
• 如何简明的总结傅里叶变换？ (opens new window)
• 从连续时间傅里叶级数到快速傅里叶变换 (opens new window)
• 十分简明易懂的FFT（快速傅里叶变换） (opens new window)
• 傅里叶级数推导过程 (opens new window)

小波变换

• 形象易懂讲解算法I——小波变换 (opens new window)
• 小波变换完美通俗讲解系列之 （一） (opens new window) && 小波变换完美通俗讲解系列之 （二） (opens new window)

实战

• MWCNN中使用的haar小波变换 pytorch (opens new window)
• 【小波变换】小波变换入门----haar小波 (opens new window)
• （3）小波变换原理及应用 (opens new window)
• 图像处理-小波变换 (opens new window)

机器学习理论与实战

• 机器学习原理 (opens new window)⭐

• ID3、C4.5、CART、随机森林、bagging、boosting、Adaboost、GBDT、xgboost算法总结 (opens new window)

• 数据挖掘十大算法简要说明 (opens new window)，机器学习十大经典算法入门 (opens new window) && 【算法模型】轻松看懂机器学习十大常用算法 (opens new window)

• AdaBoost到GBDT系列 (opens new window)

• • 当我们在谈论GBDT：从 AdaBoost 到 Gradient Boosting (opens new window)
  • 当我们在谈论GBDT：Gradient Boosting 用于分类与回归 (opens new window)
  • 当我们在谈论GBDT：其他 Ensemble Learning 算法 (opens new window)

机器学习理论篇之经典算法

信息论

• 1. 机器学习中的各种熵 (opens new window)
• 2. 从香农熵到手推KL散度：纵览机器学习中的信息论 (opens new window)

多层感知机**(MLP)**

• 多层感知机（MLP）学习与总结博客 (opens new window)
• 多层感知机：Multi-Layer Perceptron (opens new window)
• 神经网络基础-多层感知器(MLP) (opens new window)

k近邻(KNN)

• 机器学习之KNN（k近邻）算法详解 (opens new window)

k均值(K-means)

• Kmeans聚类算法详解 (opens new window)

朴素贝叶斯**(Naive Bayesian)**

• 一个例子搞清楚（先验分布/后验分布/似然估计） (opens new window)
• 朴素贝叶斯分类器（Naive Bayesian Classifier） (opens new window)
• 朴素贝叶斯分类器 详细解析 (opens new window)

决策树**(Decision Tree)**

• Python3《机器学习实战》学习笔记（二）：决策树基础篇之让我们从相亲说起 (opens new window)
• Python3《机器学习实战》学习笔记（三）：决策树实战篇之为自己配个隐形眼镜 (opens new window)
• 机器学习实战教程（十三）：树回归基础篇之CART算法与树剪枝 (opens new window)
• 《机器学习实战》基于信息论的三种决策树算法(ID3,C4.5,CART) (opens new window)
• 说说决策树剪枝算法 (opens new window)
• 机器学习实战 第九章 树回归 (opens new window)
• 决策树值ID3、C4.5实现 (opens new window)
• 决策树之CART实现 (opens new window)

随机森林**(Random Forest)**

• 随机森林（Random Forest）入门与实战 (opens new window)

线性回归（Linear Regression）

• 线性回归最小二乘法和最大似然估计 (opens new window)
• 【从入门到放弃】线性回归 (opens new window)
• 线性回归(频率学派-最大似然估计)与岭回归(贝叶斯角度-最大后验估计)的概率解释 (opens new window)
• 机器学习笔记四：线性回归回顾与logistic回归 (opens new window)

逻辑回归**(Logistic Regression)**

• 【机器学习面试总结】—— LR（逻辑回归） (opens new window)
• 【机器学习面试题】逻辑回归篇 (opens new window)
• 极大似然概率和最小损失函数，以及正则化简介 (opens new window)
• GLM(广义线性模型) 与 LR(逻辑回归) 详解 (opens new window)

支持向量机**(SVM)**

• 【机器学习面试总结】—— SVM (opens new window)
• SVM系列-从基础到掌握 (opens new window)
• SVM通俗导论 July (opens new window)
• 核函数 (opens new window): 机器学习有很多关于核函数的说法，核函数的定义和作用是什么？ (opens new window) && SVM中，高斯核为什么会把原始维度映射到无穷多维？ (opens new window) && svm核函数的理解和选择 (opens new window) && 核函数和径向基核函数 (Radial Basis Function)--RBF (opens new window) && SVM核函数 (opens new window)

提升方法**(Adaboost)**

• 当我们在谈论GBDT：从 AdaBoost 到 Gradient Boosting (opens new window)

梯度提升决策树**(GBDT)**

• LightGBM大战XGBoost (opens new window)
• 概述XGBoost、Light GBM和CatBoost的同与不同 (opens new window) && XGBoost、LightGBM、Catboost总结 (opens new window) && XGBoost、Light GBM和CatBoost的参数及性能比较 (opens new window)
• 梯度提升决策树 (opens new window)
• GBDT原理及应用 (opens new window)
• XGBOOST原理篇 (opens new window)
• xgboost入门与实战（原理篇） (opens new window) && xgboost入门与实战（实战调参篇） (opens new window)
• 【干货合集】通俗理解kaggle比赛大杀器xgboost (opens new window)
• GBDT分类的原理及Python实现 (opens new window)
• GBDT原理及利用GBDT构造新的特征-Python实现 (opens new window)
• Python+GBDT算法实战——预测实现100%准确率 (opens new window)

EM(期望最大化)

• 人人都懂的EM算法 (opens new window)
• EM算法入门文章 (opens new window)

高斯混合模型**(GMM)**

• 高斯混合模型与EM算法的数学原理及应用实例 (opens new window)
• 高斯混合模型（GMM） (opens new window)

马尔科夫决策过程**(MDP)**

• 马尔科夫决策过程之Markov Processes（马尔科夫过程） (opens new window)
• 马尔科夫决策过程之Markov Reward Process（马尔科夫奖励过程） (opens new window)
• 马尔科夫决策过程之Bellman Equation（贝尔曼方程） (opens new window)
• 马尔科夫决策过程之Markov Decision Process(马尔科夫决策过程) (opens new window)
• 马尔科夫决策过程之最优价值函数与最优策略 (opens new window)

条件随机场**(CRF,** 判别式模型**)**

• 如何轻松愉快地理解条件随机场 (opens new window)
• 如何用简单易懂的例子解释条件随机场（CRF）模型？它和HMM有什么区别？ (opens new window)
• HMM ,MHMM,CRF 优缺点与区别 (opens new window)

降维算法

• 数据降维算法-从PCA到LargeVis (opens new window)
• 12种降维方法终极指南（含Python代码） (opens new window)

主成分分析**(PCA)**

• 主成分分析（PCA）原理详解 (opens new window)
• 图文并茂的PCA教程 (opens new window)
• PCA数学原理 (opens new window)

奇异值分解**(SVD)**

• 强大的矩阵奇异值分解(SVD)及其应用 (opens new window)
• 奇异值分解（SVD） (opens new window)
• 奇异值分解(SVD)原理详解及推导 (opens new window)
• SVD在推荐系统中的应用详解以及算法推导 (opens new window)

线性判别分析**(LDA)**

• 教科书上的LDA为什么长这个样子？ (opens new window)

标签传播算法**(Label Propagation Algorithm)**

• 标签传播算法（Label Propagation）及Python实现 (opens new window)

• • [参考资料](https://github.com/Mikoto10032/DeepLearning/blob/master/books/Semi-Supervised Learning with Graphs.pdf)

蒙塔卡罗树搜索**(MCTS)**

• 蒙特卡洛树搜索入门指南 (opens new window)

集成**(Ensemble)**

• 集成学习之bagging,stacking,boosting概念理解 (opens new window)
• 集成学习法之bagging方法和boosting方法 (opens new window)
• Bagging,Boosting,Stacking (opens new window) && 常用的模型集成方法介绍：bagging、boosting 、stacking (opens new window)

t分布随机邻居嵌入(TSNE)

• 流形学习-高维数据的降维与可视化 (opens new window)
• tSNE (opens new window)
• 使用t-SNE可视化图像embedding (opens new window)

谱聚类**(Spectral Clustering)**

• 谱聚类（Spectral Clustering）算法介绍 (opens new window)
• 聚类5--谱和谱聚类 (opens new window)

异常点检测

• 数据挖掘中常见的「异常检测」算法有哪些？ (opens new window)
• 异常点检测算法综述 (opens new window)
• 异常检测的N种方法，其中有一个你一定想不到 (opens new window)
• 异常检测资源汇总：anomaly-detection-resources (opens new window)

机器学习实战篇

• 15分钟带你入门sklearn与机器学习——分类算法篇 (opens new window) && 如何为你的回归问题选择最合适的机器学习方法？ (opens new window)
• 十分钟上手sklearn：安装，获取数据，数据预处理 (opens new window) && 十分钟上手sklearn：特征提取，常用模型，交叉验证 (opens new window)
• MachineLearning_Python (opens new window)
• Machine Learning Course with Python (opens new window)
• Statistical-Learning-Method_Code (opens new window)
• Python3机器学习 (opens new window)
• 含大牛总结的分类模型一般需要调节的参数 (opens new window)

机器学习、深度学习的一些研究方向

多任务学习**(Multi-Task Learning)**

• 模型汇总-14 多任务学习-Multitask Learning概述 (opens new window)
• (译)深度神经网络的多任务学习概览(An Overview of Multi-task Learning in Deep Neural Networks) (opens new window)
• Multi-task Learning and Beyond: 过去，现在与未来 (opens new window)；

零次学习**(Zero Shot Learning)**

• 零次学习（Zero-Shot Learning）入门 (opens new window)

小样本学习**(Few-Shot Learning)**

• few-shot learning是什么 (opens new window)
• 零次学习（Zero-Shot Learning）入门 (opens new window)
• 小样本学习（Few-shot Learning）综述 (opens new window)
• Few-Shot Learning in CVPR 2019 (opens new window)
• 当小样本遇上机器学习 fewshot learning (opens new window)

多视觉学习**(Multi-View Learning)**

• Multi-view Learning 多视角学习入门 (opens new window)
• 多视角学习 (Multi-View Learning) (opens new window)

嵌入**(Embedding)**

• 万物皆Embedding，从经典的word2vec到深度学习基本操作item2vec (opens new window)
• YJango的Word Embedding--介绍 (opens new window)

迁移学习**(Transfer Learning)**

• 1. 迁移学习：经典算法解析 (opens new window)
• 2. 什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？ (opens new window)
• 3. 迁移学习个人笔记 (opens new window)
• 迁移学习总结(One Shot Learning, Zero Shot Learning) (opens new window)

域自适应**(Domain Adaptation)**

• Domain Adaptation视频教程（附PPT）及经典论文分享 (opens new window)
• 模型汇总15 领域适应性Domain Adaptation、One-shot/zero-shot Learning概述 (opens new window)
• 【深度学习】论文导读：无监督域适应（Deep Transfer Network: Unsupervised Domain Adaptation） (opens new window)
• 【论文阅读笔记】基于反向传播的无监督域自适应研究 (opens new window)
• 【Valse大会首发】领域自适应及其在人脸识别中的应用 (opens new window)
• CVPR 2018：基于域适应弱监督学习的目标检测 (opens new window)

元学习**(Meta Learning)**

• OpenAI提出新型元学习方法EPG，调整损失函数实现新任务上的快速训练 (opens new window)

强化学习**(Reinforcement Learning)**

• 强化学习（Reinforcement Learning）知识整理 (opens new window)

• 强化学习从入门到放弃的资料 (opens new window)

• 强化学习入门 (opens new window)

• • 强化学习入门 第一讲 MDP (opens new window)

• 强化学习——从Q-Learning到DQN到底发生了什么？ (opens new window)

• 从强化学习到深度强化学习（上） (opens new window)

• 从强化学习到深度强化学习（下） (opens new window)

• 一文带你理解Q-Learning的搜索策略 (opens new window)

推荐系统**(Recommendation System)**

论文列表

• Embedding从入门到专家必读的十篇论文 (opens new window)
• Reco-papers (opens new window)
• Ad-papers (opens new window)
• deep-recommender-system (opens new window)
• CTR预估系列入门手册 (opens new window)

教程

• 推荐系统从入门到接着入门 (opens new window)
• 深度学习推荐系统笔记 (opens new window)
• 推荐系统干货总结 (opens new window)
• 入门推荐系统，你不应该错过的知识清单 (opens new window)
• 推荐系统技术演进趋势：从召回到排序再到重排 (opens new window)
• 深入理解推荐系统：召回 (opens new window) && 深入理解推荐系统：排序 (opens new window)
• 《深度学习推荐系统》总结系列一 (opens new window) && 《深度学习推荐系统》总结系列二 (opens new window)
• 推荐系统--完整的架构设计和算法(协同过滤、隐语义) (opens new window) && 从0到1打造推荐系统-架构篇 (opens new window)
• 协同过滤和基于内容推荐有什么区别？ (opens new window)

实战

• RecommendSystemPractice (opens new window)
• Surprise (opens new window)