台大李宏毅教授机器学习课程指引

中文世界中最好的机器学习课程！ 李宏毅老师的机器学习和深度学习系列课程，是中文世界中最好！课程中有深入浅出的讲解和幽默生动的比喻。关键一切都是中文的！

一、课程目录及主要内容：

第1章 机器学习介绍

01 机器学习导论

  • 人工智能发展史
  • 人工智能、机器学习、深度学习关系
  • 生物的本能与机器的本能
  • 什么是机器学习？
  • 机器学习路线

02 我们为什么需要去学习机器学习

  • AI 训练师

第2章 回归模型

01 回归模型案例

  • 线性回归模型的应用场景
  • 线性回归模型的原理和实现流程
  • 梯度下降法
  • 过拟合产生的原因以及解决方法
  • 正则化

02 梯度下降法实战(Python)

  • 机器学习常见的 Python 包
  • 梯度下降法代码实现

03 误差分析

  • 误差的来源
  • 偏差
  • 方差
  • 过拟合、欠拟合与误差的关系
  • 交叉验证

04 梯度下降法

  • 梯度下降法流程
  • 调整学习率之Adagrad法
  • 随机梯度下降法的原理及优缺点
  • 特征放缩

05 梯度下降法

  • 游戏理解梯度下降法，如何找到局部最低点或者全局最低点

06 梯度下降法

  • 理解梯度下降法更新参数时，loss 出现不降反增的情况

07 作业介绍

第3章 分类模型

01 分类

  • 分类模型
  • 最大似然估计
  • 概率分布、先验概率、后验概率及条件概率

02 逻辑回归

  • 逻辑回归模型
  • 逻辑回归与平方误差
  • 判别模型与生成模型
  • 多元分类
  • 逻辑回归的优缺点

03 作业介绍

第4章 深度学习

01 介绍深度学习

  • 深度学习的发展历史以及流程
  • 神经网络
  • 全连接前馈网络
  • 损失函数
  • 反向传播

02.反向传播

  • 梯度下降法
  • 链式法则
  • 前向传播
  • 反向传播

03.基于Keras实现的深度学习的Hwllo World

  • Keras 简介
  • 用 Keras 实现手写数字识别模型
  • 小批量梯度下降（Mini-batch Gradient Descent）

04 Keras2.0 实现手写数字识别

05 Keras demo1

06.DNN训练技巧

  • 激活函数（activation function）
  • 自适应学习率（Adaptive Learning Rate）
  • 早停法（Early Stopping）
  • 正则化（Regularization）
  • Dropout

07.Keras demo

08.Fizz Buzz in Tensorflow

第5章 卷积神经网络

01. 卷积神经网络

  • 介绍卷积神经网络（CNN）
  • 卷积神经网络主要内容
  • 在Keras中实现CNN
  • 理解CNN实际在做什么
  • CNN的一些应用

02.深度学习的原因

  • 胖+短的网络 VS. 瘦+高的网络
  • 神经网络模块化思想
  • 端到端学习
  • 深层网络在处理复杂问题中的作用

第6章 半监督学习

01.半监督学习

  • 生成模型中的半监督学习
  • 低密度分离
  • 平滑性假设
  • 更好的表达

第7章 无监督学习

01 线性降维

  • 无监督学习的分类
  • 聚类
  • 分布式表征
  • 降维
  • PCA 主成分分析
  • 矩阵分解

02 词嵌入

  • 为什么要使用词嵌入
  • 为什么词嵌入是无监督学习
  • 基于统计
  • 基于预测
  • 词嵌入的特点
  • 词嵌入的主要应用

03 邻域嵌套

  • 流形学习
  • 局部线性嵌入
  • 拉普拉斯特征映射
  • T-distributed Stochastic Neighbor Embedding (t-SNE)

04 深度自动编码

  • 介绍 Auto-encoder
  • 深度自动编码
  • 深度自动编码实例化

05 生成器1

  • 生成模型
  • 像素循环神经网络
  • 变分自编码器

06 生成器2

  • 为什么使用VAE
  • 高斯混合模型
  • VAE的问题
  • 生成对抗网络

第8章 迁移学习

01.迁移学习

  • 介绍迁移学习
  • 模型微调
  • 多任务学习
  • 领域对抗训练
  • Zero-shot Learning

第9章 结构化学习

01.支持向量机

  • 支持向量机的介绍
  • Hinge Loss
  • 线性支持向量机
  • 核方法

02.结构化学习

  • 结构化学习介绍
  • 结构化学习的统一框架
  • 结构化学习中需要解决的几个问题

03.结构化线性模型

04.结构化支持向量机

  • 结构化学习模型
  • 可分离的情况
  • 不可分离的情况
  • 结构化支持向量机
  • 切割平面法
  • 多分类支持向量机

05.序列标记

  • 序列标签
  • 隐马尔科夫模型
  • 条件随机场
  • 结构感知器和结构化支持向量机

第10章 RNN与集成学习

01.循环神经网络1

  • 应用实例：插槽填充
  • RNN 网络的介绍
  • 长短期记忆网络（LSTM）的介绍与详解

02.循环神经网络2

  • RNN原理
  • 解决梯度消失或者梯度爆炸的方法
  • RNN 应用
  • Sequence to sequence
  • 基于注意力模型
  • RNN与结构化学习的联系与区别

03.集成学习

  • 集成学习的介绍
  • Bagging
  • Boosting
  • Stacking

04.深度强化学习

  • 深度强化学习的概念和几个应用场景
  • 用基于策略的方法（Policy-based）学习一个做事的 Actor
  • 用基于价值的方法（Value-based）学习一个批评的 Critic(下学期内容)
  • 将 Actor 与 Critic 结合得到当前最强的方法 A3C（下学期内容）

第11章 总结与展望

01.机器学习的下一步

  • 异常检测
  • 可解释型 AI
  • 对抗攻击
  • 终生学习
  • 元学习
  • 小（零）样本学习
  • 强化学习
  • 网络压缩
  • 无监督域适应

二.课程参考资料声明

本份课程资料主要是基于2017年台湾大学老师李宏毅老师的机器学习课程资料

  • 视频网址：https://www.bilibili.com/video/av10590361/?p=1
  • 课程资料：http://speech.ee.ntu.edu.tw/~tlkagk/courses.html

在整理资料的过程中，参考的资料有：

  • 博客：https://blog.csdn.net/dukuku5038/article/details/82253966
  • 博客：https://blog.csdn.net/xzy_thu/article/details/67640512
  • 资料：https://github.com/maplezzz/NTU_ML2017_Hung-yi-Lee_HW
  • 资料：https://github.com/dafish-ai/NTU-Machine-learning

此外，该资料还参考机器学习、深度学习相关的论文书籍等，在这就不一一列举。

如果有侵权行为，请联系我们。

考虑编著们水平有限，资料中难免有错误或者解释不清之处，欢迎大家批评指正和进一步的补充。