本文共 2540 字，大约阅读时间需要 8 分钟。

2020年7月20日至2020年8月18日，我刷完了台大李宏毅老师的深度学习/机器学习相关课程，我分为了 64 个大课时，记录了 64 篇笔记。

我对于李老师课程感到惊讶又欣喜：

• 惊讶在于，李老师能把深度学习/机器学习的知识串成一套体系，并且由浅入深，前后呼应，取舍得当：既能照应到深度学习中深邃的数学理论基础，又能适当抛弃一些繁杂的理论，从工程意义上帮助我理解模型。这一切都令我惊讶。
• 欣喜在于，李老师课程不但充实，还很风趣。谁能想到机器学习中文社区人人皆知的李宏毅老师，是位“阿宅”呢？不管怎样，我很喜欢李老师动不动就二次元的风格，怪不得李老师人称“宝可梦训练大师”。

本文目录：

• 如何找到课程资源
• 课程章节的汇总
• 课程总结以及我的下一步学习计划

如何找到课程资源

我主要在中文互联网观看李老师课程，感谢两位 B 站 UP 主的搬运：

• ，本视频内容较全，但确实了一部分结构化学习内容；
• ，本视频的 P31-35 是关于 SVM 以及结构化学习的内容，P38 是关于集成学习的科普。

此外，李老师的全部课程汇总于李老师的油管频道，可自行检索。

台大机器学习2020的课程主页：

课程章节的汇总

我对于课程的学习顺序如下。

一、基础理论

• 从宝可梦（一部训练神奇动物的动画）出发，举了一个回归的例子，讲解了深度学习的基本思路 - 建模、定义用于优化的损失函数loss、梯度下降：
• 误差与模型选择的初步讨论：
• 梯度下降相关知识，最后用帝国时代和我的世界两款电子游戏举例，直接把我路转粉：
• 由助教讲解，目的为介绍各种优化器，如 Adam 等：
• 由一个分类任务，由高斯分布的拟合，从数学上不枯燥地引出为什么使用 wx+b 形式以及 Sigmoid ，整节课一气呵成，强烈推荐：
• 基于上节课内容，引出交叉熵等概念，接着，从单个逻辑回归的局限性，生动地展示出“特征变换”这一做法，并引出“神经网络”这一概念，强烈推荐：
• 深度学习简介：
• 神经网络反向传播到底是怎么计算的，请放心地去学这节课，即便你线性代数基础很差，配合李老师的幻灯片与引导，你很难听不懂：
• 激活函数、Maxout、正则、剪枝/Dropout等等技巧性内容：
• 本节课承接 Brief Introduction of Deep Learning 内容，开始论述，为什么不是“广度神经网络”，而是“深度神经网络”：
• 由助教讲解，关于PyTorch使用：

前11节课，我记笔记的方式不是很成熟，尤其是前几节课，考虑到自己已经有了一定经验，甚至没怎么记录。在之后的课程中，我逐渐摸索出一套记笔记的规范，并且力求笔记对课程内容的完整描述，让自己以后重温时，可以起到“快速检索”的效果。

二、基本的网络模型

• 卷积神经网络，李老师对于卷积神经网络有独特的总结，是从案例的角度出发的，并且与全连接层做了直观的对比，强烈推荐：
• 由助教讲解，图神经网络：
• 循环神经网络，其实在油管上，这一部分被李老师安排在了结构化学习之后，但是现在学也不影响：

这一部分属于深度学习的常识，我以前一直是只会掉包，但不知其所以然。现在懂了一些。

三、自然语言处理/序列相关

• 词嵌入：
• Transformer：
• ELMO, BERT, GPT：
• 由助教讲解的 Transformer ：

李老师所在的实验室就是研究自然语言与语音识别这类序列问题的，这部分是李老师的拿手好戏。对于深度学习初学者，了解这些知识一定不亏，不信的话，去看腾讯广告算法大赛。

四、无监督学习

• 线性模型、主成分分析与推荐算法常用到的矩阵分解：
• 嵌入与降维可视化模型：
• 自编码技术：
• 深度生成模型：
• 特征分解等技术，有一些生成对抗网络的影子了：
• 由助教讲解，关于自监督学习的三大思想，主要集中在文本问题的 BERT 变体上：

五、生成对抗网络

• 基本思想：
• 条件生成对抗网络：
• 无监督条件生成对抗网络：
• 生成对抗网络中的统计与理论：
• 生成对抗网络中的分布距离的数学基础：
• 关于生成对抗网络中的一些技巧：
• 生成对抗网络一些其他变体，与特征提取相关：
• 生成对抗网络在“修图”领域的一些神奇技术：
• 生成对抗网络与序列问题：
• 生成对抗网络的评价：
• 由助教讲解，一些其他模型：

六、元学习

• 对参数初始化的学习：
• 对梯度下降的学习：
• 其他关于元学习的技术：
• 由助教讲解，关于元学习的一次大概述：

七、强化学习

• 对强化学习的简介：
• 策略梯度及其变种：
• Q学习及其变种：
• 行动家-评判家、系数奖励、模仿学习：
• 助教讲解的更多强化学习的内容：

八、结构化学习

• 简介与线性模型：
• 结构化支持向量机：
• 序列问题中的结构化模型，如隐马尔可夫模型、条件随机场：

九、其他领域

• 半监督学习，你可以在这门课中领会到李老师的教学功力，他用近朱者赤，近墨者黑、去芜存菁，化繁为简这类语句抽象出不同的学习的核心思想，妙哉：
• 可解释性机器学习：
• 由助教讲解的可解释性机器学习：
• 机器学习对抗攻击模型：
• 由助教讲解的机器学习对抗攻击模型：
• 模型压缩：
• 由助教讲解的模型压缩，以知识蒸馏为主：
• 由助教讲解的模型压缩，以模型剪枝为主：
• 关于生成模型、注意力模型等：
• 异常点检测：
• 由助教讲解，关于异常点检测的新技术：
• 迁移学习：
• 由助教讲解的领域适配：
• 终身学习：
• 由主教讲解终身学习：
• 支持向量机：
• 集成学习：

课程总结以及我的下一步学习计划

如上，我分为了 9 个大类。被归为第 9 类“其他领域”的知识，有些是我认为李老师没有“用全力讲解”的部分，更多地，是去理解其核心思想，把这个看作李老师精心准备的超高质量综述就好。总之，李老师系统总结了大量论文的成果，这有利于我们入手任意一门技术。

李老师的课程有明显的“缺点”：

• 比如，在强化学习部分，没有提及“马尔可夫过程”、或者“贝尔曼方程”，这些都是强化学习可以收敛的理论基础——显然，李老师为我们选择性跳过了些实践中用不到的内容。或者说，李老师并不准备为强化学习预留大量课时，因此，选择性地跳过了一些基础理论。

但是瑕不掩瑜，看过李老师做理论证明、循序渐进、矩阵运算的同学都知道：这么多课听下来，真的赚大了。

现在已经拿到“深度学习与机器学习入场券”，我的下一步计划是，实践、实践与实践。

转载地址：http://itlxf.baihongyu.com/