1. 什么是机器学习？

机器学习就是找函数的公式，如何输入一段语音，找到这段语音对应的函数，如果输入一个图片，那么就找到这个图片的像素点所对应的函数。

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML20.html

首先，按照所要输出的类型，可以简单的把机器学习的问题分为两大类，回归（regression）与分类（classification）。如果输出的数值是连续的变量，那么该问题就是一个回归问题，如果输出的数值是离散的，比如只有yes or no两类，那么就是二分类问题，如果输出为多个类别，就是多分类问题。

除此以外，随着机器学习的发展，机器不仅仅可以完成上述两项任务，还可以进行“创造”，比如翻译问题，比如生成一个图片。

2. 如何告诉“告诉机器”你想要找的函数表达式

2.1 监督学习（supervised learning）

如果预先告诉机器，你想要的函数的抱负的输出是什么，这种学习方式就叫做有监督的学习，换句话说，就是每个输出值都有了标签（label）。

然后机器会按照设定好的损失函数（loss function），可以不竭评价目前的函数的“好坏”，不竭迭代优化，使得函数的loss越来越小

2.2 强化学习（reinforcement learning）

与监督学习不同，强化学习不会给机器抱负的输出和结果，而是让机器自行探索，如果获得了想要的答案，就给予reward，通过这种方法让机器越来越精确。

2.3 无监督学习（unsupervised learning）

既没有label也没有reward，在这种情况下让机器进行学习。

3. 机器怎么找出你想要的函数表达式

3.1 给定搜寻的范围

在回归和分类问题中，我们假定要找的函数式为线性函数（Liner function）。在RNN和CNN问题中，搜寻范围是网络结构（network architecture）。

3.2 范围中搜寻函数

通过一些算法：梯度下降（Gradient Descent）来求解，或者Pytorch等深度学习框架中的算法。

4. 前沿研究

Explainable AI（可解释人工智能）、Adversarial Attack（对抗攻击）、Network Compression（网络压缩）、Anomaly Detection（异常检测）、Transfer Learning（迁移学习）、Meta Learning（元学习）

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

李宏毅 (Hung-yi Lee) received the M.S. and Ph.D. degrees from National Taiwan University (NTU), Taipei, Taiwan, in 2010 and 2012, respectively. From September 2012 to August 2013, he was a postdoctoral fellow in Research Center for Information Technology Innovation, Academia Sinica. From September 2013 to July 2014, he was a visiting scientist at the Spoken Language Systems Group of MIT Computer Science and Artificial Intelligence Laboratory (CSAIL). He is currently an associate professor of the Department of Electrical Engineering of National Taiwan University, with a joint appointment at the Department of Computer Science & Information Engineering of the university. His research focuses on machine learning (especially deep learning), spoken language understanding, and speech recognition. He owns a YouTube channel teaching deep learning in Mandarin (more than 4M Total Views and 48k Subscribers).

作業編號線上學習作業範例作業說明助教補充繳交時間

課程簡介Introduction (slide), Rule (slide)Google Drive 檔案存取

作業一Regression (slide), Basic Concept (slide)Regressionslide, video (助教：楊舒涵)3/26

Gradient DescentGradient Descent 1 2 3 (slide)More about Gradient Descent 1 2 (slide)

作業二Classification 1 2 (slide 12)Classificationslide, video (助教：簡仲明)3/26

DL預備DL (slide), Backprop (slide), Tips (slide), Why Deep (slide)PyTorch 教學 ( slide, colab, video, cheatsheet)助教：劉記良、陳建成

作業三CNN(slide)CNNslide, video (助教：邱譯、趙崇皓)GNN 1 2 (slide)4/30

作業四RNN 1 2 (slide), Semi-supervised (slide), Word Embedding (slide)RNNslide, video (助教：黃冠博、邱譯)4/30

作業五Explainable AI (slide)Explainable AIslide, video (助教：楊書文)More about Explainable AI (slide)4/30

作業六Adversarial Attack (slide)Adversarial Attackslide, video (助教：林政豪)More about Adversarial Attack 1, 2 (slide)4/30

作業七Network Compression (slide)Network Compression 1 2 3 4slide, video (助教：劉俊緯、楊晟甫)More about Network Compression 1, 2 (slide)5/21

作業八Seq2seq (slide), Pointer (option) (slide), Recursive (option) (slide), Transformer (slide)Seq2seqslide, video (助教：黃子賢)Transformer and its variant (slide)5/21

作業九Dimension Reduction (slide), Neighbor Embedding (slide), Auto-encoder (slide), More Auto-encoder (slide), BERT (slide)Unsupervised Learningslide, video (助教：陳延昊、楊晟甫)Self-supervised Learning (slide)5/21

作業十Anomaly Detection (slide)Anomaly Detectionslide, video (助教：謝濬丞)More about Anomaly Detection (slide)6/11

作業十一GAN (10 videos) (slide 1 2 3 4 5 6 7 8 9 10), Flow-based (slide)GANslide, video (助教：陳延昊、吳宗翰)More about GAN (slide)6/11

作業十二Transfer Learning (slide)Transfer Learningslide, video (助教：劉俊緯、黃冠博)Domain Adaptation 1 2 (slide)6/11

作業十三Meta Learning - MAML(slide), Meta Learning - Gradient Descent and Metric-based (option)(slide)Meta 1 2slide, video 1 2 3 (助教：姜成翰、高瑋聰)More about Meta 1 2 (slide)7/02

作業十四Life-long Learning (slide)Life-longslide, video (助教：紀伯翰、黃子賢)More about Life-long (slide)7/02

作業十五RL 1 2 3 (slide), Advanced Version (8 videos, option) (slide 1 2 3 4 5)