When Can Machines Learn?
宏观把控1
- 什么是机器学习？
Mitchell 的 "Machine Learning" 里面是这样来定义机器学习的：利用经验来改善计算机系统自身的性能。
- 为什么需要机器学习？
我们有的时候会遇到一些很难的 case，比如我们希望设计一个程序来辨识树，这个时候我们需要对树下定义，听起来似乎很简单，却又无从下手。
- 什么时候使用机器学习？
其实就三要素：
- 有规律可以学习；
- 编程很难做到；
- 有能够学习到规律的数据；
机器学习模型
我们通过一个银行是否应该给用户发信用卡的信用卡例子引出了机器学习模型。
基本概念
学习流程
learning干的事情，就是从 hypothesis set 里面挑一个“长”的最像 $f$ 的方程 $g$.
总结
机器学习就是从数据出发，通过算法 ($\mathcal{A}$) 找到最符合我们数据集 ($\mathcal{D}$) 的 hypothesis $g$（$g \approx f$）.
对比一下李航老师总结的，
- 统计学习首先要考虑的问题是学习什么样的模型。在监督学习中，模型就是所要学习的条件概率分布或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。
- 策略就是按照什么的准则学习或选择最优的模型。
- 方法就是以什么样的优化算法来求解最优模型。
概念辨析
Machine Learning vs Data Mining
数据挖掘就是试图从海量数据中找出有用的知识。
大体上看，数据挖掘可以视为机器学习和数据库的交叉，它主要利用机器学习界提供的技术来分析海量数据，利用数据库界提供的技术来管理海量数据2。
Machine Learning vs Artificial Intelligence
机器学习是实现人工智能的一种方式 .
Machine Learning vs Statistics
