机器学习必备的数学基础有哪些？ by 王天一 总结了机器学习的3个步骤：
-
表示：将具体问题和数据抽象为数学模型和矩阵，使用线性代数工具；
-
评价：设定目标函数评价模型行性质，使用概率论和数理统计作为工具；
-
优化：求出目标函数（第2步中确定）在模型（第1步中确定）中的一个最优解，使用最优化理论作为工具；
数学基础包括：
-
高等数学：求导、微分、积分等；
-
线性代数：线性空间理论、矩阵分析（如SVD等）；
-
概率论和数理统计；
-
最优化理论：梯度下降、凸优化、无约束优化、反向传播等；
推荐了两本机器学习数学基础方面的书，作者都是 Trevor Hastie 和 Robert Tibshirani 等：
-
An Introduction to Statistical Learning: 简称 ISL，作者开发了R package ISLR， 网站上有PDF版本、数据、图片和R代码下载；
-
The Elements of Statistical Learning: Springer, 2009年第二版
ESL需要读者有比较好的数学基础，ISL的内容与ESL大致相同，但更偏重于应用， 使用R做了很多实例。可以先通过ISL熟悉各个算法，如果对后面的数学理论感兴趣， 再研究ESL中的对应章节。