对偶问题：

凸函数：开口朝一个方向（向上或向下）

数据关系，对任意自变量都有：

支持向量模型：min γ=1/2||w||^2

                          s.t  yi(w^T*xi+b)>=1

凸二次优化问题：min γ=1/2||w||^2+1/2(w1^2+w2^2)

s.t  yi(w^T*xi+b)>=1

BP网络结构：

BP神经网络：

ID3算法是决策树系列中的经典算法之一，它包含了决策树作为机器学习算法的主要思想

缺点：

1.由于ID3决策树算法采用信息增益作为选择拆分属性的标准，会偏向取值较多的，即所谓高度分支属性，而这一类属性并不一定是最优的属性。

2.ID3算法只能处理离散属性，对于连续型的属性，在分类前需要对其进行离散化。

ID3算法：核心是在决策树的个级节点上，使用信息增益作为属性的选择标准，来帮助确定每个节点所采用的合适属性。

C4.5算法：使用信息增益率来选择节点属性。并且既能处理离散的描述属性也能处理连续的描述属性。

CART算法：是一种十分有效的非参数分类和回归方法，通过构建树、修剪树、评估树来构建一个二叉树。当终结点是连续变量时，该树为回归树；当终结点是分类变量时，该树为分类树。以基尼系数作为选择标准。

决策树算法通常按照纯度的增加来选择拆分属性

最佳拆分可以转化为选择拆分属性使纯度度量最大化的优化问题

用于评价拆分分类目标变量的纯度

信息增益：对纯度提升的程度

阶跃函数的代替函数：sigmoid函数y=1/(1+e^-z)

性能度量：

回归：连续型    

分类：离散型

评价方法与评价标准：

回归任务的评价标准：均方误差

错误率：分类错误样本数占总样本数比例

精度：1-错误率

用经验误差代表泛化误差

评估方法：

测试误差与泛化误差：

留出法：训练集+测试集：互斥互补

交叉验证法：

自助法：

过拟合：训练学习过程中过多关注了特征

欠拟合：训练学习过程太片面

算法追求简单有效解，假设空jian

​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​