对偶问题:
凸函数:开口朝一个方向(向上或向下)
数据关系,对任意自变量都有:
支持向量模型:min γ=1/2||w||^2
s.t yi(w^T*xi+b)>=1
凸二次优化问题:min γ=1/2||w||^2+1/2(w1^2+w2^2)
s.t yi(w^T*xi+b)>=1
对偶问题:
凸函数:开口朝一个方向(向上或向下)
数据关系,对任意自变量都有:
支持向量模型:min γ=1/2||w||^2
s.t yi(w^T*xi+b)>=1
凸二次优化问题:min γ=1/2||w||^2+1/2(w1^2+w2^2)
s.t yi(w^T*xi+b)>=1
算法追求简单有效解,假设空jian
过拟合:训练学习过程中过多关注了特征
欠拟合:训练学习过程太片面
用经验误差代表泛化误差
评估方法:
测试误差与泛化误差:
留出法:训练集+测试集:互斥互补
交叉验证法:
自助法:
性能度量:
回归:连续型
分类:离散型
评价方法与评价标准:
回归任务的评价标准:均方误差
错误率:分类错误样本数占总样本数比例
精度:1-错误率
阶跃函数的代替函数:sigmoid函数y=1/(1+e^-z)
决策树算法通常按照纯度的增加来选择拆分属性
最佳拆分可以转化为选择拆分属性使纯度度量最大化的优化问题
用于评价拆分分类目标变量的纯度
信息增益:对纯度提升的程度
ID3算法是决策树系列中的经典算法之一,它包含了决策树作为机器学习算法的主要思想
缺点:
1.由于ID3决策树算法采用信息增益作为选择拆分属性的标准,会偏向取值较多的,即所谓高度分支属性,而这一类属性并不一定是最优的属性。
2.ID3算法只能处理离散属性,对于连续型的属性,在分类前需要对其进行离散化。
ID3算法:核心是在决策树的个级节点上,使用信息增益作为属性的选择标准,来帮助确定每个节点所采用的合适属性。
C4.5算法:使用信息增益率来选择节点属性。并且既能处理离散的描述属性也能处理连续的描述属性。
CART算法:是一种十分有效的非参数分类和回归方法,通过构建树、修剪树、评估树来构建一个二叉树。当终结点是连续变量时,该树为回归树;当终结点是分类变量时,该树为分类树。以基尼系数作为选择标准。
BP神经网络:
BP网络结构: