二分类问题的评分值与损失函数

二分类问题是监督学习中最基本的问题之一,本文旨在从评分值、损失函数的角度,对解决二分类问题的诸多机器学习算法做一个梳理。相关算法的详细介绍可以参考相关教材12

loss

给定一个数据集 ,其中为d维向量 。注意有些资料中二分类比较喜欢用表示,使用什么数字表示二分类从原理上讲没有区别,但在数学表达上会有一些细微差异。

评分值不是一个机器学习算法中的一个正式名词,但是我们不妨建立这样一个认识角度。我们希望建立关于样本的一个评分函数,它的基本性质很简单,就是要求和目标值同号,即正样本评分为正数,负样本评分为负数,这样最终的二分类函数为

那么我们要如何建立评分函数呢?直观的想法是,对样本的个属性进行加权求和,这样能体现每个属性在评分中的重要性,如此建立的评分不一定在0值处有区分作用,因此再加上一个偏置项,所以评分函数为,这个基本的评分函数可以衍生出很多算法。

评价二分类问题的基本标准是分类错误率,针对每一个样本,如果去计算它的损失函数,就是分类正确损失为0,分类错误损失为1,这种损失函数一般叫做0-1损失函数,可记为

如果我们统一考虑正、负样本,令 ,那么分类正确时,必然始终为正值,不妨称其为绝对评分值,是对分类是否正确的一个度量。则,故是关于的分段函数。从最优化理论的角度来看,这个函数无法求梯度或次梯度,因此需要找它的近似来优化。这个近似的基本标准是:始终为非负值;当它很小时,很小。

评分值是属性的线性组合,从另一个角度看,评分值也是关于权值的线性组合。一般的,我们将变换到新的特征空间得到。则评分值为。上述分析基本不变,只是模型的复杂度更高了。以下分析如无特别说明仍在原空间进行。

1 线性回归

要求评分值与目标值同号,如果目标定得更加狭隘一些,可以令评分值直接为,这是线性回归问题,损失函数使用误差平方(可以做直观的理解,也可以认为样本的误差符合正态分布,从极大似然的角度推导出,这不是本文的重点。)。注意到,故误差函数是关于绝对评分值的二次函数。从图中可以看出是始终大于的,而且当比较小时,也比较小,所以可以作为的近似。

线性回归有封闭解,所以使用线性回归做二分类非常简单,但是效果一般不太好,为什么呢?从的曲线可以看出,当绝对评分值很大时,应该为0,直观来说,绝对评分值很大应该是区分度高的一件好事情,但是却给与了更高的惩罚,这是不合理的。线性回归可以给出一个还不错的值,可以用作其他算法的初始值。

2 感知机学习

感知机学习可以用如下的直观想法来理解:针对绝对评分值,当它为正数时,分类正确,我们认为误差为0,当它为负数时,我们认为离0值越远,误差越大,即,从的曲线来看,也是的一个近似,虽然它也是一个分段函数,但是是可以求次梯度的,时,认为梯度为0,当时,,使用随机梯度下降法,也就是说,只在出现评分错误时进行优化,这恰好就是感知机学习算法所做的工作。

3 支持向量机

对感知机学习的误差函数,我们可以进一步优化,我们希望绝对评分值要充分大,这样认为样本是正样本我们才更加放心,考虑到是关于可缩放的,不妨定义充分大为大于1。于是有,这个损失函数被称为hinge损失函数。考虑结构风险,我们的优化目标为

通过松弛变量法,就可以变为软间隔支持向量机,通过二次规划来求出模型。

从评分值的角度来理解,评分值充分大使得模型针对新的样本有较好的鲁棒性,这正是支持向量机比较优秀的地方。如果引入特征空间,则在支持向量机的求解过程中要大量计算内积,将特征空间的内积简化为原空间的核函数可以引入核方法。

4 Logistic回归

值的基础上,我们希望它能算出一个概率,衡量分类正确的概率或者说程度。即将的值域从映射到 ,那么sigmoid函数是个好的选择,它可求梯度而且在0处概率恰好为0.5。即

然后,我们再根据这个sigmoid函数,再来模拟损失函数,我们要求损失函数关于递减,而且始终为正数,考虑概率求对数后再取负号,故

由图可以看出,它也是的一种近似。以对数损失函数为优化目标。

这是带正则化的Logistic回归,由于处处可微,因此可以使用梯度下降法等最优化方法求解。

5 AdaBoost

指数函数同样可以满足近似的基本条件,即损失函数定义为

指数损失函数结合加性模型,可以推导出AdaBoost算法。

所谓加性模型,可以这样来理解:假设我们得到的特征空间中的d维向量对应的就是d个弱分类器,就是说比随机猜测50%的正确率高一点的分类器。所谓的Boost方法就是有效的组合这些弱分类器来构建强分类器。加性模型本质上依然是一个线性模型。依然有评分函数为。(考虑到弱分类器本身可以有偏置,因此取。)只不过这里的代表一个弱分类器,而不是一个简单的属性变换(本质上看,也是一种属性变换)。

AdaBoost是一个逐步迭代的过程,假设经过轮迭代已经得到评分函数,在第轮迭代后得到,则,AdaBoost的优化目标是使得每一步得到的评分函数关于指数损失函数最小,即

,其中,该式的进一步推导此处不再详述。

小结

以上介绍了6种损失函数,他们都是关于评分值的单调非增函数,其中后面5种是关于0-1损失函数的近似替代,通过求解替代函数能否得到原问题的解,有深入的研究,称为替代损失的“一致性”问题3

此外,如果我们要找出所有样本种的正例并排序,那么评分值应该在参与优化的时候就具备排序的特性,对数损失和指数损失是单调递减的,以它们为优化目标的模型计算出的评分值可以参与排序,其他几种损失函数不是单调递减的,因此相应的评分值不适合排序。

  1. 统计学习方法 李航 

  2. 机器学习 周志华 

  3. https://projecteuclid.org/download/pdf_1/euclid.aos/1079120130