正则化作用及其推导

监督学习可以简单的理解为在最小化loss function 的同时,保证模型的复杂度尽可能的低,防止出现过拟合(overfitting)。防止过拟合的一个有效方法是使用正则化(Regularization)

正则化概述(Regularization)

​ 监督学习可以简单的理解为在最小化loss function 的同时,保证模型的复杂度尽可能的低,防止出现过拟合(overfitting)。关于正则化(Regularization),它一方面可用于控制模型的复杂度,提高模型的范化能力;另一方面还可以用于约束模型的特性,例如稀疏、平滑特性等。在数学上公式体现为在最优化loss Funcition后面加上正则化项(regularizer)也称为惩罚项(penalty term),用于限制模型参数w。实际中常使用模型参数w的范数来约束w,0范数、1范数、2范数分别称为L0正则化、L1正则化、L2正则化。

L0、L1、L2正则化

​ 向量的0范数是指向量中非零元素的个数。L0正则化的值是模型中非零参数的个数,L0正则化可以实现模型参数的稀疏化。模型参数稀疏化使得模型能自动的选择比较重要的特征属性进行yi的预测,去掉没用的信息项。模型自动选择的比较少的特征属性一般会有比较好的解释性,例如1000维的患病样本,到底是怎么影响患病的?1000维的解释性远不如模型参数稀疏化后选择的几个重要的维度。遗憾的是,L0正则化是个NP难问题,很难求解,这才有了我们常见的L1正则化,L1也能达到模型参数稀疏化的效果。

​ 向量的1范数是指向量中所有元素的绝对值之和。L1正则化用于替代L0正则化,也称为lasso Regularizer。

​ 向量的2范数是指向量的模值||W|,向量所有元素的平方和然后求均值。L2正则项不是像L1正则化中通过稀疏模型参数来降低模型复杂度,而是通过减少模型参数的权值来控制过拟合的效果,因此L2正则化也被称为“权值衰减 weight decay”,在回归分析中也有人称为“岭回归 Ridge Regression”。L2正则化中模型参数W中每个元素都很小,接近于0,一般不会等于0。在实际中正则化中感觉使用L2的会更多一些,因为L1 会趋向于产生少量的有效特征项,L2会选择更多的特征。在所有特征中只有少量特征起重要作用的情况,可以选择lasso来自动选择比较合适的特征属性。而如果所有的特征中,大部分的特征都能起到一定的作用,还是使用L2会比较合适。

L1 Regularization

在原始的代价函数后面加上一个L1正则化项,即所有权重w的绝对值的和,乘以λ/n(这里不像L2正则化项那样,需要再乘以1/2,具体原因上面已经说过)

img

同样先计算导数:

img

上式中sgn(w)表示w的符号。那么权重w的更新规则为:

img

比原始的更新规则多出了η * λ * sgn(w)/n这一项。当w为正时,更新后的w变小。当w为负时,更新后的w变大——因此它的效果就是让w往0靠,使网络中的权重尽可能为0,也就相当于减小了网络复杂度,防止过拟合。

另外,上面没有提到一个问题,当w为0时怎么办?当w等于0时,|W|是不可导的,所以我们只能按照原始的未经正则化的方法去更新w,这就相当于去掉ηλsgn(w)/n这一项,所以我们可以规定sgn(0)=0,这样就把w=0的情况也统一进来了。(在编程的时候,令sgn(0)=0,sgn(w>0)=1,sgn(w<0)=-1)

L2 regularization(权重衰减)

L2正则化就是在代价函数后面再加上一个正则化项:

img

C0代表原始的代价函数,后面那一项就是L2正则化项,它是这样来的:所有参数w的平方的和,除以训练集的样本大小n。λ就是正则项系数,权衡正则项与C0项的比重。另外还有一个系数1/2,1/2经常会看到,主要是为了后面求导的结果方便,后面那一项求导会产生一个2,与1/2相乘刚好凑整。

L2正则化项是怎么避免overfitting的呢?我们推导一下看看,先求导:

img

可以发现L2正则化项对b的更新没有影响,但是对于w的更新有影响:

img

在不使用L2正则化时,求导结果中w前系数为1,现在w前面系数为 1−ηλ/n ,因为η、λ、n都是正的,所以 1−ηλ/n小于1,它的效果是减小w,这也就是权重衰减(weight decay)的由来。当然考虑到后面的导数项,w最终的值可能增大也可能减小。

另外,需要提一下,对于基于mini-batch的随机梯度下降,w和b更新的公式跟上面给出的有点不同:

img

img

对比上面w的更新公式,可以发现后面那一项变了,变成所有导数加和,乘以η再除以m,m是一个mini-batch中样本的个数。

到目前为止,我们只是解释了L2正则化项有让w“变小”的效果,但是还没解释为什么w“变小”可以防止overfitting?一个所谓“显而易见”的解释就是:更小的权值w,从某种意义上说,表示网络的复杂度更低,对数据的拟合刚刚好(这个法则也叫做奥卡姆剃刀),而在实际应用中,也验证了这一点,L2正则化的效果往往好于未经正则化的效果。当然,对于很多人(包括我)来说,这个解释似乎不那么显而易见,所以这里添加一个稍微数学一点的解释(引自知乎):

过拟合的时候,拟合函数的系数往往非常大,为什么?如下图所示,过拟合,就是拟合函数需要顾忌每一个点,最终形成的拟合函数波动很大。在某些很小的区间里,函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值(绝对值)非常大,由于自变量值可大可小,所以只有系数足够大,才能保证导数值很大。

img

而正则化是通过约束参数的范数使其不要太大,所以可以在一定程度上减少过拟合情况。

参考博客
https://www.cnblogs.com/wxquare/p/5396885.html 机器学习中的正则化

https://blog.csdn.net/kyang624823/article/details/78646234 深度学习:正则化(L2、dropout)

https://blog.csdn.net/u012162613/article/details/44261657 正则化方法:L1和L2 regularization、数据集扩增、dropout