"偏差-方差& quot是解释学习算法泛化性能的重要途径。我们常常从方差和偏差的角度来理解一个模型。那么，什么是偏差方差偏差平衡呢？

一、定义

，偏差测量了学习算法的预期预测与真实结果的偏差，立即得出学习算法本身的拟合能力；方差测量了相同规模的训练集变化引起的学习成绩的变化，并立即画出了数据扰动引起的影响；噪音表达了本省学习问题的难度。偏差-方差分解表明，泛化能力是由学习算法的能力、数据的充分性和学习任务本身的难度决定的。对于给定的学习任务，为了获得良好的泛化性能，需要使偏差变小，即完全拟合数据，并使方差变小，从而将数据扰动的影响降到最低。

例如，为了预测给定点的值，用N个不同的数据集训练N个模型。因此，N个模型在该点的预测值之间的差异波动很大，模型的方差偏高。对应下图中的右2和右4。

我们训练模型的底线是降低模型的泛化误差，方差强调模型的泛化能力，偏差强调模型的误差能力。如果一个模型具有较低的方差和偏差，它可以获得较低的泛化误差。

许多模型的设计都强调避免过拟合，例如无处不在的正则项。在集合类模型中，随机森林基于bagging方法，通过样本抽样和特征抽样，每棵树都有自己的特征。Gbdt基于boosting方法，在每一轮训练中，通过拟合残差，也训练出不同特征的树。这些方法使模型在保证偏差的基础上具有良好的泛化能力。

在一个实际的系统中，偏差和方差通常不同时存在。如果要降低模型的偏差，就会在一定程度上提高模型的方差，反之亦然。造成这种现象的根本原因是我们总想尝试用有限的训练样本来估计无限的真实数据。当我们更加信任这些数据的真实性，而忽略模型的先验知识时，我们会尽量保证模型在训练样本上的准确性，这样可以减少模型的偏差。但这样学习出来的模型很可能会失去一些泛化能力，导致过拟合，降低模型在真实数据中的表现，增加模型的不确定性。相反，如果在学习模型的过程中，更加信任自己对模型的先验知识，对模型施加更多的限制，可以降低模型的方差，提高模型的稳定性，但也会增加模型的偏差。偏倚和方差之间的权衡是机器学习的基本主题之一，机会可以在各种机器模型中找到它的影子。

二、数学含义

我们定义要预测的真实结果Y，它和它对应的自变量X(训练样本)之间存在这样的关系.

Y=f (x)(满足正态分布n (0，))

设yD为测试样本中x的值，y为真实值。可能有噪音使yD！=y

为了讨论方便，假设E[yD-y]=0。

假设fD(x)是在训练集X中学习的模型F的预测输出，并且学习算法的期望预测是：

fExpectedD(x)=E[fD(x)]

统计学习中有一个重要的概念叫做平方残差：

RSS似乎是一个非常合理的统计模型优化目标。但是考虑到K-NN的例子，在最近邻(K=1)，RSS=0的情况下，KNN是完美的模型吗？显然不是，KNN有很多明显的问题，比如对训练数据的需求很大，很容易陷入次元灾难。KNN的例子表明，仅仅优化RSS是不够的，因为为特定的训练集拟合一个好的模型并不意味着该模型具有良好的泛化能力，而这恰恰是机器学习模型最重要的要求。真正说明问题的并不是RSS，因为它只是一个特定的训练集，而是RSS的期望，MSE(meansquaderror)，这是一个期望的泛化误差，是将多个训练和统计结合起来得到的。

基于假设，我们可以得到关于测试集x的MSE(均方误差):

MSE(x)=E[(fD(x)-yD)2]

MSE(x)=E[(fD(x)-fexpected DD(x)fexpected DD(x)-yD)2]

MSE(x)=E[(fD(x)-fexpected d(x))2]E[(fexpected d(x)-yD)2]E[2(fD(x)-fexpected d(x))(fexpected d(x)-yD)]

第三项要注意：由于训练集是已知的，这里的fexpected d(x)-e[(fexpected d(x)-yd)2]实际上是一个常数，可以拿到外面。

FD(x)-fExpectedD(x)根据上面学习算法的期望预测公式，我们可以知道差值为0。

那就是：

MSE(x)=E[(fD(

x)-f_ExpectedD(x))²]+E[(f_ExpectedD(x)-yD)²]

MSE(x)=E[(fD(x)-f_ExpectedD(x))²]+E[(f_ExpectedD(x)-y+y-yD)²]

MSE(x)=E[(fD(x)-f_ExpectedD(x))²]+E[(f_ExpectedD(x)-y)2]+E[(y-yD)]²+2×E[(f_ExpectedD(x)-y)×(y-yD)]

噪声期望为０，因此最后一项为０

MSE(x)=E[(fD(x)-f_ExpectedD(x))²]+(f_ExpectedD(x)-y)²+E[(y-yD)]²

使用样本数相同的不同训练集产生的方差为：

var(x)=E[(fD(x)-f_ExpectedD(x))²]

期望输出与真实值的差别称之为偏差，即：

bias2(x)=(f_ExpectedD(x)-y)²

噪声为：

ϵ2=E[(y-yD)]²

即是：

MSE(x)=var(x)+bias2(x)+ϵ2

从上面的推导我们可以看出，期望泛化误差可以分解为方差，偏差与噪声之和。

三、总结

模型过于简单时，容易发生欠拟合（highbias）；模型过于复杂时，又容易发生过拟合（highvariance）。为了达到一个合理的bias-variance的平衡，此时需要对模型进行认真地评估。这就是所谓的偏差方差均衡。