AIC 准则与 BIC 准则
AIC 标准
拟合
拟合
就是把平面上 一系列的点,用一条光滑的曲线
连接起来。因为这条曲线有无数种可能,从而有各种拟合方法。拟合的曲线
一般可以用 函数 表示,根据这个函数的不同有不同的拟合名字。
AIC 准则
AIC
是衡量统计模型
拟合优良性 的一种标准,提供了权衡估计模型
复杂度 和 拟合数据优良性 的标准。通常情况下,AIC定义为:
AIC = 2k - 2ln(L)
其中,k 为参数个数
,L 为似然函数
。
从一组可供选择的模型中选择最佳模型时,通常选择AIC最小的模型。
一般而言,当模型复杂度提高(k增大)时,似然函数L也会增大,从而使AIC变小;但是k过大时,似然函数增速减缓,导致AIC增大,模型过于复杂容易造成 过拟合现象。引入了惩罚项,使模型参数尽可能少,有助于降低过拟合的可能性。
过拟合
一个假设在训练数据
上能够获得比其他假设更好的拟合, 但是在训练数据外
的数据集上却不能很好地拟合数据,此时认为这个假设出现了过拟合
的现象。出现这种现象的 主要原因 是训练数据中存在 噪音 或者 训练数据太少。
BIC 准则
BIC准则
BIC
的惩罚项比AIC
的大,考虑了样本数量,样本数量过多时,可有效防止模型精度过高造成的模型复杂度过高。
BIC = kln(n) - 2ln(L)
其中,k 为参数个数
,n 为样本数量
,L 为似然函数
。
kln(n) 惩罚项在维数过大且训练样本数据相对较少的情况下,可以有效避免出现维度灾难现象。
AIC 与 BIC 比较
BIC
相比AIC
在大数据量时对模型参数惩罚得更多,导致BIC
更倾向于选择 参数少 的简单模型。