近日有朋友在《统计咨询》公众号咨询:进行回归分析之后,统计软件给出的AIC值是负值。结果是否有问题?如果没问题的话,不同模型之间的比较还是“越小越好”的原则吗?
对于赤池信息准则(Akaike information criterion, AIC),相信大家都不陌生,它是用来比较不同回归模型拟合度的统计量。计算公式如下:
AIC = 2K – 2ln(L)
式中,K表示模型参数的个数。ln(L)表示模型的对数似然函数,按照极大似然法的原理,ln(L)取值越大越好,而-2ln(L)则越小越好。
AIC可用于多个回归模型的比较,AIC越低的模型拟合越好。关于AIC,经常会被问到的一个问题:AIC为负值怎么办?
简单的回答是: AIC值可以是正的,也可以是负的。无论正负,判断标准都是“越小越好”。
例如,如果模型a的AIC值为-56.5,模型b的AIC值为-103.3,则模型b的拟合效果更好。
AIC为什么为负?
从上面的公式容易看出给定的回归模型是如何导致负AIC值的。假设一个有7个参数的模型,对数似然值为70。该模型AIC计算为:
AIC = 2*7 - 2*70 = -126
AIC负值的参考文献
Kenneth P. Burnham, David R. Anderson. Model Selection and Multimodel Inference: A Practical Information - Theoretic Approach. Springer Science & Business Media. 2003. 书中提到(如下截图),AIC是可以为负值的,它的取值没有意义,重要的是不同模型AIC之间的比较。
Thomas Baguley. Serious Stats: A guide to advanced statistics for the behavioral sciences. Palgrave. 2012.
书中同样提到(如下截图),AIC的绝对值是没有意义的,重要的是不同模型AIC之间的比较。
参考文献
1. https://www.statology.org/negative-aic/
▼RCT随机化小程序推荐▼
