計量経済学入門 B05:回帰モデルの評価/AIC によるモデル選択 回帰

Reitaku University
計量経済学入門 B05:回帰モデルの評価/AIC によるモデル選択
清水千弘
本日の学習目標:
・
・
推定された回帰モデルを評価する(t 検定・F 検定・尤度比検定)
AIC におけるモデル選択
講義の内容:
回帰モデルを実際に推定した場合に,どのようなモデルを選択したらいいのか?
・ 採択された説明変数について評価する/説明変数として採択した変数は,統計的に有意な変数であるのか?
→t 検定・F 検定・尤度比検定
・ モデル全体を評価する/説明力の高いモデルはどれか?
→自由度調整済み決定係数・Mallow’s CP・AIC
回帰モデルにおける検定
(t 検定)
推定された回帰係数と標準誤差を用いて,t 統計量を求めることが出来る。t 統計量は,次のように定義さ
れる。
βˆ j-β j
tj =
s .e. βˆ j
( )
このように計算された t 統計量は,自由度 n-k の t 分布 t(n-k)に従うため,1つの回帰係数に関する仮説
H 0 : β j = a について,検定することが出来る。
→t 分布表の読み方を習得しよう!
(F 検定)
重回帰分析の場合は,説明変数が複数個あるため,複数の回帰係数についての仮説の検定を同時に行いたい
場合がある。
説明変数が二つ(X2 , X3)の場合について考えると,「X2 , X3 ともに Y に対して影響がない」という帰無仮説は,
H 0 : β 2 = 0 かつ β 3 = 0
一方,「少なくともどちらかの影響がある」という対立仮説は,
H 1 : β 2 ≠0 または β 3 ≠0
となる。
帰無仮説が複数の制約式からなる場合は,個々の回帰係数に関する t 検定だけでは不十分であり,F 検定を行う
必要がある。F 検定は,次の手順によって行う。
手順1.
H0 が正しいとして,X2 , X3 ともに含まない形で,重回帰方程式を推定し,残差平方和 S0 を求める。
手順2.
H0 が成立しないものとして,H1 のもとで X2 , X3 含めて重回帰方程式を推定し,残差平方和 S1 を求める。
手順3.
cshimizu@reitaku-u.ac.jp(LabalatoryB309)
1
Reitaku University
次の式に基づき F 統計量を求め,検定を行う。
F=
(S 0-S1 ) / p
S1 / (n-k )
また,p は,H0 に含まれる式の数である。
この統計量は,帰無仮説のもとで,自由度(p,n-k)の F 分布 F(p, n-k)に従う。
検定の臨界値は,F(p, n-k)の有意水準αに対応するパーセント点,Fα(p, n-k)と比較し,
F> Fα(p, n-k) → 帰無仮説を棄却
それ以外では,帰無仮説は採択される。
→F値が小さくなるのは, S 0 ≈S1 の場合である。つまり,X2 , X3 を入れた場合とそうでない場合とで,2つのモデルの
当てはまりのよさの差が小さいことを意味する。
(尤度比検定)
F 検定の場合と同様に,複数の回帰係数を同時に検定したい場合,つまり, 帰無仮説・対立仮説が,
H 0 : β 2 = 0 かつ β 3 = 0 , H 1 : β 2 ≠0 または β 3 ≠0 として与えられる場合の検定方法として,尤度比
検定(likelihood ratio test)と呼ばれる方法を利用することも出来る。尤度比検定は,次の手順によって行うことが出来
る。
手順1.
H0 が正しいとして,X2 , X3 ともに含まない形で,重回帰方程式を推定し,対数最大尤度 lnL0 を求める。
手順2.
H0 が成立しないものとして,H1 のもとで X2 , X3 含めて重回帰方程式を推定し,対数最大尤度 lnL1 を求める。
手順3.
次の式に基づき統計量を求め,検定を行う。
χ 2 = 2(ln L1-ln L0 )
このように計算された統計量は,帰無仮説のもとで漸近的に(n が十分に大きければ近似的に)自由度 p の χ 2 分布
χ 2 ( p ) に従うことが知られている。また,p は,H0 に含まれる式の数である。検定における臨界値は, χ 2 ( p ) の有意
水準αに対応するパーセント点 χ α 2 ( p ) を比較し,
χ 2 > χ α 2 ( p)
→ 帰無仮説を棄却
それ以外では,帰無仮説は採択される。
→ χ 2 が小さくなるのは, X2 , X3 を入れた場合とそうでない場合とで,2つのモデルの当てはまりのよさの差が小さい
ことを意味する。
なぜ尤度比検定を行うのか?
尤度比検定は,漸近的にしか成立しないものの,線形回帰モデル以外の複雑なモデルや帰無仮説が非線形の
場合でも利用することが出来る。BOX-COX モデルなどでも利用することが出来るため,幅広く利用されている。
実際の計算では,対数最大尤度を直接に計算できない場合があるため,次のように計算する。
n
ˆ 2 ) = - (∑ei 2 / n)
ln L* (βˆ 1 ,βˆ 2 , ,βˆ k , σ
2
cshimizu@reitaku-u.ac.jp(LabalatoryB309)
2
Reitaku University
モデル選択とモデルの当てはまりの良さ
(自由度調整済み決定係数)
複数のモデルの候補の中から,1つのモデルを選択することが必要となる。この場合,もっとも利用される統計
量として,自由度調整済み決定係数と呼ばれる指標がある。自由度調整済み決定係数は,次のように計算される。

Y i の全変動:  Yi  Y
(
2 = ∑(Yˆi-Y )2 + ∑eˆ 2 として, X 2 , X 3 , , X k で説明できる部分 Yˆi  Y 2 とされなかった
)
部分 ∑eˆ 2 に分割される。このような性質に着目し,決定係数は,次のように定義される。
2
R = 1-
∑ei 2
∑(Yi-Y )2
∑(Yˆi-Y )
2
=
∑(Yi-Y )2
となる。
しかし,このように計算される決定係数は,説明変数の数が増加するに従い大きくなってしまう。その場
合には,モデルに不要な変数までもモデルのなかに含めてしまう可能性がある。そのため,説明変数の増加
を調整し,モデルを評価する指標として,自由度調整済決定係数と呼ばれる指標がある。自由度調整済決定
係数は,説明変数の数の違いを考慮したものであり,Yi の変動と残差の平方和を自由度で割った値として計
算される。
R 2 = 1-
∑ei 2 / (n-k )
∑(Yi-Y )2 / (n-1)
このように計算されるため,k が増加したとしても R 2 は,必ずしも増加するとは限らないことがわかる。
(AIC によるモデル選択)
重回帰分析のモデル選択において,自由度調整済み決定係数では,説明変数の増加に伴うペナルティの与え方
が十分ではないことが指摘されている。その場合には,説明変数が,多く採択されすぎてしまうこととなってしまう。
そこで,モデルを評価する指標としては,赤池の情報量基準(AIC:Akaike Information Criterion),シュバルツのベイ
ズ情報量基準(BIC:Schwarz Bayes Information Criterion),または Mallow’s Cp と呼ばれる基準がある。
ここで,lnL を対数最大尤度とすると( υ は,モデルに含まれる未知パラメータの数),
AIC = -2 ln L + 2 υ
BIC = -2 ln L + υ ln n
を最小にするようにモデルを選択する。
しかし,AIC および BIC は,理論的な裏付けがないといった批判は残されてきた。AIC,BIC は,回帰モデ
ル以外のモデル選択にも利用可能であり,AIC は,真のモデルと推定されているモデルの距離を表す,カル
バック・ライブラー情報量(Kullback-Leibler information)を使って説明することが出来る。
AIC の計算は,
AIC = -2 ln L + 2k = n ln (∑ei 2 / n) + 2k
として,計算できる。
cshimizu@reitaku-u.ac.jp(LabalatoryB309)
3