多項式回帰する際に生じてしまう多重共線性に対処する

スポンサーリンク

重回帰分析において、次数の高い項を加えることで目的変数と説明変数の非線形な関係も表現できるようになります。このような手法は重回帰分析の中でも特に多項式回帰と呼ばれます。

しかし、多項式回帰においてはどうしても元の変数と次数を上げた変数の相関が高くなってしまい、多重共線性が生じてしまいます。このように変数に変換を施すことで生じる多重共線性は構造的多重共線性とも呼ばれます。

構造的多重共線性に対処する方法のひとつは中心化です。中心化で多重共線性に完全に対処できるわけではないのですが、少なくとも変数間の相関を下げることは可能になります。

実際にやってみました。

まず、適当に作成した変数セットと、その変数セットを二乗した変数についてグラフ化してみました。(書き忘れましたが横軸が元の変数セット、縦軸が二乗した変数セットです。)

相関係数はR = 0.986 となっており非常に高くなっています。

次は、変数セットを中心化してみました。なお、中心化するタイミングは次数を上げる前です。つまり変数セットを中心化してから二乗します。(二乗した後の変数セットを中心化する必要はありません。)

相関係数はR=0.647となり、中心化する前よりは相関が小さくなっていますね。

これで多少は多重共線性への対処ができたことになりますね。

今回の記事はここまでとなります。

コメント

タイトルとURLをコピーしました