決定係数

決定係数（けっていけいすう、（英: coefficient of determination、R²）は、統計学において、独立変数（説明変数）が従属変数（目的変数）のどれくらいを説明できるかを表す値である^[1]。寄与率と呼ばれることもある。標本値から求めた回帰方程式（モデル）のあてはまりの良さの尺度として利用される^[2]。

定義

一般的な定義

決定係数 ${\displaystyle R^{2}}$ のはっきりと合意された定義は無い。タロル・クヴォルセス^{[注釈 1]}によれば、8種類の定義があり注意が必要だとしている^[3]。 しかし、以下の式を定義とするのが一般的なようである。標本値（実測値、観測値）を ${\displaystyle y=\left\{y_{1},\ y_{2},\ \cdots ,\ y_{N}\right\}}$、回帰方程式による推定値を ${\displaystyle f=\left\{f_{1},\ f_{2},\ \cdots ,\ f_{N}\right\}}$ とする。

${\displaystyle R^{2}\equiv 1-{\frac {\displaystyle \sum _{i=1}^{N}\left(y_{i}-f_{i}\right)^{2}}{\displaystyle \sum _{j=1}^{N}\left(y_{j}-{\overline {y}}\right)^{2}}}}$

すなわち、残差の二乗和を標本値の平均値 ${\displaystyle {\overline {y}}}$ からの偏差の二乗和で割ったものを1から引いた値であり、1に近い程相対的な残差が少ないことを表す。最小二乗法はこの定義を最大にするようなパラメータの選択法である。値域は1以下の実数。よく見かける値は0～1のあたり。

回帰方程式が最小二乗法による単回帰の回帰直線の場合は、決定係数はピアソンの積率相関係数の2乗になり、0以上1以下の実数になる。

なお、一般的な線形回帰の場合、以下の各式が等価であり、それらを定義式とすることもあるようである。

推定値の分散を標本値の分散で割ったもの

${\displaystyle R^{2}\equiv {\frac {\displaystyle \sum _{i=1}^{N}\left(f_{i}-{\overline {f}}\right)^{2}}{\displaystyle \sum _{j=1}^{N}\left(y_{j}-{\overline {y}}\right)^{2}}}}$

標本値と推定値との相関係数の2乗

${\displaystyle R^{2}\equiv {\frac {\left\{\displaystyle \sum _{i=1}^{N}\left(f_{i}-{\overline {f}}\right)\left(y_{i}-{\overline {y}}\right)\right\}^{2}}{\left\{\displaystyle \sum _{j=1}^{N}\left(f_{j}-{\overline {f}}\right)^{2}\right\}\left\{\displaystyle \sum _{k=1}^{N}\left(y_{k}-{\overline {y}}\right)^{2}\right\}}}}$

線形回帰以外の場合、原点を通ることを要求した場合、最小二乗法以外で回帰した場合はこれらの式は上の定義と等価になるとは限らないため、注意が必要である。

クヴォルセスによる8つの定義

クヴォルセスによる8つの定義は以下の通りである。

名前	定義
${\displaystyle R_{1}^{2}}$	${\displaystyle 1-{\frac {\displaystyle \sum _{i=1}^{N}\left(y_{i}-f_{i}\right)^{2}}{\displaystyle \sum _{j=1}^{N}\left(y_{j}-{\overline {y}}\right)^{2}}}}$
${\displaystyle R_{2}^{2}}$	${\displaystyle {\frac {\displaystyle \sum _{i=1}^{N}\left(f_{i}-{\overline {y}}\right)^{2}}{\displaystyle \sum _{j=1}^{N}\left(y_{j}-{\overline {y}}\right)^{2}}}}$
${\displaystyle R_{3}^{2}}$	${\displaystyle {\frac {\displaystyle \sum _{i=1}^{N}\left(f_{i}-{\overline {f}}\right)^{2}}{\displaystyle \sum _{j=1}^{N}\left(y_{j}-{\overline {y}}\right)^{2}}}}$
${\displaystyle R_{4}^{2}}$	${\displaystyle 1-{\frac {\displaystyle \sum _{i=1}^{N}\left(e_{i}-{\overline {e}}\right)^{2}}{\displaystyle \sum _{j=1}^{N}\left(y_{j}-{\overline {y}}\right)}},\ \ \ \ e_{i}\equiv y_{i}-f_{i}}$
${\displaystyle R_{5}^{2}}$	独立変数と従属変数の間の重相関係数の二乗[注釈 2]
${\displaystyle R_{6}^{2}}$	${\displaystyle y}$ と ${\displaystyle f}$ の間の相関係数の二乗[注釈 3]
${\displaystyle R_{7}^{2}}$	${\displaystyle 1-{\frac {\displaystyle \sum _{i=1}^{N}\left(y_{i}-f_{i}\right)^{2}}{\displaystyle \sum _{j=1}^{N}y_{j}^{2}}}}$
${\displaystyle R_{8}^{2}}$	${\displaystyle {\frac {\displaystyle \sum _{i=1}^{N}f_{i}^{2}}{\displaystyle \sum _{j=1}^{N}y_{j}^{2}}}}$

自由度調整済みの決定係数

上の決定係数の定義は説明変数を多くとるほど、良くなる傾向を持ってしまう。そのため、説明変数の数を ${\displaystyle p}$、標本の大きさ(標本数ではない)を ${\displaystyle N}$ として、以下の自由度調整を行うことがあり、自由度調整済みの決定係数^{[注釈 4]}と呼ぶ。

${\displaystyle R'^{2}\equiv 1-{\frac {\displaystyle {\frac {1}{N-p-1}}\sum _{i=1}^{N}\left(y_{i}-f_{i}\right)^{2}}{\displaystyle {\frac {1}{N-1}}\sum _{j=1}^{N}\left(y_{j}-{\overline {y}}\right)^{2}}}}$

なお、「説明変数の数」としているが、線形回帰でない場合、たとえば、同じ説明変数に対し2乗の項や3乗の項も利用する場合は、その分の調整も必要になる。定数項をのぞいたパラメータの数といっても良い。