決定係数(R²)とは？回帰直線の当てはまりの評価と計算方法を基礎から解説

当連載コラムの第1回「多変量解析の基本『回帰分析』を初心者向けに解説！」では、回帰直線がデータをどれだけうまく説明できるか評価するために「R²（決定係数、coefficient of determination）」を見れば良い、という話をしましたが、決定係数が何を意味しているのか、どのように計算されるのかは説明していませんでした。

今回のコラムでは、決定係数が何を意味するのか、またどのように計算されるのかを説明します。

１．決定係数の計算に必要な残差平方和、全平方和、回帰平方和

決定係数を計算するためには、(1)残差平方和(residual sum of squares)と全平方和(total sum of squares)の組み合わせ、あるいは (2)全平方和と回帰平方和(regression sum of squares)の組み合わせ、のいずれかを使います。まず残差平方和、全平方和、回帰平方和の定義を説明します。

【図1　データ点、回帰直線上の予測点、全データのy座標平均値を表す直線の関係】

• 矢印の無い実線： 回帰直線
• 矢印の付いた実線： データ点と回帰直線上の予測点との差（残差）
• 破線： 全データy_iの平均値を表す直線(y=)

さらに1番目のデータに注目して拡大したのが図2になります。

【図2　データ、回帰直線、全データの平均値の関係】

• A： データ点
• B： 回帰直線で予測される点
• C： 全データy_iの平均値を表す点

残差平方和は、当連載の第7回「回帰直線の求め方をやさしく解説」の中でSS_residualとして既に出てきています。図2で説明すると、AB間の距離の2乗をすべてのデータについて足し合わせた値になります。

　（式1）

次に全平方和は、図2で説明するとAC間の距離の2乗をすべてのデータについて足し合わせた値になります。

　（式2）

3つ目の回帰平方和は、図2で説明するとBC間の距離の2乗をすべてのデータについて足し合わせた値になります。

　（式3）

２．決定係数R²の定義式とその意味

ここまでで3つの平方和の定義がわかりましたので、これらのうちの2つを使った決定係数R₂の定義式は以下のようになります。

　（式4）

あるいは

　（式5）

(式4)と(式5)は見かけの違う定義式ですが、両者は同じ値になります。

例えば、SS_residual = 1.0,SS_total = 5.0,SS_regression = 4.0 だとすると決定係数R²はいずれも0.8となります。
この数値が意味しているのは、yの平均値を基準とした全変動(SS_total)のうちの80%は、yの平均値を基準とした回帰直線の変動分(SS_regression)で説明できる、ということです。別の言い方をすれば、yの全変動の20%は回帰直線の変動だけでは説明できないということになります。
もし残差（誤差）の全く無い理想的なケースではすべてのデータが回帰直線上に乗りますから、すべてのデータのyの値は回帰直線だけから求められることになり、R²は1.0となります。

３．3つの平方和の関係

決定係数R²は、(式4)を使っても(式5)を使っても同じになると説明しましたが、なぜそうなるのか不思議ではありませんか？
実は、切片を含む最小二乗法による回帰分析では、以下に示す回帰の恒等式(regression identity)が成り立ちます。回帰解析において重要な公式です。

SS_total = SS_regression + SS_residual　（式6）

あるいは

　（式7）

多くの参考書には(式4)と(式5)が書かれていますが、なぜ同じ値になるのかはあまり記載されていません。このコラムでは同じになることを以下に示します。式変形が少し煩雑になりますので、それが苦手な人はスキップしていただいて結構です。第7回コラムで使った関係式も使います。

(式2)を次のように変形します。

　（式8）

(式8)の最右辺の各項をよく見ると、第1項は(式1)のSS_residualと同じであり、第2項は(式3)のと同じです。
したがって、(式8)の第3項がゼロであることを証明できればよいわけです。

まず、(式8)の第3項だけ取り出し、回帰直線の式

　（式9）

を代入して次のように分解して変形します。
は回帰直線上のyの値を意味しています。

　（式10）

ここで、第7回コラムの(式13)は以下の式でした。

　（式11）

(式11)の左辺は(式10)の第1項のシグマ記号の中の部分の符号を反転しただけであるため、(式10)の第1項はゼロになります。

次に、第7回コラムの(式14)は以下の式でした。

　（式12）

すなわち、

　（式13）

(式13)の各項にnを掛け、その後さらに-を掛けた式は(式10)の第3項と同じであるため、第3項もゼロになります。

さらに、第7回コラムの(式12)は以下の式でした。

　（式14）

変形すると、

　（式15）

(式15)は(式10)の第2項がゼロであることを示しています。

これで、(式10)の最右辺の3項がすべてゼロとなりました。
したがって、(式8)の最右辺の第3項がゼロとなることが示され、(式7)と(式6)が証明できました。

４．まとめ

今回のコラムでR²（決定係数）は何を意味しているのか、その計算方法を中心に説明してきました。
例えば、決定係数を100倍してパーセント単位に変換した数値が80％だった場合には、平均値を基準としたyの全変動の80%が平均値を基準とした回帰直線の変動分だけで説明できる、ということです。残りの20％は今回の回帰直線では説明できない変動であり、考慮していない別の説明変数の影響や誤差、回帰モデルの不適合などが原因として考えられます。
また、決定係数を計算する上で3つの平方和(残差平方和、全平方和、回帰平方和)を使うことを説明しました。

最後に、3つの平方和をつなぐ恒等式を示しました。
式の導出を覚える必要はありませんが、R²（決定係数）が何を意味しているかは覚えておきましょう。

（アイアール技術者教育研究所　A・T)