回帰直線の求め方をやさしく解説｜最小二乗法による切片・傾きの導出手順

Pocket

回帰分析における回帰直線の具体的な導出手順を初心者向けにわかりやすく解説！

当連載コラム「これならわかる多変量解析入門」では、第1回（多変量解析の基本「回帰分析」を初心者向けに解説）で回帰分析の概要について、また第3回（多変量解析に必要な統計基礎を解説）でデータのばらつきについて説明しました。

今回は、ばらつきのあるデータにつきどのようにして回帰直線の係数（切片と傾き）が計算されるのかについて、出来るだけわかりやすく解説します。

１．回帰直線の切片と傾きを計算するために必要な残差平方和

5組のデータ(x_i,y_i)(i=1～5)を例にとり、回帰直線 ŷ = a + bx の切片(a)と傾き(b)を求めます。

ŷ は「ワイ・ハット」と呼ばれ、yの推定値を示します。実測値 yᵢ とその推定値 ŷᵢ は一般には異なり、その差を「残差(residual)」と呼びます。個々の残差は eᵢ = yᵢ − ŷᵢ と書くことができます。

また個々のデータを yᵢ = a + bxᵢ + eᵢ と書くこともできます。図1はデータ、残差、回帰直線の関係を視覚化した図になります。

データ(xᵢ, yᵢ)、残差eᵢ = yᵢ − ŷᵢおよび回帰直線ŷ = a + bxの関係
【図1　データ (xᵢ, yᵢ)、残差 eᵢ = yᵢ − ŷᵢ、および回帰直線 ŷ = a + bx の関係】

回帰直線の切片と傾きは、残差平方和(residual sum of squares)が最小となるように決めます。この方法は、皆さんもご存じの最小二乗法(method of least squares)の名前で知られています。

すべてのデータの残差をできるだけ小さくしたいのですが、残差eᵢは正の値も負の値も取ります。そのため残差の和をそのまま最小化すると正の値と負の値が相殺されてしまい変動の指標として適切でないケースが発生します。そのため、すべての残差を平方して0以上の値とし、その和を最小化するようにします。その和は「残差平方和」と呼ばれます。第5回で取り上げた偏差平方和と同様に、「差を二乗して足し合わせる」という考え方を用いますが、偏差平方和が平均との差を用いるのに対し、残差平方和では回帰直線による推定値との差を用います。

残差平方和 SS_residual は以下の式で表されます。

　（式1）

残差がすべてゼロの場合のみ残差平方和はゼロとなり、すべての観測データが回帰直線上にあることを示します。

２．残差平方和を最小化する回帰直線の切片と傾きの式

結果を先に示すと、回帰直線 ŷ = a + bx の傾きと切片は以下の式から求めることができます。
（※ここでは、xの値がすべて同じではなく、xにばらつきがある場合を考えます。）

　（式2）

a = ȳ − bx̄　（式3）

ここで、x̄とȳはそれぞれxᵢとyᵢの平均値です。

　（式4）
　（式5）

３．残差平方和を最小化する回帰直線の切片と傾きの導出手順

多くの参考書は(式2)と(式3)を載せていますが、どのような手順で(式2)と(式3)が導出できるのかの手順はあまり記載されていません。このコラムでは具体的な導出手順を説明します。

ある評価値を最大化・最小化することは、多変量解析の分野でとても重要な技術です。式変形が少し煩雑になりますので、苦手な方は導出の考え方だけでも理解していただければ有用だと思います。

まず、式変形の最後に利用する関係式を準備しておきます。
第5回のコラム「共分散と相関係数の考え方」で偏差積和S_xyと共分散V_xyを学習しました。
共分散V_xyは次の式のように変形できます。

　（式6）
　（式7）

さてここから残差平方和 SS_residual を変形していきます。(式1)の右辺の2乗を展開します。

残差平方和SSresidual 　（式8）

(式8)の中に出てくるすべてのbを定数とみなすと、SS_residual はaに関する2次式（a²のある項、aのある項とそれ以外の項の和）とみなすことができ、2次の項（式8の2番目の項）の係数nは正の値です。

今度は(式8)の中に出てくるすべてのaを定数とみなすと、SS_residual はbに関する2次式（b²のある項、bのある項とそれ以外の項の和）で、2次の項（式8の3番目の項）の係数も正の値です。

高校の数学で、xの2次関数 y = dx² + ex + f のグラフの形を勉強したのを覚えているでしょうか？
もしdが正の値であれば2次関数のグラフは図2のように「下に凸」の形になり、×印の点で最小値を取ります。

aとbの値は独立して自由に設定することができますので、aを横軸とみなした2次関数が最小値を取ると同時に、bを横軸とみなした2次関数も最小値を取るように、aとbの組を計算することができればその組が SS_residual を最小にする切片と傾きの値となります。

さて図2の2次関数の最小値を求めるにはどうしたら良いでしょうか？
2次関数の最小値を取る点では接線の傾きが必ずゼロ（接線が横軸と平行）になります。

【図2　下に凸な2次関数】
×印：最小値の位置、破線：最小値の位置における接線

aを横軸とみなした2次関数の接線の傾きがゼロとなる条件は、(式8)をaで偏微分した値がゼロになることを意味します。同様に、bを横軸とみなした場合は、(式8)をbで偏微分した値がゼロになることを意味します。
したがって、残差平方和が最小となるaとbは、次の2つの条件を同時に満たします。
式で書くとそれぞれ以下のようになります。

　（式9）