重相関係数と決定係数について

意外と手軽なサイトはどこを見ても書いてなくて困ったため，ここにまとめておくことにした．

定義 (multiple correlation coefficiet)．との間の重相関係数とは，

をによって線型重回帰模型を考えた際の最小自乗推定量とデータの間の相関係数と定義することもある．

命題 (共分散による表示)．

命題 (重相関係数と決定係数の関係)．のに対する線型重回帰を考えたとき，はで考えると，

この値は決定係数 (coefficient of determination) といい，よくで表される（し， とだけ呼ばれることのほうも多い）．

Govind S. Mudholkar (2006) Multiple Correlation Coefficient. In Encyclopedia of Statistical Sciences. (eds S. Kotz, C.B. Read, N. Balakrishnan, B. Vidakovic and N.L. Johnson).

この文献が本当に手に入らない……．歴史について書かれた部分を少し引用しよう．

Although ideas related to multiple correlation appear in Galton’s discussion of anthropometric data, and in even earlier works of Bravais and Edgeworth, it was George Udny Yule who fitted a plane to a swarm of points using the method of least squares and thus launched the techniques of multiple regression and multiple correlation. Actually K. Pearson (Karl Pearson (1920) Notes on the History of Correlation), Yule’s professor and mentor, visualized a very basic role for the multiple correlation coefficient when he advocated maximizing it, instead of the least squares, as the general principle for fitting a plane of regression.

つまり，線型重回帰模型を本質的な形で初めて考えたのが Yule であり，Pearson (1920) では決定係数を高めることがOLS推定に拘るより大事ではないか？と論じていたのだ．また

(2008). Correlation Coefficient. In: The Concise Encyclopedia of Statistics. Springer, New York, NY. https://doi.org/10.1007/978-0-387-32833-1_83

では，「相関係数」という言葉が出来るまでの経緯に触れており，

Weldon thought the correlation coefficient should be called the “Galton function.” However, Edgeworth replaced Galton’s term “corelation index” and Weldon’s term “Galton function” by the term “correlation coefficient.”

相関 (correlation) の語はGaltonが造語したが，最後まで本人は co-relation と書いていた．相関係数のことは co-relation index としており，最後はEdgeworthが correlation coefficient で統一したようだ．