相関分析は２つの変量の関連を分析する方法である。
回帰分析は２つの変量の因果の分析であり、因果の方向が存在する。
ここでは、計数値（カテゴリー）の相関分析である四分表の分析について考える。
（参考資料）
［計量値（連続変量）の場合］
・パラメトリック（２次元正規分布に従う場合）
ピアソンの積率相関係数
・ノンパラメトリック（２次元正規分布に従わない場合）
順位相関係数
データの順位で求めた相関係数
連続変量については別のページで説明する。
［計数値（カテゴリー変量）の場合］
最も簡単な四分表について、関連の度合いを評価する方法を考える。
| y=1 | y=0 | 計 | |
| x=1 | a | b | a+b |
| x=0 | c | d | c+d |
| 計 | a+c | b+d | N |
（ N=a+b+c+d とする）
この表には、関連性があるだろうか、それとも独立だろうか？
よく使われる指標として、ファイ係数、カイ二乗値がある。
［ファイ係数］
順位という計量値による相関係数（順位相関係数）
四分表の連関の度合いを表すには、カテゴリを0と1に置き換えて求めた四分点相関係数を用いる。
まず、四分表を次のようなデータに置き換える。
| X | Y | 度数 | \(X_i-\overline X\) | \(Y_i-\overline Y\) | \((X_i-\overline X)(Y_i-\overline Y)\) |
| 1 | 1 | a | \(1-\dfrac{a+b}{N}\) | \(1-\dfrac{a+c}{N}\) | \(\left(\dfrac{c+d}{N}\right)\left(\dfrac{b+d}{N}\right)\) |
| 1 | 0 | b | \(1-\dfrac{a+b}{N}\) | \(-\dfrac{a+c}{N}\) | \(-\left(\dfrac{c+d}{N}\right)\left(\dfrac{a+c}{N}\right)\) |
| 0 | 1 | c | \(-\dfrac{a+b}{N}\) | \(1-\dfrac{a+c}{N}\) | \(-\left(\dfrac{a+b}{N}\right)\left(\dfrac{b+d}{N}\right)\) |
| 0 | 0 | d | \(-\dfrac{a+b}{N}\) | \(-\dfrac{a+c}{N}\) | \(\left(\dfrac{a+b}{N}\right)\left(\dfrac{a+c}{N}\right)\) |
このとき、 \(\left(1-\dfrac{a+b}{N}\right)\left(1-\dfrac{a+c}{N}\right)=\left(\dfrac{c+d}{N}\right)\left(\dfrac{b+d}{N}\right)\) などにより式を簡単にできる。
\(\begin{split}N s_x^2&=(a+b)\left(1-\dfrac{a+b}{N}\right)^2+(c+d)\left(\dfrac{a+b}{N}\right)^2
=(a+b)\left(\dfrac{c+d}{N}\right)^2+(c+d)\left(\dfrac{a+b}{N}\right)^2\\
&=(a+b)(c+d)\left(\dfrac{a+b+c+d}{N^2}\right)=\dfrac{(a+b)(c+d)}{N}
\end{split}\)
よって、\(s_x^2=\dfrac{(a+b)(c+d)}{N^2}
\) 同様に、 \(s_y^2=\dfrac{(a+c)(b+d)}{N^2}
\)
\(\begin{split}
Ns_{xy}&=a\left(\dfrac{c+d}{N}\right)\left(\dfrac{b+d}{N}\right)-b\left(\dfrac{c+d}{N}\right)\left(\dfrac{a+c}{N}\right)-c\left(\dfrac{a+b}{N}\right)\left(\dfrac{b+d}{N}\right)+d\left(\dfrac{a+b}{N}\right)\left(\dfrac{a+c}{N}\right)\\
&=\left(\dfrac{c+d}{N^2}\right)\left[(ab+ad)-(ab+bc)\right]
+\left(\dfrac{a+b}{N^2}\right)\left[-(bc+cd)+(ad+cd)\right]\\
&=(ad-bc)\left(\dfrac{a+b+c+d}{N^2}\right)=\dfrac{ad-bc}{N}
\end{split}\)
よって、 \(s_{xy}=\dfrac{ad-bc}{N^2}
\) \(\therefore r_{xy}=\dfrac{ad-bc}{\sqrt{(a+b)(c+d)}\sqrt{(a+c)(b+d)}}\)
四分点相関係数は、 \(r_{xy}=\dfrac{ad-bc}{\sqrt{(a+b)(c+d)(a+c)(b+d)}}\) であり、ファイ係数ともいう。
ファイ係数は、ノンパラメトリックな手法における相関係数と言える。
［カイ二乗値］
適合度検定は、各グループに属するデータ数の比率が理論通りかどうか検定するもので、
適合度検定量は、 \(T=\displaystyle \sum_{i=1}^{k}\dfrac{(X_i-Np_i)^2}{Np_i}\)
しかし、 \(T\) がカイ二乗分布に直接従うわけではない。そもそもカイ二乗統計量は独立な標準正規分布の平方和である。適合度検定量とカイ二乗統計量をつなぐのがピアソンの定理である。
［ピアソンの定理］
\(N\rightarrow \infty\) のとき、 \(T=\displaystyle \sum_{i=1}^{k}\dfrac{(X_i-Np_i)^2}{Np_i}\rightarrow \chi^2(k-1)\) （分布収束）
［証明］ 四分表の場合
統計科学研究所 様
https://statistics.co.jp/reference/StatisticalDataScienceA/Chapter7nonpassword.pdf
期待度数は次のようになる。
| y=1 | y=0 | 計 | |
| x=1 | \(\dfrac{(a+b)(a+c)}{N}\) | \(\dfrac{(a+b)(b+d)}{N}\) | a+b |
| x=0 | \(\dfrac{(c+d)(a+c)}{N}\) | \(\dfrac{(c+d)(b+d)}{N}\) | c+d |
| 計 | a+c | b+d | N |
\(a-\dfrac{(a+b)(a+c)}{N}=\dfrac{a(a+b+c+d)-(a+b)(a+c)}{N}=\dfrac{ad-bc}{N}\) などの変形により、
\(\left. \left[a-\dfrac{(a+b)(a+c)}{N}\right]^2 \right/ \dfrac{(a+b)(a+c)}{N}=\left[\dfrac{ad-bc}{N}\right]^2
\dfrac{N}{(a+b)(a+c)}
=\dfrac{(ad-bc)^2}{N(a+b)(a+c)}
\)
\(\left. \left[b-\dfrac{(a+b)(b+d)}{N}\right]^2 \right/ \dfrac{(a+b)(b+d)}{N}=\left[\dfrac{ad-bc}{N}\right]^2
\dfrac{N}{(a+b)(b+d)}
=\dfrac{(ad-bc)^2}{N(a+b)(b+d)}
\)
\(\left. \left[c-\dfrac{(c+d)(a+c)}{N}\right]^2 \right/ \dfrac{(c+d)(a+c)}{N}=\left[\dfrac{ad-bc}{N}\right]^2
\dfrac{N}{(c+d)(a+c)}
=\dfrac{(ad-bc)^2}{N(c+d)(a+c)}
\)
\(\left. \left[d-\dfrac{(c+d)(b+d)}{N}\right]^2 \right/ \dfrac{(c+d)(b+d)}{N}=\left[\dfrac{ad-bc}{N}\right]^2
\dfrac{N}{(c+d)(b+d)}
=\dfrac{(ad-bc)^2}{N(c+d)(b+d)}
\)
よって、
\(\begin{split}
T&=\dfrac{(ad-bc)^2}{N}\cdot
\dfrac{(c+d)(b+d)+(c+d)(a+c)+(a+b)(b+d)(a+b)(a+d)}{(a+b)(c+d)(a+c)(b+d)}\\
&=\dfrac{(ad-bc)^2}{N}\cdot
\dfrac{(c+d)(a+b+c+d)+(a+b)(a+b+c+d)}{(a+b)(c+d)(a+c)(b+d)}\\
&=\dfrac{(ad-bc)^2}{N}\cdot
\dfrac{(a+b+c+d)(a+b+c+d)}{(a+b)(c+d)(a+c)(b+d)}\\
&=\dfrac{(ad-bc)^2}{N}\cdot
\dfrac{N^2}{(a+b)(c+d)(a+c)(b+d)}=\dfrac{N(ad-bc)^2}{(a+b)(c+d)(a+c)(b+d)}
\end{split}\)
適合度検定量は、 \(T=\dfrac{(ad-bc)^2N}{(a+b)(c+d)(a+c)(b+d)}
\) となる。
あとは、 \(T\rightarrow \chi^2(1)\) を示せばよい。
中心極限定理によれば、二項分布の比率は正規分布に分布収束する。
目的は、四分表に関連性があるかどうか調べることであった。
即ち、
・x=1 のもとで、y=1 が起こることと
・x=0 のもとで、y=1 が起こることの
あいだに差があるかどうか調べることが目的である。
帰無仮説（差がない）のもとでは、 \(p=\dfrac{a+c}{N}\) と考えられ、
・x=1 のもとで、y=1 が起こる回数の相対度数は \(N\left(p,\dfrac{p(1-p)}{a+b}\right)\) に従い
・x=0 のもとで、y=1 が起こる回数の相対度数は \(N\left(p,\dfrac{p(1-p)}{c+d}\right)\) に従うので、
x=1のもとでの相対度数と x=0のもとでの相対度数の差 \(w\) は \(N\left(0,\dfrac{p(1-p)}{a+b}+\dfrac{p(1-p)}{c+d}\right)\) に従う。
\(a+b+c+d=N\) であるから、
\(\dfrac{p(1-p)}{a+b}+\dfrac{p(1-p)}{c+d}=\dfrac{(a+c)}{N}\dfrac{(b+d)}{N}\dfrac{N}{(a+b)(c+d)} =\dfrac{1}{N}\dfrac{(a+c)(b+d)}{(a+b)(c+d)}\)
よって、\(w\sim N\left(0,\dfrac{1}{N}\dfrac{(a+c)(b+d)}{(a+b)(c+d)}\right)\)
今、x=1 のもとで、y=1 が起こる回数の相対度数は \(\dfrac{a}{a+b}\)
x=0 のもとで、y=1 が起こる回数の相対度数は \(\dfrac{c}{c+d}\)
相対度数の実現値の差は \(w=\dfrac{a}{a+b}-\dfrac{c}{c+d}=\dfrac{a(c+d)-c(a+b)}{(a+b)(c+d)}=\dfrac{ad-bc}{(a+b)(c+d)}\)
標準化して平方すると、
\(z^2=\dfrac{N(ad-bc)^2}{(a+b)^2(c+d)^2}\dfrac{(a+b)(c+d)}{(a+c)(b+d)}=\dfrac{(ad-bc)^2N}{(a+b)(c+d)(a+c)(b+d)}\)
これは適合度検定量と一致している。
\(z^2\sim \chi^2(1)\) であるから、適合度検定量を自由度１のカイ二乗分布で調べればよいことになる。
［参考］
２群の比率の同等性の近似検定については、当サイト「分割表の分析」を参照。
そのほか整理しておくべきことには、次のものがある。
・クラメールのC
・ユールのQ係数
これらについては、別途解説する。