判別分析は教師あり学習であり、混合比率が である２つの部分母集団の混合分布を分析対象としている。判別規則には次の２つの方法がある。
［前提条件］
母集団が２つの母集団A,Bの混合からなり、混合比が \(\pi_A,\pi_B\) 、確率密度関数が \(f_A(x),f_B(x)\) とすると
母集団の確率密度関数は、 \(f(x)=\pi_Af_A(x)+\pi_Bf_B(x)\)
今、対象Xの帰属が未知であり、X の属性値 \(x\) に基づいてXの帰属を決定するものとする。
A,Bと判別する \(x\) の範囲をそれぞれ \(R_A,R_B\) とし、Rの境界を定め、 \(R=R_A\cup R_B\) と分割する。
この分割で表される判別規則は、どのようなものだろうか。
実際に、分割 \(R_A,R_B\) を求めてみよう。
ベイズ事後確率最大化
\(X\) の属性値が \(x\) の近傍であるとき、 \(X\) が部分母集団 Aに由来するベイズ事後確率は、
\(\begin{split}
P(A|x)&=\dfrac{P(x|A)P(A)}{P(x)}=\dfrac{f_A(x)\Delta x\pi_A}{P(x|A)P(A)+P(x|B)P(B)}\\
&=\dfrac{f_A(x)\Delta x\pi_A}{f_A(x)\Delta x\pi_A+f_B(x)\Delta x\pi_B}=\dfrac{\pi_Af_A(x)}{\pi_Af_A(x)+\pi_Bf_B(x)}
\end{split}
\)
\(X\) が部分母集団 Aに由来と判定する条件は、事後確率を比較すると、
\(P(A|x)>P(B|x)\Leftrightarrow
\pi_Af_A(x)>\pi_Bf_B(x)
\) \(\therefore R_A=\{x|\pi_Af_A(x)>\pi_Bf_B(x)\}\)
A,B が正規母集団で、 \(\pi_A=\pi_B=\dfrac{1}{2}\) かつ分散共分散行列が等しければ、
\(P(A|x)>P(B|x)
\Leftrightarrow
\exp\left({-\dfrac{1}{2}}D_A^2\right)>\exp\left({-\dfrac{1}{2}}D_B^2\right)
\Leftrightarrow
D_A^2 < D_B^2
\)
\(\therefore R_A=\{x|D_A^2 < D_B^2\}\) （\(D_A,D_B\) はマハラノビスの距離 ）
境界は、A,Bの正規分布の交点の射影である。実際、
\(D_B^2-D_A^2=(x-\mu_B)'\Sigma^{-1}(x-\mu_B)-(x-\mu_A)'\Sigma^{-1}(x-\mu_A)>0\) より、
\(\begin{split}
D_B^2-D_A^2&=-2\cdot x'\Sigma^{-1}(\mu_B-\mu_A)+(\mu_B'+\mu_A')\Sigma^{-1}(\mu_B-\mu_A)\\
&=-2\left(x-\dfrac{\mu_B+\mu_A}{2}\right)'\Sigma^{-1}(\mu_B-\mu_A)
\end{split}
\)
\(D_B^2-D_A^2=0\) とすると、
\(\left(x-\dfrac{\mu_B+\mu_A}{2}\right)'\Sigma^{-1}(\mu_B-\mu_A)=0\)
グループA,Bの平均の中点を通り、 \(\Sigma^{-1}(\mu_B-\mu_A)\) を法線ベクトルとする直線になる。
（このとき、 \(P_e=T(R_A,R_B)\) は最小となる）
誤判別確率最小判別
| A | B | |
| \(R_A\) | 正判別 | 誤判別 |
| \(R_B\) | 誤判別 | 正判別 |
誤判別が起こるのは、表の右上、左下の場合である。即ち、
Aから得られたのに \(R_B\) の値をとる確率 \(\displaystyle \pi_A\int_{R_B}f_A(x)dx\) （右領域の面積）
Bから得られたのに \(R_A\) の値をとる確率 \(\displaystyle \pi_B\int_{R_A}f_B(x)dx\) （左領域の面積）
誤判別確率は、
\(\begin{split}
P_e=T(R_A,R_B)&=\pi_A\int_{R_B}f_A(x)dx+\pi_B\int_{R_A}f_B(x)dx\\
&=\pi_A\left[\int_{R}f_A(x)dx-\int_{R_A}f_A(x)dx\right]+\pi_B\int_{R_A}f_B(x)dx\\
&=\pi_A+\int_{R_A}\left[\pi_Bf_B(x)-\pi_Af_A(x)\right]dx
\end{split}
\)
本問では、 \(\pi_A=\pi_B=\dfrac{1}{2}\) であるので、\(T(R_A,R_B)=\dfrac{1}{2}+\dfrac{1}{2}\int_{R_A}\left[f_B(x)-f_A(x)\right]dx
\)