2018 人文 （統計検定1級応用 過去問の解説です）
- 分割表（オッズ、ファイ係数、カイ２乗統計量）
- 判別分析
- 共分散構造分析
- クラスター分析
- 混合分布
2018人文① 分割表（オッズ、ファイ係数、カイ２乗統計量)
[1] n個の球を取り出すとき、赤玉がx 個である確率は \(f_n(x)=\dfrac{{}_{6} C_x\times {}_{4} C_{n-x}}{{}_{10} C_n}\)
\(0\leq x\leq6\) 、\(n-4\leq x\leq n\) （\(\because 0\leq n-x\leq 4\) ） よって、\(\max(0,n-4)\leq x\leq \min(n,6)\)
\(f_5(1)=0.0238,f_5(2)=0.2381\) を求めることは、フィッシャー正確検定の準備となる。
[2] 三重大学 奥村春彦 様 - 「２×２の表、オッズ比、相対危険度」
https://oku.edu.mie-u.ac.jp/~okumura/stat/2by2.html
| X | 肺ガンあり | 肺ガンなし | オッズ | リスク |
| 喫煙あり | \(a\) | \(b\) | \(\dfrac{a}{b}\) | \(\dfrac{a}{a+b}\) |
| 喫煙なし | \(c\) | \(d\) | \(\dfrac{c}{d}\) | \(\dfrac{c}{c+d}\) |
オッズ比 \(\dfrac{a/b}{c/d}\) 相対リスク \(\dfrac{a/(a+b)}{c/(c+d)}\)
オッズ比が1とは、対象とする条件あるいは事象の起こりやすさが両群で同じということであり、
1より大きい（小さい）とは、条件あるいは事象が第1群（第2群）でより起こりやすいということである。
AVILEN-AI-Trend 様 - 「カイ２乗独立検定」
https://ai-trend.jp/basic-study/hypothesis-testing/chi2-test/
\(r\times c\) 分割表におけるカイ二乗値は、近似的に
\(\chi^2 = \sum^{r}_{i=1}\sum^{c}_{j=1}\frac{(n_{ij}-E_{ij})^2}{E_{ij}}\sim\chi^2((r-1)(c-1))\) で与えられる。（分布収束）
(株)アイスタット 様 -「 リスク比とオッズ比 」
https://istat.co.jp/sk_commentary/risk_odds_02
２×２の表において、オッズ比は、 \(OR=\dfrac{a/b}{c/d}\) （偏りがなければ１）
カイ二乗値 \(\chi^2=\dfrac{(ad-bc)^2N}{(a+b)(c+d)(a+c)(b+d)}\) （偏りがなければ０）
ファイ係数 \(\phi=\dfrac{(ad-bc)}{\sqrt{(a+b)(c+d)(a+c)(b+d)}}\) （名義尺度の相関係数）
偏りがなければ、ファイ係数は０に近い。
オッズ比とファイ係数はNに依存しない。
次のサイトを参考にさせていただいた。
北海道対がん協会 和田 恒之 様
http://www.saturingi.gr.jp/seminar/statistical/vol5.pdf
相関と回帰の違い、カテゴリー変数の相関指標について分かりやすく説明されている。
杉本典雄先生 「計数値の相関と回帰」
http://www.snap-tck.com/room04/c01/stat/stat05/stat0503.html
四分表は順位が2つだけの順序尺度のデータと考え、スピアマンの順位相関係数を求める。
この順位相関係数を四分点相関係数、心理学分野ではファイ係数とも言う。
(1) オッズ比は \(\dfrac{1}{6}\) で１から離れているから、群A、群Bには違いがあると考えられる。
ファイ係数は -0.4 で、負の相関があると考えられる。
つまり、偏りがあると考えられる。
オッズ比とファイ係数はNに依存しないので、別の方法でも検証することが必要である。
(2) 偏りがないという帰無仮説のもとでは、A群もB群も左右均等に分かれているはずである。
(3) イエーツの補正は、離散型分布を連続型分布に近似させて検定を行うために用いられる。
統計Web 様 https://bellcurve.jp/statistics/glossary/399.html 参照
カイ二乗検定では「偏りがない」という帰無仮説は棄却できない。
つまり、偏りがないと判断せざるを得ず、(1)とは判断が異なることになる。
(4) 「偏りがない」という帰無仮説のもとで、実際の観測結果の確率は \(f_5(2)\) である。
もっと偏る結果が出る確率は \(f_5(1)\) であり、実際の観測結果以上に偏る確率は
\(f_5(2)+f_5(1)=0.2619>0.1\)
よって、正確検定でも有意とは言えず、帰無仮説は棄却されない。
［参考］
関西大学 浅野晃 様 「カイ二乗分布と適合度検定」
http://racco.mikeneko.jp/Kougi/2011a/STAT/2011astat12.pdf
適合度検定は、各グループに属するデータ数の比率が理論通りかどうか検定するもので、
検定量 \(T=\sum_{i=1}^{k}\dfrac{(X_i-np_i)^2}{np_i}\)
が、自由度(k-1)のカイ二乗分布に近似的に従うことを根拠とする。詳しくは、ピアソンの定理
\(T=\displaystyle \sum_{i=1}^{k}\dfrac{(X_i-np_i)^2}{np_i}\rightarrow \chi^2(k-1)\) （分布収束）による。
一般の証明は大阪大学 鈴木穣先生のサイトにあるが線形代数の知識が必要である。
浅野晃先生のサイトにk=2の場合、即ち、１×２表の場合の説明があるので紹介する。
２つのグループの実現値を \(X_1,X_2\) 、期待度数を \(np_1,np_2\) とする。\((X_1+X_2=n,p_1+p_2=1)\)
\(\begin{split}T&=\dfrac{(X_1-np_1)^2}{np_1}+\dfrac{(X_2-np_2)^2}{np_2}
=
\dfrac{(X_1-np_1)^2}{np_1}+\dfrac{(n-X_1-n(1-p_1))^2}{n(1-p_1)}\\
&=\dfrac{(X_1-np_1)^2}{np_1}+\dfrac{(X_1-np_1)^2}{n(1-p_1)}
=
(X_1-np_1)^2\dfrac{1}{np_1(1-p_1)}\\
&=\left(\dfrac{(X_1-np_1)}{\sqrt{np_1(1-p_1)}}\right)^2
\end{split}\)
\(X_1\sim B(n,p_1)\) 二項分布に従うので、 \(X_1\rightarrow N\left(np_1,np_1(1-p_1)\right)\) （分布収束）
よって、 \(\dfrac{X_1-np_1}{\sqrt{np_1(1-p_1)}}\rightarrow N(0,1)\) （分布収束）
標準正規分布の平方和はカイ二乗分布に従い、今、T は１つの標準正規分布の平方和だから、
\(T\rightarrow \chi^2(1)\) （ 分布収束）
よってnが大きいとき、近似的にカイ二乗分布に従うことがわかる。
（ \(Z^2\) 値は \(\chi^2\) 値と等しい )
東京大学大学院農学生命科学研究科 大森宏 様 「分割表の解析について」
http://lbm.ab.a.u-tokyo.ac.jp/~omori/kokusai/inhp/kokuin02.html
四分表の適合度検定量が自由度1のカイ二乗値に分布収束することについての解説がある。
初等的計算からまとめたものは、当サイト 「分割表の解析」を参照。
2018人文② 判別分析
千葉大学フロンティア医工学センター 羽石 秀昭 様 「判別分析」 （簡潔で分かりやすい）
http://www.cfme.chiba-u.jp/~haneishi/class/2009/20091216.pdf
http://www.cfme.chiba-u.jp/~haneishi/class/2009/20100113.pdf
文教大学経営学部 堀田 敬介 様 「第4章 多変量解析」 （具体例があり分かりやすい）
http://www.bunkyo.ac.jp/~hotta/lab/courses/2003seminar/ch4-4_5_hotta.pdf
東京大学大学院農学生命科学研究科 大森宏 様 （最終目標はこれ）
http://lbm.ab.a.u-tokyo.ac.jp/~omori/kensyu/discriminant.htm
判別分析を用いて進路をアドバイスする問題
データから、どちらの進路に判別されるか考える。
(1)は相関係数、(2)はユークリッド距離を用いた判別 （解答参照）
(3) マハラノビスの距離を用いた線形判別
東京大学 大森宏 様 「2-3 正規母集団のもとでの判別」 参照
\(x\) から \(\mu_A\) までのマハラノビスの距離 \(D_A^2=(x-\mu_A)'\Sigma^{-1}(x-\mu_A)\)
\(x\) から \(\mu_B\) までのマハラノビスの距離 \(D_B^2=(x-\mu_B)'\Sigma^{-1}(x-\mu_B)\)
この距離を比べてA、Bどちらのグループに所属するか判別する。マハラノビスの距離の計算に分散共分散行列 \(\Sigma\) を使用するので、２つのグループは共通の分散共分散行列を持つ必要がある。
グループA、Bに共通の分散共分散行列が未知の場合は、A、Bの分散共分散行列をプール（併合）した分散共分散行列を用いる。
［郡内平方和をプールした分散共分散行列］
原口正行 様 「EXCELによる多変量解析」 参照
http://www2.tbb.t-com.ne.jp/ohara/tahenryou/hanbetu.htm
２次元の場合は、
A群の分散共分散行列 \(\begin{pmatrix}
S_{11A}&S_{12A}\\S_{12A}&S_{22A}
\end{pmatrix}\) 、B群の分散共分散行列 \(\begin{pmatrix}
S_{11B}&S_{12B}\\S_{12B}&S_{22B}
\end{pmatrix}\) とすると、
プールした分散共分散行列は、\(\Sigma=\begin{pmatrix}
\dfrac{(n_1-1)S_{11A}+(n_2-1)S_{11B}}{n_1+n_2-2}&\dfrac{(n_1-1)S_{12A}+(n_2-1)S_{12B}}{n_1+n_2-2}
\\
\dfrac{(n_1-1)S_{12A}+(n_2-1)S_{12B}}{n_1+n_2-2}&\dfrac{(n_1-1)S_{22A}+(n_2-1)S_{22B}}{n_1+n_2-2}
\end{pmatrix}\)
これが、群内平方和をプールした標本分散共分散行列である。
\(D_B^2\ ,D_A^2\) の大小を比較するには、\(D_B^2-D_A^2\) の正負を調べればよい。
\(D_B^2-D_A^2=(x-\mu_B)'\Sigma^{-1}(x-\mu_B)-(x-\mu_A)'\Sigma^{-1}(x-\mu_A)\)
展開は \(\Sigma^{-1}\) を間に挟むだけで、通常の展開と同型になる。
\(\begin{split}
(x-\mu_B)'(x-\mu_B)-(x-\mu_A)'(x-\mu_A)&=
x'x-x'\mu_B-\mu_B'x+\mu_B'\mu_B-x'x+x'\mu_A+\mu_A'x-\mu_A'\mu_A\\
&=-x'\mu_B-\mu_B'x+\mu_B'\mu_B+x'\mu_A+\mu_A'x-\mu_A'\mu_A\\
&=-x'(\mu_B-\mu_A)-(\mu_B-\mu_A)'x+\mu_B'\mu_B-\mu_A'\mu_A\\
&=-2x'(\mu_B-\mu_A)+(\mu_B'+\mu_A')(\mu_B-\mu_A)
\end{split}\)
\(\begin{split}
D_B^2-D_A^2&=-2\cdot x'\Sigma^{-1}(\mu_B-\mu_A)+(\mu_B'+\mu_A')\Sigma^{-1}(\mu_B-\mu_A)\\
&=-2\left(x-\dfrac{\mu_B+\mu_A}{2}\right)'\Sigma^{-1}(\mu_B-\mu_A)
\end{split}
\)
\(D_B^2-D_A^2=0\) とすると、
\(\left(x-\dfrac{\mu_B+\mu_A}{2}\right)'\Sigma^{-1}(\mu_B-\mu_A)=0\)
これは、グループA,Bの平均の中点を通り、\(\Sigma^{-1}(\mu_B-\mu_A)\) を法線ベクトルとする直線になる。
直線の法線ベクトルを \(\begin{pmatrix}
a\\b
\end{pmatrix}\) とおくと、 \(\begin{pmatrix}
a\\b
\end{pmatrix}=\Sigma^{-1}(\mu_B-\mu_A)\) \(\therefore \Sigma\begin{pmatrix}
a\\b
\end{pmatrix}=(\mu_B-\mu_A)\)
分散共分散行列を係数とし平均の差を定数とする連立方程式を解くと \(a,b\) が求まる。
本問では、プールした標本分散共分散行列は、 \(\Sigma=\begin{pmatrix}
20&14\\14&20
\end{pmatrix}\) \(\mu_B-\mu_A=\begin{pmatrix} 10\\0\end{pmatrix}\)
\(\Delta=204\) より、 \(\Sigma^{-1}=\dfrac{1}{204}\begin{pmatrix}
20&-14\\-14&20
\end{pmatrix}
=\dfrac{1}{102}\begin{pmatrix}
10&-7\\-7&10
\end{pmatrix}\)
\(\Sigma^{-1}(\mu_B-\mu_A)=\dfrac{1}{102}\begin{pmatrix}
10&-7\\-7&10
\end{pmatrix}\begin{pmatrix} 10\\0\end{pmatrix}
=\dfrac{1}{102}\begin{pmatrix} 100\\-70\end{pmatrix}\)
法線ベクトル \(\begin{pmatrix} 10\\-7\end{pmatrix}\) 、中点は \(\begin{pmatrix} 35\\50\end{pmatrix}\)
よって、\(10(x-35)-7(y-50)=0\) \(\therefore 10x-7y=0\)
(4) 混合分布と誤判別確率
大森先生の説明をもとに、まとめさせていただいた。
判別分析は教師あり学習であり、混合比率が である２つの部分母集団の混合分布を分析対象としている。
部分母集団 A,Bの確率密度関数を、 \(f_A(x),f_B(x)\) とすると混合母集団の確率密度関数は、
\(f(x)=\pi_Af_A(x)+\pi_Bf_B(x)\)
今、R上の境界を定めて、 \(R=R_A\cup R_B\) と分割するとき、
Aから得られたのにBと判別する確率 \(\displaystyle \pi_A\int_{R_B}f_A(x)dx\) （右領域の面積）
Bから得られたのにAと判別する確率 \(\displaystyle\pi_B\int_{R_A}f_B(x)dx\) （左領域の面積）
誤判別確率は、 \(P_e=T(R_A,R_B)=\pi_A\int_{R_B}f_A(x)dx+\pi_B\int_{R_A}f_B(x)dx\)
本問では、\(\pi_A=\pi_B=\dfrac{1}{2}\) であるので、\(T(R_A,R_B)=\dfrac{1}{2}\int_{R_B}f_A(x)dx+\dfrac{1}{2}\int_{R_A}f_B(x)dx\)
\(\begin{split}
T(R_A,R_B)&=\dfrac{1}{2}\int_{R_B}f_A(x)dx+\dfrac{1}{2}\int_{R_A}f_B(x)dx\\
&=\dfrac{1}{2}\left(\int_{R}f_A(x)dx-\int_{R_A}f_A(x)dx\right)+\dfrac{1}{2}\int_{R_A}f_B(x)dx\\
&=\dfrac{1}{2}\int_{R}f_A(x)dx+\dfrac{1}{2}\int_{R_A}\left[f_B(x)-f_A(x)\right]dx
\end{split}\)
故に、 \(T(R_A,R_B)=\dfrac{1}{2}+\dfrac{1}{2}\int_{R_A}\left[f_B(x)-f_A(x)\right]dx
\) と変形され、
誤判別確率が最小となるのは \(R_A\) が、
\(f_B(x)-f_A(x)<0\) となる範囲を含み、 \(f_B(x)-f_A(x)>0\) となる範囲を含まないとき
即ち、 \(R_A=\{x|f_A(x)>f_B(x)\}\) のときである。
よって、 \(R_A,R_B\) の境界は、 \(f_A(x),f_B(x)\) の交点の射影する点である。
統計検定テキストp98の図に示されている通り、推定された \(\widehat R_A,\widehat R_B\) を用いた誤判別確率は、
最適誤判別率より大きくなる。
（大森先生の「誤判別確率最小判別」に図と誤判別確率が例示されている）
マハラノビスとベイズの関係については、
羽石 秀昭 様 「判別分析2」 p12に詳しい
http://www.cfme.chiba-u.jp/~haneishi/class/2009/20100113.pdf
2018人文③ 共分散構造分析
広島大学大学院教育学研究科 中村大輝 様 構造方程式モデリングの話（初級編）
https://www.slideshare.net/DaikiNakamura/ss-152713829 学習会のレジメ。初級者向け。
(1)(2)は解答参照
(3)(4) 構造方程式を仮定し、相関係数と比較することにより、係数を定める。
［構造方程式］
\(X_2=\alpha_{21}X_1+\varepsilon_2\) \(\varepsilon_2,X_1\) は独立（当然のことだが、 \(\varepsilon_2,X_2\)は独立でない）
\(X_3=\alpha_{32}X_2+\varepsilon_3\) \(\varepsilon_3,X_2\) は独立、 \(\varepsilon_3,X_1\) も独立（ \(\varepsilon_3,X_3\) は独立でない）
\(X_4=\alpha_{41}X_1+\alpha_{42}X_2+\alpha_{43}X_3+\varepsilon_4\) \(\varepsilon_4,X_1,X_2,X_3\) は独立（\(X_4,\varepsilon_4\) は独立でない）
標準化されているので、
\(\rho_{12}=E(X_1X_2)=E(\alpha_{21}X_1^2)+E(X_1\varepsilon_2)=\alpha_{21}\)
\(\rho_{13}=E(X_1X_3)=E(\alpha_{32}X_1X_2)+E(X_1\varepsilon_3)=\alpha_{32}\rho_{12}=\alpha_{32}\alpha_{21}\)
\(\begin{split}\rho_{14}=E(X_1X_4)&=E\left(X_1(\alpha_{41}X_1+\alpha_{42}X_2+\alpha_{43}X_3+\varepsilon_4)\right)\\
&=\alpha_{41}+\alpha_{42}E(X_1X_2)+\alpha_{43}E(X_1X_3)\\
&=\alpha_{41}+\alpha_{42}\alpha_{21}+\alpha_{43}\alpha_{32}\alpha_{21}
\end{split}\)
\(\rho_{23}=E(X_2X_3)\) より、 \(\rho_{23}=E\left((\alpha_{21}X_1+\varepsilon_2)(\alpha_{32}X_2+\varepsilon_3)\right)\) と計算を進めてはいけない。
\(X_2,\varepsilon_2\) は独立でないからである。しかし、\(X_2,\varepsilon_3\) は独立であることより次のように計算できる。
\(\rho_{23}=E(X_2X_3)=E\left(X_2(\alpha_{32}X_2+\varepsilon_3)\right)=\alpha_{32}E(X_2^2)=\alpha_{32}\) （ ∵ \(X_2,\varepsilon_3\) は独立 ）
\(\begin{split}\rho_{24}=E(X_2X_4)&=E\left(X_2(\alpha_{41}X_1+\alpha_{42}X_2+\alpha_{43}X_3+\varepsilon_4)\right)\\
&=\alpha_{41}\rho_{12}+\alpha_{42}+\alpha_{43}E(X_2X_3)\\
&=\alpha_{41}\alpha_{21}+\alpha_{42}+\alpha_{43}\alpha_{32}
\end{split}\)
\(\begin{split}
\rho_{34}=E(X_3X_4)=&E\left(X_3(\alpha_{41}X_1+\alpha_{42}X_2+\alpha_{43}X_3+\varepsilon_4)\right)\\&=\alpha_{41}\alpha_{32}\alpha_{21}+\alpha_{42}\alpha_{32}+\alpha_{43}
\end{split}\)
\(\begin{cases}
\rho_{12}=\alpha_{21}\\
\rho_{13}=\alpha_{32}\alpha_{21}\\
\rho_{14}=\alpha_{41}+\alpha_{42}\alpha_{21}+\alpha_{43}\alpha_{32}\alpha_{21}\\
\rho_{23}=\alpha_{32}\\
\rho_{24}=\alpha_{41}\alpha_{21}+\alpha_{42}+\alpha_{43}\alpha_{32}\\
\rho_{34}=\alpha_{41}\alpha_{32}\alpha_{21}+\alpha_{42}\alpha_{32}+\alpha_{43}
\\
\end{cases}\) \(\begin{cases}
-0.4=\alpha_{21}\\
-0.2=\alpha_{32}\alpha_{21}\\
0.34=\alpha_{41}+\alpha_{42}\alpha_{21}+\alpha_{43}\alpha_{32}\alpha_{21}\\
0.5=\alpha_{32}\\
0.2=\alpha_{41}\alpha_{21}+\alpha_{42}+\alpha_{43}\alpha_{32}\\
0.4=\alpha_{41}\alpha_{32}\alpha_{21}+\alpha_{42}\alpha_{32}+\alpha_{43}
\\
\end{cases}\)
\(\alpha_{21}=-0.4\) 、 \(\alpha_{32}=0.5\) より
\(\begin{cases}
0.34=\alpha_{41}-0.4\alpha_{42}-0.4\alpha_{43}0.5\\
0.2=-0.4\alpha_{41}+\alpha_{42}+\alpha_{43}0.5\\
0.4=-0.4\alpha_{41}0.5+\alpha_{42}0.5+\alpha_{43}
\\
\end{cases}\) \(\begin{cases}
0.34=\alpha_{41}-0.4\alpha_{42}-0.2\alpha_{43}\\
0.2=-0.4\alpha_{41}+\alpha_{42}+0.5\alpha_{43}\\
0.4=-0.2\alpha_{41}+0.5\alpha_{42}+\alpha_{43}
\\
\end{cases}\)
これから \(\alpha_{41}=0.5\ ,\ \alpha_{42}=0.2\ ,\ \alpha_{43}=0.4\) を得る。
(5) \(\rho_{24}=\alpha_{41}\alpha_{21}+\alpha_{42}+\alpha_{43}\alpha_{32}
\)
このうち、 \(\alpha_{42}\) は直接効果 \(\alpha_{32}\alpha_{43}\) は を介した間接効果、
\(\alpha_{21}\alpha_{41}\) は \(X_2\) による疑似相関の効果である。
（総合効果）＝（直接効果）＋（間接効果） で、直接効果以外を間接効果とするので
総合効果は、0.2+(0.5)(0.4)=0.4 と計算される。
［参考］
もし、 \(\rho_{23}=E\left((\alpha_{21}X_1+\varepsilon_2)(\alpha_{32}X_2+\varepsilon_3)\right)\) と計算を進めた場合は次のようになる。
\(\begin{split}\rho_{23}&=\alpha_{21}\alpha_{32}E(X_1X_2)+\alpha_{21}E(X_1\varepsilon_3)+\alpha_{32}E(X_2\varepsilon_2)
+E\left(\varepsilon_2\varepsilon_3\right)\\
&=\alpha_{21}\alpha_{32}\rho_{12}+\alpha_{32}E(X_2\varepsilon_2)\\
&=\alpha_{21}\alpha_{32}\rho_{12}+\alpha_{32}E\left((\alpha_{21}X_1+\varepsilon_2)\varepsilon_2\right) \\
&=\alpha_{21}\alpha_{32}\rho_{12}+\alpha_{32}V(\varepsilon_2)
\end{split}\)
よって、
\(0.5=(-0.4)(0.5)(-0.4)+0.5V(\varepsilon_2)\)
より、 \(V(\varepsilon_2)=0.84\) 誤差分散が得られることになる。
これは、 \(X_2=\alpha_{21}X_1+\varepsilon_2\) の両辺の分散から求めた \(1=(-0.4)^2+V(\varepsilon_2)\) と一致する。
2018人文④ クラスター分析
2019人文②クラスター分析は、最短距離法とk-means法。2018は最長距離法とウォード法。
Albert 様 「クラスター分析の概要」
https://www.albert2005.co.jp/knowledge/data_mining/cluster
[1] 最短距離法によりデンドログラムを作成する。知っていれば易しい。
Rの出力からデンドログラムを作成する。(RStudio Jin’s Page プロジェクト）
sake.hc<-hclust(sake.d,method = "single") （singleは最短距離法を意味する）
> sake.d<- dist(sake);sake.d距離行列
| 東京 | 高知 | 大阪 | 新潟 | 青森 | |
| 高知 | 9.96 | ||||
| 大阪 | 12.50 | 5.62 | |||
| 新潟 | 18.16 | 11.92 | 9.75 | ||
| 青森 | 18.26 | 11.55 | 7.97 | 7.12 | |
| 宮崎 | 21.98 | 17.34 | 15.65 | 16.68 | 10.66 |
> sake.hc$merge クラスター形成の履歴
| [,1] | [,2] | |||
| [1,] | -2 | -3 | ①=(高知 大阪) | (高知 大阪)を１番目のクラスターに |
| [2,] | -4 | -5 | ②=(新潟 青森) | (新潟 青森)を２番目のクラスターに |
| [3,] | 1 | 2 | ③=(①,②) | ①と②を３番目のクラスターに |
| [4,] | -1 | 3 | ④=(東京,③) | 東京と③=(①,②)を４番目のクラスターに |
| [5,] | -6 | 4 | ⑤=(宮崎,④) | 宮崎と④=(東京,③)を５番目のクラスターに |
階層的クラスター形成の手順。マイナス符号が付いているのが個体番号、
マイナスが付いていないのがクラスター番号である。行番号がクラスター形成の順番である。
> sake.hc$height クラスター結合の際の距離
[1] 5.616048 7.123903 7.971825 9.960924 10.657392
> sake.hc$order デンドログラムの書き順
[1] 6 1 2 3 4 5
Rのデンドログラムは、宮崎、東京、高知、大阪、新潟、青森 の順になる。
> cophenetic(sake.hc) #コーフェン行列（属するクラスター間の距離を表す）
| 東京 | 高知 | 大阪 | 新潟 | 青森 | |
| 高知 | 9.96 | ||||
| 大阪 | 9.96 | 5.62 | |||
| 新潟 | 9.96 | 7.97 | 7.97 | ||
| 青森 | 9.96 | 7.97 | 7.97 | 7.12 | |
| 宮崎 | 10.66 | 10.66 | 10.66 | 10.66 | 10.66 |
最長距離法は、
sake.hc2<-hclust(sake.d,method = "complete") （completeは最長距離法を意味する）
ウォード法は、
sake.hc3<-hclust(sake.d,method="ward.D") （ward.Dはウォード法を意味する）
各方法の概要については、https://www1.doshisha.ac.jp/~mjin/R/Chap_28/28.html 参照
クラスター間の距離を手作業で求めるには表を作成するとよい。
①②の距離は
| 新潟 | 青森 | |
| 高知 | 11.92 | 11.55 |
| 大阪 | 9.75 | 7.97 |
クラスター間の距離は、最短法では 7.97 最長法では 11.92 となる。
ウォード法による計算の方法は次のサイトを参照。
忙しいあなたの代わりに、史上最強の良い本・良い暮らしのご提案 様
https://it-mint.com/2017/09/23/hierarchical-clustering-ward-method-1238.html
具体例で学ぶ数学 様 「ウォード法によるクラスタリングのやり方」
https://mathwords.net/wardmethod
[2] については解答参照。
2018人文⑤ 混合分布
ガウス分布 \(N(x\mid\mu_k,\Sigma_k):k=1,2,\cdots,K\) に対し、
\(p(x)=\displaystyle\sum_{k=1}^K\pi_kN(x\mid\mu_k,\Sigma_k)\) \(\pi_k\) は混合率： \(\displaystyle\sum_{k=1}^K\pi_k=1\)
によって定まる分布を混合ガウス分布という。
混合ガウス分布の形状については、
・ガウス分布 \(N(x\mid\mu_k,\Sigma_k)\) が決まっていても、混合率 \(\pi_k\) が変われば分布は変化する。
・混合率 \(\pi_k\) が決まっていても、パラメータ \(\mu_k,\Sigma_k:\ k=1,2,\cdots,K\) が変われば分布は変化する。
本問では、\(K=2\) 、混合率 \(\pi_1=\dfrac{1}{2}\:,\:\pi_2=\dfrac{1}{2}\) 、ガウス分布 \(N(x\mid\mu_1,\sigma_1^2)\:, N(x\mid\mu_2,\sigma_2^2)\) とし、
パラメータによって分布の形状がどう変わるかを考える。
(1) \(\sigma=\sigma_1=\sigma_2\) 即ち、２つのグループの分散が等しいとき、
平均 \(\mu_1,\mu_2\) によって混合分布がどのように変化するかを考える。
（グラフの形状が１峰になるか２峰になるか調べる）
分散は、 \(V(X)=E(X^2)-\{E(X)\}^2\) を利用すれば、一般の場合の計算ができる。
\(\sigma_1^2=E(X_1^2)-\mu_1^2\) より、 \(E(X_1^2)=\sigma_1^2+\mu_1^2\) 同様に、 \(E(X_2^2)=\sigma_2^2+\mu_2^2\)
よって、\(\displaystyle \int_{-\infty}^{\infty}x^2f_1(x)dx=\sigma_1^2+\mu_1^2\) \(\displaystyle \int_{-\infty}^{\infty}x^2f_2(x)dx=\sigma_2^2+\mu_2^2\)
\(\begin{split}
E(X^2)&=\int_{-\infty}^{\infty}x^2f(x)dx
=\int_{-\infty}^{\infty}x^2\left(\frac{1}{2}f_1(x)+\frac{1}{2}f_2(x)\right)dx
=\frac{1}{2}\int_{-\infty}^{\infty}x^2f_1(x)dx+\frac{1}{2}\int_{-\infty}^{\infty}x^2f_2(x)dx\\
&=\dfrac{1}{2}(\sigma_1^2+\mu_1^2)+\dfrac{1}{2}(\sigma_2^2+\mu_2^2)
=\dfrac{\sigma_1^2+\sigma_2^2}{2}+\dfrac{\mu_1^2+\mu_2^2}{2}
\end{split}\)
よって、 \(V(X)=\dfrac{\sigma_1^2+\sigma_2^2}{2}+\dfrac{\mu_1^2+\mu_2^2}{2}-\left(\dfrac{\mu_1+\mu_2}{2}\right)^2
=\dfrac{\sigma_1^2+\sigma_2^2}{2}+\left(\dfrac{\mu_1-\mu_2}{2}\right)^2\)
今、 \(\sigma=\sigma_1=\sigma_2\) だから、\(V(X)=
\sigma^2+\left(\dfrac{\mu_1-\mu_2}{2}\right)^2\)
この式は、 \(\mu_1,\mu_2\) が等しければ重ね合わせた混合分布の分散は変化しないが、 \(\mu_1,\mu_2\) が離れると混合分布のグラフの広がりが大きくなることを意味する。
(2) 数学選択と数学非選択で分散が異なるので、
\(s^2=V(X)
=\dfrac{\sigma_1^2+\sigma_2^2}{2}+\left(\dfrac{\mu_1-\mu_2}{2}\right)^2=\dfrac{(6.8)^2+(7.8)^2}{2}+\left(\dfrac{69.7-49.6}{2}\right)^2\)
また、偏差平方和を用い定義から計算することもできる。
確率変数 \(X\) の平方和を \(S(X^2)\) と表すことにすると、
\(V(X)=\dfrac{1}{n}S(X^2)-\mu_X^2\) \(\therefore S(X^2)=nV(X)+n\mu_X^2\)
数学選択者の平方和は、 \(S(X_1^2)=50(6.8)^2+50(69.7)^2\)
数学非選択者の平方和は、 \(S(X_2^2)=50(7.8)^2+50(49.6)^2\)
Aクラスの平方和は、\(S(X^2)=50(6.8)^2+50(69.7)^2+50(7.8)^2+50(49.6)^2\)
よって、\(E(X^2)=\dfrac{1}{100}S(X^2)=\dfrac{(6.8)^2+(69.7)^2+(7.8)^2+(49.6)^2}{2}\)
\(E(X)=\dfrac{69.7+49.6}{2}\) だから、
\(\begin{split}
V(X)&=\dfrac{1}{100}S(X^2)=\dfrac{(6.8)^2+(69.7)^2+(7.8)^2+(49.6)^2}{2}-\left(\dfrac{69.7+49.6}{2}\right)^2\\
&=\dfrac{1}{100}S(X^2)=\dfrac{(6.8)^2+(7.8)^2}{2}+\left(\dfrac{69.7-49.6}{2}\right)^2
=53.54+101.0025=154.54
\end{split}\)
(3) 時間内に解答するには計算の工夫が必要である。例えば、
\(y=\dfrac{1}{\sqrt{2 \pi}}\exp\left[-\dfrac{x^{2}}{2}\right]
\) のとき、 \(y'=-xy \:,\:y''=(x^2-1)y\) のような手法を利用する。
\(f_1(x)=\dfrac{1}{\sqrt{2 \pi} \sigma}\exp\left[-\dfrac{(x-\mu_1)^{2}}{2 \sigma^{2}}\right]\) 、\(f_2(x)=\dfrac{1}{\sqrt{2 \pi} \sigma}\exp\left[-\dfrac{(x-\mu_2)^{2}}{2 \sigma^{2}}\right]\) とおくと、
\(f(x)=\dfrac{1}{2}\left[ f_1(x)+f_2(x)\right]\) \(\therefore f'(x)=\dfrac{1}{2}\left[ f_1'(x)+f_2'(x)\right]\)
\(f_1(x),f_2(x)\) は同じグラフを平行移動したものであり、 \(x=\dfrac{\mu_1 + \mu_2}{2}\) で交わる。
このとき、\(f_1\left(\frac{\mu_1 + \mu_2}{2}\right)=f_2\left(\frac{\mu_1 + \mu_2}{2}\right)\) 、\(f_1'\left(\frac{\mu_1 + \mu_2}{2}\right)=-f_2'\left(\frac{\mu_1 + \mu_2}{2}\right)\) である。
このことはグラフから分かるが、式から確かめることもできる。
\(x=\dfrac{\mu_1 + \mu_2}{2}\) のとき、\(x-\mu_1 = -(x-\mu_2)\) だから、 \((x-\mu_1)^2 = (x-\mu_2)^2\) \(\therefore f_1(x)=f_2(x)\)
また、\(f_1'(x)=-\left(\dfrac{x-\mu_{1}}{\sigma^{2}}\right)f_1(x)\) 、 \(f_2'(x)=-\left(\dfrac{x-\mu_{2}}{\sigma^{2}}\right)f_2(x)\)
\(x-\mu_1 = -(x-\mu_2)\) から \(f_1'(x)=-f_2'(x)\) が分かる。
よって、 \(x=\dfrac{\mu_1 + \mu_2}{2}\) のとき、\(f'(x)=\dfrac{1}{2}\left[ f_1'(x)+f_2'(x)\right]=0\) となり、極値の可能性が出てくる。
厳密には、 \(f''(x)\) の符号を確かめる必要がある。
\(f_1''(x)=-\dfrac{1}{\sigma^2}\left[1-\left(\dfrac{x-\mu_{1}}{\sigma}\right)^2\right]f_1(x)\) 、 \(f_2''(x)=-\dfrac{1}{\sigma^2}\left[1-\left(\dfrac{x-\mu_{2}}{\sigma}\right)^2\right]f_2(x)\)
\(x=\dfrac{\mu_1 + \mu_2}{2}\) のとき、 \(f_1''(x)=f_2''(x)\)
\(x=\dfrac{\mu_1 + \mu_2}{2}\) のとき、 \(f''(x)=\dfrac{1}{2}\left[ f_1''(x)+f_2''(x)\right]=f_1''(x)=-\dfrac{1}{\sigma^2}\left[1-\left(\dfrac{x-\mu_{1}}{\sigma}\right)^2\right]f_1(x)\)
\(f''\left(\dfrac{\mu_1 + \mu_2}{2}\right)=-\dfrac{1}{\sigma^2}\left[1-\left(\dfrac{\mu_2-\mu_{1}}{2\sigma}\right)^2\right]f_1\left(\dfrac{\mu_1 + \mu_2}{2}\right)\)
まとめると、
\(f''\left(\dfrac{\mu_1 + \mu_2}{2}\right)>0 \iff
1-\left(\dfrac{\mu_2-\mu_{1}}{2\sigma}\right)^2<0\iff
\left|\mu_2-\mu_{1}\right|>2\sigma\)
このとき、 \(f\left(\dfrac{\mu_1 + \mu_2}{2}\right)\) は極小で、グラフは２峰となる。
\(f''\left(\dfrac{\mu_1 + \mu_2}{2}\right)<0 \iff
1-\left(\dfrac{\mu_2-\mu_{1}}{2\sigma}\right)^2>0\iff
\left|\mu_2-\mu_{1}\right|<2\sigma\)
このとき、\(f\left(\dfrac{\mu_1 + \mu_2}{2}\right)\) は極大で、グラフは１峰となる。
詳しい計算は、次のようになる。
\(\begin{split}
f'(x)&=\dfrac{1}{2}\left[ f_1'(x)+f_2'(x)\right]
=\dfrac{1}{2}\left[ -\left(\dfrac{x-\mu_{1}}{\sigma^{2}}\right)f_1(x)-\left(\dfrac{x-\mu_{2}}{\sigma^{2}}\right)f_2(x)\right]\\
&=\dfrac{1}{2}\left( \dfrac{1}{\sqrt{2 \pi} \sigma}\left(-\dfrac{x-\mu_{1}}{\sigma^{2}}\right)\exp\left[-\dfrac{(x-\mu_1)^{2}}{2 \sigma^{2}}\right]
+\dfrac{1}{\sqrt{2 \pi} \sigma}\left(-\dfrac{x-\mu_{2}}{\sigma^{2}}\right)\exp\left[-\dfrac{(x-\mu_2)^{2}}{2 \sigma^{2}}\right]\right)
\end{split}\)
\(\begin{split}
f''(x)&=\dfrac{1}{2}\left[ f_1''(x)+f_2''(x)\right]
=\dfrac{1}{2}\left[ -\dfrac{1}{\sigma^2}\left[1-\left(\dfrac{x-\mu_{1}}{\sigma}\right)^2\right]f_1(x)-\dfrac{1}{\sigma^2}\left[1-\left(\dfrac{x-\mu_{2}}{\sigma}\right)^2\right]f_2(x)\right]\\
&=-\dfrac{1}{2\sigma^2}\left( \dfrac{1}{\sqrt{2 \pi} \sigma}\left[1-\left(\dfrac{x-\mu_{1}}{\sigma}\right)^2\right]\exp\left[-\dfrac{(x-\mu_1)^{2}}{2 \sigma^{2}}\right]
+\dfrac{1}{\sqrt{2 \pi} \sigma}\left[1-\left(\dfrac{x-\mu_{2}}{\sigma}\right)^2\right]\exp\left[-\dfrac{(x-\mu_2)^{2}}{2 \sigma^{2}}\right]\right)
\end{split}\)
\(x=\dfrac{\mu_1 + \mu_2}{2}\) のとき、\(x-\mu_1=-\dfrac{\mu_1-\mu_2}{2}\) 、\(x-\mu_2=\dfrac{\mu_1-\mu_2}{2}\) より、
\(\begin{split}
f''\left(\frac{\mu_1 + \mu_2}{2}\right)&=-\dfrac{1}{2\sigma^2}\left( \dfrac{1}{\sqrt{2 \pi} \sigma}\left[1-\left(\dfrac{\mu_1-\mu_2}{2\sigma}\right)^2\right]\exp\left[-\dfrac{(\mu_1-\mu_2)^{2}}{8 \sigma^{2}}\right]
+\dfrac{1}{\sqrt{2 \pi} \sigma}\left[1-\left(\dfrac{\mu_1-\mu_2}{2\sigma}\right)^2\right]\exp\left[-\dfrac{(\mu_1-\mu_2)^{2}}{8 \sigma^{2}}\right]\right)\\
&=-\dfrac{1}{\sigma^2} \dfrac{1}{\sqrt{2 \pi} \sigma}\left[1-\left(\dfrac{\mu_1-\mu_2}{2\sigma}\right)^2\right]\exp\left[-\dfrac{(\mu_1-\mu_2)^{2}}{8 \sigma^{2}}\right]
\end{split}\)
\(f''\left(\dfrac{\mu_1 + \mu_2}{2}\right)>0\) となるのは、\(1-\left(\dfrac{\mu_1-\mu_2}{2\sigma}\right)^2<0\) のとき、即ち \(\left|\mu_1-\mu_2\right|>2\sigma\) のとき。
２群の平均 \(\mu_1,\mu_2\) の差が \(2\sigma\) より大きくなると、分布は２峰となる。
尚、解答の［補足］にあるように分布が３峰以上にならないことを示すには、 \(f'(x)\) の符号の変化を確かめる必要がある。
\(f'(x)>0\iff
-\left(x-\mu_{1}\right)\exp\left[-\dfrac{(x-\mu_1)^{2}}{2 \sigma^{2}}\right]
>\left({x-\mu_{2}}\right)\exp\left[-\dfrac{(x-\mu_2)^{2}}{2 \sigma^{2}}\right]
\)
\(g(x)=x\exp\left[-\dfrac{x^{2}}{2 \sigma^{2}}\right]\) のグラフは \(x=-\sigma,\sigma\) でそれぞれ極小、極大となりx軸を漸近線とする。
\(f'(x)>0\iff
-g(x-\mu_1)
>g(x-\mu_2)\)
右辺のグラフは \(g(x)\) のグラフをx軸方向に \(\mu_2\) 平行移動したものであり、
左辺のグラフは \(g(x)\) のグラフをx軸方向に \(\mu_1\) 平行移動し、x軸について対称移動したグラフ。
２つのグラフの関係は、 \(\mu_1,\mu_2\) の差によって交点が１つの場合と３つの場合があり、
・交点が１つの場合は、分布は１峰
・交点が３つの場合は、分布は２峰
となる。（グラフは省略）
有意に無意味な話 様
https://starpentagon.net/analytics/stat_certificate_2018_sci_answer5/
に詳しい解説があります。