2022 人文 （統計検定1級応用 過去問の解説です）
- 混合分布
- 判別分析
- クラスター分析
- 因子分析
- 二変量正規分布と線形回帰
2022人文① 混合分布
(1) 条件を整理する。
\(\displaystyle m_x=\dfrac{1}{45}\sum_1^{45}x_i=8.6~~~,~~~m_y=\dfrac{1}{45}\sum_1^{45}y_i=4.9\)
\(\displaystyle V(x)=\sum_1^{45}(x-m_x)^2=2~~,~~V(y)=\sum_1^{45}(y-m_y)^2=2\)
勝ち組、負け組あわせた混合分布 U を考える。
\(\displaystyle E(U)=\dfrac{1}{90}\left(\sum_1^{45}x_i+\sum_1^{45}y_i\right)=\dfrac{1}{90}\left(45\cdot 8.6+45\cdot 4.9\right)=\dfrac{1}{2}(8.6+4.9)=6.75\)
\(m_u=E(U)\) とすると、\(m_u=\dfrac{m_x+m_y}{2}\) であり
\(\displaystyle V(U)=\dfrac{1}{90}\left(\sum_1^{45}(x_i-m_u)^2+\sum_1^{45}(y_i-m_u)^2\right)\)
\(\displaystyle \begin{split}
\sum_1^{45}(x_i-m_u)^2&=\sum_1^{45}\left(x_i-\dfrac{m_x+m_y}{2}\right)^2=\sum_1^{45}\left(x_i-m_x+\dfrac{m_x-m_y}{2}\right)^2\\&
=\sum_1^{45}(x_i-m_x)^2+\sum_1^{45}\left(\dfrac{m_x-m_y}{2}\right)^2+2\sum_1^{45}(x_i-m_x)\left(\dfrac{m_x-m_y}{2}\right)\\
&=45\cdot2+45\cdot\dfrac{(3.7)^2}{4}
\end{split}\)
\(\displaystyle \begin{split}
\sum_1^{45}(y_i-m_u)^2&=\sum_1^{45}\left(y_i-\dfrac{m_x+m_y}{2}\right)^2=\sum_1^{45}\left(y_i-m_y+\dfrac{m_y-m_x}{2}\right)^2\\&
=\sum_1^{45}(y_i-m_y)^2+\sum_1^{45}\left(\dfrac{m_x-m_y}{2}\right)^2+2\sum_1^{45}(y_i-m_y)\left(\dfrac{m_y-m_x}{2}\right)\\
&=45\cdot2+45\cdot\dfrac{(3.7)^2}{4}
\end{split}\)
よって、 \(V(U)=\dfrac{1}{90}\left(180+45\cdot \dfrac{(3.7)^2}{2}\right)=5.4225\)
これが最も計算の楽な方法と思う。
筆者は力技で計算し時間を失ってしまった。この出だしが合否を分けたと思う。
(2)
\(\displaystyle E(x_i+y_i)=\dfrac{1}{45}\sum_1^{45}(x_i+y_i)=\dfrac{1}{45}\sum_1^{45}x_i+\dfrac{1}{45}\sum_1^{45}y_i=13.5\)
\(\displaystyle \begin{split}
V(x_i+y_i)&=\dfrac{1}{45}\sum_1^{45}\left[(x_i+y_i)-(m_x+m_y)\right]^2=\dfrac{1}{45}\sum_1^{45}\left[(x_i-m_x)+(y_i-m_y)\right]^2\\
&=\dfrac{1}{45}\sum_1^{45}(x_i-m_x)^2+\dfrac{1}{45}\sum_1^{45}(y_i-m_y)^2+\dfrac{2}{45}\sum_1^{45}(x_i-m_x)(y_i-m_y)\\
&=V(x_i)+V(y_i)+2Cov(x_i,~y_i)=2+2+2\cdot 2\cdot (0.16)=4.64
\end{split}\)
同様に、 \(E(x_i-y_i)=E(x_i)-E(y_i)=8.6-4.9=3.7\)
\(\begin{split}
V(x_i-y_i)=V(x_i)+V(y_i)-2Cov(x_i,~y_i)=2+2-2\cdot 2\cdot (0.16)=3.36
\end{split}\)
(3)
\(Cov(w_i,~d_i)=Cov(x_i+y_i,~x_i-y_i)=Cov(x_i,~x_i)-Cov(y_i,~y_i)=2-2=0\) だから
相関係数は \(Cor(x_i,~y_i)=0\)
(4)
\(U,~V\) を独立としているので
\(E(U-V)=-0.3\) \(V(U-V)=6.1+1.4=7.5\)
\(U-V\geq 0\) とすると、
\(Z=\dfrac{U-V+0.3}{\sqrt{7.5}}\geq 0.109\) \(\therefore ~P(Z\geq 0.109)\fallingdotseq 0.4562\)
(1)の計算を超えれば、あとは易しい。
2022人文② 判別分析
2018②と同じ内容であり、計算はシンプルになっている。誤判別確率の式も誘導で与えられており、2018より親切な出題となっている。完答しなかったのが残念である。
\(x_1,~x_2\) が独立でないので共分散を用いればよい。
（筆者はコレスキー分解に走ってしまい時間を無駄に使ってしまった）
\(X\) がG1の分布に従うとき、
\(E(x_1+x_2)=1+1=2\)
\(\begin{split}
V(x_1+x_2)&=Cov(x_1+x_2,~x_1+x_2)=Cov(x_1,x_1)+Cov(x_2,x_2)+2Cov(x_1,x_2)\\&=1+1+1=3
\end{split}\)
よって、\(Y=X_1+X_2\sim N(2,~3)\)
\(X\) がG2の分布に従うとき、同様にして \(Y=X_1+X_2\sim N(-2,~3)\)
(2) マハラノビスの距離は２次形式であるので
\(A=
\begin{pmatrix}
a & b \\
b & d
\end{pmatrix}\) 、\(x=
\begin{pmatrix}
x\\
y
\end{pmatrix}\) のとき、 \(x'Ax=ax^{2}+2bxy+dy^{2}\)
を用いて計算する。（直接計算しても手間はかからない）
今、\(\Sigma^{-1}=\dfrac{1}{0.75}\begin{pmatrix}1&-0.5\\-0.5&1\end{pmatrix}\) である。
\((x_1,~x_2)'\) と \(N_2\left(\begin{pmatrix}1\\1\end{pmatrix}~,~\Sigma\right)\) とのマハラノビスの距離 \(D_1\) は
\(D_1^2=\begin{pmatrix}x_1-1&x_2-1\end{pmatrix}\Sigma^{-1}\begin{pmatrix}x_1-1\\x_2-1\end{pmatrix}=\dfrac{1}{0.75}\left[(x_1-1)^2-(x_1-1)(x_2-1)+(x_2-1)^2\right]\)
同様にして
\(D_2^2=\begin{pmatrix}x_1+1&x_2+1\end{pmatrix}\Sigma^{-1}\begin{pmatrix}x_1+1\\x_2+1\end{pmatrix}=\dfrac{1}{0.75}\left[(x_1+1)^2-(x_1+1)(x_2+1)+(x_2+1)^2\right]\)
辺々引くと、
\(D_1^2-D_2^2=-4x_1-4x_2+2(x_1+x_2)=-2x_1-2x_2\)
よって、 \(D_1^2=D_2^2\) となる条件は、 \(x_1+x_2=0\) である。
(3)誤判別確率
判別関数 \(Y=X_1+X_2\) であり、
\(D_1^2< D_2^2\) のとき \(Y>0\) ：G1と判定
\(D_1^2> D_2^2\) のとき \(Y<0\) ：G2と判定
誤判別確率 Q は、
G1に属するものをG2と判定： \(P(Y<0\mid G_1 )\)
G2に属するものをG1と判定： \(P(Y>0\mid G_2 )\)
事前確率： \(P(G_1)=\dfrac{2}{3}~,~P(G_2)=\dfrac{1}{3}\) とすると
\(Q=P(G_1)P(Y<0\mid G_1 )+P(G_2)P(Y>0\mid G_2 )=\dfrac{2}{3}P(Y<0\mid G_1 )+\dfrac{1}{3}P(Y>0\mid G_2 )\)
\(P(Y<0\mid G_1 )\) について、
G1 のとき \(Y\sim N(2,~3)\)
\(Y<0\) より \(Y-2<-2\) \(\therefore~~\dfrac{Y-2}{\sqrt{3}}<-\dfrac{2}{\sqrt{3}}=-1.15\)
よって、\(P(Y<0\mid G_1 )=0.1251\)
\(P(Y>0\mid G_2 )\) について、
G2 のとき \(Y\sim N(-2,~3)\)
\(Y>0\) より \(Y+2>2\) \(\therefore~~\dfrac{Y+2}{\sqrt{3}}>\dfrac{2}{\sqrt{3}}=1.15\)
よって、\(P(Y>0\mid G_2 )=0.1251\)
従って、\(Q=\dfrac{2}{3}(0.1251)+\dfrac{1}{3}(0.1251)=0.1251\)
(4)
誤判別確率を最小にする問題である。
\(Q^*=P(G_1)P(Y<c\mid G_1 )+P(G_2)P(Y>c\mid G_2 )=\dfrac{2}{3}P(Y<c\mid G_1 )+\dfrac{1}{3}P(Y>c\mid G_2 )\)
これを最小にするcを求めればよい。
G1 のとき \(Y\sim N(2,~3)\) だから、
\(\displaystyle P(Y<c\mid G_1 )=\int_{-\infty}^c \dfrac{1}{\sqrt{2\pi}\sqrt{3}}\exp\left[-\dfrac{(y-2)^2}{2\cdot 3}\right]dy\)
G2 のとき \(Y\sim N(-2,~3)\) だから、
\(\displaystyle P(Y>c\mid G_2 )=\int_c^{+\infty} \dfrac{1}{\sqrt{2\pi}\sqrt{3}}\exp\left[-\dfrac{(y+2)^2}{2\cdot
3}\right]dy
=1-\int_{-\infty}^c \dfrac{1}{\sqrt{2\pi}\sqrt{3}}\exp\left[-\dfrac{(y+2)^2}{2\cdot 3}\right]dy
\)
よって、
\(\begin{split}
Q^*&=\dfrac{2}{3}\int_{-\infty}^c \dfrac{1}{\sqrt{2\pi}\sqrt{3}}\exp\left[-\dfrac{(y-2)^2}{2\cdot
3}\right]dy+\dfrac{1}{3}\left(1-\int_{-\infty}^c \dfrac{1}{\sqrt{2\pi}\sqrt{3}}\exp\left[-\dfrac{(y+2)^2}{2\cdot
3}\right]dy\right)\\
&=\dfrac{1}{3}+\dfrac{2}{3}\int_{-\infty}^c \dfrac{1}{\sqrt{2\pi}\sqrt{3}}\exp\left[-\dfrac{(y-2)^2}{2\cdot 3}\right]dy-\dfrac{1}{3}\int_{-\infty}^c \dfrac{1}{\sqrt{2\pi}\sqrt{3}}\exp\left[-\dfrac{(y+2)^2}{2\cdot 3}\right]dy\\
&=\dfrac{1}{3}+ \dfrac{1}{\sqrt{2\pi}\sqrt{3}}\int_{-\infty}^c \left(\dfrac{2}{3} \exp\left[-\dfrac{(y-2)^2}{2\cdot 3}\right]-\dfrac{1}{3}\exp\left[-\dfrac{(y-2)^2}{2\cdot 3}\right]\right)dy
\end{split}\)
\((-\infty,~c)\) が \(2\exp\left[-\dfrac{(y-2)^2}{2\cdot 3}\right]-\exp\left[-\dfrac{(y-2)^2}{2\cdot 3}\right]\leq 0\) となる範囲を含み
\(2\exp\left[-\dfrac{(y-2)^2}{2\cdot 3}\right]-\exp\left[-\dfrac{(y-2)^2}{2\cdot 3}\right]> 0\) となる範囲を含まなければよい。
\(2\exp\left[-\dfrac{(y-2)^2}{2\cdot 3}\right]\leq\exp\left[-\dfrac{(y-2)^2}{2\cdot 3}\right]\) の対数をとると
\(\log2-\dfrac{(y-2)^2}{6}\leq -\dfrac{(y+2)^2}{6}\) \(6\log2\leq(y-2)^2- (y+2)^2\)
\(6\log2\leq -8y\) \(\therefore ~y\leq -\dfrac{3}{4}\log2\fallingdotseq -0.52\)
よって、\(c=-0.52\) であればよいことになる。
\(c=-0.52\) のときの誤判別確率を求める。
\(P(Y<c\mid G_1 )\) について、
G1 のとき \(Y\sim N(2,~3)\)
\(Y<c\) より \(Y-2<c-2\) \(\therefore~~\dfrac{Y-2}{\sqrt{3}}<\dfrac{c-2}{\sqrt{3}}=-1.45\)
よって、\(P(Y<c\mid G_1 )=0.0735\)
\(P(Y>c\mid G_2 )\) について、
G2 のとき \(Y\sim N(-2,~3)\)
\(Y>c\) より \(Y+2>c+2\) \(\therefore~~\dfrac{Y+2}{\sqrt{3}}>\dfrac{c+2}{\sqrt{3}}=0.854\)
よって、\(P(Y>c\mid G_2 )=0.1977\)
従って、 \(Q^*=\dfrac{2}{3}(0.0735)+\dfrac{1}{3}(0.1977)=0.1149\)
2022人文③ クラスター分析
［参考サイト］
データサイエンス情報局 様 「クラスタリングとは何に使える？どんな手法がある？」
https://analysis-navi.com/?p=2957
クラスタリングの手法は大別すると、
・階層型クラスタリング：「ウォード法」「群平均法」「最長距離法」「最短距離法」
https://analysis-navi.com/?p=1805
・非階層型クラスタリング：「K-means法」
https://analysis-navi.com/?p=618
よく使われるウォード法は、
・クラスター内変動を最小にし、クラスター間変動を最大にする手法である。
（分散分析の群内変動と群間変動の関係をイメージするとよい）
クラスター内変動
\(L(C)=\displaystyle\sum_{x\in C}D(x,g_C)^2\) （重心からの距離の二乗和=偏差平方和）
ウォード法によるクラスター間距離
\(d(C_1,C_2)=L(C_1\cup C_2)-L(C_1)-L(C_2)\)
実際の計算は、
\(d(C_1,C_2)=\dfrac{n_1n_2}{n_1+n_2}D(g_{C_1},g_{C_2})^2\) で求めることができる。
本問でのクラスター内変動の定義は、上記の定義と異なるように見える。
上記の定義と同じであることは (2)の冒頭で注意されているが、戸惑った人が多いのではと思う。
簡単のため、P変量を１変量として確かめてみる。
K群の要素の個数を \(n_k=|C_k|\) とすると、
\(W(C_k)=\dfrac{1}{n_k}\displaystyle\sum_{x_i<x_j\in C_k}(x_i-x_j)^2\) と本問では定義されている。
ところで、K群の重心を \(m=g_{C_k}\) とすると
\(\begin{split}
\sum_{x_i,x_j\in C_k}(x_i-x_j)^2
&=\displaystyle\sum_{x_i,x_j\in C_k}\left[(x_i-m)+(x_j-m)\right]^2\\
&=\sum_{x_i,x_j\in C_k}(x_i-m)^2+\sum_{x_i,x_j\in C_k}(x_j-m)^2+\sum_{x_i,x_j\in C_k}(x_i-m)(x_j-m)\\
&=n_k\sum_{x_i\in C_k}(x_i-m)^2+n_k\sum_{x_i\in C_k}(x_j-m)^2
\end{split}\)
\(\displaystyle 2\sum_{x_i<x_j\in C_k}(x_i-x_j)^2=2n_k\sum_{x_i\in C_k}(x_i-m)^2\)
よって、\(\dfrac{1}{n_k}\displaystyle\sum_{x_i<x_j\in C_k}(x_i-x_j)^2=
\sum_{x_i\in C_k}(x_i-m)^2\) であり定義として矛盾はない。
（具体例で確かめてもよいが、試験のときはそんな余裕はないだろうと思う）
つまり本問は、ウォード法で用いられるクラスター内変動が、
最短距離法や k-means法においてどのようになっているかを問う問題であり、
教育的良問ではあるが、野心的問題とも言える。
試験の当座は、そんなことは思うべくもない。
「おかしいな定義が違う。パスしようか？」という感じであった。
さて解答に入るが、
(1-1)(1-2)については長くなるので割愛する。（後日、掲載の予定）
(1-3)
最短距離法によるクラスター
\(C_1=\{1,2,3,4\}~,~C_2=\{5\}\) （数字はデータ番号）
| X | Y | |
| 1 | 0 | 3 |
| 2 | 1 | 0 |
| 3 | 1 | 2 |
| 4 | 2 | 0 |
| 計 | 1 | 4/5 |
ワーク（統計学実践ワークブック）の定義でクラスター内変動を計算してみる。
・ \(C_1\) のクラスター内変動 \(W(C_1)\) について
Xについて、
\((0-1)^2+(1-1)^2+(1-1)^2+(2-1)^2=2\)
Yについて、
\(\left(3-\dfrac{5}{4}\right)^2+\left(0-\dfrac{5}{4}\right)^2+\left(2-\dfrac{5}{4}\right)^2+\left(0-\dfrac{5}{4}\right)^2=\dfrac{108}{16}=\dfrac{27}{4}\)
よって、\(W(C_1)=\displaystyle\sum_{x\in C_1}D(x,g_{C_1})^2=2+\dfrac{27}{4}=\dfrac{35}{4}\)
\(C_2\) は要素が１個であるから、\(W(C_2)=0\)
従って、最短距離法によるクラスター内変動は
\(\dfrac{35}{4}+0=\dfrac{35}{4}\)
最長距離法によるクラスター
\(C_1=\{1,3,5\}~,~C_2=\{2,4\}\) （数字はデータ番号）
| X | Y | |
| 1 | 0 | 3 |
| 3 | 1 | 2 |
| 5 | -1 | 1 |
| 平均 | 0 | 2 |
| 2 | 1 | 0 |
| 4 | 2 | 0 |
| 平均 | 2/3 | 0 |
・ \(C_1\) のクラスター内変動 \(W(C_1)\) について
Xについて、
\((0-0)^2+(1-0)^2+(-1-0)^2=2\)
Yについて、
\((3-2)^2+(2-2)^2+(1-2)^2=2\)
よって、\(W(C_1)=\displaystyle\sum_{x\in C_1}D(x,g_{C_1})^2=4\)
・ \(C_2\) のクラスター内変動 \(W(C_2)\) について
Xについて、
\(\left(1-\dfrac{3}{2}\right)^2+\left(2-\dfrac{3}{2}\right)^2=\dfrac{2}{4}=\dfrac{1}{2}\)
Yについて、
\((0-0)^2+(0-0)^2=0\)
よって、\(W(C_2)=\displaystyle\sum_{x\in C_1}D(x,g_{C_2})^2=\dfrac{1}{2}\)
従って、最長距離法によるクラスター内変動は
\(4+\dfrac{1}{2}+0=\dfrac{9}{2}\)
大した計算ではないのだから、ワークの定義通りのほうがやりやすかったと思う。
ウォード法では、クラスター内変動の合計が小さいほうが良いクラスターと考えるので、
最長距離法のほうが望ましいと言える。
では、K-means法ではどうかというのが次の小問であり、クラスター内変動の合計を最小にする観点から、各方法を比較しようというのが本問の目的と言える。
良問すぎて、筆者には厳しかった。
(2)
初期クラスター
| 観測値No. | X | Y |
| 1 | 0 | 3 |
| 2 | 1 | 0 |
| C1 平均 | 1/2 | 3/2 |
| 3 | 1 | 2 |
| 4 | 2 | 0 |
| 5 | -1 | 1 |
| C2 平均 | 2/3 | 1 |
クラスターの重心は、\(C_1:(\bar{x}_{11},~\bar{x}_{12})=\left(\dfrac{1}{2},~\dfrac{3}{2}\right)~,~
C_2:(\bar{x}_{21},~\bar{x}_{22})=\left(\dfrac{2}{3},~1\right)\)
観測点ごとに、重心との距離を計算すると、
| 観測値No. | C1 | C2 |
| 1 | 5/2 | 40/9 |
| 2 | 5/2 | 10/9 |
| 3 | 1/2 | 10/9 |
| 4 | 9/2 | 25/9 |
| 5 | 5/2 | 25/9 |
| 平均 | 1 | 5/4 |
近いほうのクラスターに属するので、更新されたクラスターは
\(C_1=\{1,3,5\}~,~C_2=\{2,4\}\) （数字はデータ番号）
（ユークリッド距離なので、垂直二等分線を考えても分かる）
これは最長法によるクラスターと同じだから
\(W(C_1)+W(C_2)=\dfrac{9}{2}\)
あとは略解を参照。
2022人文④ 因子分析
出だしにクロンバックα係数があり、思わず引いてしまいましたが、定義も示されているので難しくはありません。後半の因子分析も因子が独立なので、因子分析としては扱いやすい問題です。類題として2016人文①がありますが、こちらは因子間相関のある場合です。
計算は手間がかからないよう考えられています。（2022人分科学の全体的傾向）
「基本の考え方を理解し、よく考えて問題を読む」という姿勢が求められています。
まず、因子分析の基本をひと通り確認する。
簡単のため、３変数の場合で説明する。
構造方程式を、\(\begin{pmatrix}
x \\
y \\
z
\end{pmatrix}=\begin{pmatrix}
a_{x} & b_{x} \\
a_{y} & b_{y} \\
a_{z} & b_{z}
\end{pmatrix}\begin{pmatrix}
F \\
G
\end{pmatrix}+\begin{pmatrix}
\varepsilon _{x} \\
\varepsilon _{y} \\
\varepsilon _{z}
\end{pmatrix}\)
行列表現で、\(X=AU+\varepsilon\) とすると、
相関行列は、\(R=E(XX')=A\times
E\left(
UU'
\right)
\times A'+
E
(\varepsilon \varepsilon')
\)
因子間相関行列：\(M=E(UU')=E\left(
\begin{pmatrix}
F \\
G
\end{pmatrix}\times
\left( FG\right)
\right)
\) 、誤差： \(D=E
(\varepsilon \varepsilon')=\begin{pmatrix}
e_{x}^{2} & 0 & 0 \\
0 & e_{y}^{2} & 0 \\
0 & 0 & e_{z}^{2}
\end{pmatrix}\) とすると、
\(R=AMA'+D\) または \(R-D=AMA'\) と表される （因子分析の基本方程式）
\(R-D=AMA'\) の対角成分が共通性だから、因子間相関行列を \(M
=\begin{pmatrix}
1 & r \\
r & 1
\end{pmatrix}\) とすると、
因子負荷行列は \(AMA'=
\begin{pmatrix}
a_{x} & b_{x} \\
a_{y} & b_{y} \\
a_{z} & b_{z}
\end{pmatrix}
\begin{pmatrix}
1 & r \\
r & 1
\end{pmatrix}
\begin{pmatrix}
a_{x} & a_{y} & a_{z} \\
b_{x} & b_{y} & b_{z}
\end{pmatrix}
\)
変数と因子の相関行列 \(E(XU')\) については、
\(E(XU')=A\times E(UU')+E(\varepsilon U')=A\times E(UU')=AM\)
因子間相関がなければ（\(M=I\) ）、 \(E(XU')=A\) （因子負荷行列）
因子負荷量は、変数と因子の相関係数と一致する。
さて本問では、\(A=\Lambda\) であり因子が独立なので
\(R=\Lambda\Lambda'+D\)
変数間の相関係数は、 \(\Lambda\Lambda'\) の成分を求めればよい。（対角成分は１）
\(\Lambda\Lambda'=
\begin{pmatrix}
0.8 & 0.2 \\
0.8 & 0.2 \\
0.2 & 0.8 \\
0.2 & 0.8 \\
\end{pmatrix}
\begin{pmatrix}
0.8 & 0.8 & 0.2& 0.2 \\
0.2& 0.2 & 0.8 & 0.8
\end{pmatrix}
=
\begin{pmatrix}
0.68 & 0.68 &0.32 & 0.32\\
0.68 & 0.68 &0.32 & 0.32\\
0.32 & 0.32 &0.68 & 0.68\\
0.32 & 0.32 &0.68 & 0.68
\end{pmatrix}
\)
よって、 \(R=
\begin{pmatrix}
1 & 0.68 &0.32 & 0.32\\
0.68 & 1 &0.32 & 0.32\\
0.32 & 0.32 &1& 0.68\\
0.32 & 0.32 &0.68 & 1
\end{pmatrix}
\)
Rが分かれば、(1)からクロンバックα係数はすぐに求まる。
さて問題に戻ります。
(1)は省略（解答を参照）
(2)
\(\begin{split}
s_T^2&=V(X_1+\cdots+X_m)=Cov(X_1+\cdots+X_m,~X_1+\cdots+X_m)\\
&=Cov(X_1,X_1)+\cdots +Cov(X_m,X_m)+2\sum_{i<j}Cov(X_i,X_j)\\
&=V(X_1)+\cdots+V(X_m)+2\sum_{i<j}Cov(X_i,X_j)\\
&=m\overline {V}+2\cdot \dfrac{m(m-1)}{2}\overline{C}
\end{split}\)
\(\displaystyle \sum_{j=1}^ms_j^2=m\overline{V}\) なので、定義の式により
\(\begin{split}
\alpha&=\dfrac{m}{m-1}\left(1-\dfrac{m\overline{V}}{m\overline{V}+m(m-1)\overline{C}}\right)\\
&=\dfrac{m}{m-1}\cdot \dfrac{m(m-1)\overline{C}}{\overline{V}+(m-1)\overline{C}}=\dfrac{m\overline{C}}{\overline{V}+(m-1)\overline{C}}
\end{split}\)
標準化されていれば \(\overline{V}=1~,~\overline{C}=\overline{R}\) であるから、
\(s_W^2=m+{m(m-1)}\overline{R}
\)
\(\begin{split}
\alpha'&=\dfrac{m}{m-1}\left(1-\dfrac{m}{m+{m(m-1)}\overline{R}}\right)
=\dfrac{m}{m-1}\left(1-\dfrac{1}{1+{(m-1)}\overline{R}}\right)\\
&=\dfrac{m}{m-1}\left(\dfrac{(m-1)\overline{R}}{1+{(m-1)}\overline{R}}\right)=\dfrac{m\overline{R}}{1+{(m-1)}\overline{R}}
\end{split}\)
\(\alpha'=0\) となるのは、\(\overline{R}=0\) のときであり、
相関行列の対角成分以外は０となるので \(X_1,\cdots,X_m\) は無相関となる。
\(\alpha'=1\) とすると、
\(m\overline{R}=1+{(m-1)}\overline{R}\) \(\therefore ~\overline{R}=1\)
相関行列の成分は全て１となるので \(X_1,\cdots,X_m\) は同じ値をとる確率変数となる。
(3)
分散を \(V\) とすると、各変数の分散は共通だから、
相関係数は \(\dfrac{Cov(X_i,X_j)}{V}=0.5\)
\(Cov(X_i,X_j)=0.5V\) （共通）となるので、 \(\overline{C}=0.5V\)
\(\alpha=\dfrac{m\overline{C}}{\overline{V}+(m-1)\overline{C}}=\dfrac{0.5mV}{V+0.5(m-1)V}
=\dfrac{0.5m}{1+0.5(m-1)}
\)
\(\dfrac{0.5m}{1+0.5(m-1)}\geq0.8\) から \(m\geq 4\) を得る。
(4-1)
２因子モデル
相関行列Rを求めて(2)を使えばよい。
前述の通り、\(R=
\begin{pmatrix}
1 & 0.68 &0.32 & 0.32\\
0.68 & 1 &0.32 & 0.32\\
0.32 & 0.32 &1& 0.68\\
0.32 & 0.32 &0.68 & 1
\end{pmatrix}
\) であるので \(\overline{R}=\dfrac{0.68\times 2+0.32\times 4}{6}=0.44\)
(2)の式より
\(\alpha_0'=\dfrac{m\overline{R}}{1+{(m-1)}\overline{R}}=\dfrac{4(0.44)}{1+{(4-1)}(0.44)}=0.758\fallingdotseq0.76\)
(4-2)
１因子モデル
\(\Lambda\Lambda'=
\begin{pmatrix}
\lambda\\
\lambda\\
\lambda\\
\lambda\\
\end{pmatrix}
\begin{pmatrix}
\lambda& \lambda & \lambda & \lambda
\end{pmatrix}
=
\begin{pmatrix}
\lambda^2 & \lambda^2&\lambda^2& \lambda^2\\
\lambda^2 & \lambda^2&\lambda^2& \lambda^2\\
\lambda^2 & \lambda^2&\lambda^2& \lambda^2\\
\lambda^2 & \lambda^2&\lambda^2& \lambda^2\\
\end{pmatrix}
\) より \(\therefore ~\overline{R}=\lambda^2\)
変数も因子も標準化されているので \(\alpha=\alpha'\) であり
\(\alpha=\alpha'=\dfrac{m\overline{R}}{1+{(m-1)}\overline{R}}=\dfrac{4\lambda^2}{1+{3}\lambda^2}=0.76
\)
\(1.72\lambda^2=0.76\) から \(\lambda^2=0.44~~\therefore \lambda=0.664\) を得る。
前半のクロンバックは過去問の類題がないので、選ぶのに躊躇すると思う。
因子分析は予想した問題だったので、選べなかったのは残念である。
2022人文⑤ 二変量正規分布と線形回帰
2変量正規分布と回帰についての教育的良問である。
後半は、「平均への回帰」を確率変数モデルで数理的に説明しようとするもので、難しく感じた。
まず多変量正規分布の基本から確認する。（２次元の場合）
大まかなイメージは次のようになる。
［2変量標準正規分布］
・各成分は独立であり標準化されている。
・分散共分散行列は単位行列であり確率密度関数は各成分の確率密度関数の積に分解される。
・分布の形状は対称な山になり、相関係数は０である。
［独立でない2変量正規分布］
・各成分は独立でなく相関を持つ。
・確率密度関数は分散共分散行列 を用いて表される。
・分布の形状は相関係数を傾きとする回帰直線を尾根に持つ。
回帰が関係するのは、独立でない2変量正規分布のほうである。
詳細は当サイト「ひょっこり統計」の「2変量正規分布と線形回帰分析」を参照。
（数式による概要）
2変量正規分布の確率密度関数
\((x,y)\) が2変量正規分布に従うとき、確率密度関数は 平均と分散共分散行列によって決まる。
\(
\begin{pmatrix}
x \\
y
\end{pmatrix}
\sim
N_2\left( \begin{pmatrix}
\mu_x \\
\mu_y
\end{pmatrix},\begin{pmatrix}
\sigma_x^2 & \sigma_{xy}\\
\sigma_{xy} & \sigma_y^2
\end{pmatrix}\right)
=
N_2\left( \begin{pmatrix}
\mu_x \\
\mu_y
\end{pmatrix},\begin{pmatrix}
\sigma_x^2 & \rho\sigma_x \sigma_y \\
\rho\sigma_x \sigma_y & \sigma_y^2
\end{pmatrix}\right)
\)
のとき、
\(\Sigma^{-1}=
\dfrac{1}{\sigma_x^2\sigma_y^2(1-\rho^2)}
\begin{pmatrix}
\sigma_y^2 & -\sigma_{xy}\\
-\sigma_{xy} & \sigma_x^2
\end{pmatrix}\) であり、 \(f(x,y)=\dfrac{1}{\left(\sqrt{2\pi}\right)^2\sqrt{|\Sigma|}}\exp\left[{-\dfrac{1}{2}(X-\mu)'\
\Sigma^{-1}(X-\mu)}\right]\)
\(x\) を固定したときの条件付き期待値は \(y\) の \(x\) による回帰直線に等しい。
即ち、 \(E(y|x)=\mu_y+\rho \sigma_y\left(\dfrac{x-\mu_x}{\sigma_x}\right)\) \(V(y|x)=(1-\rho^2)\sigma_y^2\)
問題に与えられている \(\sigma^2=\sigma_Y^2-\dfrac{\sigma_{XY}^2}{\sigma_X^2}\) は、第２式と同じである。
実際、 \(\sigma_Y^2-\dfrac{\sigma_{XY}^2}{\sigma_X^2}=\left(1-\dfrac{\sigma_{XY}^2}{\sigma_X^2\sigma_Y^2}\right)\sigma_Y^2
=(1-\rho^2)\sigma_Y^2\)
X,Yが標準化されていれば、さらに分かりやすい。
\(
\begin{pmatrix}
x \\
y
\end{pmatrix}
\sim
N_2\left( \begin{pmatrix}
0 \\
0
\end{pmatrix},\begin{pmatrix}
1 & 0\\
0 & 1
\end{pmatrix}\right)
\)
のとき、 \(\Sigma^{-1}=
\dfrac{1}{1-\rho^2}
\begin{pmatrix}
1 & -\rho\\
-\rho & 1
\end{pmatrix}\)
このとき、 \(f(y|x)\sim N\left(\rho x,(1-\rho^2)\right)\)
平均への回帰については、次のサイトを参考にさせて頂いた。
統計学がわかった 様 「平均への回帰とはなにか。遺伝学者ゴルトンの発見」
https://toukeigaku-jouhou.info/2018/02/20/regression-toward-the-mean/
「回帰とは、データに偏りがあったとしても、いずれ平均値へと近くなる現象のことをいう」
統計Web 様 「平均への回帰、相関係数―統計学史(2)」
https://bellcurve.jp/statistics/blog/13987.html
「ゴールトンは平均への回帰現象の数値化を試み、その結果生まれたのが 相関係数 である」
具体的には「偏差が相関係数倍に縮小する」ということであり、数式では次のようになる。
\((X_1,X_2)\) は同じ平均と分散を持ち、\(
\begin{pmatrix}
X_1 \\
X_2
\end{pmatrix}
\sim
N_2\left( \begin{pmatrix}
\mu \\
\mu
\end{pmatrix},\begin{pmatrix}
\sigma^2 & \rho\sigma^2\\
\rho\sigma^2 & \sigma^2
\end{pmatrix}\right)
\)
であるとする。
\(\rho\) は相関係数で、\(|\rho|\leq1\) を満たす。
\((X_1,X_2)\) を標準化した変量 \((Z_1,Z_2)\) の回帰式は \(Z_2=\rho Z_1\)
よって、 \(|X_2-\mu|=|\rho||X_1-\mu|\)
この式は、 \(X_2\) の偏差の絶対値は \(X_1\) の偏差の絶対値より小さく( \(|\rho|\) 倍)、平均へ回帰することを意味する。
（正確には、Z1のもとでの Z2の条件付き期待値が \(Z_2=\rho Z_1\) となるということである）
さて、問題に入る。
(1) \(X\sim N(120,~12^2)~,~Y\sim N(120,~12^2)\)
\(\rho=\dfrac{Cov(X,Y)}{\sqrt{V(X)}\sqrt{V(Y)}}\) より \(Cov(X,Y)=0.75\cdot 12^2=108\) だから、
\(\begin{split}
V(D)&=Cov(X-Y,X-Y)=Cov(X,X)+Cov(Y,Y)-2Cov(X,Y)\\
&=12^2+12^2-2\cdot 108=72
\end{split}\)
また、 \(E(D)=0\)
\(D\leq -4\) より \(Z=\dfrac{D}{\sqrt{72}}\leq \dfrac{-4}{\sqrt{72}}=-0.471\) だから
\(P(D\leq -4)=P(Z\leq -0.471)=P(Z\geq 0.471)=0.3192\)
(2)
\(E(y|x)=\mu_y+\rho \sigma_y\left(\dfrac{x-\mu_x}{\sigma_x}\right)\) より
\(E(Y\mid X=132)=120+0.75(132-120)=129\)
\(V(y|x)=(1-\rho^2)\sigma_y^2\) より
\(V(Y\mid X=132)=(1-0.75^2)12^2=63\)
平均への回帰は、「２回目の偏差の期待値が１回目の偏差より縮小する」ということである。
\(E(Y|X)=\mu_Y+\rho \sigma_Y\left(\dfrac{x-\mu_X}{\sigma_X}\right)\) から \(\dfrac{E(Y|X)-\mu_Y}{\sigma_Y}=\rho\dfrac{(X-\mu_X)}{\sigma_X}\)
\(\sigma_X=\sigma_Y\) であるから
\(E(Y|X)-\mu_Y=\rho(X-\mu_X)\)
即ち、 \(E(Y|X)-120=0.75(X-120)\)
平均への回帰により、偏差は 0.75倍 に縮むと予想される。
\(X=132\) のとき \(Y-120=0.75(12)=9\)
偏差は、回帰により
\(12\rightarrow 9\) と縮小すると期待される。
回帰による縮小分は、３ということになる。
(3) モデルとして
\(X=\theta+\varepsilon_1~,~Y=\theta+\varepsilon_2\) \(\theta\sim N(\mu,~\tau^2)~~,~~\varepsilon_i\sim N(0,~\psi^2)\)
独立性から
\(V(X)=V(\theta)+V(\varepsilon_1)=\tau^2+\psi^2~~,~~V(Y)=V(\theta)+V(\varepsilon_2)=\tau^2+\psi^2\)
\(Cov(X,Y)=Cov(\theta+\varepsilon_1,\theta+\varepsilon_2)=Cov(\theta,\theta)=\tau^2\)
今、 \(V(X)=V(Y)=12^2~~,~~Cov(X,Y)=108\) だから
\(\tau^2=108~~,~~\psi^2=36\)
(4)
\(E(Y\mid X=132)=120+0.75(132-120)=129\) であるが、
\(E(Y\mid X=132)=E(\theta\mid X=132)+E(\varepsilon_2\mid X=132)=E(\theta\mid X=132)\) だから、
\(E(\theta\mid X=132)=129\)
\(V(Y\mid X=132)=63\) であり、誤差は独立性より \(V(\varepsilon_2\mid X=132)=V(\varepsilon_2)=\psi^2\) だから、
\(\begin{split}
V(Y\mid X=132)&=V(\theta\mid X=132)+V(\varepsilon_2\mid X=132)\\
&=V(\theta\mid X=132)+36
\end{split}\)
Yの条件付き分散は、真値の分散と誤差分散に分解され、
\(V(\theta\mid X=132)+36=63~~~~~\therefore ~V(\theta\mid X=132)=27
\)
(5) Y の分布は
\(E(Y\mid X=132)=129\) \(V(Y\mid X=132)=63\)
\(E(\theta\mid X=132)=129\) \(V(\theta\mid X=132)=27
\)
\(V(\theta)=\psi^2=36\longrightarrow V(\theta\mid X=132)=27
\)
条件付き分散が縮小している。
より小さな分散を持つ分布に従うため、２回目の測定値は偏差が小さく抑えられる。
（後半）
\(Y\leq 128\) より \(\dfrac{Y-129}{\sqrt{63}}\leq \dfrac{-1}{\sqrt{63}}=-0.125\)
よって、 \(P(Y\leq 128\mid X=132)=P(Z\geq 0.125)\fallingdotseq\dfrac{0.4522+0.4483}{2}=0.450\)