2021 人文 （統計検定1級応用 過去問の解説です）
- 標本抽出法
- ファイ係数
- 因子分析
- 分散分析_混合計画
- 条件付き確率、正規分布
2021人文① 標本抽出法
(1)
(1-1)有意抽出法：調査者が基準を設けて抽出する。
単純無作為抽出法：各抽出単位の選ばれる確率が等しい抽出方法。（ワークp184）
(1-2)層化抽出法：層と配分を決め、各層から決めたサンプル数をランダムに抽出する。
（参照）統計学実践ワークブック21_25 （21_標本調査法）
(2) 解答参照
(3) 誤差とバイアスについて
標本誤差：抽出手続きで起きる誤差
（全数調査を行わずに標本調査を行ったことにより生ずる差）
（調査対象の一部を選定することによって起こる、真の値と調査結果との差）
非標本誤差：それ以外の誤差
無回答バイアス：無回答により推定量に偏りが出ること（これは非標本誤差）
(4-1) 比率の推定と有限母集団修正
［標本平均の分散に対する有限修正］
\(V(\bar{X})=\dfrac{N-n}{N-1}\times\dfrac{\sigma^2}{n}\)
（参考）あつまれ統計の森 様 「標本平均の分散に対して有限修正を行う際の修正項の導出」
https://www.hello-statisticians.com/explain-terms-cat/finte_correction1.html
比率の推定ではどのような修正になるか考える。
修正の必要がないのは復元抽出の場合である。
各回の抽出での識別変数を \(X_i\sim Ber(p):i.i.d.~(i=1,\cdots ,n)\) とすると
\(E(X_i)=p~,~V(X_i)=p(1-p)\) ：ベルヌーイ分布
\(X_1+X_2+\cdots +X_n\sim B(n,p)\) ：二項分布
\(\overline{X}\sim N\left(p,~\dfrac{p(1-p)}{n}\right)\) ：正規近似
\(Z=\dfrac{(X_1+X_2+\cdots +X_n)-100p}{\sqrt{100\cdot(0.7)(1-0.7)}}\) あるいは \(Z=\dfrac{\overline{X}-p}{\sqrt{\frac{(0.7)(1-0.7)}{100}}}\sim N(0,~1)\)
修正を行うとどうなるだろうか。
比率 \(\overline{X}\) はベルヌーイ分布の標本平均であるので、上記の有限修正を適用すると
\(\overline{X}\sim N\left(p~,~~\dfrac{p(1-p)}{n}\cdot\dfrac{N-n}{N-1}\right)\)
標本比率 \(\hat{p}=\overline{X}\) の分散は近似により、
\(V\left(\hat{p}\right)=\dfrac{\hat{p}(1-\hat{p})}{n}\cdot\dfrac{N-n}{N-1}\)
本問では、\(V\left(\hat{p}\right)=\dfrac{0.7(1-0.7)}{100}\cdot\dfrac{500-100}{500-1}=0.00168\)
信頼区間は \(\hat{p}=0.7\pm1.96 \sqrt{V\left(\hat{p}\right)}=0.7\pm 0.0804\) により \((0.619,~0.780)\) となる。
(4-2) カイ二乗検定（一様性のカイ二乗検定）
\(\displaystyle \chi_0^2=\sum_{i=1}^{k}\dfrac{(o_i-e_i)^2}{e_i}\) は自由度4のカイ二乗分布に従う。
| 年代 | 20代 | 30代 | 40代 | 50代 | 60代 |
| 観測度数 | 18 | 15 | 16 | 12 | 9 |
| 期待度数 | 14 | 14 | 14 | 14 | 14 |
\(\displaystyle \chi_0^2=\sum_{i=1}^{5}\dfrac{(o_i-e_i)^2}{e_i}=3.571\)
しかし、抽出数が倍になればカイ二乗値は倍になり、検定結果に影響を及ぼす。
従って、１００名の標本でのカイ二乗検定と２００名の標本でのカイ二乗検定の結果は異なる。
自由度4のカイ二乗分布の上側5%点は9.49 だから11.90
日経リサーチ様 カイ二乗検定
https://www.nikkei-r.co.jp/glossary/id=1617
2021人文② ファイ係数とカイ二乗値、超幾何分布
四分点相関係数は、 \(r_{xy}=\dfrac{ad-bc}{\sqrt{(a+b)(c+d)(a+c)(b+d)}}\) でありファイ係数と一致する。
（注意）
四分点相関係数は、四分表における相関係数でファイ係数に等しいが、\(r\times c\) 分割表のファイ係数
\(\phi=\sqrt{\chi^2/N}\) の取りうる値の範囲は、 \(0<\phi<\sqrt{\min(r,c)-1}\) であり１より大きい値もとる。
そこで、\((0,~1)\) の範囲になるように修正したものがクラメール連関係数である。
２×２の表において、オッズ比は \(OR=\dfrac{a/b}{c/d}\) （偏りがなければ１）
カイ二乗値 \(\chi^2=\dfrac{(ad-bc)^2N}{(a+b)(c+d)(a+c)(b+d)}\) （偏りがなければ０）
（イエーツの補正） \(\chi^2=\dfrac{\left(|ad-bc|-N/2\right)^2N}{(a+b)(c+d)(a+c)(b+d)}\)
ファイ係数 \(\phi=\dfrac{(ad-bc)}{\sqrt{(a+b)(c+d)(a+c)(b+d)}}\) （名義尺度の相関係数）
（偏りがなければ、ファイ係数は０に近い）
［ファイ係数、クラメール連関係数、カイ二乗値の関係］
・ファイ係数
\(\phi=\sqrt{\dfrac{\chi^2}{N}}\) （ r行要素とc列要素の関連の強さを示す ）
四分表では \(\chi^2=\dfrac{(ad-bc)^2N}{(a+b)(c+d)(a+c)(b+d)}
\) \(\therefore \phi=\sqrt{\dfrac{\chi^2}{N}}=\dfrac{|ad-bc|}{\sqrt{(a+b)(c+d)(a+c)(b+d)}}\)
これでは定義が２通りあることになるので、 \(\chi^2=N\cdot \phi^2\) とするのが適切である。
・クラメール連関係数（ \(N\) は総数）
\(V = \sqrt{\dfrac{\chi^2}{N \times (k-1)}}
\) （ \(k\) は列数または行数の小さいほう）1に近いほど関連が強い。
クラメール連関係数は、ファイ係数を \((0,~1)\) の範囲に修正したもので、本質的に同等である。
四分表では \(|r_{xy}|=\phi=V\) （ファイ係数=クラメール 、\(0<\phi=V<1\) ）
（まとめ）
・\(\chi^2\) 値は行と列の関連の度合いを表す指標であるが、Nに比例して値が大きくなる。
・サンプル数に依らないよう修正したものがファイ係数
・\((0,~1)\) の範囲に収まるよう修正したものがクラメールの連関係数である。
・クラメールのVは、相関係数と同じように関連の度合いを評価できることになる。
セルの頻度をa倍にすると、カイ二乗統計量はa倍になり、p値は小さくなる。クラメールは変化しない。ファイ係数、オッズ比も、a倍による変化はない。
(1) \(ad-bc=2\)
\(\phi=\dfrac{2}{\sqrt{6\cdot 4\cdot 8\cdot 2}}=\dfrac{2}{8\sqrt{6}}=\dfrac{1}{4\sqrt{6}}=0.102\)
\(\chi^2=\phi^2 N=(0.102)^2\cdot 10=0.104\)
(2) \(\phi\) は相関係数であるから周辺分布の制限がなければ、 \(-1\leq \phi \leq 1\)
\(\chi^2=\phi^2 N\) より \(0 \leq \chi^2 \leq 10\)
(3) 周辺分布を制限すると、セルを１つ決めると残りは決まる。
| 1 | 0 | 計 | |
| 1 | 6-c | 2+c | 8 |
| 0 | c | 2-c | 2 |
| 計 | 6 | 4 | 10 |
\(ad-bc=12-10c~~~(c=0,1,2)\)
・ファイ係数の大小は、 \(12-10c\) の大小で決まる。
・カイ二乗値の大小は、 \((12-10c)^2\) の大小で決まる。
\(0\leq c\leq 2\) の範囲で考えると、 \(c=0\) で最大、\(c=1\) で最小となることが分かる。
| 1 | 0 | 計 | |
| 1 | 6 | 2 | 8 |
| 0 | 0 | 2 | 2 |
| 計 | 6 | 4 | 10 |
正の相関が最も強いのは \(c=0\) のときで、\(ad-bc=12\)
\(\phi=\dfrac{12}{\sqrt{6\cdot 4\cdot 8\cdot 2}}=\dfrac{12}{8\sqrt{6}}=\dfrac{3}{2\sqrt{6}}=0.612\)
負の相関が最も強いのは のとき
| 1 | 0 | 計 | |
| 1 | 4 | 4 | 8 |
| 0 | 2 | 0 | 2 |
| 計 | 6 | 4 | 10 |
このとき、\(ad-bc=-8\)
\(\phi=\dfrac{-8}{\sqrt{6\cdot 4\cdot 8\cdot 2}}=\dfrac{-8}{8\sqrt{6}}=\dfrac{-1}{\sqrt{6}}=-0.408\)
よって、\(-0.408\leq \phi \leq 0.612\)
次にカイ二乗値について、
カイ二乗値が最も小さいのは相関係数の絶対値が０に近い（無相関）のときなので、\(c=1\)
| 1 | 0 | 計 | |
| 1 | 5 | 3 | 8 |
| 0 | 1 | 1 | 2 |
| 計 | 6 | 4 | 10 |
このとき、 \(ad-bc=2\)
(1)から \(\phi=\dfrac{2}{\sqrt{6\cdot 4\cdot 8\cdot 2}}=0.102\) \(\chi^2=0.104\)
カイ二乗値が最も大きいのは相関係数の絶対値が1に近いときなので、\(c=0\)
(3) から \(\phi=\dfrac{12}{\sqrt{6\cdot 4\cdot 8\cdot 2}}=0.612\) \(\chi^2=3.745\)
よって、\(0.104\leq \chi^2 \leq 3.745\)
(4) \(c=0,1,2\) であり、Xはそれぞれ \(X=2,4,6\)
超幾何分布の計算法で組み合わせを用いて計算すると、
\(P(X=2)=\dfrac{{}_4 C_2 }{{}_{10} C_2 }=\dfrac{2}{15}\)
\(P(X=4)=\dfrac{{}_6 C_1\cdot {}_4 C_1 }{{}_{10} C_2 }=\dfrac{8}{15}\)
\(P(X=6)=\dfrac{{}_6 C_2 }{{}_{10} C_2 }=\dfrac{1}{3}\)
期待値は、 \(E(X)=\dfrac{64}{15}=4.266\) （判定がずれる可能性が４人程あることになる）
2021人文③ 因子分析
スペクトル分解
理数アラカルト 様 「行列のスペクトル分解を解説」
https://risalc.info/src/spectral-decomposition-matrix.html
対称行列 \(\Lambda\) が直交行列 \(U\) により対角化されているとき、
直交行列の列ベクトル \(u_1,\cdots,u_n\) は固有ベクトルである。
\((u_1~u_2\cdots u_n)^{-1}\Lambda (u_1~u_2\cdots u_n)=\begin{pmatrix}
\lambda_1&\cdots&0\\&\cdots~\\
0&\cdots&\lambda_n \end{pmatrix}\)
\(u_1u_1'\) は \((n, n)\)行列であり \((u_1u_1')u_1=u_1,~~(u_1u_1')u_2=0,\cdots\) だから、
\((\lambda_1u_1u_1'+\cdots +\lambda_nu_nu_n')u_1=\lambda_1u_1\)
\((\lambda_1u_1u_1'+\cdots +\lambda_nu_nu_n')u_2=\lambda_2u_2\)
\(\cdots \cdots\)
\((\lambda_1u_1u_1'+\cdots +\lambda_nu_nu_n')u_n=\lambda_nu_n\)
故に \((\lambda_1u_1u_1'+\cdots +\lambda_nu_nu_n')(u_1~u_2\cdots u_n)
=(u_1~u_2\cdots u_n)\begin{pmatrix}
\lambda_1&\cdots&0\\&\cdots~\\
0&\cdots&\lambda_n \end{pmatrix}\)
\((\lambda_1u_1u_1'+\cdots +\lambda_nu_nu_n')
=(u_1~u_2\cdots u_n)\begin{pmatrix}
\lambda_1&\cdots&0\\&\cdots~\\
0&\cdots&\lambda_n \end{pmatrix}(u_1~u_2\cdots u_n)^{-1}\)
よって、 \(\Lambda=\lambda_1u_1u_1'+\cdots +\lambda_nu_nu_n'\) が成立する。
因子分析は 未定係数法と次元圧縮
2因子3変数の場合
\(\begin{pmatrix}
x \\
y \\
z
\end{pmatrix}=\begin{pmatrix}
a_{x} & b_{x} \\
a_{y} & b_{y} \\
a_{z} & b_{z}
\end{pmatrix}\begin{pmatrix}
F \\
G
\end{pmatrix}+\begin{pmatrix}
\varepsilon _{x} \\
\varepsilon _{y} \\
\varepsilon _{z}
\end{pmatrix}\)
因子分析は、データ \((x,y,z)\) を潜在変数 \((F,G)\) で表そうとするものである。
\(\varepsilon_x,\varepsilon_y,\varepsilon_z\) は誤差を表し \(F,G\) とは独立。\((x,y,z)\) \((F,G)\) は標準化されているものとする。
F,Gの相関係数を \(r\) とすると \(r=E(FG)\) 。係数を求めるには未定係数法を用いる。
\(X=\begin{pmatrix}
x \\
y \\
z
\end{pmatrix},
A=\begin{pmatrix}
a_{x} & b_{x} \\
a_{y} & b_{y} \\
a_{z} & b_{z}
\end{pmatrix},
\epsilon=\begin{pmatrix}
\epsilon_x \\
\epsilon_y \\
\epsilon_z
\end{pmatrix},
U=\begin{pmatrix}
F \\
G
\end{pmatrix}
\) とおくと、 \(X=AU+\varepsilon\)
これを構造方程式という。
相関行列は
\(XX'=\left\{ A\begin{pmatrix}
F \\
G
\end{pmatrix}+\begin{pmatrix}
\varepsilon _{x} \\
\varepsilon _{y} \\
\varepsilon _{z}
\end{pmatrix}\right\} \times \left\{ \left( FG\right) A'+\left( \varepsilon
_{x}\varepsilon _{y}\varepsilon _{z}\right) \right\} \) の期待値を計算したものになり、
相関行列をRとすると、
\(R=A\times
E\left(
\begin{pmatrix}
F \\
G
\end{pmatrix}\times
\left( FG\right)
\right)
\times A'+
E\begin{pmatrix}
\varepsilon _{x}^{2} & 0 & 0 \\
0 & \varepsilon _{y}^{2} & 0 \\
0 & 0 & \varepsilon _{z}^{2}
\end{pmatrix}
\)
因子間相関行列を \(M=E\left(
\begin{pmatrix}
F \\
G
\end{pmatrix}\times
\left( FG\right)
\right)
\) 、誤差を \(D=\begin{pmatrix}
e_{x}^{2} & 0 & 0 \\
0 & e_{y}^{2} & 0 \\
0 & 0 & e_{z}^{2}
\end{pmatrix}\) とおくと
\(R=AMA'+D\) （因子分析の基本方程式）
データから相関行列 R が分かり、基本方程式を満たすような Aを決めればモデルが決まる。
誤差は対角成分に現れるので、対角成分を除けば \(R=AMA'\)
本問では、\(M=I~,~A=\Lambda~,~D=\Psi\) であるので、対角成分を除けば \(R=\Lambda\Lambda'\) ということになる。
\(\Lambda=\begin{pmatrix}
0.7 & 0.5 \\
0.5 & 0.7 \\
0.7 & -0.5\\
0.5 & -0.7
\end{pmatrix}\) より、\(\Lambda\Lambda'=\begin{pmatrix}
0.7 & 0.5 \\
0.5 & 0.7 \\
0.7 & -0.5\\
0.5 & -0.7
\end{pmatrix}
\begin{pmatrix}
0.7 & 0.5 & 0.7 &0.5 \\
0.5 & 0.7 &-0.5 &-0.7 \end{pmatrix}
=
\begin{pmatrix}
0.74 & 0.70 & 0.24 &0 \\
0.70 & 0.74 & 0 & -0.24 \\
0.24 & 0 & 0.74 & 0.70\\
0 & -0.24 & 0.70 & 0.74
\end{pmatrix}
\)
相関行列の対角成分は１だから、
\(R=
\begin{pmatrix}
1 & 0.70 & 0.24 &0 \\
0.70 & 1 & 0 & -0.24 \\
0.24 & 0 & 1 & 0.70\\
0 & -0.24 & 0.70 & 1
\end{pmatrix}
\) 誤差は \(\Psi=\begin{pmatrix}
0.26 & 0 & 0 & 0 \\
0 & 0.26 & 0 & 0\\
0 & 0 & 0.26 & 0 \\
0 & 0 & 0 & 0.26
\end{pmatrix}\)
(2) \(\Lambda\Lambda'\) の固有方程式は
\(det\begin{pmatrix}
0.74-\lambda & 0.70 & 0.24 &0 \\
0.70 & 0.74-\lambda & 0 & -0.24 \\
0.24 & 0 & 0.74-\lambda & 0.70\\
0 & -0.24 & 0.70 & 0.74-\lambda
\end{pmatrix}
=0\)
\(a=0.74-\lambda\) とおいて余因子展開を用いると左辺は、
\(a\cdot det\begin{pmatrix}
a & 0 & -0.24 \\
0 & a & 0.70\\
-0.24 & 0.70 & a
\end{pmatrix}
-(0.7)\cdot det\begin{pmatrix}
0.70 & 0.24 &0 \\
0 & a & 0.70\\
-0.24 & 0.70 & a
\end{pmatrix}
+(0.24)\cdot det\begin{pmatrix}
0.70 & 0.24 &0 \\
a & 0 & -0.24 \\
-0.24 & 0.70 & a
\end{pmatrix}
\)
各項は、 \(det\begin{pmatrix}
a & 0 & -0.24 \\
0 & a & 0.70\\
-0.24 & 0.70 & a
\end{pmatrix}
=a^3-(0.24)^2a-(0.7)^2a\)
\(det\begin{pmatrix}
0.70 & 0.24 &0 \\
0 & a & 0.70\\
-0.24 & 0.70 & a
\end{pmatrix}
=(0.7)a^2-(0.24)^2(0.7)-(0.7)^3\)
\(det\begin{pmatrix}
0.70 & 0.24 &0 \\
a & 0 & -0.24 \\
-0.24 & 0.70 & a
\end{pmatrix}
=(0.24)^3-(0.24)a^2+(0.24)(0.7)^2\)
よって、
\(\begin{split}
&a^4-(0.24)^2a^2-(0.7)^2a^2-(0.7)^2a^2+(0.24)^2(0.7)^2+(0.7)^4+(0.24)^4-(0.24)^2a^2+(0.24)^2(0.7)^2\\
&=a^4-2\left((0.24)^2+(0.7)^2\right)a^2+\left[(0.24)^2+(0.7)^2\right]^2\\
&=\left(a^2-(0.24)^2-(0.7)^2\right)^2=\left((0.74-\lambda)^2-(0.24)^2-(0.7)^2\right)^2=(\lambda^2-1.48\lambda)^2=\lambda^2(\lambda-1.48)^2=0
\end{split}\)
\(\therefore ~\lambda=1.48~,~0\) （２重根）
（注意）
不思議なことに、
因子負荷行列の列ベクトルが \(AA'\) の固有ベクトル、列ベクトルの成分の平方和が固有値である。
実際、 \(0.7^2+ 0.5^2 + 0.7^2 +0.5^2=1.48\)
\(\begin{pmatrix}
0.74 & 0.70 & 0.24 &0 \\
0.70 & 0.74 & 0 & -0.24 \\
0.24 & 0 & 0.74 & 0.70\\
0 & -0.24 & 0.70 & 0.74
\end{pmatrix}
\begin{pmatrix}
0.7\\
0.5\\
0.7\\
0.5
\end{pmatrix}
=1.48
\begin{pmatrix}
0.7\\
0.5\\
0.7\\
0.5
\end{pmatrix}\)
となっており、一般に言えるのかもしれないがここでは立ち入らないことにする。
それにしても線形代数は重要だと思う。
次に、Rの固有値は
\(det\begin{pmatrix}
1-\lambda & 0.70 & 0.24 &0 \\
0.70 & 1-\lambda & 0 & -0.24 \\
0.24 & 0 & 1-\lambda & 0.70\\
0 & -0.24 & 0.70 & 1-\lambda
\end{pmatrix}
=0\)
\(b=1-\lambda\) とおいて同様の計算をすると、
\(\left[(a^2-(0.24)^2-(0.7)^2\right]^2=0\) \(\therefore \left(\lambda^2-2\lambda+0.4524\right)^2=0\)
\(\lambda=1\pm \sqrt{1-0.4524}=1\pm(0.74)=1.74~,~0.26\) これらは２重根である。
（時間内にミスなく計算するのは難しそうである）
［考え方を整理］
相関行列Rで主因子法による因子分析を考えるとき、固有値は新変数の分散である。
トレースは固有値の合計であり分散の合計でもある。(標準化されているから変数の数４に等しい)
Rの固有値は、 \(1.74,~1.74,~0.26,~0.26\) 合計４である。
新変数は４個あるが、はじめの２つに次元圧縮すると、分散合計は \(1.74+1.74=3.48\)
次元圧縮した相関行列が \(\Lambda\Lambda'\) であり、
固有値は \(1.48,~1.48,~0,~0\)
独自性(誤差項)は、 \(0.26,~0.26,~0.26,~0.26\)
独自性とRの圧縮された固有値が一致しているのは偶然ではなさそうである。
さて、
固有値の計算は手間がかかり、制限時間内に解答する事が難しくなる。
本問では、
・因子負荷行列の列が直交
・独自性を表す誤差行列 の対角成分がすべて等しい
これを利用すると計算が簡略化されるので以下に示す。
まず、因子負荷行列の列が直交していることから、
\(\Lambda=\begin{pmatrix}u_1&u_2\end{pmatrix}\) とおくと、\(u_1'u_2=0~,~u_2'u_1=0\) が成り立っている。
\(\Lambda\Lambda' =\begin{pmatrix}u_1&u_2\end{pmatrix}
\begin{pmatrix}
u_1'\\u_2'
\end{pmatrix}
=
u_1u_1'+u_2u_2'\) であるので、
\(\Lambda\Lambda'u_1 =|u_1|^2u_1\) \(\Lambda\Lambda'u_2 =|u_2|^2u_2\)
よって、\(u_1,~u_2\) は \(\Lambda\Lambda' \) の固有ベクトルであり、固有値は \(|u_1|^2~,~|u_2|^2\)
直交する単位ベクトル \(u_3,~u_4\) を付加すると、
\(\Lambda\Lambda'u_3 =0\cdot u_3\) \(\Lambda\Lambda'u_4 =0\cdot u_4\)
従って、\(\Lambda\Lambda' \) の固有値は、 \(|u_1|^2=1.48~,~|u_2|^2=1.48~,~0~,~0\) である。
\(R=\Lambda\Lambda'+\Psi\) であり、 \(\Psi=(0.26)\cdot I\) だから、
\(Ru_1=\Lambda\Lambda'u_1+\Psi u_1=1.48u_1+0.26u_1=1.74u_1\)
\(Ru_2=\Lambda\Lambda'u_2+\Psi u_2=1.48u_2+0.26u_2=1.74u_2\)
\(Ru_3=\Lambda\Lambda'u_3+\Psi u_3=0+0.26u_3=0.26u_3\)
\(Ru_4=\Lambda\Lambda'u_4+\Psi u_4=0+0.26u_4=0.26u_4\)
よって、Rの固有値は \(1.74~,~1.74~,~0.26~,~0.26\) となる。
(3)
［構造方程式をみたす因子負荷行列Aは一通りではない］
\(X=A\begin{pmatrix}
F \\
G
\end{pmatrix}+\varepsilon =\left\{ AT\right\} \times \left\{ T^{-1}\begin{pmatrix}
F \\
G
\end{pmatrix}\right\} +\varepsilon \)
\(AT=\begin{pmatrix}
a_{x}' & b_{x}' \\
a_{y}' & b_{y}' \\
a_{z}' & b_{z}'
\end{pmatrix}\) とおくと、\(\begin{pmatrix}
a_{x}' & a_{y}' & a_{z}' \\
b_{x}' & b_{y}' & b_{z}'
\end{pmatrix}=T^{-1}\begin{pmatrix}
a_{x} & a_{y} & a_{z} \\
b_{x} & b_{y} & b_{z}
\end{pmatrix}\)
これは、\(T^{-1}\) で表される一次変換によって、
\(\left( F,G\right) \rightarrow \left( F',G'\right) \)
\(\begin{aligned}\left( a_{x},b_{x}\right) \rightarrow \left( a_{x}',b_{x}'\right)
\\
\end{aligned}\) \(\left( a_{y},b_{y}\right) \rightarrow \left( a_{y}',b_{y}'\right)
\) \(\left( a_{z},b_{z}\right) \rightarrow \left( a_{z}',b_{z}'\right)
\)
因子スコアを一次変換すると、因子負荷ベクトルも同じ一次変換がなされることが分かる。
Tが直交行列であれば一次変換は回転である。この場合、バリマックス回転と呼ぶ。
\(T^{-1}\) として軸を45度回転または−45度回転
\(AT\) を計算すれば、単純構造に近くなっていることが分かる。
(4)寄与率
主成分分析での第２成分までの寄与率は、
R の固有値を用いるので \(\dfrac{1.74\times 2}{4}=0.87\)
因子分析での第２成分までの寄与率は、
\(\Lambda\Lambda'\) の固有値を用いるので \(\dfrac{1.48\times 2}{4}=0.74\)
2021人文④ 分散分析_混合計画
小杉孝司先生の「分散分析を始める前に」 「分散分析アルゴリズム」に詳細な解説がある。（専修大学人間科学部）
http://kosugitti.sakura.ne.jp/wp/wp-content/uploads/2013/08/anovapre.pdf
http://kosugitti.sakura.ne.jp/wp/wp-content/uploads/2013/08/anovaful.pdf
実験計画（要因の数とその種類の組み合わせ）
（要因の数）
・要因数が1つ→1元配置分散分析 ・要因数が2つ→2元配置分散分析
（３種類）
・被験者間計画(対応なし) ・被験者内計画(対応あり) ・混合計画
(1)被験者間の要因は指導法M1,M2、被験者内要因は前と後。
被験者間と被験者内を含む実験計画を２要因混合計画という。
偏差平方和（MS）の計算方法は２元配置分散分析と同じであるが、
・間要因の MS は間誤差のMSと比較する。
・内要因のMSと交互作用のMSは内誤差のMSと比較する。
（MS：Mean squaresは、平方和（SS）を自由度（df）で割った平均平方）
まず、表1から読み取れることを整理する。
指導法 M1 のグループの、指導前の成績 \(x_i\) 、指導後の成績 \(x_i'\)
指導法 M2 のグループの、指導前の成績 \(y_i\) 、指導後の成績 \(y_i'\)
\(x_i,~x_i'\) は対応のあるデータ、 \(y_i,~y_i'\) も対応のあるデータとする。
\(\displaystyle \sum_1^{10}(x_i-4)^2=20~,~~\sum_1^{10}(x_i'-7)^2=8~,~~\sum_1^{10}(x_i-4)(x_i'-7)=1\)
\(\displaystyle \sum_1^{10}(y_i-4)^2=20~,~~\sum_1^{10}(y_i'-5)^2=28~,~~\sum_1^{10}(y_i-4)(y_i'-5)=15\)
| 指導法 | 前 | 後 | 平均 |
| M1 | \(\overline{x_i}=4\) | \(\overline{x_i'}=7\) | \(5.5\) |
| M2 | \(\overline{y_i}=4\) | \(\overline{y_i'}=5\) | \(4.5\) |
| 平均 | \(4\) | \(6\) | \(5\) |
［間要因］
・ \(M_1,~M_2\) の間要因の偏差平方和（郡間変動）
\(20(5.5-5)^2+20(4.5-5)^2=10\) （M1は10人の前後：20個のデータ）
・ 間要因内偏差平方和（郡内変動）
\(\begin{split}
2\sum_1^{10}\left(\dfrac{x_i+x_i'}{2}-5.5\right)^2
=&2\sum_1^{10}\left(\dfrac{x_i+x_i'}{2}-\dfrac{4+7}{2}\right)^2
=2\sum_1^{10}\left(\dfrac{x_i-4}{2}+\dfrac{x_i'-7}{2}\right)^2\\
=&2\sum_1^{10}\left(\dfrac{x_i-4}{2}\right)^2+2\sum_1^{10}\left(\dfrac{x_i'-7}{2}\right)^2
+2\sum_1^{10}\left(\dfrac{x_i-4}{2}\right)\left(\dfrac{x_i'-7}{2}\right)\\
=&\dfrac{1}{2}\cdot 20+\dfrac{1}{2}\cdot 8+1=15
\end{split}\)
\(\begin{split}
2\sum_1^{10}\left(\dfrac{y_i+y_i'}{2}-4.5\right)^2
=&2\sum_1^{10}\left(\dfrac{y_i+y_i'}{2}-\dfrac{4+5}{2}\right)^2
=2\sum_1^{10}\left(\dfrac{y_i-4}{2}+\dfrac{y_i'-5}{2}\right)^2\\
=&2\sum_1^{10}\left(\dfrac{y_i-4}{2}\right)^2+2\sum_1^{10}\left(\dfrac{y_i'-5}{2}\right)^2
+2\sum_1^{10}\left(\dfrac{y_i-4}{2}\right)\left(\dfrac{y_i'-5}{2}\right)\\
=&\dfrac{1}{2}\cdot 20+\dfrac{1}{2}\cdot 28+15=39
\end{split}\)
間要因内偏差平方和は、合計 \(15+39=54\) 自由度は \(9+9=18\)
［内要因］
・前後の内要因の偏差平方和
\(20(4-5)^2+20(6-5)^2=40\) （M1,M2は10人の指導前・指導後で20個のデータ）
・前後内要因内偏差平方和（郡内変動）は２重になるので計上しないが次の式になる。
\(\begin{split}
&\sum_1^{10}\left(x_i-\dfrac{4+4}{2}\right)^2+\sum_1^{10}\left(y_i-\dfrac{4+4}{2}\right)^2+\sum_1^{10}\left(x_i'-\dfrac{7+5}{2}\right)^2+\sum_1^{10}\left(y_i'-\dfrac{7+5}{2}\right)^2\\
=&
\sum_1^{10}\left(x_i-4\right)^2+\sum_1^{10}\left(y_i-4\right)^2+\sum_1^{10}\left(x_i'-7+1\right)^2+\sum_1^{10}\left(y_i'-5-1\right)^2\\
=&20+20+\sum_1^{10}\left[(x_i'-7)^2+1+2(x_i'-7)\right]+\sum_1^{10}\left[(y_i'-5)^2+1-2(y_i'-5)\right]\\
=&20+20+(8+10)+(28+10)=96
\end{split}\)
（この値は計上しない）
・交互作用
\(10(4-4-5.5+5)^2+10(7-6-5.5+5)^2+10(4-4-4.5+5)^2+10(5-6-4.5+5)^2=10\)
（注意）
交互作用については、次のように考えることもできる。
例えば、M1かつ前の予測値は
（予測値）＝(平均)＋(M1の効果)＋(前の効果) であるので、
\(5+(5.5-5)+(4-5)=5.5+4-5\) で計算される。
表にすると
| 指導法 | 前 | 後 | 平均 |
| M1 | \(4.5\) | \(6.5\) | \(5.5\) |
| M2 | \(3.5\) | \(5.5\) | \(4.5\) |
| 平均 | \(4\) | \(6\) | \(5\) |
(交互作用)=(実際の値)ー(予測値) であるので、
\(4-(5.5+4-5)=4-5.5-4+5\) によって計算される。
［全変動］
\(\displaystyle \sum_1^{10}\left(x_i-5\right)^2+\sum_1^{10}\left(y_i-5\right)^2+\sum_1^{10}\left(x_i'-5\right)^2+\sum_1^{10}\left(y_i'-5\right)^2\)
ここで、
\(\displaystyle \sum_1^{10}\left(x_i-5\right)^2=\sum_1^{10}\left(x_i-4-1\right)^2=\sum_1^{10}\left(x_i-4\right)^2+\sum_1^{10}1+0=20+10=30\)
\(\displaystyle \sum_1^{10}\left(x_i'-5\right)^2=\sum_1^{10}\left(x_i'-7+2\right)^2=\sum_1^{10}\left(x_i'-7\right)^2+\sum_1^{10}4+0=8+40=48\)
\(\displaystyle \sum_1^{10}\left(y_i-5\right)^2=\sum_1^{10}\left(y_i-4-1\right)^2=\sum_1^{10}\left(y_i-4\right)^2+\sum_1^{10}1+0=20+10=30\)
\(\displaystyle \sum_1^{10}\left(y_i'-5\right)^2=20\)
よって、（全変動）＝１３６
［誤差変動］
\(136-(10+54+40+10)=22\) 自由度は \(39-(1+18+1+1)=18\)
これで分散分析表ができあがる。
(2)
A：群が有意であるかどうかを見るには、個体差の平均平方で割るので
\(F=\dfrac{10}{3}=3.3\sim F(1,18)\)
\(F_{0.05}(1,18)>F_{0.05}(1,20)=4.351\) だから、
\(3.3<F_{0.05}(1,20)<F_{0.05}(1,18)\) であり有意とは言えない。
B：時期が有意であるかどうかを見るには、誤差の平均平方で割るので
\(F=\dfrac{40}{1.22}=32.78\sim F(1,18)\) これは有意である。
\(A\times B\) ： 交互作用が有意であるかどうかを見るには、誤差の平均平方で割るので
\(F=\dfrac{10}{1.22}=8.2\sim F(1,18)\) これも有意である。
(3)交互作用が有意であるので、指導法の違いを分析するには、交互作用 \(A\times B\) を見る。
M1の後期が最もよいことになる。
早稲田大学 小塩真司 様 「心理データ解析」によれば、
http://www.f.waseda.jp/oshio.at/edu/data_b/05_folder/da05_01.html
・２要因の分散分析では，まず，２つの要因の交互作用を検証する。
・交互作用が認められたら，単純主効果の検定を行う。
（たとえば要因Aと要因Bの交互作用が有意である時，要因Bのある水準での要因Aの主効果，要因Aのある水準での要因Bの主効果について分析を行う）
単純主効果が有意である場合には，必要に応じて多重比較を行う。
・交互作用が認められなかったら，主効果を検定する。
（主効果が有意である場合には必要に応じて多重比較を行う）
交互作用が有意であったので，次に単純主効果の検定を行う。
小塩真司 様 http://www.f.waseda.jp/oshio.at/edu/data_b/05_folder/da05_02.html
によると、
単純主効果は折れ線グラフで判断できる。
(4)
M1グループについて
\(V(X)=\dfrac{20}{9}~,~V(Y)=\dfrac{8}{9}~,~Cov(X,Y)=\dfrac{1}{9}\) より、
\(V(Y-X)=V(Y)+V(X)-2Cov(X,Y)=\dfrac{26}{9}\)
M2グループについて
\(V(X)=\dfrac{20}{9}~,~V(Y)=\dfrac{28}{9}~,~Cov(X,Y)=\dfrac{15}{9}\)
\(V(Y-X)=V(Y)+V(X)-2Cov(X,Y)=\dfrac{18}{9}=2\)
M1,M2 をプールした \((Y-X)\) の分散は
\(s^2=V(Y-X)=\dfrac{26+18}{18}=\dfrac{42}{18}=\dfrac{22}{9}\)
M1グループの \((Y-X)\sim N(\mu_1,\sigma^2)\) とすると、１０名の標本平均は \(\overline {x}_1=(Y-X)\sim N\left(\mu_1,\dfrac{\sigma^2}{10}\right)\)
M2グループの \((Y-X)\sim N(\mu_2,\sigma^2)\) とすると、１０名の標本平均は \(\overline {x}_2=(Y-X)\sim N\left(\mu_2,\dfrac{\sigma^2}{10}\right)\)
帰無仮説： \(\mu_1=\mu_2\) のもとでは
\(\overline {x}_1-\overline {x}_2 \sim N\left(0,~\dfrac{\sigma^2}{10}+\dfrac{\sigma^2}{10}\right)
=N\left(0,~\dfrac{\sigma^2}{5}\right)\)
標準化すると、
\(\dfrac{\overline {x}_1-\overline {x}_2}{{{\sigma}/{\sqrt{5}}}}\sim N(0,1)\)
母分散の代わりに標本分散 \(s^2=\dfrac{22}{9}\) を用いると t分布に従う。
\(t=\dfrac{\overline {x}_1-\overline {x}_2}{s\sqrt{\frac{1}{10}+\frac{1}{10}}}\sim t(18)\) 即ち、 \(t=\dfrac{\overline {x}_1-\overline {x}_2}{{{\sqrt{22}}/{3\sqrt{5}}}}\sim t(18)\)
\(t=\dfrac{3-1}{\sqrt{\dfrac{22}{9}}\sqrt{\frac{1}{10}+\frac{1}{10}}}=\dfrac{6\sqrt{5}}{\sqrt{22}}=2.86\)
自由度１８のt分布表によると、５％有意である。
（注意）
単純主効果の検定はt検定でもできる。
(5)
単回帰分析の正規方程式から
\(a+b\overline{x}=\overline{y}\) \(a\overline{x}+b\overline{x^2}=\overline{xy}\) （正規方程式）
\(\therefore ~\displaystyle b=\frac{\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right)
\left( y_{i}-\overline{y}\right) }{
\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right) ^{2}}\) \(\displaystyle
V(b)=
\frac{\sigma^2}{\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right) ^{2}}\)
M1,M2 をプールした \((Y-X)\) の分散は、 \(V(Y-X)=\dfrac{22}{9}\)
ダミー変数 \(D\) について、\(\overline{D}=\dfrac{1}{2}~~,~~\overline{D^2}=\dfrac{1}{2}\)
目的変数について、\(\overline{(Y-X)}=2~~,~~\overline{D(Y-X)}=\dfrac{1}{2}\)
正規方程式は
\(a+b\cdot \dfrac{1}{2}=2~~,~~a\cdot \dfrac{1}{2}+b\cdot \dfrac{1}{2}=\dfrac{1}{2}\) \(\therefore ~a=2~~,~~b=-2\)
母分散の推定値としてプールした分散 \(s^2=\dfrac{22}{9}\) を用いると、
\(\displaystyle V(b)=
\frac{s^2}{\sum ^{20}_{i=1}\left( D_{i}-\overline{D}\right) ^{2}}
=\dfrac{\dfrac{22}{9}}{\dfrac{1}{4}\cdot 20}
=\dfrac{22\cdot 4}{9\cdot 20}=0.48\)
標準偏差は、\(S(b)=\sqrt{\dfrac{22\cdot 4}{9\cdot 20}}=0.699\)
2021人文⑤ 条件付き確率、正規分布
SATOLOG 様 を参考にさせていただきました。
https://satolog.org/toukeikentei-grade1-2021-ouyo-rikou-5/
［基本］
条件付き確率は次のようになり、
| T | F | |
| ＋ | \(P(+|T)\) | \(P(+|F)\) |
| ー | \(P(-|T)\) | \(P(-|F)\) |
| 計 | 1 | 1 |
実際の確率は次のようになる。
| T | F | |
| ＋ | \(P(T \cap +)\) | \(P(F \cap +)\) |
| ー | \(P(T \cap -)\) | \(P(F \cap -)\) |
| 計 | \(p\) | \(1-p\) |
(1)
\(\begin{split}P(+|T)&=P(X_T > c)=P(X_T > 8)\\&=P\left(X_T-10 > -2\right)=
P\left(\dfrac{X_T-10}{2} > -1\right)=1-0.1585=0.8413
\end{split}\)
\(\begin{split}P(-|F)&=P(X_F \leq c)=P(X_F < 8)\\&=P\left(X_F-5 < 3\right)=
P\left(\dfrac{X_T-5}{2} < 1.5\right)=1-0.0668=0.9332
\end{split}\)
(2)原因の確率の考え方で行う
・陽性的中率 \(P(T|+)=\dfrac{P(T \cap +)}{P(T \cap +)+P(F \cap +)}\) について、
\(P(T \cap +)=P(T)\cdot P(+|T)=0.01\times 0.8413=0.008413\)
\(P(F \cap +)=P(F)\cdot P(+|F)=0.99\times 0.0668=0.0661\)
よって、\(\displaystyle P(T|+)=\dfrac{0.008413}{0.008413+0.0661}=0.1129\)
・陰性的中率 \(\displaystyle P(F|-)=\displaystyle \dfrac{0.9238}{0.001585+0.9238}\)
\(P(T \cap -)=P(T)\cdot P(-|T)=0.01\times 0.1585=0.001585\)
\(P(F \cap -)=P(F)\cdot P(-|F)=0.99\times 0.9332=0.9238\)
よって、\(\displaystyle P(F|-)=\displaystyle \dfrac{P(F \cap -)}{P(T \cap -)+P(F \cap -)}=0.99828\)
(3)
\(\begin{split}P(+|T)&=P(X_T > c)\\
&=P\left(X_T-10 > c-10\right)=
P\left(\dfrac{X_T-10}{2} > \dfrac{c-10}{2}\right)\end{split}\)
\(\dfrac{c-10}{2}=-1.645~~~\therefore ~c=6.71\)
(4)
\(\begin{split}P(+|T)&=P(X_T > c)\\
&=P\left(X_T-10 > c-10\right)=
P\left(\dfrac{X_T-10}{\sigma} > \dfrac{c-10}{\sigma}\right)
=0.95
\end{split}\)
よって、 \(\dfrac{c-10}{\sigma}=-1.645\)
\(\begin{split}P(-|F)&=P(X_F \leq c)\\
&=P\left(X_F-5 \leq c-5\right)=
P\left(\dfrac{X_F-5}{\sigma} \leq \dfrac{c-5}{\sigma}\right)=0.95\end{split}\)
よって、 \(\dfrac{c-5}{\sigma}=1.645\)
辺々たすと、 \(2c-15=0~~~\therefore c=7.5~,~~\sigma=1.52\)
(5)
| T | F | |
| ＋ |
|
|
| ー | 0 |
上図の場合は条件を満たしている。\(P(+|T)\fallingdotseq 1\) 、 \(P(F|-)\fallingdotseq 1\)
しかし、陽性的中率 \(P(T|+)\fallingdotseq 0.5\) なので、有効な検査とは言えない。