2019 人文 (統計検定1級応用 過去問の解説です)
- 条件付期待値・分散
- クラスター分析
- 項目反応理論
- 分散構造分析
- カイ二乗適合度検定
2019人文① 条件付期待値・分散
2変量正規分布と条件付期待値の理解が肝、理論的背景の理解を求められる。
[条件付期待値] (大学生の確率統計 p130参照)
Xの確率密度関数が、 fX(x) であるとき、
a≤X≤b における条件付き期待値は、 E(X|a≤X≤b)=∫bax⋅fX(x)dxP(a≤X≤b)
条件付き確率密度関数は、 fX|a≤x≤b(x)=fX(x)P(a≤X≤b)
積分を P(a≤X≤b) で割っているだけなので、期待値や分散の線型性は成立する。
[参考]
連続型の E(Y|X) のとき、 E(Y|X=x)=∫∞−∞yfY|X(y|x)=∫∞−∞yf(X,Y)(x,y)fX(x)dy これは後で説明する。
数学ノート 様 – 2変量正規分布の条件付き期待値,分散
https://math-note.com/conditional-probability-of-multivariate-normal-distribution/
(1) 受験生の得点 X∼N(100,202) であるので、Z=X−10020∼N(0,1)
Zで計算し、 X=20Z+100 によってXに戻せばよい。
偏差値は、正規分布N(50,10)であるから、
A君のZ値は、 Z=0.4 得点は X=20×0.4+100=108
A君の位置は、全体では上位 P(Z≥0.4)=0.3446 に位置する。
合格者の割合は、 P(Z≥0)=0.5 だから、合格者の中では、 0.34460.5=0.6892 に位置する。
入学者の割合は、0.4 だから、入学者の中では、 0.3446−10.4=0.6115 に位置する。
(2) 解答参照
(3) Xの分布関数は、F(x)=P(X≤x)=P(Z≤x−10020)=∫x−10020−∞φ(z)dz
確率密度関数は、fX(x)=F′(x)=120φ(x−10020)
X≥100 での確率密度関数は、
fX|X≥100(x)=fX(x)P(X≥100)=120φ(x−10020)÷12=110φ(x−10020)
(4) 条件付き期待値は、
E(X|X≥100)=∫∞100x110φ(x−10020)dx=∫∞0(20z+100)110φ(z)20dz=2∫∞0(20z+100)φ(z)dz=40∫∞0zφ(z)dz+100
で計算してもよいが、Zを利用するのがよい。即ち、
E(X|X≥100)=E(20Z+100|Z≥0)=20⋅E(Z|Z≥0)+100
E(Z|Z≥0)=∫∞0zφ(z)P(Z≥0)dz=2∫∞0zφ(z)dz
ここで、 (exp(−z22))′=−z⋅exp(−z22) より、∫zφ(z)=−φ(z)
E(Z|Z≥0)=2[−φ(z)]∞0=2φ(0)=21√2π=√2π
よって、 E(X|X≥100)=20√2π+100=115.96
条件付き分散は、 X=20Z+100 より、
V(X|X≥100)=V(20Z|Z≥0)=202V(Z|Z≥0)=202[E(Z2|Z≥0)−E(Z|Z≥0)2]
E(Z2|Z≥0)=∫∞0z2φ(z)P(Z≥0)dz=2∫∞0z2φ(z)dz=2∫∞0z⋅zφ(z)dz=2[z(−φ(z)]∞0+2∫∞0φ(z)dz=1
よって、 V(X|X≥100)=202(1−2π)
[注意]
E(X2|X≥100)=∫∞0(20z+100)2110φ(z)20dz=2∫∞0(20z+100)2φ(z)dz=400+4000√2π+10000
E(X|X≥100)2=(20√2π+100)2=4002π+4000√2π+10000
V(X|X≥100)=E(X2|X≥100)−E(X|X≥100)2=202(1−2π) としてもよいが計算が長い。
条件付き期待値、条件付き分散の性質については、大学生の確率統計p128 、p134、ノート③を参照。
2019人文② クラスタリング
Macromill 様 – 階層クラスター分析
https://www.macromill.com/service/data_analysis/hierarchical-clustering.html
最短距離法を用いてデンドログラムを手書きするとよい。
同志社大学 金明哲様 – Rとクラスター分析
https://www1.doshisha.ac.jp/~mjin/R/Chap_28/28.html (Rによる実装 hclust)
( 最も距離が近い2つの個体間の距離をコーフェン距離とした距離行列がコーフェン行列 )
データ行列 ⇒ 距離行列 ⇒ コーフェン行列 ⇒ デンドログラム
(1) 解説参照
Rの出力から、デンドログラム作成の手順を考える。
> man.d<- dist(man);man.d 距離行列
A | B | C | D | E | |
B | 1.414214 | ||||
C | 2.236068 | 2.236068 | |||
D | 8.485281 | 8.602325 | 6.403124 | ||
E | 8.062258 | 7.81025 | 5.830952 | 2.236068 | |
F | 10 | 9.899495 | 7.810250 | 2.000000 | 2.236068 |
> man.hc$merge クラスター形成の履歴
[,1] | [,2] | |||
[1,] | -1 | -2 | ①=(AB) | ABを1番目のクラスターに |
[2,] | -4 | -6 | ②=(DF) | DFを2番目のクラスターに |
[3,] | -3 | 1 | ③=(C,①) | Cと①=(AB)を3番目のクラスターに |
[4,] | -5 | 2 | ④=(E,②) | Eと②=(DF)を4番目のクラスターに |
[5,] | 3 | 4 | ⑤=(③,④) | ③と④を5番目のクラスターに |
階層的クラスターを形成する階層の情報である。マイナス符号が付いているのが個体の番号、
マイナスが付いていないのがクラスターの番号である。行番号がクラスター形成の順番である。
> man.hc$height クラスター結合の際の距離
[1] | 1.414214 | 2.000000 | 2.236068 | 2.236068 | 5.830952 |
> man.hc$order デンドログラムの書き順
[1] 3 1 2 5 4 6 CABEDFの順に書く
> cophenetic(man.hc) #コーフェン行列
A | B | C | D | E | |
B | 1.414214 | ||||
C | 2.236068 | 2.236068 | |||
D | 5.830952 | 5.830952 | 5.830952 | ||
E | 5.830952 | 5.830952 | 5.830952 | 2.236068 | |
F | 5.830952 | 5.830952 | 5.830952 | 2.000000 | 2.236068 |
コーフェン行列は、属するクラスター間の距離を表す。
実用としては、Rのhclustを利用するのがよい。
[参考]
コーフェン相関係数とは、解析前の距離行列とコーフェン行列の相関を求めたもの
相関係数が高ければ、距離行列と用いた方法のコーフェン行列との歪みが小さい
しかし、必ずしもコーフエン相関係数が高い方法の分類結果が良いとは言えない。
(3) 非階層的クラスター分析(kmeans法)
X=(築年数 , 所要時間) をデータとし、ユークリッド距離を用いて分類する。
k-means法なので、2つのクラスターに分けるには、初期代表点を2つ決める必要がある。
ここでは、初期代表点を D(7,9) , E(8,7) と指定されている。
D、E からのユークリッド距離なので、境界線はDEの垂直二等分線である。これにより、
1回目の更新で、DF 、ABCE と分かれる。
各クラスターの座標の平均が代表点なので、
DFの代表点は (7+92 , 9+92)=(8,9)
ABCEの代表点は (1+2+3+84 , 3+2+4+74)=(3.5, 4)
2回目の更新は、(8,9) (3.5,4) の垂直二等分線
y=−0.9x+7.15 によって、ABC、DEFと分かれる。
[参考]
Albert 様 『クラスター分析の手法③(非階層クラスター分析)』を参照
https://www.albert2005.co.jp/knowledge/data_mining/cluster/non-hierarchical_clustering
(4) の k-means法の初期値依存についても、上記サイトに解説がある。
k-means法の一つの短所として、初期値(初期に選択される「核」となるk個のサンプル)依存性があります。同じデータを距離などを同じ条件にして計算しても、初期値が異なるだけで、結果が大きく違うことがあります。従って、よいクラスターを得るためには、初期値を変えて何回か分析を実施し、平均クラスター内距離が最小になる初期値を選択するなど、最適初期値での結果を採用することが望ましいといえます。
Rでの実装については、
@Haruka-Ogawa 様 『Rでクラスタリングしてみた』を参照
https://qiita.com/Haruka-Ogawa/items/fcda36cc9060ba851225
irisデータを用いた実装が紹介されている。
[参考]
判別分析:分類のわかっているデータ(教師データ)があり、データの属性値に基づいて、この分類を判別する手法である。機械学習の分野では、教師あり学習(supervised learning)と呼ばれている。フィッシャーの線形判別など、群間変動を最大化する方法については別途。
(ノート③ 2019 の中の、「涌井」、「機械学習に強くなりたいブログ」など参照)
クラスター分析:分類がわかっていないので、教師無し学習(unsupervised learning)と呼ばれる。
線形判別の理論的説明については、
機械学習に強くなりたいブログ 様
https://www.iwanttobeacat.com/entry/2018/05/13/231628 参照
2019人文③ 項目反応理論
(1) 項目反応関数 Pj(θ)=11+exp[−aj(θ−bj)] より Pj(0)=11+expajbj だから、
ajbj が等しい項目は、項目2と項目3である。
(2) 困難度 bj が最も小さいものは、項目4である。
(3) 識別力 aj は、項目特性曲線の傾きに対応する。
1−Pj(θ)=exp[−aj(θ−bj)]1+exp[−aj(θ−bj)] に注意して、
P′j(θ)=ajexp[−aj(θ−bj)](1+exp[−aj(θ−bj)])2=ajPj(θ)(1−Pj(θ))
aj が大きくなれば P′j(θ) も大きくなりそうである。
実際、グラフの中心 Pj(θ)=0.5 である点において、P′j(θ)=aj4 となる。
(4) 一般的定義を確認
項目情報関数(Item Information Function)
fi(θ)=a2iPi(θ)(1−Pi(θ)) 問題の情報量を表す。 Pi(θ)=12 で最大となる。
(ラッシュモデルの場合には、項目情報関数は単純に正しい応答確率と不正確な応答確率の積)
姫路獨協大学医療保健学部理学療法学科 様
http://kinki59.sakura.ne.jp/download/P-101_C000131.pdf によれば、
fj(θ)=P′j(θ)2Pj(θ)(1−Pj(θ)) を定義としているが、これは
P′j(θ)2=a2jPj(θ)2(1−Pj(θ))2 より、 P′j(θ)2Pj(θ)(1−Pj(θ))=a2jPj(θ)(1−Pj(θ)) であるから、
右辺を定義としても、左辺を定義としてもよいということである。
(3パラメーターの場合、式は変わる)
fj(θ) は問題による θ の推定精度を表す。受験生の能力値 θ に応じて値が変わることに注意。
テスト情報関数(Test Information Function)
I(θ)=n∑i=1fi(θ) テスト全体の情報量を表す。
(受験生の能力値のレベルに応じて値が変わることが大きな特徴である)
(5) cj は当て推量パラメータと呼ばれる。(解答参照)
2019人文④ 共分散構造分析
標準解とは、観測変数および潜在変数を標準化した解であり、因果の強さを見るのに適する。
(1) パス図は変数同士の関係を表している。
楕円で囲まれた変数は潜在変数、四角に囲まれた変数は観測変数、円で囲まれた変数は誤差を表す。パス図からそれらの関係を読み取る。
観測変数は、 y1=0.652 f1+e1 誤差分散 V(e1)=0.572
潜在変数は標準化されているから、
V(y1)=(0.654)2+0.572=1
観測変数が標準化されているパス図を標準解という。
(2) 潜在変数どうしの関係は、
f2=0.640 f1+e10 f3=0.014 f1+0.032 f2+e11
(3)(4) 構造方程式 f=Af+e は、
(f1f2f3)=(0000.640000.0140.0320)(f1f2f3)+(f1e10e11) ( f1 はランダムに変化するので誤差に含める )
(5) 同値モデルとは、モデルが異なっても分散共分散行列が一致するモデルである。
このような場合は適合度が同じになる。(解答参照)
2019人文⑤ カイ二乗適合度検定
AVILEN AI Trend 様– 適合度検定をカイ二乗検定で行う例題と手順
https://ai-trend.jp/basic-study/hypothesis-testing/goodness-of-fit-test-by-chi-test/
統計科学研究所 様 – 適合度検定の理論的説明
https://statistics.co.jp/reference/StatisticalDataScienceA/Chapter7nonpassword.pdf
適合度検定とは観測度数が理論比率に基づいて得られているかを検証する仮説検定である。
カテゴリナンバー i 番目の観測度数を ni 期待度数を Ei とするとき、
X | 1 | 2 | ‥ | r |
観測度数 | n1 | n2 | ‥ | nr |
期待度数 | E1 | E2 | ‥ | Er |
カイ二乗値 χ2=∑ri=1(ni−Ei)2Ei∼χ2(r−1) 自由度 r-1 のカイ二乗分布に従う
(1) カイ二乗値は、4.0 となる。(解答参照)
(2) 度数がc倍になると、カイ二乗値もc倍になる。
χ2=∑ri=1(cni−cEi)2cEi=c∑ri=1(ni−Ei)2Ei
k=1 のときのカイ二乗値は1 だから、 k のときのカイ二乗値は k
k>7.81 より、 K=8 となる。
(3) 理論的根拠は大阪大学 鈴木穣 教授による説明がある。(難)
http://joe.bayesnet.org/wp-content/uploads/2017/05/2017-5-25-1.pdf
テキストの解答も鈴木先生の方法に沿っている。以下の説明は鈴木先生の解説概略である。
X=0,1,2,⋯,(α−1) は次の表のような多項分布に従う。( p0+p1+p2+⋯+pα−1=1 )
X | 0 | 1 | ⋯ | j | ⋯ | α−1 |
P | p0 | p1 | ⋯ | pj | ⋯ | pα−1 |
n回の試行による X1,X2,⋯,Xn は独立に上記の多項分布に従うとする。
結果 j が起こる回数 wj を次のように数式化する。
k 回目の試行で結果 j が起きれば1起きなければ0をとる確率変数を
I(Xk=j)={1 (Xk=j)0 (Xk≠j) とすると、 I(Xk=j)∼Ber(pj) ベルヌーイ分布に従い、
n 回の試行で j が起きる回数は、
wj=∑nk=1I(Xk=j) で表され、 二項分布 wj∼B(n,pj) に従う。
nが大きければ、 B(n,pj)∼N(npj,npj(1−pj)) 正規近似できる。即ち、
wj−npj√npj(1−pj)→N(0,1) よって、Zj=wj−npj√npj→N(0,(1−pj))
X | 0 | 1 | ⋯ | j | ⋯ | α−1 |
実現回数 | w0 | w1 | ⋯ | wj | ⋯ | wα−1 |
期待度数 | np0 | np1 | ⋯ | npj | ⋯ | npα−1 |
χ2=∑α−1j=0(wj−npj√npj)2=∑α−1j=0Z2j (α個の正規分布の平方和)
ある直交変換 (Zj)→(Vj) によって、(ここは難しいので略)
χ2=∑α−1j=1V2j ( Vj は独立な標準正規分布)
(α−1) 個の独立な標準正規分布の平方和になるので、自由度 (α−1) のカイ二乗分布になる。
[参考]
AVILen AItrend 様 「多項分布とは?期待値・分散・共分散」
https://ai-trend.jp/basic-study/multinomial-distribution/m-parameter-derivation/
多項分布の分散共分散行列
E(Xi)=npi , Var(Xi)=npi(1−pi) (i=1,…,k) Cov(Xi,Xj)=−npipj (i<j)
難しいとした直交変換はヘルマート変換と呼ばれる。(当サイト「正規分布と関連分布」参照)
(4) (血液型の遺伝理論については専門の書籍にて確認ください)
血液型遺伝子の存在比率は、 O→r,A→p,B→r とし、これを推定することを目標とする。
実際に観測される人の血液型は、2つの遺伝子配列によって決まり、
O型=OO、A型=AA+(AO+OA)、B型=BB+(BO+OB)、AB型=AB+BA
2つの遺伝子配列の度数を、
O→fOO , A→fAA+fAO , B→fBB+fBO , AB→fAB とする。
血液型の観測度数を nO,nA,nB,nAB 、遺伝子型の度数を fOO,fAA,fAO,fBB,fBO,fAB
nO=fOO=Nr2 nA=fAA+fAO=Np2+2Npr
nAB=fAB=2Npq nB=fBB+fBO=Nq2+2Nqr
( fAO はAO型とOA型の合計であることに注意 )
nO+nA+nB+nAB=fOO+(fAA+fAO)+(fBB+fBO)+fAB=N
nO,nA,nB,nAB は観測される。
fOO , fAB は観測値がそのまま予測値である。
fAA,fAO,fBB,fBO は観測されないので推定が必要である。
(ⅰ) 血液型の観測度数 nO,nA,nB,nAB が得られたとき、
遺伝子型の度数 fOO,fAA,fAO,fBB,fBO,fAB から、母数 r,p,q を推定する。
尤度関数を L(r,p,q) とする。(解説参照)
条件 r+p+q−1=0 のもとで、対数尤度関数 logL(r,p,q) を最大にする r,p,q を求めるには、
ラグランジュの未定乗数法を用いる。
ラグランジュ関数は Q=logL(r,p,q)−λ(r+p+q−1)
Q=2fOOlogr+2fAAlogp+fAOlog2pr+2fBBlogq+fBOlog2qr+fABlog2pq−λ(r+p+q−1)+c
( c は定数 )
Q を r,p,q で偏微分することにより、推定値 ˆr,ˆp,ˆq が求まる。
ˆr=2fOO+fAO+fBO2N , ˆp=2fAA+fAO+fAB2N , ˆq=2fBB+fBO+fAB2N (解答参照)
これは最大化なのでMステップである。
(ⅱ) 血液型の観測度数 nO,nA,nB,nAB が得られたとき、
母数 r,p,q から、 fOO,fAA,fAO,fBB,fBO,fAB を推定する。
E(fAA)=Np2 E(fAO)=nA−Np2
E(fBB)=Nq2 E(fBO)=nB−Nq2
E(fOO)=Nr2 E(fAB)=N⋅2pq
これは推定なのでEステップである。
[EMアルゴリズム]
血液型の観測度数 nO,nA,nB,nAB が得られたとき、
fOO,fAA,fAO,fBB,fBO,fAB と r,p,q の関係を用いてEMアルゴリズムで母数 を推定する。
手順を具体的に書いてみよう。
fOO,fAA,fAO,fBB,fBO,fAB のうち、 fOO=nO , fAB=nAB とするのが妥当である。
fAA,fBB の適当な初期値を定め、 f(0)AA , f(0)BB とし、f(0)AO=nA−f(0)AA 、f(0)BO=nB−f(0)BB とすると、
(ⅰ)の方法で、
遺伝子型の度数 fOO,f(0)AA,f(0)AO,f(0)BB,f(0)BO,fAB から、母数 r,p,q を推定できる。
母数 r,p,q の推定値は、
r(1)=2fOO+f(0)AO+f(0)BO2N 、 p(1)=2f(0)AA+f(0)AO+fAB2N 、q(1)=2f(0)BB+f(0)BO+fAB2N
(ⅱ) の方法で、この推定値 r(1),p(1),q(1) から、
f(1)AA=N⋅(p(1))2 f(1)AO=nA−f(1)AA=nA−N⋅(p(1))2
f(1)BB=N⋅(q(1))2 f(1)BO=nB−f(1)BB=nB−N⋅(q(1))2
fOO=nO , fAB=nAB としてそのまま使用することにする。
同じ操作を繰り返す。
(ⅰ)の方法で、
遺伝子型の度数 fOO,f(1)AA,f(1)AO,f(1)BB,f(1)BO,fAB から、母数 r,p,q を推定できる。
母数 r,p,q の推定値は、
r(2)=2fOO+f(1)AO+f(1)BO2N 、 p(2)=2f(1)AA+f(1)AO+fAB2N 、 q(2)=2f(1)BB+f(1)BO+fAB2N
これを繰り返し、収束するまで進むことにより、母数 r,p,q の推定値を得る。
[更新日]