各テスト理論における測定精度の指標と特徴.
信頼性は、「安定性」「一貫性」「等価性」の3つの要素で構成されます。
テストを2つに分割するパターンが1通りのものが折半法で、可能なすべての組み合わせを検証するのが次に紹介するクロンバックのアルファ係数です。
公認心理師・臨床心理士の勉強会 様ー信頼性の概念と算出法によると、
折半法.
内的整合性(内的一貫性)によって信頼性を推定する方法。
同一の対象に2回検査を実施することが困難な場合もある。そこで、例えば、ある検査を偶数項目と奇数項目に折半し(奇遇法)、二つの尺度とみなしてその相関係数からスピアマン・ブラウンの公式により信頼性係数を算出する。
\(\rho_s=\displaystyle \frac{n
\rho_x}{1+(n-1)\rho_x}\) ( \(\rho_x\)は相関係数).
nは折半の数で偶奇法の場合は n=2 である。
信頼性係数は、 0.7 以上必要といわれています。
https://psychologist.x0.com/terms/623.html
\(\alpha = \dfrac{J}{J-1} \left(1 - \dfrac{\sum_{j = 1}^J{{s_j}^2}}{{s_y}^2} \right)\)
(\({s_y}^2\) はテスト得点 \(y=X_1+\cdots+X_J\) の分散)
\(\begin{split} s_y^2&=V(X_1+\cdots+X_J)=Cov(X_1+\cdots+X_J,~X_1+\cdots+X_J)\\ &=Cov(X_1,X_1)+\cdots +Cov(X_J,X_J)+2\sum_{i<j}Cov(X_i,X_j)\\ &=V(X_1)+\cdots+V(X_J)+2\sum_{i<j}Cov(X_i,X_j)\\ &=J\overline {V}+ {J(J-1)}\overline{C} \end{split}\).
(分散共分散行列の成分合計)
\(\begin{split} \alpha&=\dfrac{m}{m-1}\left(1-\dfrac{m\overline{V}}{m\overline{V}+m(m-1)\overline{C}}\right)\\ &=\dfrac{m}{m-1}\cdot \dfrac{m(m-1)\overline{C}}{m\overline{V}+m(m-1)\overline{C}}=\dfrac{m\overline{C}}{\overline{V}+(m-1)\overline{C}} \end{split}\)
標準化されていれば \(\overline{V}=1~,~\overline{C}=\overline{R}\) であるから、
\(\begin{split} \alpha'&=\dfrac{m}{m-1}\left(1-\dfrac{m}{m+{m(m-1)}\overline{R}}\right) =\dfrac{m}{m-1}\left(1-\dfrac{1}{1+{(m-1)}\overline{R}}\right)\\ &=\dfrac{m}{m-1}\left(\dfrac{(m-1)\overline{R}}{1+{(m-1)}\overline{R}}\right)=\dfrac{m\overline{R}}{1+{(m-1)}\overline{R}} \end{split}\)
これも0.7 以上必要といわれています。
このフィッシャー情報量は、IRT ではテスト情報量、あるいは θ を使ったテスト情報関数 I(θ) と呼ばれる.
尤度の二次導関数は,尤度関数の曲率を表し,この導関数の負数は,情報量として知られている.
https://core.ac.uk/download/pdf/147691479.pdf
p12参照.
項目情報関数(IIF)は、
\(I_j(\theta)=\dfrac{P_j'(\theta)
^2}{P_j(\theta)(1-P_j(\theta))}\) によって定義される。
情報量に基づく定義では
対数尤度関数の2階微分のマイナスの期待値と定義される(p125参照).
2PLモデル.
\(I_j(\theta)=\dfrac{P_j'(\theta)
^2}{P_j(\theta)(1-P_j(\theta))}=D^2a_j^2P_j(\theta)(1-P_j(\theta))=Da_jP_j'(\theta)\).
(傾きの大きいところでは情報量が大きことがわかる)
これがフィッシャー情報量だとすると、その逆数は最尤推定値の分散になっているはずである.
参考 ベルヌーイ分布のフィッシャー情報関数.
\(I(p)=\dfrac{n}{p}+\dfrac{n}{1-p}=\dfrac{n}{p(1-p)}\)
2PLの場合.
iif3PL <- function(a, b, c, theta) {
p <- c + (1-c)/(1+exp(-1.7*a*(theta-b)))
q <- 1-p
p.prime <- 1.7*a*q*(p-c)/(1-c)
iif <- p.prime^2/(p*q)
iif
}
curve(iif3PL(1.2,-1,0,x),-4,4)
curve(iif3PL(0.5,-1,0,x),-4,4,add=T,co="red")
困難度のところで情報量は最大、識別力が大きいほど情報量は大きく、測定誤差は小さくなる。
項目情報関数(Item Information Function).
\(f_j(\theta)=\dfrac{P_j'(\theta)
^2}{P_j(\theta)(1-P_j(\theta))}\) \(f_i(\theta)=a_i^2P_i(\theta)(1-P_i(\theta))\)
テスト情報関数(TIF)は、情報量の定義では
対数尤度関数の2階微分のマイナスの期待値と定義される.
数理的導出には立ち入らないが、
\(I\left( \theta \right) =\displaystyle
\sum_{j=1}^J \dfrac{P_j'(\theta)
^2}{P_j(\theta)(1-P_j(\theta))}=\sum_{j=1}^J I_j(\theta)\).
局所独立性のもとでは、テスト情報関数は項目情報関数の和となっている.
項目情報関数を.
curve(iif3PL(1.2,-1,0,x),-4,4)
curve(iif3PL(0.5,-1,0,x),-4,4,add=T,co="red")
curve(iif3PL(1.2,0.5,0,x),-4,4,add=T,co="blue")
とすれば、テスト情報関数はその合計だから.
curve(iif3PL(1.2,-1,0,x)+iif3PL(0.5,-1,0,x)+iif3PL(1.2,0.5,0,x),-4,4)
テスト情報関数の値はフィッシャー情報量に等しく、
推定値 の標準誤差は、
\(SE=\dfrac{1}{\sqrt{I(\theta_i)}}\).
TIFの値の大きいところでは誤差は小さくなる。
テストAとテストBのTIFの比を相対効率(relative
efficiency)という。
\(RE(\theta)=\dfrac{I_A(\theta)}{I_B(\theta)}\).
相対効率を下げずに問題数を減らすことができれば、受験者の負担を軽くすることができる。