各テスト理論における測定精度の指標と特徴.

  • CTT 信頼性係数:1つのテストに1つの値.
       標準誤差(SEM):標本依存性がある.
       
  • IRT   項目情報関数(IIF):項目ごとに求められる.
       テスト情報関数(TIF):能力値に応じて値が変化.
       標本依存性がない

1 CTTにおける測定の精度.

1.1 信頼性係数.

信頼性は、「安定性」「一貫性」「等価性」の3つの要素で構成されます。

  • 安定性(再現性):繰り返し測定しても同じ結果になるか?
    再テスト法(再検査法)で検証できます。
     
  • 一貫性(内的整合性):尺度内のそれぞれの質問項目が同じ概念を測定しているか?
    平行検査法で検証できます。
     
  • 等価性:類似した構成概念の尺度と同じ結果になるか?
    折半法とクロンバックのα係数で検証できます。

テストを2つに分割するパターンが1通りのものが折半法で、可能なすべての組み合わせを検証するのが次に紹介するクロンバックのアルファ係数です。

公認心理師・臨床心理士の勉強会 様ー信頼性の概念と算出法によると、

折半法.
内的整合性(内的一貫性)によって信頼性を推定する方法。 同一の対象に2回検査を実施することが困難な場合もある。そこで、例えば、ある検査を偶数項目と奇数項目に折半し(奇遇法)、二つの尺度とみなしてその相関係数からスピアマン・ブラウンの公式により信頼性係数を算出する。

   \(\rho_s=\displaystyle \frac{n \rho_x}{1+(n-1)\rho_x}\)    ( \(\rho_x\)は相関係数).
    nは折半の数で偶奇法の場合は n=2 である。
信頼性係数は、 0.7 以上必要といわれています。

https://psychologist.x0.com/terms/623.html

1.1.1 クロンバックのα係数.

 \(\alpha = \dfrac{J}{J-1} \left(1 - \dfrac{\sum_{j = 1}^J{{s_j}^2}}{{s_y}^2} \right)\)     

   (\({s_y}^2\) はテスト得点 \(y=X_1+\cdots+X_J\) の分散)

 \(\begin{split} s_y^2&=V(X_1+\cdots+X_J)=Cov(X_1+\cdots+X_J,~X_1+\cdots+X_J)\\ &=Cov(X_1,X_1)+\cdots +Cov(X_J,X_J)+2\sum_{i<j}Cov(X_i,X_j)\\ &=V(X_1)+\cdots+V(X_J)+2\sum_{i<j}Cov(X_i,X_j)\\ &=J\overline {V}+ {J(J-1)}\overline{C} \end{split}\).

  (分散共分散行列の成分合計)

 \(\begin{split} \alpha&=\dfrac{m}{m-1}\left(1-\dfrac{m\overline{V}}{m\overline{V}+m(m-1)\overline{C}}\right)\\ &=\dfrac{m}{m-1}\cdot \dfrac{m(m-1)\overline{C}}{m\overline{V}+m(m-1)\overline{C}}=\dfrac{m\overline{C}}{\overline{V}+(m-1)\overline{C}} \end{split}\)

標準化されていれば \(\overline{V}=1~,~\overline{C}=\overline{R}\) であるから、

 \(\begin{split} \alpha'&=\dfrac{m}{m-1}\left(1-\dfrac{m}{m+{m(m-1)}\overline{R}}\right) =\dfrac{m}{m-1}\left(1-\dfrac{1}{1+{(m-1)}\overline{R}}\right)\\ &=\dfrac{m}{m-1}\left(\dfrac{(m-1)\overline{R}}{1+{(m-1)}\overline{R}}\right)=\dfrac{m\overline{R}}{1+{(m-1)}\overline{R}} \end{split}\)

これも0.7 以上必要といわれています。

2 フィッシャー情報量.

このフィッシャー情報量は、IRT ではテスト情報量、あるいは θ を使ったテスト情報関数 I(θ) と呼ばれる.

尤度の二次導関数は,尤度関数の曲率を表し,この導関数の負数は,情報量として知られている.
https://core.ac.uk/download/pdf/147691479.pdf p12参照.

3 項目情報関数.

項目情報関数(IIF)は、

   \(I_j(\theta)=\dfrac{P_j'(\theta) ^2}{P_j(\theta)(1-P_j(\theta))}\)  によって定義される。
情報量に基づく定義では
対数尤度関数の2階微分のマイナスの期待値と定義される(p125参照).

2PLモデル.

   \(I_j(\theta)=\dfrac{P_j'(\theta) ^2}{P_j(\theta)(1-P_j(\theta))}=D^2a_j^2P_j(\theta)(1-P_j(\theta))=Da_jP_j'(\theta)\).
   (傾きの大きいところでは情報量が大きことがわかる)
これがフィッシャー情報量だとすると、その逆数は最尤推定値の分散になっているはずである.

参考 ベルヌーイ分布のフィッシャー情報関数.
   \(I(p)=\dfrac{n}{p}+\dfrac{n}{1-p}=\dfrac{n}{p(1-p)}\)

4 項目情報関数の例.

2PLの場合.

iif3PL <- function(a, b, c, theta) {
  p <- c + (1-c)/(1+exp(-1.7*a*(theta-b)))
  q <- 1-p
  p.prime <- 1.7*a*q*(p-c)/(1-c)
  iif <- p.prime^2/(p*q)
  iif
  }
curve(iif3PL(1.2,-1,0,x),-4,4)
curve(iif3PL(0.5,-1,0,x),-4,4,add=T,co="red")

困難度のところで情報量は最大、識別力が大きいほど情報量は大きく、測定誤差は小さくなる。

項目情報関数(Item Information Function).
  \(f_j(\theta)=\dfrac{P_j'(\theta) ^2}{P_j(\theta)(1-P_j(\theta))}\)   \(f_i(\theta)=a_i^2P_i(\theta)(1-P_i(\theta))\)

5 テスト情報関数.

テスト情報関数(TIF)は、情報量の定義では
対数尤度関数の2階微分のマイナスの期待値と定義される.
数理的導出には立ち入らないが、
   \(I\left( \theta \right) =\displaystyle \sum_{j=1}^J \dfrac{P_j'(\theta) ^2}{P_j(\theta)(1-P_j(\theta))}=\sum_{j=1}^J I_j(\theta)\).
局所独立性のもとでは、テスト情報関数は項目情報関数の和となっている.

項目情報関数を.

curve(iif3PL(1.2,-1,0,x),-4,4)
curve(iif3PL(0.5,-1,0,x),-4,4,add=T,co="red")
curve(iif3PL(1.2,0.5,0,x),-4,4,add=T,co="blue")

とすれば、テスト情報関数はその合計だから.

curve(iif3PL(1.2,-1,0,x)+iif3PL(0.5,-1,0,x)+iif3PL(1.2,0.5,0,x),-4,4)

テスト情報関数の値はフィッシャー情報量に等しく、
推定値 の標準誤差は、
   \(SE=\dfrac{1}{\sqrt{I(\theta_i)}}\).

TIFの値の大きいところでは誤差は小さくなる。

6 相対効率.

テストAとテストBのTIFの比を相対効率(relative efficiency)という。
   \(RE(\theta)=\dfrac{I_A(\theta)}{I_B(\theta)}\).

相対効率を下げずに問題数を減らすことができれば、受験者の負担を軽くすることができる。