RとRStudioによる教育テストデータの分析.
9章には等化の理論と手続きが簡潔にまとめられている。
ここでは、その整理をしておきたいと思う。

9.2 IRTによるテスト得点の算出

IRTの受験者パラメータは線形変換を許容する。

9.3 等化の目的

等化の最も重要な役割は、
異なる冊子の得点を同じ尺度に合わせることで、得点の意味合いを異なる冊子間で同じにすることである。

TCCやTICが以前のテストと近くなるように既存項目を選ぶことで、内容的にも統計的特徴的にも等質な冊子を作ることができるようになる。

特定の得点帯が重要になる場合は、区切り点付近での測定の条件付き標準誤差(測定の標準誤差)が最小になるように、すなわちTICが最大となるように項目を選べばよい。

9.4 IRTを用いた等化の前提.

<項目バンク>.
IRTに基づいてテストを運用するためには、テストの実施前に項目パラメータが既知であることが求められる.

  • 大規模テストの実施に当たっては、事前にフィールドテストを行なって項目パラメータを推定し、数年分のテスト冊子が作れるような項目バンクを事前に開発しておく必要がある。
  • 項目バンクは、テストの開始後も保守拡張していかなければならない。

<テスト問題の公開>.

  • 項目バンクとIRTを前提としたテスト構成・運用を行うには、テスト問題は非公開でなければならない。
  • IRTを用いたテストでは、実施後に全項目が公開されることは原則的としてない。

<パラメータの不変性>.
IRTを用いた等化はパラメータの不変性(parameter invariance)と密接に関係している。
パラメータの不変性とは、

  • 項目セットの選び方によらず受験者パラメータが推定できること.
  • 受験者集団によらず項目パラメータが推定できること.

9.5 等化デザイン

水平等化・垂直尺度化.

  • 1つの学年に注目して、年度間比較をする場合は水平等化を行う.
  • 同じ科目について同一受験者の能力の経時的変化を見る場合は垂直尺度化を行う.

ランダムグループデザイン.

  • 単一の受験者集団に対し、FormB FormN をランダムに割り当てる.
  • 受験者集団を等質な2つの集団に分けることができる.
  • 共通項目を必要としない.

単一グループデザイン.

  • 単一の受験集団に、、FormB FormN 両方を解答してもらう.
  • サンプルサイズが小さくてすむが、受験者の負担が大きい.

不等化グループ共通項目デザイン.

  • 2つの受験者集団が、異なる試験を受ける.
  • テストの実施時期が離れていても構わない.
  • 共通項目が一定の割合で存在する.
    NEATデザインと呼ばれる。

9.6 等化係数とその求め方

異なる受験者グループが異なる受験冊子を受験することを想定しよう。

  • テスト冊子ごとに推定したIRTパラメータを直接比較することはできない.
  • 能力パラメータは標準化されて推定され、グループに差がないように見えてしまう.

そこで、共通項目(NEATデザイン)を用いて等化を行い、尺度を線形変換によって揃えることで、能力パラメータ・項目パラメータを比較できるようにする。
一次変換で正答確率は変化しない。

  • mean-mean法.
  • mean-sigma法.
  • Haebra法.
  • Stocking & Lord法. Stocking & Lord法は特性曲線法と呼ばれ、共通項目のみで描いたテスト特性曲線(TCC)の差異が最小となるよう等化係数を決定する。
    (計算は最小二乗法と似ている)p138参照

9.7 共通項目の安定度の評価

IRTによる等化は、パラメータの不変性があり、異なるテスト冊子であっても尺度を揃えればパラメータは同じになる。
しかし現実には、ICCに違いが出ることがある(パラメータ・ドリフト)。そこで、パラメータの安定性を評価する方法として\(D^2\)法がある。
\(D^2\)値は、2つの冊子から推定されたICCの違いを表す値である。(p140参照). \(D^2\)値の平均値から2標準偏差を超える\(D^2\)値を持つ項目のうち、\(D^2\)値が最大の項目を共通項目から除外して、等化係数を再推定する操作を反復する。

このように、等化の考え方が簡潔にまとめられている。
等化には数学的な難しさはないが、目的とプロセスを理解して使う必要がある。