JP2020204704A - 項目反応理論に基づくテストの項目チェック装置 - Google Patents

Abstract

【課題】 項目反応理論に基づくテストに用いるための項目を適切にチェックする適応型テストの項目チェック装置を提供することにある。【解決手段】 項目チェック装置１は、項目反応理論に基づくテストに用いるための項目に対して複数の受検者が解答した受検データに基づいて、項目特性図を示す項目特性データを作成し（Ｓ１０２）、作成した項目特性データにおいて、受検者の能力値が高くなると、正答率が上がる相関関係にない場合、項目を不適切と判定し（Ｓ１０３）、作成した項目特性データにおいて、最も高い能力値の群の受検者が最も選んだ選択肢が正答でない場合、項目を不適切と判定する（Ｓ１０４）。【選択図】 図１

Description

本発明の実施形態は、項目反応理論に基づくテストに用いるための項目をチェックする適応型テストの項目チェック装置に関する。

一般に、項目反応理論（ＩＲＴ、item response theory）に基づくテストの一つとして適応型テスト（ＣＡＴ、computerized adaptive testing）が知られている。ＣＡＴは、項目パラメータ（識別力又は困難度等）が推定済みの項目が蓄積された項目プールから、受検者の解答に応じて選択された問題が出題されることにより行われる。

特開２００４−４６２５５号公報 特開２００５−２１５０２３号公報

しかしながら、項目プールに蓄積された項目は、受検者に何度か出題されると、項目内容が漏えいする可能性があるため、随時項目を入れ替えなければならない。このとき、項目プールに新たに追加される項目は、ＣＡＴ等の項目反応理論に基づくテストに用いる項目として適切でなければ、テストの信頼性が低下する。しかし、項目をチェックする明確な基準は知られていないため、項目をチェックするのに労力を要する。
本発明の実施形態の目的は、項目反応理論に基づくテストに用いるための項目を適切にチェックする項目反応理論に基づくテストの項目チェック装置を提供することにある。

本発明の観点に従った項目反応理論に基づくテストの項目チェック装置は、コンピュータが、項目反応理論に基づくテストに用いるための項目に対して複数の受検者が解答した受検データに基づいて、前記項目の項目特性図を示す項目特性データを作成する項目特性データ作成手段と、前記コンピュータが、前記項目特性データ作成手段により作成された前記項目特性データにおいて、前記複数の受検者の能力値が高くなると、正答率が上がる相関関係にない場合、前記項目を不適切と判定する第１判定手段と、前記コンピュータが、前記項目特性データ作成手段により作成された前記項目特性データにおいて、前記複数の受検者のうち最も高い能力値の群の受検者が最も選んだ選択肢が正答でない場合、前記項目を不適切と判定する第２判定手段とを備える。

本発明の実施形態によれば、項目反応理論に基づくテストに用いるための項目を適切にチェックする項目反応理論に基づくテストの項目チェック装置を提供することができる。

本発明の実施形態に係る項目チェック方法を実行する手順を示すフロー図。 本実施形態に係る項目チェック装置の構成を示す構成図。 本実施形態に係る項目が適切な場合の項目特性図。 本実施形態に係る項目が不適切な場合の項目特性図。 本発明の実施形態に係る項目プールＰＬの更新方法を実行する手順を示すフロー図。

（実施形態）
図１は、本発明の実施形態に係る項目チェック方法を実行する手順を示すフロー図である。図２は、本発明の実施形態に係る項目チェック装置１の構成を示す構成図である。
以降では、項目反応理論に基づくテストとして、主に、適応型テストを例にして説明するが、項目反応理論に基づくテストであれば、どのようなテストに適用してもよい。
適応型テストは、受検者の解答に応じて、項目プールＰＬに蓄積された複数の項目（問題）から選択した項目を出題し、項目の出題が繰り返されることで、受検者の能力値θを決定するテストである。本実施形態が適用される項目は、問題文の問いに対して、複数の選択肢（例えば、４つの選択肢）の中から選んで解答するタイプの問題である。適応型テストは、正誤データにより、受検者の能力値をベイズ推定により求める。ベイズ推定の事前分布には、標準正規分布等が使用される。
例えば、適応型テストは、能力推定値の精度が高い（標準誤差が十分に小さい）と判断される終了条件を満たせば終了する。例えば、終了条件を満たすか否かは、予め設定された基準値との大小の比較により決定される。なお、終了条件は、受検者の能力値θが収束して確定されるまででもよいし、予め制限時間が決められていてもよいし、出題する問題数が予め決められていてもよい。

項目チェック装置１は、入力部２、出力部３、記憶部４、及び、演算処理部５を備える。項目チェック装置１は、主にコンピュータで構成される。項目チェック装置１は、適応型テストを行うためのサーバでもよい。なお、項目チェック装置１は、ここで説明する構成に限らず、どのように構成されてもよい。例えば、コンピュータは、１つに限らず、ネットワークで構成されてもよい。

入力部２は、項目チェック装置１に各種データを入力し、項目チェック装置１を操作するための部分である。例えば、入力部２は、キーボード、マウス、操作入力可能なディスプレイ、又は、各種メディアの読取部等である。入力部２は、いくつの機器で構成されてもよいし、どのように構成されてもよい。

出力部３は、項目チェック装置１から各種データ又は各種演算結果などを出力するための部分である。出力部３は、ディスプレイ、プリンタ、又は、各種メディアの書込部等である。出力部３は、いくつの機器で構成されてもよいし、どのように構成されてもよい。

記憶部４は、各種データ又は各種プログラム等を記憶するための部分である。例えば、記憶部４は、各種メモリ、ハードディスク、又は、各種メディア等である。記憶部４は、いくつの機器で構成されてもよいし、どのように構成されてもよい。また、記憶部４は、一時的に記憶するタイプでもよいし、長期的に記憶するタイプでもよいし、内蔵タイプでもよいし、外付けタイプでもよいし、ネットワークを介して接続された外部の装置でもよい。

記憶部４は、項目プールＰＬ、項目をチェックするための項目チェックプログラムＰＲ１、及び、項目プールＰＬを更新するための項目プール更新プログラムＰＲ２を記憶している。なお、項目プールＰＬは、データベース化されていてもよい。また、２つのプログラムＰＲ１，ＰＲ２は、１つ以上のいくつのプログラムで構成されてもよい。

演算処理部５は、項目チェック装置１の演算処理を行う。例えば、演算処理部５は、各種演算処理チップである。演算処理部５は、いくつのチップ等で構成されてもよいし、どのように構成されてもよい。

項目チェック方法は、項目反応理論（ＩＲＴ）に基づくテスト（例えば、適応型テスト）に用いられる項目が、能力測定に適切か否かをチェックするための方法である。項目チェック方法は、項目チェックプログラムＰＲ１が項目チェック装置１に実装されることにより実現される機能により実行される。

項目チェック方法の対象となる項目は、チェックされる前に、複数の受検者（即ち、仮想の受検者）に出題され、各受検者が解答した受検データＤＴが収集されている。受検データＤＴを収集するためのテストは、項目反応理論に基づくテストとして実施されていなくてもよいし、コンピュータを用いずに、紙形式で行われてもよい。また、各受検者の能力値θは、この受検前に、ＩＲＴに基づいて能力値θが決定（推定）されていてもよいし、受検後に、受検データＤＴに基づいて決定（推定）されてもよい。収集された受検データＤＴに基づいて、項目がチェックされる。受検データＤＴは、入力部２により項目チェック装置１に入力されるが、チェックが行われる前に、記憶部４に予め記憶されていてもよいし、チェックが行われる直前に、項目チェック装置１に入力されてもよい。

演算処理部５は、項目チェックプログラムＰＲ１による項目チェック方法に従って、各項目をチェックする。次に、各項目の適否のチェック方法について説明する。チェック対象となる項目は、どのような順番で選択されてもよい。また、項目の適否を判定するステップは、以下で説明する順番に限らず、任意に順番を入れ替えてもよい。

項目のデータ数（受検者数）が所定値（例えば、４００）以上であれば、演算処理部５は、項目特性図を作成する（ステップＳ１０１のＹｅｓ、ステップＳ１０２）。データ数が所定値未満の場合、項目特性図により項目を適切と判断するためのデータ数としては足りない。このため、項目特性図を作成せずに、項目を不適切と判定する（ステップＳ１０１のＮｏ、ステップＳ１０９）。このとき、項目の適否の判定が不能としてもよい。例えば、所定値は、１００以上５００以下である。なお、データ数に関係なく、常に項目特性図を作成するようにしてもよい。

項目特性図は、次のように作成される。受検者を能力値θの順に、複数の群に分ける。例えば、受検者は、上位から順に、０％〜５％（能力値θの最高群）、５％〜２５％、２５％〜５０％、５０〜７５％、７５％〜９５％、及び、９５％〜１００％の６つの群に分ける。ここで、群の境界に位置する受検者（例えば、上位２５％番目の受検者）は、上位の群と下位の群のいずれの群に含まれるようにしてもよい。全ての受検者は、いずれか１つの群に属するようにする。

各群の受検者の能力値θを横軸とし、選択肢毎に各群の受検者が選択した割合（解答率）を縦軸とする。これにより、図３に示すような項目特性図が作成される。図３では、太線で描かれた「２」の選択肢のグラフが正答の選択肢であり、点線で描かれたグラフが正答以外の解答である。具体的には、「１」、「３」及び「４」の選択肢のグラフは、誤答の選択肢であり、「ｓ」のグラフは、問題を解答せずに、次の問題に進んだ場合（即ち、問題をスキップした場合）を示している。

なお、以降において、項目特性図を用いて各種演算処理の説明をする場合について、項目チェック装置１は、項目特性図を示す項目特性データを作成して、同等の演算処理をするのであれば、項目特性図を表示又は印字等ができなくてもよい。

演算処理部５は、項目特性図を作成した後に、項目特性図に基づいて、能力値θが高くなると、正答率が上がるか否かを判定する（ステップＳ１０３）。能力値θが高くなると、正答率が上がるような相関関係の場合は、次のステップＳ１０４に進み、そうでない場合は、その項目は、不適切と判定される（ステップＳ１０３のＮｏ、ステップＳ１０９）。例えば、この相関関係の具体的な判断方法は、能力値θの群が高いほど、正答率が高くなる関係にあれば、この相関関係を満たしていると判断する。

ステップＳ１０３により項目が不適切と判定されていない場合、演算処理部５は、項目特性図に基づいて、最高群の能力値θが最も選んだ選択肢が正答か否かを判定する（ステップＳ１０４）。最高群の能力値θが最も選んだ選択肢が正答である場合は、次のステップＳ１０５に進み、そうでない場合は、その項目は、不適切と判定される（ステップＳ１０４のＮｏ、ステップＳ１０９）。

ステップＳ１０４により項目が不適切と判定されていない場合、演算処理部５は、正答率が所定値（例えば、０．９５）未満か否かを判定する（ステップＳ１０５）。正答率が所定値以上の項目は、問題が簡単過ぎるとして、不適切と判定される。正答率が所定値未満の場合は、次のステップＳ１０６に進み、そうでない場合は、その項目は、不適切と判定される（ステップＳ１０５のＮｏ、ステップＳ１０９）。

ステップＳ１０５により項目が不適切と判定されていない場合、演算処理部５は、最高群の能力値θの正答率が所定値（例えば、０．５）以上か否かを判定する（ステップＳ１０６）。最高群の能力値θの正答率が所定値未満の項目は、問題が難し過ぎるとして、不適切と判定される。最高群の能力値θの正答率が所定値以上の場合は、次のステップＳ１０７に進み、そうでない場合は、その項目は、不適切と判定される（ステップＳ１０６のＮｏ、ステップＳ１０９）。なお、ステップＳ１０５及びステップＳ１０６で行われる項目の適否の判定は省略してもよい。

ステップＳ１０６により項目が不適切と判定されていない場合、演算処理部５は、データ数が所定値（例えば、１０００）以上か否かを判定する（ステップＳ１０７）。データ数が所定値未満の場合、項目パラメータを推定するためのデータ数としては不足しているとして、不適切と判定される。データ数が所定値以上の場合は、その項目は適切と判定され（ステップＳ１０７のＹｅｓ、ステップＳ１０８）、そうでない場合は、その項目は、不適切と判定される（ステップＳ１０７のＮｏ、ステップＳ１０９）。適切と判定された項目は、項目パラメータが推定される。例えば、項目パラメータは、ａパラメータ（識別力）とｂパラメータ（困難度）である。

所定値は、条件に応じて変化させてもよい。例えば、推定する項目パラメータが困難度のみであれば、所定値を３００とし、推定する項目パラメータが識別力と困難度であれば、所定値を４００としてもよい。なお、項目パラメータは、識別力及び困難度に、当て推量等を加えて、３つ以上にしてもよいし、少なくとも困難度が含まれていればどのような組合せにしてもよいし、困難度のみでもよい。

なお、ステップＳ１０７によるデータ数の判定は、ステップＳ１０１によるデータ数の判定と合せて判定してもよい。また、ステップＳ１０７の判定条件を満たさなくても、不適切と判定しなくてもよい。例えば、データ数が判定条件を満たせば、適切とするような条件付きの適切と判定してもよい。

図３は、項目が適切な場合の項目特性図を示している。一方、図４は、図３と同じ項目で、ステップＳ１０１の判定条件を満たさないような少ないデータ数により作成された項目特性図を示している。図３のデータ数は４００であり、図４のデータ数は１００である。図３では、能力値θの増加に伴い、正答率（「２」の選択肢の解答率）も増加している。一方、図４では、最高群の能力値θの正答率が、最高群よりも少し低い能力値θの正答率よりも低い。図４の場合、ステップＳ１０３による判定が行われると、不適切と判定される。このように、データ数が少ない場合、項目が本来適切なものであっても、不適切と判定されることがある。

図５は、本発明の実施形態に係る項目プールＰＬの更新方法を実行する手順を示すフロー図である。
項目プールの更新方法は、項目プールＰＬに新しい項目を追加し、不要な項目を削除するための方法である。項目プールＰＬの更新方法は、項目プール更新プログラムＰＲ２が項目チェック装置１に実装されることにより実現される機能により実行される。

演算処理部５は、追加する新規の項目の受検データＤＴを読み込む（ステップＳ２０１）。次に、各問題タイプ（科目等）において、解答数の上位５％の受検者を特定し、特定した受検者の受検データＤＴを削除する（ステップＳ２０２）。解答数が極端に多い受検者は、適当に解答している可能性が高い。このような受検者の受検データＤＴを削除することで、能力値θ又は項目パラメータ等の推定精度が向上する。

ステップＳ２０２での特定の受検データＤＴの削除後、演算処理部５は、ＩＲＴに基づいて、受検データＤＴにおける各受検者の能力値θ及び各項目の各項目パラメータを推定する（ステップＳ２０３）。

ステップＳ２０３での受検データＤＴの能力値θ及び各項目パラメータの推定後、演算処理部５は、記憶部４に記憶された項目プールＰＬの母数と新規の受検データＤＴとの間で、各項目パラメータを等化する（ステップＳ２０４）。演算処理部５は、このように等化して求まる項目母数を用いて、受検者の能力値θを再推定する（ステップＳ２０５）。

演算処理部５は、再推定された能力値θを用いて、図１に示す項目チェックプログラムＰＲ１による項目チェック方法により、各項目の適否を判定する（ステップＳ２０６）。なお、項目の適否の判定については、新規の受検データＤＴの項目に限らず、項目プールＰＬに蓄積された項目を対象に加えてもよい。この場合、項目プールＰＬに蓄積された項目については、図１に示す項目チェック方法と異なる判定基準を設けてもよい。例えば、実際の試験で、相当回数出題された項目は、不適切と判定して項目プールＰＬから削除してもよい。

不適切と判定された項目がある場合は、演算処理部５は、その不適切の項目を削除して（ステップＳ２０７のＹｅｓ、ステップＳ２０８）、ステップＳ２０３に戻り、受検データＤＴの能力値θ及び各項目パラメータを推定して、上記の手順を再度行う。これを不適切と判定される項目が無くなるまで繰り返す。
なお、１つの項目について、不適切か否かの判定は１回しか行わなくてもよい。具体的には、ある項目について、ステップＳ２０６で、一度不適切と判定され、２度目のステップＳ２０５で、能力値θが再推定された場合、２度目のステップＳ２０６の適否の判定は行わずに、ステップＳ２０９で、その項目を項目プールＰＬに追加してもよい。

新たに不適切と判定された項目がない場合は、演算処理部５は、不適切と判定されなかった新規の項目が項目プールＰＬに追加され、項目プールＰＬを更新する手順を終了する（ステップＳ２０７のＮｏ、ステップＳ２０９）。

本実施形態によれば、項目チェックプログラムＰＲ１による項目チェック方法を用いることで、適応型テストとして追加する項目を適切にチェックすることができる。また、項目チェックプログラムＰＲ１により、項目チェック装置１で項目チェック方法を実行することで、追加する項目が多い場合でも、効率よくチェックすることができる。

また、項目プールＰＬに項目を追加する場合、項目プール更新プログラムＰＲ２を用いることで、追加する項目が多い場合でも、適応型テストに適した項目のみを項目プールＰＬに追加して、項目プールＰＬを効率的に更新することができる。

なお、本発明は上述した実施形態に限定されず、構成要素を削除、付加又は変更等をしてもよい。また、複数の実施形態について構成要素を組合せ又は交換等をすることで、新たな実施形態としてもよい。このような実施形態が上述した実施形態と直接的に異なるものであっても、本発明と同様の趣旨のものは、本発明の実施形態として説明したものとして、その説明を省略している。

１…項目チェック装置、２…入力部、３…出力部、４…記憶部、５…演算処理部、Ｓ１０１〜Ｓ１０７…ステップ。

Claims (7)

1. コンピュータが、項目反応理論に基づくテストに用いるための項目に対して複数の受検者が解答した受検データに基づいて、前記項目の項目特性図を示す項目特性データを作成する項目特性データ作成手段と、
   前記コンピュータが、前記項目特性データ作成手段により作成された前記項目特性データにおいて、前記複数の受検者の能力値が高くなると、正答率が上がる相関関係にない場合、前記項目を不適切と判定する第１判定手段と、
   前記コンピュータが、前記項目特性データ作成手段により作成された前記項目特性データにおいて、前記複数の受検者のうち最も高い能力値の群の受検者が最も選んだ選択肢が正答でない場合、前記項目を不適切と判定する第２判定手段と
   を備えることを特徴とする項目反応理論に基づくテストの項目チェック装置。
2. 前記コンピュータが、前記複数の受検者による正答率が第１所定値以上である場合、前記項目を不適切と判定する第３判定手段
   を備えることを特徴とする請求項１に記載の項目反応理論に基づくテストの項目チェック装置。
3. 前記コンピュータが、前記最も高い能力値の群の受検者による正答率が第２所定値未満である場合、前記項目を不適切と判定する第４判定手段
   を備えることを特徴とする請求項１に記載の項目反応理論に基づくテストの項目チェック装置。
4. 前記コンピュータが、前記複数の受検者のデータ数が第３所定値未満である場合、前記項目を不適切と判定する第５判定手段
   を備えることを特徴とする請求項１に記載の項目反応理論に基づくテストの項目チェック装置。
5. コンピュータが、項目反応理論に基づくテストをするために項目が蓄積された項目プールに追加する新規の項目に対して複数の受検者が解答した受検データにおいて、項目反応理論に基づいて、前記複数の受検者の能力値及び前記新規の項目の項目パラメータを推定するパラメータ推定手段と、
   前記コンピュータが、前記項目プールの母数と前記受検データの間で、項目パラメータを等化した項目母数を演算する項目母数演算手段と、
   前記コンピュータが、前記項目母数演算手段により演算された前記項目母数に基づいて、前記複数の受検者の能力値を再推定する能力値再推定手段と、
   前記コンピュータが、前記受検データ及び前記能力値再推定手段により再推定された前記能力値に基づいて、前記新規の項目の項目特性図を示す項目特性データを作成する項目特性データ作成手段と、
   前記コンピュータが、前記項目特性データ作成手段により作成された前記項目特性データにおいて、前記複数の受検者の能力値が高くなると、正答率が上がる相関関係にない場合、前記新規の項目を不適切と判定する第１判定手段と、
   前記コンピュータが、前記項目特性データ作成手段により作成された前記項目特性データにおいて、前記複数の受検者のうち最も高い能力値の群の受検者が最も選んだ選択肢が正答でない場合、前記新規の項目を不適切と判定する第２判定手段と
   前記第１判定手段及び前記第２判定手段のいずれも不適切判定されていない前記新規の項目を前記項目プールに蓄積すること
   を含むことを特徴とする項目反応理論に基づくテストの項目チェック装置。
6. コンピュータが、項目反応理論に基づくテストに用いるための項目に対して複数の受検者が解答した受検データに基づいて、前記項目の項目特性図を示す項目特性データを作成し、
   前記コンピュータが、作成した前記項目特性データにおいて、前記複数の受検者の能力値が高くなると、正答率が上がる相関関係にない場合、前記項目を不適切と判定し、
   前記コンピュータが、作成した前記項目特性データにおいて、前記複数の受検者のうち最も高い能力値の群の受検者が最も選んだ選択肢が正答でない場合、前記項目を不適切と判定すること
   を含むことを特徴とする項目反応理論に基づくテストの項目チェック方法。
7. コンピュータが、項目反応理論に基づくテストに用いるための項目に対して複数の受検者が解答した受検データに基づいて、前記項目の項目特性図を示す項目特性データを作成し、
   前記コンピュータが、作成した前記項目特性データにおいて、前記複数の受検者の能力値が高くなると、正答率が上がる相関関係にない場合、前記項目を不適切と判定し、
   前記コンピュータが、作成した前記項目特性データにおいて、前記複数の受検者のうち最も高い能力値の群の受検者が最も選んだ選択肢が正答でない場合、前記項目を不適切と判定すること
   を含むように機能させることを特徴とする項目反応理論に基づくテストの項目チェックプログラム。

Images