JP2013076754A - 試験装置、問題管理方法、プログラムおよび記録媒体 - Google Patents
試験装置、問題管理方法、プログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP2013076754A JP2013076754A JP2011215330A JP2011215330A JP2013076754A JP 2013076754 A JP2013076754 A JP 2013076754A JP 2011215330 A JP2011215330 A JP 2011215330A JP 2011215330 A JP2011215330 A JP 2011215330A JP 2013076754 A JP2013076754 A JP 2013076754A
- Authority
- JP
- Japan
- Prior art keywords
- question
- score
- temporary
- questions
- test
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims description 14
- 238000004458 analytical method Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 9
- 238000012360 testing method Methods 0.000 claims description 150
- 238000007619 statistical method Methods 0.000 claims description 19
- 230000002093 peripheral effect Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013101 initial test Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】 問題の妥当性を統計的に検証する方法を提供し、質の高い問題の作成を支援する試験装置等を提供する。
【解決手段】 試験装置1は受験者端末3とネットワーク10を介して接続される。試験装置1の記憶部12には、出題時の配点が1以上である本問題511と出題時の配点が0である仮問題512が記憶される。試験装置1は、仮問題512を含む問題を受験者端末3に送信し、配点を示さない出題画面60として表示することにより出題を行い、受験者端末3から仮問題511を含む問題に対する解答を受信する。そして、仮問題512に対する解答の採点結果について統計的分析を行い、結果に応じて仮問題512を本問題511とするか否かを判定し、仮問題512を本問題511とする場合に、出題時の配点として1以上の値を記録する。
【選択図】図6
【解決手段】 試験装置1は受験者端末3とネットワーク10を介して接続される。試験装置1の記憶部12には、出題時の配点が1以上である本問題511と出題時の配点が0である仮問題512が記憶される。試験装置1は、仮問題512を含む問題を受験者端末3に送信し、配点を示さない出題画面60として表示することにより出題を行い、受験者端末3から仮問題511を含む問題に対する解答を受信する。そして、仮問題512に対する解答の採点結果について統計的分析を行い、結果に応じて仮問題512を本問題511とするか否かを判定し、仮問題512を本問題511とする場合に、出題時の配点として1以上の値を記録する。
【選択図】図6
Description
本発明は、受験者に問題を出題するとともに、その結果に応じて問題の管理を行う試験装置、問題管理方法、プログラムおよび記録媒体に関するものである。
近年、種々のテストを、コンピュータ・システムを利用し行うことが増えている。例えば、受験者はコンピュータに問題を表示させ、選択肢を選択することなどによって問題への解答を行う。このようなシステムでは、場所や時間を限定せず効率的にテストを実施することが可能である。一方、国家試験など厳密な管理(不正防止など)が必要な試験では、テスト会場型(テストセンター型)の試験システムもある。テスト会場では、本人確認の実施や試験経過の監視などの受験管理が行われる。このような仕組みのもと、様々な試験がデジタル化されている。このようなシステムの例が、特許文献1に記載されている。
一般に、このようなシステムにおいては、問題を多く用意する必要がある。例えば複数回受験した場合に同じ問題が現れたりすることなどを避け、公平性を確保するためである。
一方で、出題される問題については、その質を維持する必要がある。特に、上に挙げた厳格な管理を要する国家試験などの試験では、試験問題の品質にさらに留意する必要がある。例えば、分かりにくい問題やあまりにも簡単でほとんどの受験者が解ける問題、難しすぎてほとんどの受験者が解けない問題は好ましくない。このように、試験に適当な問題を作成することは容易ではなく経験を要する。また、問題の妥当性を検証することも困難である。
本発明は、このような問題に鑑みてなされたもので、問題の妥当性を統計的に検証する方法を提供し、質の高い問題の作成を支援する試験装置等を提供することを目的とする。
前述した目的を達成するための第1の発明は、テストを受験する受験者の受験者端末とネットワークを介して接続される試験装置であって、出題時の配点が1以上である本問題と出題時の配点が0である仮問題とを含む、受験者に出題する問題を、出題時の配点とともに記憶する記憶手段と、前記仮問題を含む問題を前記受験者端末に送信し、配点を示さない出題画面として表示することにより出題を行う出題手段と、前記受験者端末から前記仮問題を含む問題に対する解答を受信する解答受信手段と、前記仮問題に対する解答の採点結果について統計的分析を行う問題分析手段と、前記採点結果の統計的分析の結果に応じて前記仮問題を本問題とするか否かを判定し、前記仮問題を本問題とする場合に、前記記憶手段に、前記仮問題である問題の出題時の配点として1以上の値を記録する本問題設定手段と、を具備することを特徴とする試験装置である。
第1の発明によれば、本問題に加え、作成した仮問題を実際のテストで配点を0点として出題する。受験者は、配点を知ることなくテストを行い、本問題や仮問題に関係なく真剣に解くので、仮問題の検証材料として信頼できる統計的データが得られる。また、仮問題の配点は0点であるので、妥当性が未検証な仮問題に対する解答の結果がテスト結果に影響を与えることもない。このようにして得られた仮問題に対する解答の採点結果について統計的な分析を行い、結果に応じて仮問題を本問題とすることで、仮問題の妥当性の検証を、信頼に足るデータを基に容易に行うことができ、質の高い問題の作成を支援することができる。
前記記憶手段は、問題ごとに、前記出題時の配点と、1以上の配点である本問題配点を紐付けて記憶し、前記本問題設定手段は、前記仮問題を本問題とする場合に、前記記憶手段に、前記仮問題である問題の出題時の配点を、前記本問題配点を参照して記録することが望ましい。
上記の構成により、例えば、出題時の配点が0であった仮問題に、予め定めた本問題配点、例えば「5点」など、を出題時の配点として新たに与えることにより、仮問題が本問題に昇格される。このように、本問題配点を予め定め、仮問題を本問題とする場合にこれに基づき配点を与えることができる。
また、前記出題手段は、仮問題が予め定める所定の割合以下となるように問題を選択して前記受験者端末に送信し出題を行うことが望ましい。
上記の構成により、テストにおいて、妥当性が未検証な仮問題の出題数を一定数以下に抑えることができる。
加えて、前記記憶手段は、問題ごとに、前記出題時の配点と、1以上の配点である本問題配点を紐付けて記憶し、前記本問題設定手段は、前記仮問題を本問題とする場合に、前記記憶手段に、前記採点結果の統計的分析の結果に応じて、前記仮問題である問題の出題時の配点として、前記本問題配点の所定の割合の配点を記録することも望ましい。
上記の構成により、例えば仮問題が正答率の高い問題である場合に低い配点を与え、正答率が低い問題である場合に高い配点を与えるなど、仮問題の分析の結果に応じて、本問題とする場合の配点を変更することができる。
第2の発明は、テストを受験する受験者の受験者端末とネットワークを介して接続される試験装置における問題管理方法であって、前記試験装置が、出題時の配点が1以上である本問題と出題時の配点が0である仮問題とを含む、受験者に出題する問題を、出題時の配点とともに記憶する記憶手段を有し、前記仮問題を含む問題を前記受験者端末に送信し、配点を示さない出題画面として表示することにより出題を行う出題ステップと、前記受験者端末から前記仮問題を含む問題に対する解答を受信する解答受信ステップと、前記仮問題に対する解答の採点結果について統計的分析を行う問題分析ステップと、前記採点結果の統計的分析の結果に応じて前記仮問題を本問題とするか否かを判定し、前記仮問題を本問題とする場合に、前記記憶手段に、前記仮問題である問題の出題時の配点として1以上の値を記録する本問題設定ステップと、を実行することを特徴とする問題管理方法である。
前記記憶手段は、問題ごとに、前記出題時の配点と、1以上の配点である本問題配点を紐付けて記憶し、前記本問題設定ステップでは、前記仮問題を本問題とする場合に、前記記憶手段に、前記仮問題である問題の出題時の配点を、前記本問題配点を参照して記録することが望ましい。
また、前記出題ステップでは、仮問題が予め定める所定の割合以下となるように問題を選択して前記受験者端末に送信し出題を行うことが望ましい。
加えて、前記記憶手段は、問題ごとに、前記出題時の配点と、1以上の配点である本問題配点を紐付けて記憶し、前記本問題設定ステップでは、前記仮問題を本問題とする場合に、前記記憶手段に、前記採点結果の統計的分析の結果に応じて、前記仮問題である問題の出題時の配点として、前記本問題配点の所定の割合の配点を記録することも望ましい。
また、前記出題ステップでは、仮問題が予め定める所定の割合以下となるように問題を選択して前記受験者端末に送信し出題を行うことが望ましい。
加えて、前記記憶手段は、問題ごとに、前記出題時の配点と、1以上の配点である本問題配点を紐付けて記憶し、前記本問題設定ステップでは、前記仮問題を本問題とする場合に、前記記憶手段に、前記採点結果の統計的分析の結果に応じて、前記仮問題である問題の出題時の配点として、前記本問題配点の所定の割合の配点を記録することも望ましい。
第3の発明はコンピュータを第1の発明の試験装置として機能させるためのプログラムである。
第4の発明はコンピュータを第1の発明の試験装置として機能させるためのプログラムを記憶した記憶媒体である。
本発明によれば、問題の妥当性を統計的に検証する方法を提供し、質の高い問題の作成を支援する試験装置等を提供することができる。
以下、図面に基づいて本発明の実施形態について説明する。
図1は本発明の実施形態に係る試験装置1を用いた試験システム2について説明する図である。図1に示すように、試験システム2において、試験装置1は、受験者が使用する受験者端末3とネットワーク10を介して接続され、受験者端末3に問題を送信しテストを実施するとともに、受験者端末3から問題に対する解答を受信する。
図2(a)は試験装置1のハードウェア構成を示す図である。図に示すように、試験装置1は、制御部11、記憶部12、メディア入出力部13、通信制御部14、入力部15、表示部16、周辺機器I/F部17等が、バス18を介して接続された構成である。
制御部11はCPU(Central Processing Unit)、
ROM(Read Only Memory)、RAM(Random Access Memory)等で構成される。
CPUは、記憶部12、ROM、記憶媒体等に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行し、バス18を介して接続された各装置を駆動制御し、試験装置1が行う後述する処理を実現する。ROMは不揮発性メモリであり、ブートプログラムやBIOS等のプログラム、データ等を恒久的に保持している。RAMは揮発性メモリであり、記憶部12、ROM、記憶媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部11が各処理を行う為に使用するワークエリアを備える。
ROM(Read Only Memory)、RAM(Random Access Memory)等で構成される。
CPUは、記憶部12、ROM、記憶媒体等に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行し、バス18を介して接続された各装置を駆動制御し、試験装置1が行う後述する処理を実現する。ROMは不揮発性メモリであり、ブートプログラムやBIOS等のプログラム、データ等を恒久的に保持している。RAMは揮発性メモリであり、記憶部12、ROM、記憶媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部11が各処理を行う為に使用するワークエリアを備える。
記憶部12は、HDD(ハードディスクドライブ)等であり、制御部11が実行するプログラム、プログラム実行に必要なデータ、OS(オペレーティングシステム)等が格納される。プログラムに関しては、OSに相当する制御プログラムや、後述する処理を試験装置1に実行させるためのアプリケーションプログラムが格納されている。
これらの各プログラムコードは、制御部11により必要に応じて読み出されてRAMに移され、CPUに読み出されて各種の手段として実行される。
これらの各プログラムコードは、制御部11により必要に応じて読み出されてRAMに移され、CPUに読み出されて各種の手段として実行される。
メディア入出力部13(ドライブ装置)は、データの入出力を行い、例えば、CDドライブ(−ROM、―R、−RW等)、DVDドライブ(−ROM、―R、−RW等)等のメディア入出力装置を有する。
通信制御部14は、通信制御装置、通信ポート等を有し、他のサーバ等の装置との通信を媒介する通信インタフェースであり、ネットワークを介して他の装置との通信制御を行う。ネットワークは、有線、無線を問わない。
通信制御部14は、通信制御装置、通信ポート等を有し、他のサーバ等の装置との通信を媒介する通信インタフェースであり、ネットワークを介して他の装置との通信制御を行う。ネットワークは、有線、無線を問わない。
入力部15は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。
表示部16は、CRTモニタ、液晶パネル等のディスプレイ装置、およびディスプレイ装置と連携して表示機能を実現するための論理回路等を有する。
表示部16は、CRTモニタ、液晶パネル等のディスプレイ装置、およびディスプレイ装置と連携して表示機能を実現するための論理回路等を有する。
周辺機器I/F(インタフェース)部17は、周辺機器を接続させるためのポートであり、周辺機器I/F部17を介して周辺機器とのデータ送受信を行う。周辺機器I/F部17は、USB等で構成されており、通常複数の周辺機器I/Fを有する。周辺機器との接続形態は有線、無線を問わない。
バス18は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
バス18は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
受験者端末3は、テストを受験するユーザが使用するパーソナル・コンピュータなどであり、図2(b)に示すように、制御部31、記憶部32、メディア入出力部33、通信制御部34、入力部35、表示部36、周辺機器I/F部37等が、バス38を介して接続された構成である。各部の構成は、上記した試験装置1におけるものと同様である。
次に図3を参照して、試験装置1の機能構成について説明する。
図3に示すように、試験装置1は、出題手段41、解答受信手段42、問題分析手段43、本問題設定手段44等を有する。また、記憶部12は問題データ51、出題データ54、採点結果データ55、受験者データ56等を記憶し、これらのデータの記憶手段として機能する。
図3に示すように、試験装置1は、出題手段41、解答受信手段42、問題分析手段43、本問題設定手段44等を有する。また、記憶部12は問題データ51、出題データ54、採点結果データ55、受験者データ56等を記憶し、これらのデータの記憶手段として機能する。
出題手段41は、試験装置1の制御部11が、受験者端末3に問題を送信し出題画面として表示することにより受験者に出題を行うものである。この問題には、後述する仮問題と本問題とが含まれる。
解答受信手段42は、試験装置1の制御部11が、受験者端末3から、出題した問題に対する解答を受信するものである。
問題分析手段43は、試験装置1の制御部11が、仮問題に対する解答の採点結果について統計的分析を行うものである。
本問題設定手段44は、試験装置1の制御部11が、採点結果の統計的分析の結果に応じて仮問題を本問題とするか否かを判定し、判定結果に応じて、仮問題を本問題として設定するものである。仮問題を本問題として設定する際には、仮問題である問題の出題時の配点として1以上の値を記録するが、これについては後述する。
解答受信手段42は、試験装置1の制御部11が、受験者端末3から、出題した問題に対する解答を受信するものである。
問題分析手段43は、試験装置1の制御部11が、仮問題に対する解答の採点結果について統計的分析を行うものである。
本問題設定手段44は、試験装置1の制御部11が、採点結果の統計的分析の結果に応じて仮問題を本問題とするか否かを判定し、判定結果に応じて、仮問題を本問題として設定するものである。仮問題を本問題として設定する際には、仮問題である問題の出題時の配点として1以上の値を記録するが、これについては後述する。
問題データ51は、受験者に出題する問題のデータであり、各問題を問題IDやその配点等と紐付けて記憶したものである。
図4は、問題データ51の例について示すものである。図4に示す問題データ51は、リレーショナルデータベースのスキーマを示すものであり、下線を引いた項目(図4では「問題ID」)は主キーであることを示す。後述する図5においても同様である。
図に示すように、問題データ51としては、問題ID510、問題513、選択肢515、正答517、配点533、仮問題フラグ535、および本問題配点537等が紐付けて記憶される。
図4は、問題データ51の例について示すものである。図4に示す問題データ51は、リレーショナルデータベースのスキーマを示すものであり、下線を引いた項目(図4では「問題ID」)は主キーであることを示す。後述する図5においても同様である。
図に示すように、問題データ51としては、問題ID510、問題513、選択肢515、正答517、配点533、仮問題フラグ535、および本問題配点537等が紐付けて記憶される。
問題ID510は、各問題を識別する情報である。
問題513は、問題の内容を示すものである。
選択肢515は、問題に対する解答として、選択肢の番号ごとに選択肢の内容を示すものである。本実施形態では、問題データ51として、複数の選択肢から正しい選択肢を選択して入力するような問題の例を示すが、解答として文字や数字、文章を入力するような問題であってもよい。
正答517は、問題513の正答を、選択肢515の番号で示したものである。
配点533は、問題の配点を示す。
仮問題フラグ535は、各問題が本問題か仮問題かを示すものである。図の例では、本問題である場合に「0」、仮問題である場合に「1」となる。
本問題配点537は、各問題を本問題として用いる場合の配点を示す。
問題513は、問題の内容を示すものである。
選択肢515は、問題に対する解答として、選択肢の番号ごとに選択肢の内容を示すものである。本実施形態では、問題データ51として、複数の選択肢から正しい選択肢を選択して入力するような問題の例を示すが、解答として文字や数字、文章を入力するような問題であってもよい。
正答517は、問題513の正答を、選択肢515の番号で示したものである。
配点533は、問題の配点を示す。
仮問題フラグ535は、各問題が本問題か仮問題かを示すものである。図の例では、本問題である場合に「0」、仮問題である場合に「1」となる。
本問題配点537は、各問題を本問題として用いる場合の配点を示す。
そして、本実施形態では、問題データ51の問題に、本問題511と仮問題512が含まれる。
本問題511は、テストにおいて使用され、正解することにより配点533(本問題配点537)として1以上の得点が受験者に与えられる通常の問題である。
一方、仮問題512は、テストにおいて使用されるが、正解しても受験者には得点が与えられない問題である。即ち、配点533が0である問題である。
本問題511は、テストにおいて使用され、正解することにより配点533(本問題配点537)として1以上の得点が受験者に与えられる通常の問題である。
一方、仮問題512は、テストにおいて使用されるが、正解しても受験者には得点が与えられない問題である。即ち、配点533が0である問題である。
出題データ54は、1回のテストで受験者に出題した一連の問題やその出題順のパターンを記録するものである。すなわち、本実施形態では、問題は1回の試験に対応する数だけでなく相当数用意されている(従って、従来の方法では問題の品質確保が難しい)。この中から問題ID510をキーとして問題をランダムに選択し出題することもできるし、出題パターンは予め設定しておくこともできる。ランダムに出題を行った場合には、この出題パターンを記録することにより問題の管理ができる。ランダム出題の場合は、出題ごとに出題パターンが増加していく。
図5(a)は、出題データ54の例について示すものである。
図に示すように、出題データ54としては、パターン番号541、問題番号543、問題ID545等が紐付けて記録される。
図5(a)は、出題データ54の例について示すものである。
図に示すように、出題データ54としては、パターン番号541、問題番号543、問題ID545等が紐付けて記録される。
パターン番号541は、前記のパターンを識別する番号である。
問題番号543は、問題の出題順を示す番号である。
問題ID545は、問題データ51の問題ID510に対応する。
問題番号543は、問題の出題順を示す番号である。
問題ID545は、問題データ51の問題ID510に対応する。
採点結果データ55は、問題に対する各受験者の解答の採点結果を示すものである。
図5(b)は採点結果データ55の例を示すものである。
採点結果データ55としては、受験者ID550ごとに、問題番号551、正誤555、得点557が紐付けて記録される。
図5(b)は採点結果データ55の例を示すものである。
採点結果データ55としては、受験者ID550ごとに、問題番号551、正誤555、得点557が紐付けて記録される。
受験者ID550は、受験者を識別する情報であり、後述する受験者ID561に対応する。
問題番号551は、受験者に出題した一連の問題の問題番号であり、出題データ54の問題番号543に対応する。
正誤555は、問題番号551の問題に対する受験者の解答の正誤である。
得点557は、問題番号551の問題の解答結果に対し与えられる得点であり、正誤555が正の場合に、出題された問題の配点(問題データ51の配点533)が得点557として記録され、誤の場合に0が記録される。出題された問題の配点は、問題番号551や受験者ID550等から特定できる。
なお、正誤555として中間的な評価(部分的に正解など)を用意することもでき、その場合は、例えば配点533が「4」であれば得点557をその半分の「2」とするなど、配点533の所定の割合の点数を得点557として記録することもできる。
問題番号551は、受験者に出題した一連の問題の問題番号であり、出題データ54の問題番号543に対応する。
正誤555は、問題番号551の問題に対する受験者の解答の正誤である。
得点557は、問題番号551の問題の解答結果に対し与えられる得点であり、正誤555が正の場合に、出題された問題の配点(問題データ51の配点533)が得点557として記録され、誤の場合に0が記録される。出題された問題の配点は、問題番号551や受験者ID550等から特定できる。
なお、正誤555として中間的な評価(部分的に正解など)を用意することもでき、その場合は、例えば配点533が「4」であれば得点557をその半分の「2」とするなど、配点533の所定の割合の点数を得点557として記録することもできる。
受験者データ56は、受験者IDやテスト受験日など、受験者についての情報を記録したものである。
図5(c)に受験者データ56の例について示す。図に示すように、受験者データ56は、受験者ID561、パターン番号562、氏名563、受験日565、テスト得点567等が紐付けて記録される。
図5(c)に受験者データ56の例について示す。図に示すように、受験者データ56は、受験者ID561、パターン番号562、氏名563、受験日565、テスト得点567等が紐付けて記録される。
受験者ID561は、受験者を識別する情報である。
パターン番号562は、受験者に出題された一連の問題のパターン番号であり、出題データ54のパターン番号541に対応する。
氏名563は、受験者の氏名である。
受験日565は、受験者のテスト受験日を示す。
テスト得点567は、受験者のテストにおける得点を示す。テスト得点567の算出については後述する。
パターン番号562は、受験者に出題された一連の問題のパターン番号であり、出題データ54のパターン番号541に対応する。
氏名563は、受験者の氏名である。
受験日565は、受験者のテスト受験日を示す。
テスト得点567は、受験者のテストにおける得点を示す。テスト得点567の算出については後述する。
次に、図6を用いて、本実施形態の試験装置1における問題管理方法の処理の流れを説明する。
まず、テストの受験者は、受験者端末3より、受験者IDを入力して試験装置1に送信し、試験装置1が提供する出題用サイトにアクセスし、テストを受験する。この際、試験装置1の制御部11は仮問題512を含む問題513(および選択肢515)を受験者端末3に送信し出題画面60として表示させて出題を行い、画面上で受験者に解答を入力させる(ステップ101)。
図7は出題画面60の例である。
出題画面60には問題61(問題513)が表示され、受験者は、画面上で選択肢(選択肢515)に対応して表示されるラジオボタン63を選択することにより、問題61に対する解答を選択できる。解答の選択後「次へ」ボタン65をクリックすることにより、次の問題61についての出題画面60に移行する。あるいは、「前へ」ボタン67をクリックすることにより前の問題61についての出題画面60に移行し解答のやり直しなどすることができる。
出題画面60には問題61(問題513)が表示され、受験者は、画面上で選択肢(選択肢515)に対応して表示されるラジオボタン63を選択することにより、問題61に対する解答を選択できる。解答の選択後「次へ」ボタン65をクリックすることにより、次の問題61についての出題画面60に移行する。あるいは、「前へ」ボタン67をクリックすることにより前の問題61についての出題画面60に移行し解答のやり直しなどすることができる。
このようにして出題される一連の問題513には本問題511および仮問題512が含まれるが、出題画面60には問題の配点533は表示されない。受験者は出題される問題513の配点を知ることが無いので、本問題511であるか仮問題512であるかに関わらず手を抜いたりすることなく真剣に解くことになる。
出題を行う際、試験装置1の制御部11は、問題データ51の問題513を、本問題511に加え仮問題512が含まれるようにランダムに選択して受験者端末3に送信し出題画面60として表示させる。出題した問題513の問題ID510は、出題データ54の問題ID545として、出題順を示す問題番号543と紐付けパターン番号541を付して記録される。仮問題512の数は、1回のテストにおいて出題する一連の問題513の数に対して所定の割合、例えば10%以下となるように選択される。上記の割合は予め様々に定めることができる。
ただし、問題の表示順や表示方法など出題の方法は、テストにおける一連の問題513に仮問題512を含むようにすれば、これに限ることはなく、例えば1つの画面で1回のテストにおける問題を全て表示し出題するようにしてもよいし、1つの問題に対する解答を逐次判定しその結果に応じて次に出題する問題を動的に変化させながら、問題を順次出題するようにしてもよい。
図6の説明に戻る。1回のテストについて一連の問題513に対する解答を行うと、受験者の指示操作により、受験者端末3は出題装置1に各問題513に対する解答を送信する。試験装置1の制御部11は、受験者端末3から解答を受信する(ステップ102)。
各問題513に対する解答については、試験装置1の制御部11により、問題データ51として予め記憶しておいた各問題513の正答517と比較判定するなどして採点が行われ、図5(b)で説明したような採点結果データ55が受験者ごとに作成され、受験者ID等に紐付けて記憶される(ステップ103)。なお、問題513に対する採点は、採点者による指示操作に応じて、試験装置1の制御部11が採点結果データ55として入力するものであってもよい。
以上のように複数の受験者に対しテストを行い、受験者ごとに採点結果データ55が作成される。試験装置1の制御部11は、採点結果データ55等に基づき採点結果の統計的な分析を行い結果に応じて仮問題512を本問題511とするか否か判定を行う(ステップ104)。
本実施形態では、ステップ104において、試験装置1の制御部11は、採点の分析を行う際、各問題の正答率や解答率などの採点分析情報を示す採点分析データ57aを作成する。
採点分析データ57aの例を図8(a)に示す。採点分析データ57aとしては、問題ID571、配点572、正答率573、および解答率574が紐付けられる。採点分析データ57aは、出題データ54、採点結果データ55、受験者データ56を集計し作成されるものである。
問題ID571、配点572は、それぞれ問題データ51の問題ID510、配点533と同様である。
正答率573は問題に正しく解答された割合である。
解答率574は問題に解答された割合であり、正誤を問わない。マークシート式試験の場合では、マーク入力がされた割合である。
正答率573は問題に正しく解答された割合である。
解答率574は問題に解答された割合であり、正誤を問わない。マークシート式試験の場合では、マーク入力がされた割合である。
そして、試験装置1の制御部11は、仮問題512の妥当性、即ち、仮問題512を本問題511とするか否かの判定を所定の基準により行う。
ここでは、正答率573が予め定める所定の範囲にあるか否かで仮問題512の妥当性を判定する。例えば、簡単すぎる問題や、難しすぎる問題を除外するべく、上記の所定の範囲を30%以上70%未満と定めておく。
ここでは、正答率573が予め定める所定の範囲にあるか否かで仮問題512の妥当性を判定する。例えば、簡単すぎる問題や、難しすぎる問題を除外するべく、上記の所定の範囲を30%以上70%未満と定めておく。
図8(a)の例では、正答率が50%であり上記の範囲に含まれる、問題ID571が「3」の仮問題512は妥当であり本問題511とすると判定される。仮問題512を本問題511とすると判定される場合(ステップ105のYES)、試験装置1の制御部11は、問題データ51の、問題ID571(問題ID510)に対応する仮問題フラグ535を、本問題を示す「0」とし、本問題配点537を参照して、配点533に本問題配点537の値を記録する(ステップ106)。これにより、仮問題512が本問題511に昇格したことになり、以降のテストにおいては、1以上の配点を有する本問題511として扱われる。
一方、図8(a)の問題ID571が「4」の仮問題512の正答率573は25%である。正答率573は上記の範囲から外れ、仮問題512を本問題511とすると判定されない(ステップ105のNO)。この場合、上記の処理は行われない。この仮問題512は難しすぎたので、試験システム2の管理者は、問題を簡単なものに修正するなどする。
以上のような処理を繰り返すことにより、仮問題512についてその妥当性が検証され、妥当である場合には本問題511として0でない配点を有する問題に変更される。
なお、上記と同様にして本問題511の妥当性、すなわち本問題511を仮問題512とするか否かについて判定することも可能である。例えば本問題511について、正答率573が所定の範囲にあるかを判定し、所定の範囲にない場合には、問題データ51において仮問題フラグ535を仮問題512を示す「1」とし配点533を0とすることにより、本問題511の問題を仮問題512として設定したうえで、試験システム2の管理者により問題の修正を行うなどすることができる。
なお、前記のステップ104では、個人のテスト結果を示す採点分析データ57bなども作成される。
この採点分析データ57bの例を図8(b)に示す。図に示すように、採点分析データ57bとしては、受験者ID(受験者ID561)およびパターン番号(パターン番号562)ごとに、問題番号575、配点576、正誤577、および得点578等が紐付けられる。
この採点分析データ57bの例を図8(b)に示す。図に示すように、採点分析データ57bとしては、受験者ID(受験者ID561)およびパターン番号(パターン番号562)ごとに、問題番号575、配点576、正誤577、および得点578等が紐付けられる。
問題番号575は、採点結果データ55の問題番号551に対応する。
配点576は、問題データ51の配点533に対応する。
正誤577は、採点結果データ55の正誤555に対応する。
得点578は、採点結果データ55の得点557に対応する。
配点576は、問題データ51の配点533に対応する。
正誤577は、採点結果データ55の正誤555に対応する。
得点578は、採点結果データ55の得点557に対応する。
試験装置1の制御部11は、前記のステップ104において、例えば、配点576の合計(図の「89」)を満点579として算出するとともに、得点578の合計(図の「48」)を合計点580として算出し、満点579に対する合計点580の比(%)をテスト得点として算出する。各受験者に1回のテストで出題する問題について、満点579は一定にならないこともあるので、各受験者の評価として上記のテスト得点を算出する。このテスト得点は、受験者データ56として、受験者ID561に紐付けて記録する。
以上説明したように、本実施形態によれば、本問題511に加え、作成した仮問題512を実際のテストで配点を0点として出題する。受験者は、配点を知ることなくテストを行い、本問題511や仮問題512に関係なく真剣に解くので、仮問題512の検証材料として信頼できる統計的データが得られる。また、仮問題512の配点は0点であるので、妥当性を検証する前の仮問題512の解答の結果がテスト結果に影響を与えることもない。このようにして得られた仮問題512に対する解答の採点結果について統計的な分析を行い、結果に応じて仮問題512を本問題511とすることで、仮問題512の妥当性の検証を、信頼に足るデータを基に容易に行うことができ、質の高い問題の作成を支援することができる。
また、問題データ51の本問題配点537を予め定めるので、仮問題512を本問題511にする場合には、これに基づき配点533を与えることができる。
さらに、出題時には仮問題512が所定の割合以下となるように問題を選択して受験者端末3に送信し出題を行うので、テストにおいて、妥当性が未検証な仮問題512の出題数を一定数以下に抑えることができる。
さらに、出題時には仮問題512が所定の割合以下となるように問題を選択して受験者端末3に送信し出題を行うので、テストにおいて、妥当性が未検証な仮問題512の出題数を一定数以下に抑えることができる。
また、本実施形態では、仮問題512を本問題511とする場合に本問題配点537を配点533として与えているが、分析結果により本問題配点537の所定の割合の点数を与えてもよい。
例えば上記の例では仮問題512の正答率573が30%以上70%未満の場合に本問題511とし配点533として本問題配点537を与えているが、仮問題512の正答率573が60%以上70%未満の場合には配点533として本問題配点537の40%の値である2点を与え、それ以外の場合に配点533として本問題配点537の値を与えるようにしてもよい。これにより、例えば本問題511とする仮問題512のうち簡単な問題の配点533については低く抑える、あるいは難しい問題の配点533は高くしておくことなどができる。
例えば上記の例では仮問題512の正答率573が30%以上70%未満の場合に本問題511とし配点533として本問題配点537を与えているが、仮問題512の正答率573が60%以上70%未満の場合には配点533として本問題配点537の40%の値である2点を与え、それ以外の場合に配点533として本問題配点537の値を与えるようにしてもよい。これにより、例えば本問題511とする仮問題512のうち簡単な問題の配点533については低く抑える、あるいは難しい問題の配点533は高くしておくことなどができる。
さらに、ステップ104における採点結果の分析は図8で説明したものに限らない。次に、採点結果の統計的分析の別の例について説明する。
図9はその例を示すグラフである。図9の例は、初回に受験する受験者について上記と同様にテストを行い、ある仮問題512について、受験者の初回のテスト得点の得点帯ごとに、解答率587と正答率585を示したものである。
図9はその例を示すグラフである。図9の例は、初回に受験する受験者について上記と同様にテストを行い、ある仮問題512について、受験者の初回のテスト得点の得点帯ごとに、解答率587と正答率585を示したものである。
図9において、横軸は得点帯であり、縦軸は解答率587と正答率585を示す。図9より、仮問題512について、「0〜20」の得点帯の受験者では解答率587が20%、正答率585が0%、「21〜40」の得点帯の受験者では解答率587が40%、正答率585が10%、「41〜60」の得点帯の受験者では解答率587が50%、正答率585が20%、「61〜80」の得点帯の受験者では解答率587が70%、正答率585が50%、「81〜100」の得点帯の受験者では解答率587が90%、正答率585が80%である。
例えば、試験装置1の制御部11は、ステップ103において採点結果データ55を受験者ID等および受験回数(初回、2回目等)と紐付けて作成し、ステップ104において、受験回数等を参照し、採点結果データ55等より、各受験者が初回に行ったテストについての採点結果を受験者の得点帯ごとに集計し、仮問題512について、図9のような得点帯ごとの解答率587と正答率585を算出する。
そして、試験装置1の制御部11は、所定の基準を基に仮問題512を本問題511とするか否かを判定する。ここでは、予め定める所定の範囲に正答率585がある場合に仮問題512を本問題511とすると判定する。例えば上記所定の範囲を20%以上60%未満と定めた場合、「41〜60」、「61〜80」の得点帯の受験者について、仮問題512が本問題511とされることになる。
例えば、問題データ51として、本問題511の問題ID510に紐付けて、どの得点帯(前回テストのテスト得点帯)の受験者に出題するかを示す情報も紐付けて記録しておき、試験装置1の制御部11は、上記の仮問題512から本問題511となった問題については、前述の場合と同様に本問題511として設定するとともに、どの得点帯の受験者に出題するかを記録する。上記の例では、「41〜60」、「61〜80」の得点帯の受験者に出題することを記録する。
試験装置1の制御部11は、前述の受験者データ56や上記の情報等を参照し、復習として2回目以降テストを受験する受験者に対しては、前回行ったテストのテスト得点567に応じた難易度の問題を選択して出題することができる。テスト得点567が「41〜60」、「61〜80」の得点帯にあれば、上記の仮問題512から本問題511となった問題も1以上の配点を有する問題として出題される可能性があることになる。なお、仮問題512である問題については、初回のテスト受験者に対してのみ選択し出題可能としておく。
この他、試験問題が直前の解答結果に応じて動的に変わるような運用を行う場合などでは、例えば、それまでの解答結果より逐次正答率を算出し、上記の情報等を参照して受験者のレベルにあった問題の選択も可能になる。
この他、試験問題が直前の解答結果に応じて動的に変わるような運用を行う場合などでは、例えば、それまでの解答結果より逐次正答率を算出し、上記の情報等を参照して受験者のレベルにあった問題の選択も可能になる。
また、解答率574(図8(a)参照)の統計的分析によって仮問題512の妥当性の検証を行うことも可能である。誤答に減点などのペナルティがある選択式の問題などでは、問題が難しすぎる、または分かりにくい場合には解答率574が下がるので、例えば、解答率574が所定の値以上である(問題自体の理解が容易である等)場合に、前記と同様の処理により仮問題512を本問題511とすることもできる。
その他、解答率574が高いにも関わらず正答率573(図8(a)参照)が低い場合には、「簡単そうに見えて難しい」、または「誤解を与える」問題であることもわかる。試験システム2の管理者は、このような解答率574と正答率573の結果と、問題の内容を突き合わせて妥当性の検討をすることができる。なお、上記の観点から、解答率574および正答率573についての所定の基準値を用いて、試験装置1により仮問題512の妥当性の判定を行うことも可能である。
その他、解答率574が高いにも関わらず正答率573(図8(a)参照)が低い場合には、「簡単そうに見えて難しい」、または「誤解を与える」問題であることもわかる。試験システム2の管理者は、このような解答率574と正答率573の結果と、問題の内容を突き合わせて妥当性の検討をすることができる。なお、上記の観点から、解答率574および正答率573についての所定の基準値を用いて、試験装置1により仮問題512の妥当性の判定を行うことも可能である。
以上、添付図を参照しながら、本発明の実施形態を説明したが、本発明の技術的範囲は、前述した実施の形態に左右されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
1………試験装置
2………試験システム
3………受験者端末
41………出題手段
42………解答受信手段
43………問題分析手段
44………本問題設定手段
51………問題データ
55………採点結果データ
60………出題画面
511………本問題
512………仮問題
2………試験システム
3………受験者端末
41………出題手段
42………解答受信手段
43………問題分析手段
44………本問題設定手段
51………問題データ
55………採点結果データ
60………出題画面
511………本問題
512………仮問題
Claims (10)
- テストを受験する受験者の受験者端末とネットワークを介して接続される試験装置であって、
出題時の配点が1以上である本問題と出題時の配点が0である仮問題とを含む、受験者に出題する問題を、出題時の配点とともに記憶する記憶手段と、
前記仮問題を含む問題を前記受験者端末に送信し、配点を示さない出題画面として表示することにより出題を行う出題手段と、
前記受験者端末から前記仮問題を含む問題に対する解答を受信する解答受信手段と、
前記仮問題に対する解答の採点結果について統計的分析を行う問題分析手段と、
前記採点結果の統計的分析の結果に応じて前記仮問題を本問題とするか否かを判定し、前記仮問題を本問題とする場合に、前記記憶手段に、前記仮問題である問題の出題時の配点として1以上の値を記録する本問題設定手段と、
を具備することを特徴とする試験装置。 - 前記記憶手段は、問題ごとに、前記出題時の配点と、1以上の配点である本問題配点を紐付けて記憶し、
前記本問題設定手段は、前記仮問題を本問題とする場合に、前記記憶手段に、前記仮問題である問題の出題時の配点を、前記本問題配点を参照して記録することを特徴とする請求項1に記載の試験装置。 - 前記出題手段は、仮問題が予め定める所定の割合以下となるように問題を選択して前記受験者端末に送信し出題を行うことを特徴とする請求項1または請求項2に記載の試験装置。
- 前記記憶手段は、問題ごとに、前記出題時の配点と、1以上の配点である本問題配点を紐付けて記憶し、
前記本問題設定手段は、前記仮問題を本問題とする場合に、前記記憶手段に、前記採点結果の統計的分析の結果に応じて、前記仮問題である問題の出題時の配点として、前記本問題配点の所定の割合の配点を記録することを特徴とする請求項1から請求項3のいずれかに記載の試験装置。 - テストを受験する受験者の受験者端末とネットワークを介して接続される試験装置における問題管理方法であって、
前記試験装置が、
出題時の配点が1以上である本問題と出題時の配点が0である仮問題とを含む、受験者に出題する問題を、出題時の配点とともに記憶する記憶手段を有し、
前記仮問題を含む問題を前記受験者端末に送信し、配点を示さない出題画面として表示することにより出題を行う出題ステップと、
前記受験者端末から前記仮問題を含む問題に対する解答を受信する解答受信ステップと、
前記仮問題に対する解答の採点結果について統計的分析を行う問題分析ステップと、
前記採点結果の統計的分析の結果に応じて前記仮問題を本問題とするか否かを判定し、前記仮問題を本問題とする場合に、前記記憶手段に、前記仮問題である問題の出題時の配点として1以上の値を記録する本問題設定ステップと、
を実行することを特徴とする問題管理方法。 - 前記記憶手段は、問題ごとに、前記出題時の配点と、1以上の配点である本問題配点を紐付けて記憶し、
前記本問題設定ステップでは、前記仮問題を本問題とする場合に、前記記憶手段に、前記仮問題である問題の出題時の配点を、前記本問題配点を参照して記録することを特徴とする請求項5に記載の問題管理方法。 - 前記出題ステップでは、仮問題が予め定める所定の割合以下となるように問題を選択して前記受験者端末に送信し出題を行うことを特徴とする請求項5または請求項6に記載の問題管理方法。
- 前記記憶手段は、問題ごとに、前記出題時の配点と、1以上の配点である本問題配点を紐付けて記憶し、
前記本問題設定ステップでは、前記仮問題を本問題とする場合に、前記記憶手段に、前記採点結果の統計的分析の結果に応じて、前記仮問題である問題の出題時の配点として、前記本問題配点の所定の割合の配点を記録することを特徴とする請求項5から請求項7のいずれかに記載の問題管理方法。 - コンピュータを請求項1から請求項4のいずれかに記載の試験装置として機能させるためのプログラム。
- コンピュータを請求項1から請求項4のいずれかに記載の試験装置として機能させるためのプログラムを記憶した記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011215330A JP2013076754A (ja) | 2011-09-29 | 2011-09-29 | 試験装置、問題管理方法、プログラムおよび記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011215330A JP2013076754A (ja) | 2011-09-29 | 2011-09-29 | 試験装置、問題管理方法、プログラムおよび記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013076754A true JP2013076754A (ja) | 2013-04-25 |
Family
ID=48480297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011215330A Pending JP2013076754A (ja) | 2011-09-29 | 2011-09-29 | 試験装置、問題管理方法、プログラムおよび記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013076754A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015060386A (ja) * | 2013-09-18 | 2015-03-30 | ヤフー株式会社 | 仲介装置、仲介方法及び仲介プログラム |
KR101903910B1 (ko) * | 2017-11-14 | 2018-10-02 | 전누리 | 학습 관리 시스템 및 방법 |
JP2018205354A (ja) * | 2017-05-30 | 2018-12-27 | 大日本印刷株式会社 | 学習支援装置、学習支援システム及びプログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006093065A1 (ja) * | 2005-03-02 | 2006-09-08 | The Japan Institute For Educational Measurement, Inc. | 学習レベル判定装置及び学習レベル判定プログラム |
-
2011
- 2011-09-29 JP JP2011215330A patent/JP2013076754A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006093065A1 (ja) * | 2005-03-02 | 2006-09-08 | The Japan Institute For Educational Measurement, Inc. | 学習レベル判定装置及び学習レベル判定プログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015060386A (ja) * | 2013-09-18 | 2015-03-30 | ヤフー株式会社 | 仲介装置、仲介方法及び仲介プログラム |
JP2018205354A (ja) * | 2017-05-30 | 2018-12-27 | 大日本印刷株式会社 | 学習支援装置、学習支援システム及びプログラム |
JP7052224B2 (ja) | 2017-05-30 | 2022-04-12 | 大日本印刷株式会社 | 学習支援装置、学習支援システム及びプログラム |
KR101903910B1 (ko) * | 2017-11-14 | 2018-10-02 | 전누리 | 학습 관리 시스템 및 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Plake et al. | Variations on a theme: The modified Angoff, extended Angoff, and yes/no standard setting methods | |
Bell Jr et al. | Operative experience of residents in US general surgery programs: a gap between expectation and experience | |
KR100978091B1 (ko) | 온라인 테스트 평가 관리 시스템 및 방법 | |
US9824603B2 (en) | System for performing assessment without testing | |
US20170287348A1 (en) | Analytics platform | |
US10839708B2 (en) | Computer-implemented system and method for administering an examination | |
US9870713B1 (en) | Detection of unauthorized information exchange between users | |
US9613540B2 (en) | Examination support apparatus, and examination support method | |
Caves et al. | The impact of high school exit exams on graduation rates and achievement | |
JP2013076754A (ja) | 試験装置、問題管理方法、プログラムおよび記録媒体 | |
Awad et al. | Reliability and validity of procedure‐based assessments in otolaryngology training | |
Garcia et al. | Provider factors predict use of evidence-based psychotherapies in veterans affairs posttraumatic stress disorder specialty programs: The role of profession, theoretical orientation, and training. | |
Kliewer et al. | Peer review at the American Journal of Roentgenology: how reviewer and manuscript characteristics affected editorial decisions on 196 major papers | |
Yu et al. | Trends in successfully matched neurosurgery residency applicants | |
JP7398813B2 (ja) | 検知方法、検知システム、検知装置及びコンピュータプログラム | |
DuPaul et al. | High school teacher ratings of academic, social, and behavioral difficulties: Factor structure and normative data for the School Functioning Scale. | |
JP6276836B1 (ja) | 情報処理装置、情報処理方法およびシステム | |
Aller et al. | Measuring nursing student development through computer-based simulation activities | |
WO2012127593A1 (ja) | 試験実施支援装置、試験実施支援方法、及び試験実施支援方法プログラムを記憶した記憶媒体 | |
Shulruf et al. | How the admission criteria to a competitive-entry undergraduate programme could be improved | |
JP6831551B2 (ja) | 学習支援装置、プログラム、学習支援方法、学習支援システム | |
JP2018142248A (ja) | 答案採点システム及び答案採点方法 | |
Powell et al. | Expected impact of the pass/fail scoring system for USMLE Step 1 on the plastic surgery residency selection process: A national survey of plastics program directors | |
JP4892703B2 (ja) | 採点者評価装置、採点者評価方法及びコンピュータプログラム | |
JP2008233537A (ja) | 学習システム及びサーバ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140729 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150728 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20151201 |