JPH05282283A - コンピュータを用いて適応試験を作成するための項目選択方法 - Google Patents

Abstract

(57)【要約】 【目的】 自動的な項目選択を可能とするバリナリープ
ログラミングモデルによって、試験仕様の制限を満足す
る適応試験を構成する。 【構成】 項目選択の初期化を行い、能力予測許容誤差
を設定し、能力の最大確度予測値を算出する。停止条件
に到達していない場合には項目を選択し、停止条件に到
達した場合には、試験の終了を示す信号を発生し、ブロ
ックの範囲を設定することによって次の項目を選択し、
停止条件に到達するまで、前記次項目の選択のステップ
を反復する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、コンピュータ化され
た適応試験の構成に関するもので、特に、適応試験の作
成において熟練者の試験開発手順を用いる新規な方法に
関するものである。

【０００２】

【従来の技術】紙と筆記具を用いて同時に多人数の試験
を行う場合に用いられる従来の多枝選択試験が、多年に
亙って教育上の試験及び測定のために広く用いられてい
る。こうした試験は、一般に、すべての受験者が同一の
または平行する試験問題を持つ標準化された条件のもと
に実施される。こうした試験方法は、アメリカ合衆国に
おいて古く用いられていた、試験官により個別に行われ
ていた試験に比べて、単位コストを大幅に低減した。

【０００３】しかしながら、個別試験のいくつかの利点
に対して大きな関心が寄せられている。ウイリアム・タ
ーンブル(William Turnbull)は、１９５１年に、この方
向の模索を示唆しており、この方向における可能な基本
的方法論を表現するために、「簡略化試験(tailored te
sting)」の語を創案している（ロード(Lord)、１９８０
年、１５１頁）（この引用文献及び他の引用文献の完全
な出典は、後述する参考文献の項において述べる）。精
神測定の基礎としての項目回答理論（Item Response Th
eory、以下ＩＲＴと略称する。）の出現によって、個別
化試験実施の可能性が高められた（ロード、１９５２
年、１９８０年）。１９６０年代のはじめに、ロード
（１９７０年、１９７１年ａ）によって、生物検定分野
から転用された種々の項目選択方法の検討から、ＩＲＴ
の試験への適用の検討が開始された。ロード（１９７７
年、１９８０年）及びワイズ(Weiss) （１９７６年、１
９７８年）の後年の業績によって、従来の試験に替わる
ものとして、適応試験の適用の基礎が築かれた。

【０００４】適応試験は、受験者に適した項目が選択さ
れる試験である。少数の提案のすべて、例えばロード
（１９７１年ｂ）の融通性試験(flexilevel test) は、
項目の選択及び受験者への出題がコンピュータによって
行われた。このため、この種の試験は、コンピュータ化
された適応試験（computerized adaptive testing ）、
略称ＣＡＴと呼ばれている。多枝選択項目を用いた適応
試験は、近年の低価格コンピュータ技術による価格の低
下により、紙と筆記具とを使用する試験の実質的な代替
方法として注目を集めている。アメリカ合衆国国防総省
は、職業軍人適性試験（ＣＡＴ−ＡＳＶＡＢ:Armed Ser
vices Vocational Aptitude Battery ）へのＣＡＴの採
用を真剣に検討している（ワイナー(Wainer)等、１９９
０年）。多くの試験機関によってＣＡＴの導入が検討さ
れており、教育試験局や単科大学入学試験（ＣＰＴｓ）
プログラムのための単科大学入学試験委員会による適応
試験の実施等においてＣＡＴが実施されている（単科大
学委員会(College Board、１９９０年）。また、証明及
びライセンス機構は、実施可能な代替案として、ＣＡＴ
に大きな関心を持っている（ザーラ(Zara)、１９９０
年）。

【０００５】《従来の試験の構成》従来の試験の構成、
即ち紙及び筆記具による多枝選択試験の構成は、時間が
かかり、費用が嵩むものである。項目の作成及び編集の
ためのコストに加えて、項目を試験問題としてまとめな
ければならない。公的及び私的試験機関における一般的
な状況においては、ある測定目的のために最も効率的な
試験を構成することを目標としている。このため、項目
選択は、項目を試験問題に含めることが出来るか否かを
支配する種々の規則に従って行うことが必要となる。こ
うした規則は、しばしば試験の仕様とよばれ、項目選択
に関する制限事項の集合で構成される。

【０００６】これらの制限事項は、４つのカテゴリー、
（１）項目のある固有の性質に注目した制限事項、
（２）他のすべての候補項目との関係における項目の要
素に注目した制限事項、（３）他のすべての候補項目の
集合との関係における項目の要素に注目した制限事項、
（４）予備試験から得られる項目の統計的特性に対する
制限事項に分類されるものと考えることが出来る。

【０００７】（１）項目固有の性質に関する制限事項 特定の測定の目的で構築される試験は、一般に、項目の
内容に関して明確な制限事項を有している。例えば、数
学の試験のための試験仕様は、算術、代数及び幾何の項
目の数又は割合を特定するものとすることが出来る。こ
れらの仕様は、さらに、算術項目のある割合を、数全般
を扱う計算問題に、ある割合を分数問題に、ある割合を
小数問題にするといった仕様により細分化することが出
来る。同様に、代数項目のある割合が、数を表す記号を
用いた表現に対して、実際の数による問題を含む等を特
定することが出来る。非常に網羅的な試験仕様におい
て、項目の内容の多数のカテゴリー又はより小さなカテ
ゴリーを特定し、それらを割合又は数で要求すること
は、めずらしいことではない。

【０００８】明確に項目の内容に関わる制限事項に加え
て、一般に、項目の内容と直接関係しない項目の固有の
他の要素に関する制限事項が与えられる。例えば、２つ
のブランクに対しての１つのブランク、３つのブランク
に対しての２つのブランクを含む穴埋め項目の割合に対
して、制限を設けることが出来る。これらの形式の制限
事項は、受験者に対しての項目の形式、項目の外観を扱
うものである。内容に直接関係しない第２の制限事項
は、例えば、ある科学的な内容が、少数民族科学者や女
性科学者に関する付随的な引用を含む項目の場合等の、
多人数中に存在するいくつかの特定のグループに対する
項目の参照に関するものである。こうした制限事項は、
社会階級、財産等に対するひいきと見られる可能性のあ
る項目、例えばカントリークラブ、ゴルフ、ポロ等を扱
う項目の付随的な引用を含む項目の使用を最小限とする
か、若しくは排除することを目的とするものである。こ
れらのタイプの制限事項は、しばしば感受性的制限事項
と呼ばれ、試験の仕様は、試験の公正を期す目的でこう
した引用に関してバランスをとるか、若しくは、こうし
た引用を排除するように設定される、このような項目の
種々の要素における、より形式的な制限事項に加えて、
この形式の試験のための一般的に優れた試験構成方法の
一部として開発されてきた他のあまり形式的ではない制
限事項がしばしば設定される。これらの制限事項は、あ
る試験を通じて、正解が規則性のない（もしくはほぼ規
則性のない）位置に現れることを確実にするとともに、
一人の出題者による出題の項目創案を制限することによ
り、項目の変化を促進すること等を意図するものであ
る。

【０００９】（２）すべての他の候補項目との関係にお
ける項目の要素に注目した制限事項 試験が他の項目の解答を示す項目を含まないようにしな
ければならないことは明かである。ワイナー(Wainer)及
びキリー(Kiley) （１９８７年）は、これを情報交差
（cross-information ）と表現している。キングズベリ
ー(Kingsbury) 及びザーラ(Zara)（１９９１年）もま
た、この種の制限事項に言及している。さらに、他の項
目の正解に関する直接的な情報を与える場合に加えて、
項目がより微妙に他の項目と重なる可能性がある。これ
らの項目は、例えばｓｉｎ９０°とｓｉｎ４５０°のよ
うに、外観上は相違するが、同一の、若しくはほぼ同一
のポイントを試験することとなる。試験されるポイント
が充分に近接している場合、一方の項目は重複したもの
となり、受験者に関して何等の付加的な情報をももたら
さないものとなる。

【００１０】項目は、その項目の目的に関しては二次的
な要素によって、相互に重複するものとなることもあ
る。例えば、２つの読解のための文が、いずれも科学に
関するもので、双方が、女性少数民族科学者についての
付随的な引用を含んでいることがある。試験の専門家
が、読解の一般的試験において、双方の文を含むことを
意図している可能性は低いものである。我々は、他の項
目から離れた解答を与える項目、他の項目と同一のポイ
ントを試験する項目、及び内容重複を示すものとして類
似の二次的特徴を持つ項目を、試験仕様によって制限す
べき項目と呼ぶものとする。

【００１１】言語に関する試験を起草するか、若しくは
個別の言語に関する項目を含む試験の部分を起草する試
験の専門家、即ち文章の読取りと関連しない項目を起草
する試験の専門家は、試験の仕様が、ここでは言葉の重
複と称する第２の種類の重複を規制することに配慮す
る。この配慮によって、誤答を選択させるのに用いられ
る比較的一般的でない語が、試験又は試験のある部分に
１つ以上現れないように項目が構成される。これによ
り、受験者は、試験の目的とは異なる要領で語彙をより
制限されることにより、二重の不利益を被ることとな
る。例えば、同義語項目の誤答の選択枝が「ヘジラ(heg
ira)」という語であったとする。試験の専門家は、「ヘ
ジラ」の語が、同一の試験に含まれる言語類似項目の誤
答選択枝中に存在することを望まない。

【００１２】（３）他のすべての候補項目の集合との関
係に注目した制限事項 いくつかの項目は、共通の刺激情報との関係を通じて相
互に関連する。これは、言語試験において複数の項目
が、共通の読解文を基にしている場合、若しくは数学の
試験の複数の項目が、共通のグラフ、表、又は図を基に
出題されている場合に生じる。試験の仕様が、共通の刺
激情報を含むことを指示している場合には、その情報に
連関された、いくつかの集合の項目が試験に含まれるも
のとなる。この場合、試験に含まれるべき項目よりも多
い項目が、１つの集合の中で使用可能となる場合があ
る。そのような場合、試験の仕様は、他の制限事項又は
試験仕様を最も良く満足する使用可能な項目が含まれる
いずれかの群を指令する。

【００１３】いくつかの項目は、共通の刺激情報を介さ
ず、むしろ共通の方向を持っている等の他の要素によっ
て相互に関連される。例えば、言語試験は、同義語と反
対語を含み、これらの項目が混合された場合、受験者に
混乱をまねく可能性がある。試験仕様は、一般に項目の
順序を制限して、同じ方向の項目が一緒に現れるように
する。

【００１４】群を構成する項目が、共通の刺激情報に基
づくものか共通の方向に基づくものか、若しくは他の要
素によるものかに関わらず、ここにおいてこれらの群
は、同一の群に属さない他の項目が混合することのない
群に属する項目を表すものである。

【００１５】（４）項目の統計的特性に基づく制限事項 項目の統計的動向に関する情報は、項目の予備試験、即
ち、目標の受験者群と同等の受験者にこれらの項目を出
題することにより得られる。試験仕様は、一般に、所望
の測定特性を持つ試験問題を作成するための統計的動向
に基づく項目の選択を規制する。測定の目標が、同一の
試験の類似する特性を有する版を生成することである場
合、これらの所望の測定特性は、通常、以前の試験の版
の測定特性に関して特定される。また、測定の目標が、
例えば奨学金の支給又は基本技術の評価等のための新規
な試験の作成である場合には、試験仕様は、難しい項目
と易しい項目とのそれぞれが選択されるように規制す
る。

【００１６】これらの制限事項は、通常、ある統計的特
性の目標集合を特定する形式をとり、この制限事項にお
いては、統計的特性は、従来の困難さ及び差別化、又は
ＩＲＴにおいて検出された項目の相補特性に基づいて決
定される。ＩＲＴの項目特性が使用される場合、その目
標は、例えば目標試験情報関数等の項目特性の組合せと
なる。従来の項目統計が使用される場合には、目標集合
は、通常、項目の困難さ及び差別化の頻度分布に関して
特定される。

【００１７】《適応試験の構成》初期のモンテカルロ(M
onte Carlo) の適応試験のアルゴリズムの検討は、主と
して精神測定的性質に集約されている（例えば、ロー
ド、１９７０年、１９７１年ａ、１９７１年ｂ参照）。
こうした検討は、最終的にＩＲＴに基づくアルゴリズム
を、迅速で、効率的で、精神測定的に見て論理的なもの
とした。ワイナー等(Wainer et al.) （１９９０年、第
５章）及びロード（１９８０年、第９章）によって、最
も高い頻度で使用されるアルゴリズムの検討が行われ
た。これらの従来のアルゴリズムの底流にある基本的な
哲学は、以下の通りである。

【００１８】１） 初期項目は、何らかの基礎に基づい
て選択され、受験者に与えられる。 ２） 最初の項目に対する受験者の解答に基づいて、第
２の項目が選択され、設問される。受験者の最初の２つ
の項目に対する解答に基づいて、第３の項目が選択さ
れ、設問される等。一般的な例としては、受験者の前項
の項目に対する解答が、各項目についての解答毎に更新
される習熟度の評価に反映される。 ３） 各項目の解答後に更新される習熟度の評価によ
り、項目の選択が、ある終了条件が成立するまで継続さ
れる。 ４） 受験者の最終得点は、すべての項目の設問を終了
した後の習熟度の評価値となる。

【００１９】実用化が可能となったとき、現実に実施さ
れないにしても、研究者達は、優れた試験構成方法と同
様に、適応試験の項目選択における精神測定的考察に注
目し始めた。

【００２０】このような研究者の一人がロード（１９７
７年）であり、この事実は彼の言語能力の広範囲簡略化
試験(Broad Range Tailored Test of Verbal Ability)
の中に述べられている。この適応試験のための項目の集
合は、５つの異なるタイプの個別の言語項目で構成され
ていた。適合試験に比較性又は類似性を与えるために
は、例えばある受験者の適応試験がある１つのタイプの
項目のみを含み、他の受験者の適応試験が前者とは異な
る別のタイプの項目のみを含むことを防止するための、
ある種の工夫が必要である。このような管理を適用する
ために、項目タイプの順序が、例えば最初の項目の設問
がタイプＡであり、２番目乃至５番目の項目の設問がタ
イプＢでなければならない等というように、予め特定さ
れる。この最大確度に基づく適合試験において、ロード
は、受験者の予測能力レベルにおける順序で配列され
た、予め特定された適当なタイプの項目に対する最大項
目情報に基づいて、設問のための項目の選択を行ってい
る。

【００２１】より多くの項目要素を管理する試みにおい
て、項目タイプの順序を予め特定する方法は、ＣＰＴ
（ウォード(Ward)、１９８８年）のように、項目タイプ
の数が１０乃至１５程度に増加した場合、さらに細分化
される。このため、主に前述した項目固有の要素に基づ
いて、項目が分類される。同種の管理は、ＣＡＴ−ＡＳ
ＶＡＢ（セゴール(Segall)、１９７７年）においても用
いられている。このタイプの内容管理は、キングズベリ
ー及びザーラ（１９８９年）により、制限ＣＡＴ（Ｃ−
ＣＡＴ）と呼ばれた。

【００２２】

【発明が解決しようとする課題】このような従来技術に
おける方法の主な欠点は、関連する項目要素が、使用可
能な項目の集合を、相互に排他的な群に分割することを
想定していることにある。試験の専門家が関心を持つで
あろう固有の項目要素が多数与えられた場合、相互に排
他性を有する分割区分が非常に多くなり、各分割区分中
の項目数は非常に少なくなる。例えば、項目が１０個の
項目特性のみで分類できるとすると、各特性は２つのレ
ベルのみを持つことになる。こうした項目の相互に排他
性を有する分割区分の数は、２¹⁰−１、つまり１０００
個を超える。たとえ項目の集合が大きくても、各々の相
互に排他性を有する分割区分に含まれる項目数は、非常
に少数となる。

【００２３】ともかく、こうした方法は、重複や項目の
集合に対する考慮をこの種の管理に含めることに関し何
等の努力もなされていないことを除けば、実現可能であ
ろう。重複や項目の集合を考慮に入れることは、理論
上、重複する群及び集合によりさらに項目を分割するこ
とにより達成可能であるが、この場合、区分の数は非常
に多くなるであろう。

【００２４】ワイナー及びキリー(Kiely) （１９８７
年）、及びワイナー等（１９９０年）は、テストレット
(testlets)の使用によりこうした問題が解消するとの仮
説を発表した。ワイナー及びキリーは、テストレット
を、単位領域として設定され、受験者が通る固定された
数の所定の経路を含む単一の内容領域に関連した項目の
群であると規定している（１９８７年、１９０頁）。彼
らは、項目ではなくテストレットを分岐点とすることに
より、テストレットから適応試験を構成することが出来
ることを示唆している。非常に少数のテストレットの集
合を通る経路の数は比較的少ないので、試験の専門家
は、可能性のあるすべての経路を検討することが出来る
ことを、彼らはまた示唆している。彼らは、これによっ
て、試験の専門家が固有の項目要素、重複、及び項目の
集合に関して、従来の試験において行われているのと同
様の要領で制限を与えることが可能となるとの仮説を立
てている。

【００２５】キングズベリー及びザーラ（１９９１年）
は、Ｃ−ＣＡＴの方法との比較において、適応試験にお
けるテストレット手法の測定効率を検討した。彼らの検
討結果により、テストレットを使用する方法は、Ｃ−Ｃ
ＡＴによる方法によって達成される精度と同程度の試験
精度を得るために、Ｃ−ＣＡＴ法の４乃至１０倍の時間
が必要であることが示された。測定に関する関心を別に
すれば、テストレットを用いる方法は、Ｃ−ＣＡＴ法の
欠点と同様に、使用可能な項目の集合が、相互に排他性
を有する部分集合（テストレット）に容易に分割される
可能性があるという着想に依存している。

【００２６】テストレットを用いる方法は、１つのテス
トレット中に含まれる項目の数が少ないので、テストレ
ット内における重複の問題を解消する。また、テストレ
ット間の重複の問題は、テストレット集合を通る経路を
人間が検査するメカニズムを通して防止される。もし経
路の数が多大である場合には、この方法は実施困難とな
る。

【００２７】テストレット法のＣ−ＣＡＴ法に対する明
白な利点は、共通の刺激情報又は他の共通要素を介して
関連する項目の集合の選択に対して制限を与えることの
容易さにある。例えば、１つの読解文に関して選択され
るべき項目が、テストレット生成作業の一部として前も
って確定されている限りにおいて、単一の読解文及びそ
れに関連付けられた項目は、１つのテストレットとして
規定することが出来る。Ｃ−ＣＡＴによる方法は、この
タイプの制限を扱うために容易に変更することが出来な
い。

【００２８】《バイナリープログラミングモデル》従来
の適応試験方法と異なり、本発明は、バイナリープログ
ラムモデルとして定式化された数学的モデルに基づくも
のである。上記に説明したすべての試験仕様は、線形計
画法における線形的制限として数学的に表現される。例
えば、「２以上で５以下の幾何項目を選択する」という
仕様は、 ２≦ｘ≦５ なる式で表される。但し、ｘは「幾何」の特性を持つ選
択された項目の数である。項目の難易度の特定の頻度分
布への適応は、各特定の項目の難易度範囲に属する選択
された項目の数の上限及び下限の形をとる。

【００２９】同様に、目標試験情報関数は、選択された
能力レベルにおける個別の項目情報関数の和の上限値及
び下限値の形をとる。これは、個別の能力レベルにおけ
る試験情報関数を考慮すれば充分であるという前提に基
づくものである。これは、試験情報関数が一般に比較的
平滑であり、能力レベルが相互に近接して任意に選択可
能である限りにおいて、妥当な仮定である（バン デル
リンデン、１９８７年）。

【００３０】バイナリープログラムモデルの一般的な形
態は、以下に示すような数式の形を有している。集合に
含まれる項目にi ＝１，……，Ｎなるインデックスを付
し、Ｘ_i は、項目ｉがその試験に含まれる（ｘ_i ＝１）
か、又はその試験に含まれない（ｘ_i ＝０）かを判定す
る判定変数を示すものとする。一方、非精神測定的制限
に関連する項目特性にｊ＝１，……，Ｊなるインデック
スを付し、Ｌ_j 及びＵ_j は、各特性を持つ試験の項目の
数に対するそれぞれ下限値及び上限値（これらは同じ値
であってもよい。）であるとし、さらにａ_ijは、項目ｉ
が特性ｊを持っている場合に１、持っていない場合に０
であるとする。このとき、固定された長さｎを有する試
験のためのモデルは、以下のように特定される。

【００３１】

【数２】 なお、式（２）は試験の長さを決定し、式（３）、
（４）は、非精神測定制限を、特定の特性を持つ試験の
項目数の下限値及び上限値として示すものである。

【００３２】目的関数ｚは、いくつかの形態をとること
が出来る（バン デル リンデン及びベッコイ−ティミ
ンガ(Boekkooi-Timminga) 、１９８９年、表３参照）。
目的関数ｚは、一般的には精神測定的制限に対する適応
を最大化する。例は、絶対試験情報を最大化すること、
目標試験情報からの正の偏差を最小化すること、又は目
標からの正の偏差の最大値を最小化することを含んでい
る。絶対的又は相対的目標からの最大偏差を最小化する
モデルは、「ミニマックス(minimax) 」モデルと呼ばれ
る。目標関数は、また、セウニッセン(Theunissen)（１
９８５年）によって示されているような、試験の長さを
最小とする形態を、あるいは試験時間、項目の設問頻度
等の他の試験特性を最小化する形態等をとることが出来
る。最後に、ｚは、問題を線形計画の枠組みに適応させ
るためのみに使用されるダミー変数とすることも可能で
ある。ベッコイ−ティミンガ（１９８９年）は、これら
のいくつかの変形例に関して詳細な説明をしている。

【００３３】《大規模な問題を解くためのモデル》式
（１）乃至（５）で表されるバイナリープログラムモデ
ルが実現可能である場合（即ち、整数解を持つ場合）、
このモデルは、標準の混合整数線形計画（ＭＩＬＰ）ア
ルゴリズム（例えば、ネムハウザー(Nemhauser) 及びウ
ォルズィー(Wolsey)、１９８８年参照）を用いて解くこ
とが出来る。いくつかのこうしたモデルが提案され、こ
れらの方法を用いて検討された。ＭＩＬＰ法のスピード
アップのために多大な注意が払われた（例えば、アデマ
(Adema) ，１９８８年、及びベッコイ−ティミンガ、１
９８９年参照）。

【００３４】バイナリープログラミングモデルは、それ
らを解くための種々の手順及び発見的解決法（heuristi
cs，以下ヒューリスティクスと称する。）とともに、多
くの試験構成問題を解決することを可能としている。し
かしながら、モデル（１）乃至（５）が、常に実現可能
な解を持つとは限らない。これは、式（３）又は（４）
中の１乃至複数の制限を満足することが困難若しくは不
可能であるか、又は単に項目の集合がすべての制限を同
時に満足するのに充分な項目を有していないことに起因
して生じる。一般に、バイナリープログラミングモデル
は、制限の数が増加するに従って、制限の相互作用が複
雑化するため、より実現不可能となる可能性が高くな
る。

【００３５】文献に報告されている研究は、一般に比較
的小規模な問題を扱っており、項目の集合が１０００程
度又はそれ以下、制限の数が一般に５０未満である。こ
れとは異なり、我々は、通常３００乃至５０００あるい
はそれ以上の項目の集合と、５０乃至３００の制限とを
扱う。さらに、これらの制限のほとんどではないにして
も、その多くは相互に排他的なものではなく、それらの
制限を項目の集合を相互に独立した小群に分割するため
に使用することは出来ない。我々は、このような規模の
問題は、その制限の相互作用の程度と相俟って、モデル
（１）乃至（５）が実現可能な解を持たない確度を著し
く増加させることを発見した。

【００３６】モデルを解くためのヒューリスティクスに
よる手順は、しばしば、このような実現可能性の問題を
解決する。例えば、アデマ（１９８８年）は、式（５）
を排除することによって、緩和された（relaxed ）線形
解を導出した。大小の低減されたコストの決定変数は、
それぞれ０及び１に設定される。換言すれば、緩和され
た解に任意の近さの最初の整数解が受け入れられる。緩
和された解から決定変数を得るための種々の技法も、既
に検討されている（バン デル リンデン及びベッコイ
−ティミンガ、１９８９年）。上記の様なヒューリステ
ィクスは、コンピュータの処理時間を短縮するように構
成されている。しかし、多くの場合、それらは、緩和さ
れた線形モデルに実現可能な解が存在すれば、バイナリ
ーモデルに（最適ではないが）実現可能な解が存在する
ことを保証する。

【００３７】そこで、本発明の目的は、自動的な項目選
択を可能とするバイナリープログラミングモデルにおけ
る上記の試験仕様の制限を満足する適応試験を構成する
方法を提供することにある。

【００３８】

【課題を解決するための手段】上記及び上記以外の目的
に鑑みて、適応試験の作成に、熟練した専門家の試験作
成方法を取り入れるため、本発明による方法の基本は、
新規な重み付けされた偏差モデル及び自動項目選択のア
ルゴリズムを適用することである。この重み付けされた
偏差モデル及びアルゴリズムは、既に提案されている従
来の試験問題の作成基準に則って開発されたものであ
る。一般に、これらの作成基準は、ＩＲＴ、近代的コン
ピュータ、及び線形計画モデルを組み合わせて採用して
いる。他のこうした作成基準には、セウニッセン（１９
８５年）、バン デル リンデン（１９８７年）、バン
デル リンデン及びベッコイ−ティミンガ（１９８９
年）、及びアッカーマン（Ackerman）（１９８９年）等
がある。重み付け偏差のアルゴリズムが開発され、実際
の項目集合を用いた多くの従来の試験作成問題について
試行され（ストッキング(Stocking)、スワンソン(Swans
on) 、及びパールマン(Pearlman)、１９９１年）、固有
の項目特性に対する制限を取り扱う能力において完全に
満足の行くものであることが見出されている。これらの
特徴は、従来の試験作成についても有用であるが、内容
的重複及び語句の重複の両方を含む重複に対する制限及
び共通の方向性を持つ項目の集合に対する制限を取り扱
うことが、適応試験への適用に関して重み付けされた偏
差アルゴリズムに付加される。

【００３９】本発明による新規な方法の成功の原因は、
連続的項目選択における、内容的制限、重複に関する制
限、及び集合に関する制限を、厳密な制限的要求事項と
してではなく、その選択の結果作成される適応試験が好
ましい特性を有するように用いていることにある。同時
に、本発明は、従来の試験の作成におけると同様の誤り
全体を最小限とする。項目選択に対する制限が満足され
ない度合いは、従来の試験と同様に、項目集合の欠陥に
起因するものとなる。新規な方法によれば、適応試験の
作成は、従来の試験において既に確立されているのと同
等の高い水準まで引き上げられる。

【００４０】

【作用】モデルの底流を成す思想は、以下の通りであ
る。試験問題の作成上、選択された項目のある関数の最
適化（例えば、試験情報の最大化又は試験の長さの最小
化）、又は関連するすべての制限に合致することには、
でき得る限り同時にすべての制限に合致すること程関心
が払われない。したがって、制限（統計的制限を含む）
は、真の制限と言うよりはむしろ望ましい特性であると
考えられる。この方法は、すべての望ましい特性が欠落
している試験が作成される可能性を認識するものである
が、欠陥全体を最小限にすることを強調するものであ
る。さらに、このモデルは、制限のモデル化の一部とし
て明確な相対重みを用いることによって、すべての制限
が試験の計画立案者にとって等しく重要なわけではない
という可能性を与える。項目の集合が、関係する固有の
項目特性に関して充分な数の項目を有しているならば、
適応試験であるか従来の試験であるかに関わらず、重み
付けされた偏差のアルゴリズムによって選択された結果
作成された試験は、すべての望ましい特性を備えたもの
となる。

【００４１】この意味から、制限は、特定の特性を持つ
項目数の境界値として定式化される。制限は、項目集合
を相互に排他的な部分集合に分割するものである必要は
なく、一般には分割しない。むしろ、各項目は、多くの
異なる制限を満足する多くの異なる特性を有してよい。
項目選択における統計的制限は、他のすべての制限と全
く同様に扱われる。アルゴリズムは、これらの制限から
の正の偏差の重み付けされた和を最小とするものを検索
する。このアルゴリズムは、例えば適応試験のような基
準に対して特に適切となる連続的項目選択手順を採用す
る。

【００４２】本発明は、増強された項目選択モデルとア
ルゴリズムにより、従来の試験の作成を支配する思想を
出来る限り忠実に反映した適応試験における項目選択の
メカニズムを提供する。適応試験において設問される次
の項目は、（１）予測される受験者の能力レベルにおい
て最も有用な項目であると同時に、（２）項目情報に関
する制限に加えて、すべての他の制限を最も良く満足す
る項目である。同時に、その項目は、（３）既に設問さ
れた項目を含む１つの重複する群に現れることがなく、
かつ（４）（我々があるブロックに存在するならば）現
在のブロックに存在して新たなブロックを開始するか、
あるいはどのブロックにも存在しないことが要求され
る。

【００４３】

【実施例】本発明の方法は、制限からの正の偏差の重み
付けされた和を最小化することにより好適実施例によっ
て実施される。我々は、バイナリープログラミングモデ
ルの基本原理を保持するが、試験の仕様は、例えば式
（３）、（４）のような制限から目的関数に変更され
る。特に、式（３）は、

【数３】 と置き換えられる。ここで、ｄ_Lj及びｅ_Ljはそれぞれ下
限値からの偏差の正及び負の部分である。

【００４４】同様に、式（４）は、

【数４】 と書き換えられる。ここで、ｄ_Uj及びｅ_Ujはそれぞれ上
限値からの偏差の正及び負の部分である。これより、目
的関数は、下式を最小化するものとなる。

【００４５】

【数５】 ここで、ｗ_j は、制限ｊに与えられた重み値である。

【００４６】バイナリープログラミングの数学的意味に
おいて、これらは制限ではないが、説明の便宜上、試験
の専門家が考えるであろう意味において、これ以降も制
限の語を用いるものとする。上記の式は、試験専門家の
制限を目的関数に変換する数学的形式を示すものであ
る。

【００４７】ＩＲＴに基づく試験に関して、我々は、目
標試験情報関数を満足することが、すべての他の制限と
同様の制限であると考える。これは、次のような数式の
形態をとる。ここで、ｋ＝１，……，Ｋを、試験の専門
家が試験情報関数を制限したいと考える能力尺度θ上の
点、例えば−３．０〜＋３．０の範囲にある点とする。
また、Ｉ_i （θ_k ）を、θ_k における項目ｉに関する項
目情報であるとする。さらに、Ｉ_L （θ_k ）及びＩ
_U （θ_k ）を、それぞれθ_k における試験情報の下限値
及び上限値とする。このとき、目標試験情報を満足する
条件は、以下の２つの式で表される。

【００４８】

【数６】 なお、これらの式は、それぞれ式（６）、（７）の特別
な形態である。試験情報の制限に関して、ａ_ijは、０又
は１ではなく、能力尺度上の点における項目情報とな
り、Ｌ_j 及びＵ_j は特定の特性を持つ項目の数の境界値
ではなく、情報の下限値及び上限値となる。したがっ
て、非精神測定的制限は、特定の特性を持つ項目の数の
境界値として設定される。一方、目標試験情報関数の制
限は、能力尺度上の所望の点の組合せにおける情報の境
界として示される。

【００４９】なお、我々は、単に試験情報を最大化する
のではなく、試験情報の帯域を設けている。これには、
２つの理由がある。第一に、多くの場合、複数の試験
は、ある版の試験が他の異なる測定を行わないようにす
るために、時間的にほぼ平行して行われる必要があるか
らである。これを達成するために、我々は、試験によっ
て得られる最小情報を制御するばかりではなく、その最
大情報をも制御することが必要となる。第二の、より重
要な理由は、情報に制限を加えなかった場合、項目選択
過程においてより有用な項目が選択される傾向があり、
これらの項目の集合を疲弊させるからである。１つの項
目集合から作成される試験の精神測定的品質は、そのよ
うな項目集合の疲弊によって、経時的に減少するであろ
う（ベッコイ−ティミンガ、１９８９年）。これらの問
題の双方を扱うには、情報に対して上限値及び下限値を
設定することである。

【００５０】大規模な項目選択問題に対して適切なモデ
ルを形成するためには、共通の刺激項目群、即ち、共通
の刺激を通じて相互に連関される項目群を取り扱うこと
も、加えて考慮する必要がある。この例には、共通の刺
激に関する一群の質問とともに、読解文や図表が含まれ
る。試験の専門家は、しばしば、例えば、「最大１つの
中世の文献に関する集合を選択する」というように、群
自体に適用される（又はその群の中の部分集合に対して
適用される）制限を有している。さらに、これに加え
て、試験の専門家は、しばしば特定の試験において（そ
の群の全部が含まれている場合に）、群中の部分集合の
みを選択する。その部分集合中の項目は、試験中のすべ
ての他の項目とともに、全体的な精神測定的及び非精神
測定的制限を満足しなければならない。

【００５１】試験の専門家が、集合全体に対する意味で
部分集合の選択を認められている場合、考慮すべき選択
の可能性が多くなる。特に、１つの集合がｎ個の項目を
有している場合、考慮されるべき可能性の数は、

【数７】 で表される。なお、ここでＣ_n,k は、ｎ個の項目から一
度にｋ個を選ぶ組合せの数である。（実際上、試験の専
門家は、単一の項目しか持たない集合を避けるので、上
式が示す和は２乃至ｎとなるのがより一般的である。）
一例として、１０個の項目を有する集合を考えると、試
験の専門家は、１０００を超える（Ｃ_10,2＋ Ｃ_10,3
＋ …… ＋ Ｃ_10,10 ）個の可能性を考慮しなければ
ならないだろう。

【００５２】項目の集合は、モデル中において、すべて
の列挙される部分集合同様に個別の項目（いずれの集合
にも関連付けられていない項目）を含むように、項目の
集合を再構成することによって示される。したがって、
Ｎは個別の項目の数と列挙される部分集合の数との和と
なり、ｘ_i は、集合中のｉ番目の項目又は部分集合が試
験に含まれているか否かを示し、ａ_ijは、集合中のｉ番
目の項目又は部分集合に関する（非精神測定的制限とし
ての）特性ｊ、あるいは（ＩＲＴに基づく目標制限とし
ての）項目又は部分集合の情報が存在することを示す。
なお、目標制限に関しては、ｉが１つの部分集合を示し
ているならば、ａ_ijはその部分集合中の全項目について
の項目情報の和となる。

【００５３】この集合の再構成を行うことによって、ｉ
は２以上の項目を有する部分集合を示すことになるの
で、試験の長さは、ｘ_i の和ではなくなる。便宜上、集
合中に指標を付して指定された他の変数ｇを定義し、ｉ
が１つの部分集合を示す場合には、その部分集合中の項
目数をｇ_i とし、ｉが１つの独立した項目を示す場合に
は、ｇ_i を１とするものとする。

【００５４】項目の集合が持つ最後に残された複雑な要
素は、ある集合から２以上の部分集合を選択することが
非論理的であることである。これを制御するためには、
いかなる集合からも最大１個の部分集合が選択されるよ
うに制限する（厳密にバイナリープログラミングの意味
での）付加的な制限を定義する必要がある。ここで、初
めの集合中の項目の集合に付される指標をｓ＝１，…
…，Ｓとし、ｂ_isを項目又は部分集合ｉが１つの部分集
合である場合には１、そうでなければ０となるように設
定するものとする。このとき、付加的制限は以下の式で
特定される。

【００５５】

【数８】 まとめると、新しいモデルの完全な仕様は、以下の通り
となる。

【００５６】

【数９】 我々は、式（１２）乃至（１８）で表現されるモデル
を、重み付け偏差モデルと呼ぶ。

【００５７】このモデルは、いくつかの実際の項目の集
合及び試験仕様を用いて試験を作成することによって検
討された。そのような検討の多くのケースが比較的大き
な項目集合を含み、すべてのケースが多数の（試験の専
門家が意味するところの）制限を含んでいた。使用され
たデータは、すべて試験プログラムを動作させるための
実際に作成された試験から採集された。この結果につい
て、次章で説明する。

【００５８】《モデルを解くためのヒューリスティク
ス》式（１２）乃至（１８）で与えられた重み付けされ
た偏差モデルは、バイナリープログラミングの問題であ
り、したがって、前述のように、標準混合整数線形計画
アルゴリズムを使用して解くことが出来る。これらのア
ルゴリズムは、一般に目的関数のための最適値という意
味で、最適と考えられる解を生成する。しかしながら、
非常に大規模な試験を構成する問題は、ＭＩＬＰアルゴ
リズムを用いて解くことは困難である。それらの問題
は、非常に長いコンピュータの処理時間を必要とし、さ
らに、時としてＭＩＬＰにおける処理の限界を超えてし
まう。線形計画モデルのサイズは、しばしばモデル中に
含まれる変数の数（即ち決定変数の数）及び式の数（制
限及び目的関数の数）によって計られる。以下に説明す
るように、我々は、１４０，０００程度の変数と約４０
０の式を含む問題と取り組んだ。こうした問題は、マイ
クロコンピュータによる線形計画の実行の限界を超える
ものである。

【００５９】バイナリープログラミングの問題に対する
ヒューリスティクス的な解は、しばしば最適なものでは
ないが、これらの困難を解消する。いかなる数の発見的
解決法をも検討することが出来る一方、重み付けされた
偏差モデル自体のための目的関数が非常に直感的に認識
され易いものとなることを示唆する。即ち、正の偏差の
重み付けされた和を可及的に小さくするような方法で、
項目を選択するということである。逐次処理の過程とし
て、単調増加するヒューリスティクス的な検索は、目的
関数に向かって進められていく。

【００６０】重み付けされた偏差モデルの実施に使用さ
れるヒューリスティクス的アルゴリズムは、２つの段階
で構成される。第一の段階では、正の偏差の重み付けさ
れた和の予測値が減少するように、項目を逐次選択する
（詳細は後述）。即ち、集合中の各項目に関して、その
項目が試験に加えられた場合に予測される正の偏差の重
み付けされた和の値を計算する。次いで、正の偏差の重
み付けされた和の予測値が最小となる項目を選択して、
試験に加える。

【００６１】所望の試験の長さに到達すると、置換段階
に移行する。この段階において、正の偏差の重み付けさ
れた和が改善不可能となるまで、すでに選択されている
項目を逐次置換した。

【００６２】この計算手順は、目標検索あるいは極めて
強力なヒューリスティクスのパターンに沿って行われた
（例えば、ネムハウザー及びウォルズィー、１９８８
年、II．５章参照）。これは、複数の平行する試験を作
成するためにアッカーマン（１９８９年）、及びケスタ
ー(Kester)（１９８８年）を含む類似の手法に従った他
の研究者が用いて成果を上げた方法と同様である。アデ
マ(Adema) （１９９０年）は、こうしたアルゴリズム
を、作成と改良とを結合したヒューリスティクスと称し
た。問題の解を得ることを容易にすることに加えて、そ
れらの方法は、試験の構成過程に大きな柔軟性を与え
る。この柔軟性の例に関しては後述する。

【００６３】ヒューリスティクスの詳細は以下の通りで
ある。選択段階は、四つのステップで構成される。 １．残りのすべての項目が集合から任意に抽出されると
の仮定の下に、上限値及び下限値が満足されると予測さ
れる範囲を、各ｊに関して算出する。 ２．集合中の選択可能な項目の各々に関して、ステップ
１での計算結果を考慮して、当該項目が選択された場合
に予測される正の偏差の重み付けされた和を算出する。 ３．正の偏差の重み付けされた和の予測値が最小となる
項目を選択し、その項目を試験に加える。 ４．（ｎ＋１）個の項目が選択されるまで、ステップ１
〜３を繰り返す。

【００６４】ステップ１の目的は、連続的な選択方法が
しばしば局部的には最適となるが全体的には最適でなく
なることを補償することである。目的関数に関して最適
である項目を連続して選択しなければならないとすれ
ば、まず下限値を満足するのに最も貢献する項目を最初
に選択するであろう。これらの項目は、上限値に関して
はさほど満足のゆくものではない可能性があり、その結
果、後の選択において前に選択された最適ではない選択
を変更することを試みる必要が生じる。これを是正する
ために、過去のすべての選択及びすべての将来的な選択
に関して起こり得る項目特性又は項目情報の分布を与え
て、上限値及び下限値の双方を満足するであろう範囲を
算出することから項目の選択を開始する。数学的に言え
ば、ｎ項目の試験中のｋ番目の項目を選択しており、集
合中のｔ番目の項目の適性度を考慮しているならば、ｊ
＝１，……，Ｊに関して、

【数１０】 を算出する。ここで、ｖ_j は、特性ｊの平均出現数（又
は、ｊが試験情報制限を示すならば、特定の能力レベル
における項目情報の平均値）である。この量は、偏差の
予測値を算出するために、上限値及び下限値と比較され
る。

【００６５】項目の集合の制限は以下の要領で扱われ
る。各項目が検討されるときに、ヒューリスティクス
は、その項目の選択が刺激源を「持ち込む」か否かを判
定する。即ち、その項目が刺激を持っているかどうか、
持っているとすれば、その刺激がそれ以前の項目選択に
よりすでに含まれているかどうかを判定する。これは、
それぞれの集合の制限に関連する特性を持つ試験に含ま
れている集合の数を計数する結果となる。これらの集合
の制限が満足される度合いが、次いで試験され、正の偏
差の重み付けされた和の予測値の算出に含まれる。

【００６６】１つの集合の制限に対応する２以上の集合
が試験に含まれる可能性がある場合、アルゴリズムは各
集合から選択される項目の数を自動的にバランスさせる
ように（即ち、ほぼ等しくするように）試みる。アルゴ
リズムは、重み付けされた正の偏差の和に、選択された
集合の項目の平均数と選択された集合の項目の最小数又
は最大数との差を加算することにより、これを行う。同
様に、単一項目のみを有する集合は好ましくないと考え
られるので、選択される項目を１つしか持たない集合が
試験に含まれると予測される場合には、重み付けされた
偏差の和に罰則値(penalty) が加算される。

【００６７】置換段階は、以下の３つのステップで構成
される。 ５．置き換えることにより最も重み付けされた正の偏差
の和を減少させる選択された項目を検出し、当該項目を
試験から排除する。

【００６８】６．最良の代替項目、即ち当該項目を試験
に加えることにより重み付けされた正の偏差が最小とな
るような項目を検出する。

【００６９】７．項目の排除及び交換により重み付けさ
れた正の偏差の和が減少する場合には、代替項目を試験
に加え、減少させない場合には置換段階の処理を終了す
る。

【００７０】代替項目の対、即ち排除される項目及び付
加される項目を発見するための種々の方法が検討され
た。ステップ６、７で示された方法は、最も簡単で、最
も効率的な方法であり、実際上うまく機能した。さら
に、置換段階は、予測値の導入（ステップ１）により、
選択段階における最適でない選択が補償されているの
で、しばしば、解を改善しないこともある。ステップ
６、７の置換手順による改善は、現在選択されている項
目と付加可能な項目とのすべての組合せ可能な対の重み
付けされた偏差に与える効果を同時に検討するものであ
るが、勿論他の方法による改善も可能である。ヒューリ
スティクスの利点の１つは、こうした改善を可能とする
柔軟性にある。

【００７１】項目の集合の制限は、選択段階（ステップ
１乃至４）において扱われる以上に、置換段階で扱われ
る。１つの項目が排除された場合、ヒューリスティクス
は、集合が空洞化するので、その項目に対する刺激源も
排除すべきか否かを判定し、その後に、集合の制限への
影響が適切に算出される。

【００７２】《結 果》重み付けされた偏差モデル及び
それを解くためのヒューリスティックスは、それらをい
くつかの試験作成の問題に適用することによって検討さ
れた。これらの問題に関するデータは、実行され得る試
験プログラムのための実際の試験問題より得られた。各
ケースにおいて、データは、実際の試験仕様及び実際の
項目データを含んでいる。

【００７３】ほとんどではないにしても、多くの試験問
題の目的関数（式１２）の値はゼロとなった。これらの
ケースにおいて、重み付けされた偏差モデルは、式
（１）乃至（５）によって与えられたモデルと全く同じ
ように機能した。しかしながら、いくつかの試験問題に
おいては、目的関数はゼロよりも大きくなった。モデル
（１）乃至（５）は実現不可能であるため、これらのケ
ースは注目すべきケースである。

【００７４】この種のいくつかのケースの分析結果を表
１に示す。第２列には、作成された試験のタイプの概略
的特性が示されている。第３列は、意図された長さ（項
目の数）を示している。第４列は、試験が従うべき試験
仕様（試験の専門家が言うところの制限）の数を示して
いる。なお、下限値及び上限値の双方をこれらＪ個の仕
様に適用することを要し、したがって２Ｊ個の式が生成
される。第５列は、集合中の項目及び部分集合の数（モ
デルにおけるＮ）を示している。その次の２つの列は、
バイナリープログラミングの問題における変数の数及び
式の数を示し、これにより数学的プログラミングの観点
から、問題の規模の大きさを特徴付けている。

【００７５】

【表１】 次の対の列は、ヒューリスティクスと混合正数線形計画
（ＭＩＬＰ）法を各別に適用した場合の結果を示してい
る。後者を適用するために、モデルは、まず一般代数学
的モデル化技法(General Algebraic Modeling System)
（ＧＡＭＳ）（ブルック(Brooke)、ケンドリック(Kendr
ick)及びメーラウス(Meeraus) 、１９８８年）を用いて
定式化された。この技法は線形計画モデルを表現し、そ
れらに対していくつかのタイプの解法を適用する手段を
提供する。ＧＡＭＳモデルは、次いで０／１最適化方法
を用いて解かれた。この方法は、最初に線形計画緩和を
解き、次に中心的及び補完的ヒューリスティクスを適用
し、最後に分岐及び限界法（詳細は、ブルック、ケンド
リック及びメーラウス、１９８８年、添付書類Ｅ参照）
を用いる。「重み付け偏差」と標記された対の列は、ヒ
ューリスティクス及びＭＩＬＰ法によって得られた目的
関数の値を示している。

【００７６】最後の２つの列は、２つの手順のそれぞれ
を実行するために必要なＣＰＵ時間を示している。モデ
ルは、４ＭＢのＲＡＭを搭載したクロック周波数２０Ｍ
Ｈｚの３８６シリーズＣＰＵで構成されたパーソナルコ
ンピュータによってすべて実行された。

【００７７】最初の２つのケースは、大規模な試験の試
験問題の一部を示している（試験の専門家は、往々にし
て試験問題の部分部分を別々に作成し、それらを組合せ
て最終的な試験問題を構成することがある。他の場合に
は、試験問題は全体として作成される。）。こうしたケ
ースの項目の集合は、比較的小さくなる。第一の集合に
は項目の集合がなく、第二の集合には３８の集合が含ま
れている。双方の試験問題とも、比較的少数の試験仕様
を有しており、試験情報が制限される能力尺度上の点を
表す仕様の内の５つである。仕様は、一般に、集合内の
項目の割合に一致する。即ち、集合に特性の指標が与え
られている場合、予測される選択項目数よりも著しく多
いか、又ははるかに少ない項目数を要求する仕様はほと
んどない。したがって、こうした試験問題が、ほとんど
の試験仕様を容易に満足することが出来るものと予測さ
れる。

【００７８】第１のケースにおいて、ヒューリスティク
スの手順及びＭＩＬＰの手順は、何れも試験仕様の１つ
に適合することが出来ず、それぞれ１つの項目により同
一の仕様を満足出来ないものであった。これは、関連す
る特性を持つ集合中に僅かの項目しか存在しなかったた
め、特に満足することが困難な仕様であった。第２のケ
ースにおいても、ヒューリスティクス及びＭＩＬＰの手
順は、試験仕様の１つに適合することが出来ず、各々同
じ仕様が満足されない結果となったが、このケースの場
合には、各々が所望の項目よりも少ない３つの項目を選
択した。

【００７９】第３のケースは、比較的小さく、項目の集
合を持たない項目の集合による言語試験の全体を示して
いる。試験問題は、５つの能力レベルでの試験情報関数
に対する境界を含むさほど多くない数の仕様によって制
限された。仕様は、集合の特性に一致しており、それら
の内のいくつかのみが適合することが困難なものであっ
た。ヒューリスティクス及びＭＩＬＰ法の双方におい
て、１つの仕様を満足することが出来なかった。ヒュー
リスティクスは３つの項目によって仕様を満足すること
が出来ず、ＭＩＬＰでは２つの項目によって仕様が満足
されなかった。

【００８０】第４行目に示す数学試験は、対応する試験
全体の短縮版である。このケースは、少数の集合を含む
比較的小さい集合と非常に多くの試験仕様とを含んでい
る。この試験は、ＩＲＴ統計を使用しない。一般には、
この種の試験のほとんどは、項目の難易度及び／又は差
別化の頻度分布における間隔から選択される項目につい
ての上限及び下限としての統計的な仕様を含んでいる。
仕様は、集合の特性にほぼ一致しているが、それらの内
のいくつかは適合が困難である。ヒューリスティクス
は、１つの項目において８つの仕様を満足することが出
来ず、３つの項目において１つの仕様を満足することが
出来なかった（１よりも小さい重みにより偏差の合計が
９となった）。ＭＩＬＰ法は、１つの項目により３つの
仕様を満足することが出来ず、これらの仕様の内の２つ
はヒューリスティクスにおいても満足されなかったもの
であった。このケースにおいて、仕様に適合しようとす
る問題は、適合することが非常に困難な一、二の仕様を
満足することを試みるというよりはむしろ、同時にすべ
ての仕様を満足しようと試みることになる。

【００８１】第５のケースは、集合が排除された大きな
集合から長い試験の一部を作成する例を示している。こ
のケースには、さほど多くない試験仕様が含まれ、試験
情報についての要求はなく、試験仕様の内のいくつかは
適合が困難なものであった。ヒューリスティクスにおい
ては、各１つの項目において４つの仕様に適合すること
が出来ず、ＭＩＬＰ法では、１つの項目が異なる仕様を
満足することが出来なかった。

【００８２】次の行に示された言語試験は、集合を持た
ない大きな集合から作成された。試験仕様はさほど多く
なく、試験情報の制限はなかった。このケースにおい
て、半数以上の試験仕様は、満足することが困難なもの
であった。ヒューリスティクス及びＭＩＬＰ法の双方と
も、それぞれ３つの項目において、特に困難な仕様の１
つを満足することが出来なかった。

【００８３】第７番目のケースは、中規模で少数の集合
を有する集合から作成された試験の全体を示している。
多数の試験仕様が設定され、この仕様には、能力段階の
１１の点における試験情報に対する制限が含まれる。仕
様は、ほぼ集合に一致しているが、いくつかは過少の項
目しか持っていない。ヒューリスティクスは、１つの項
目において３つの非統計的な仕様を満足することが出来
ず、３つの点において目標試験情報に適合することが出
来なかった。ＭＩＬＰ法は、同じ３つの非統計的な仕様
を満足する事は出来なかったが、試験情報の目標は達成
した。

【００８４】最後のケースにおいては、集合を持たない
大きな項目の集合から試験の全体が作成された。試験仕
様の数は多く、ＩＲＴの目標は仕様中に含まれず、試験
仕様は概して満足することが困難なものであった。ヒュ
ーリスティクスは、１つの項目において５つの仕様を満
足することが出来ず、２つの項目において１つの仕様を
満足することが出来なかった。ＭＩＬＰ法では、１つの
項目において３つの仕様を満足できなかった。これら３
つの仕様は、ヒューリスティクスにおいても満足出来な
かったものである。

【００８５】ほとんどのケースにおいて、ヒューリステ
ィクス及びＭＩＬＰ法により選択された試験は、大きく
異なっていた。２つの解法において共通に選択された項
目の数は、ゼロから約６０％までの範囲で変動した。最
も一般的なケースでは、１／４乃至１／３の項目が共通
であった。

【００８６】表２は、ヒューリスティクスによる解法の
みを試みた６つの追加のケースを示している。これらの
ケースはすべて多数の集合を含み、したがって、集合
（項目及び部分集合）は非常に大きいものとなった。結
果として生成されたＭＩＬＰモデルは、多数の変数を必
要とし、その数は我々が使用していたマイクロコンピュ
ータによる実行限界を超えるものであった。試験の専門
家が非常に大きなコンピュータを使用可能でない限り、
この規模の問題に対してＭＩＬＰ解法をルーチン演算を
させるために適用することは実際的でない。

【００８７】

【表２】 ヒューリスティクスは、これらの問題をうまく実行し、
重み付け偏差は妥当な小さい値であった。いくつかのケ
ースにおけるＣＰＵ時間は、集合を扱うことにより増加
する複雑さのため、表１に示されたケースに比べて非常
に長くなっている。これは、特に、表２の最後の行のケ
ースのように、集合が多数の項目を有している場合に顕
著である。

【００８８】以下においては、従来の試験作成において
述べた４つのタイプの制限が、重み付け偏差アルゴリズ
ムによる適応試験においてどのように適用されるかを説
明する。

【００８９】《項目固有の特性に対する制限》項目固有
の特性の制御は、明白な制限、即ち、１つの特性を持つ
所望数の項目の下限及び上限（上限と下限とが一致して
もよい）を用いて達成される。項目が、充分に精緻なレ
ベルでコード化された場合、同様のメカニズムにより項
目選択の第２のタイプの制限、即ち項目間の望ましくな
い重複を制御することが可能となる。例えば、他の項目
に対して遠い回答を与える複数の項目に共通のコードを
割当て、こうした項目の１つのみを１つの適応試験に含
むように制限を特定することが出来る。同様に、同一の
ポイントを試験する項目、又は同様の付随的要素を持つ
項目にコードを割り当てて、こうした項目の数に制限を
加えることが出来る。

【００９０】《他のすべての候補項目との関係における
項目要素の制限》実際上、明瞭な制限を単独で適用する
ことによってすべての重複を制御できるように、充分精
緻なレベルをもって項目のコード化体系を開発、適用す
ることは困難である。その代わりに、他のメカニズム、
即ち重複群を採用する必要がある。重複群は、同一の適
応試験において一緒に出現する可能性がないであろう項
目のリストで構成される。重複群は、重複の遷移の可能
性を暗示するものである必要はない。即ち、項目Ａが項
目Ｂと重複し、項目Ｂが項目Ｃと重複していることは、
重複の理由が異なる可能性があるため、項目Ａが項目Ｃ
と重複することを暗示するものではない。この概念の延
長として、重複群は、項目は異なる理由により重複し得
るので、項目群間相互の排他性を暗示するものではな
い。「項目の集合から導出され得るすべての知覚可能な
項目の部分集合を比較する」（１９８７年、１８８頁）
必要があるとするワイナー及びキーリーの仮説とは逆
に、これらの重複群は、基本的に事務的な方法により非
常に簡単に定式化することが出来る。（内容に対する意
味での）言葉の重複の検出は、言葉の重複を識別する
（実現可能な）形態学アルゴリズムを用いたコンピュー
タツールにより比較的簡単に行うことが出来る。内容的
な重複の検出はより複雑であるが、内容の類似性を識別
するために類語に基づくアルゴリズムを使用するコンピ
ュータツールによって実現することが出来る。

【００９１】これらの群が形成されると、これらの群は
項目選択アルゴリズムによって、すでに設問された項目
と同一群に属するすべての項目の選択を防止するために
使用される。これにより、項目の重複を防止するという
問題に対して、簡単で非常に効率的な解決方法が与えら
れる。

【００９２】《すべての他の候補項目の部分集合との関
係における項目要素に対する制限》セウニッセン(Theun
issen)（１９８６年、３８７頁）は、共通の刺激に基づ
く項目の集合は、当該集合を構成する項目に関する項目
情報関数の和としての集合情報関数の使用により、最大
情報適応試験の実施基準に含むことが出来ることを示唆
している。この方法は、試験問題作成以前にある特定の
刺激により関連付けられる項目が確定され、各集合に含
まれる項目の数が同じ又はほぼ同じである共通の刺激に
基づく項目の集合によって全部が構成される試験を構成
する上で効果的である。

【００９３】この方法は、項目の集合と個別の項目とが
混在する試験については、又は１つの項目の集合に含ま
れる項目の数が項目毎に大きく変化する場合には、変更
することが必要となる。これは、まず第一に、いくつか
の項目から算出される集合情報関数は、通常単一の項目
の項目情報関数を支配するためである。第二に、通常多
数の項目で構成される集合からの集合情報関数は、より
少ない項目数の集合からの集合情報関数を支配するため
である。

【００９４】より一般的なケースにおいては、ある共通
の刺激と関連付けられた項目の集合から設問される項目
が予め特定されない場合に、上記の問題はさらに複雑化
する。一般に、刺激情報は、すべての単一の試験に含ま
れることが望まれる項目数よりも多い項目数について予
め検討され、部分集合のサイズは予め特定されるが、適
応試験において受験者に設問されるこれらの項目の部分
集合は、当該時点における受験者の能力の評価に応じて
決定される。この点に関して、ある共通の刺激と関連付
けられるすべての出現可能な部分集合に関する集合情報
関数を算出することが必要となる。

【００９５】我々が採用した手法は、集合中から項目が
出題されるときに項目情報関数の部分的な和を算出する
という点で、セウニッセンの示唆に基づいている。この
方法は、共通の刺激情報、又は共通の方向、若しくはあ
る集合に属する項目の設問が、同一の集合に属する他の
項目の設問により阻害されることがないことを要求する
他の特性に基づいて形成されている項目集合を含むため
に有用である。各項目集合には、項目の集まり（１つの
ブロック）という概念的区分が割り当てられ、集合に属
さない項目はこの種の区分に含まれないものと考えられ
る。いくつかのブロックは、各試験項目において設問さ
れる所定数の項目により再エントリ可能に指定される。
例えば、１００の類語項目を有するブロックがあり、全
体で９つの類語項目を持つように制限された試験におい
て、３つの類語項目が一緒に設問されなければならない
ような場合である。他のブロックは、３つの項目につい
て設問したい読取り文と関連付けられた１０個の項目を
有する集合内にあるものとして、設問すべき所定数の項
目により再エントリ不能なものとして指定される。

【００９６】ブロックは、１）すべての他の制限を満足
するために最も貢献し、２）既に設問された項目を含む
重複群に含まれないブロック中の項目を選択することに
よって、エントリ（又は再エントリ）される。一旦ある
ブロック内に入れば、そのブロックへのエントリ時点に
おいて設問されるべき項目数に達するまで、すべての制
限及び重複を満足することに対する貢献に基づく設問の
ための適応的項目選択が継続される。ブロックが再エン
トリ不能な場合には、そのブロックは、集合中における
以降の検討対象から除外され、一方そのブロックが再エ
ントリ可能な場合には、使用可能な状態に保持される。

【００９７】《項目の統計的特性に関する制限》適応試
験の主な精神測定的要素は、特定の受験者の能力の測定
に対して最適な統計的特性を持つ項目を選択することで
ある。実施例において説明される実施のために、我々
は、ロード（１９７７年）の方法を適用し、ある項目
が、受験者の予測される能力レベルにおいて最大の項目
情報関数を持つ場合に、その項目が最適な統計的特性を
持つものと考えた。勿論、他の方法も可能である。

【００９８】適応試験アルゴリズムにおいて、この制限
の下限値及び上限値は、ある大きな正の数に設定され
る。項目の統計的特性を考慮する場合、重み付け偏差ア
ルゴリズムにより当該時点において予測される受験者の
能力において最大の項目情報関数を持つ項目が選択され
る。

【００９９】図１〜図１０のフローチャートは、本発明
を実施するための好適実施例を示している。図１は、コ
ンピュータ化された適応試験の実施における項目選択の
ための環境設定を示している。なお、破線で示す線及び
ブロックは、試験装置自体の機能を示し、したがって本
発明の範囲外の構成である。

【０１００】本発明による項目選択方法を採用するため
の試験装置は、項目選択処理の初期化から動作を開始す
る。これに続いて、試験装置は、選択されるべき各項目
に関して、次項目選択手続を行う。停止条件に到達する
まで、次項目選択処理は継続され、停止条件に到達する
と、試験の採点が行われる。

【０１０１】初期選択処理の詳細は、図２に示されてい
る。この処理は、試験パラメータの読込み、データ構造
の割付け、制限及び項目集合データの読込み、及び内部
変数の初期化を含んでいる。

【０１０２】図１の次項目選択手続きの詳細は、図３に
示されている。まず、能力評価の許容偏差が設定され
る。能力評価の最大確度値が計算され、その後に停止条
件に到達したか否かが判定される。停止条件に到達した
場合には、試験終了を示す信号が発生される。一方、停
止条件に到達していない場合には、項目が選択され、ブ
ロックの有効範囲が設定される、項目の選択処理は、図
４に示されている。まず、前の選択項目が記録される。
θの予測値に最も近接したθ位置が検出され、現在のブ
ロックに基づいて集合の有効範囲が設定される。この処
理により、ｎ個の最良項目が同定され、任意にこのｎ個
の項目からの選択が行われる。

【０１０３】前項目の記録処理は、図５に示されてい
る。最初に、各項目の制限に関連付けられた特性によっ
て項目の数の計数値が更新される。同様に、各集合の制
限に関連付けられた特性により集合の数の計数値が更新
される。各θにおける試験情報が更新される。新たな重
み付けされた偏差の和が算出され、この項目と重複する
すべての項目を選択不能に設定する。

【０１０４】重み付け偏差の和の計算手順を図６に示
す。まず、各項目制限に関する正の偏差が計算される。
次いで、各集合制限に関する正の偏差が計算される。各
θ位置における正の偏差が計算され、重み付けされた偏
差の和が更新される。

【０１０５】正の偏差の計算手順は、図７に示されてい
る。まず、予測値が計算される。次いで、この特性を有
する以前の項目又は集合の数、言い換えれば、過去の試
験情報を追加する。以前の値と予測値との和が下限値よ
りも小さい場合には、重み付け偏差が返される。以前の
値と予測値との和が下限値よりも小さくなく、かつ上限
値よりも大きい場合には、重み付け偏差が返される。以
前の値と予測値との和が何れの条件にも当てはまらなか
った場合には、この処理手順はリターンされる。

【０１０６】図８は、予測値の演算手順を示している。
予測値が項目又は集合の制限ではない場合には、予測値
は試験において残された項目の数と集合中の平均項目情
報との積に等しくなる。予測値が項目又は試験制限であ
るが、制限がブロックに適用されない場合には、予測値
は試験において残っている項目又は集合の数と集合中の
項目又は集合の割合との積に等しくなる。しかしなが
ら、制限がブロックに適用される場合には、予測値は、
ブロック中に残っている項目又は集合の数とブロック中
の項目又は集合の割合との積に等しくなる。

【０１０７】図４の項目選択手順において必要となるｎ
個の最良の項目を同定するステップは、図９に示されて
いる。まず、次に選択可能な項目が検索される。重み付
けされた偏差の和が計算される（図５参照）。項目がｎ
個の最良の項目の内に含まれる場合には、その項目がス
タックに格納され、含まれない場合には、スタックに格
納されない。集合のすべての検索が完了していない場合
には、集合すべての検索が完了するまで、処理が繰り返
される。これによりｎ個の最良の項目が返される。

【０１０８】図３の次項目選択手順において必要となる
ブロック有効範囲の設定ステップは、図１０に示されて
いる。まず、ブロック中で使用された項目がカウントさ
れる。ブロックの使用が完了していない場合には、関数
が返される。しかしながら、ブロックの使用が完了して
いる場合には、当該ブロックが使用不可であることが宣
言され、新しいブロックの照会が開始される。これに対
する解答が否定解答である場合には関数が返され、肯定
解答の場合にはブロックの始点と終点が設定され、関数
が返される。

【０１０９】《例１》この例の内容は、試験特性を決定
するためのモンテカルロ・シミュレーションによる言語
の適合試験の設計に関するものである。この設計の目標
は、従来実際に行われた８５項目を有する筆記試験の内
容と出来る限り対応する試験を作成することであり、考
え得る最も短い（一定の）適応試験の長さにおいて、従
来の試験の至近の１０回の平均信頼度である０．９１の
信頼度予測値を達成することである。

【０１１０】《項目の集合》使用可能な項目の集合は、
５１８個の実際的な言語項目を含んでおり、その内の１
９７個は、５１の読取り文と関連付けられていた。すべ
ての項目は、３パラメータ・ロジスティック(logistic)
（３ＰＬ）項目応答モデル及びコンピュータプログラム
ＬＯＧＩＳＴ（ウィンガースキー(Wingersky) 、１９８
３年）を用いて、現在の試験母集合から抽出された（２
０００を超える）多数の標本に対して予め較正された。
母集合に関するパラメータａの平均予測値は０．８６、
標準偏差は０．２８であり、分布範囲は０．２２〜１．
８３であった。パラメータｂの平均予測値は０．１７、
標準偏差は１．３１、分布範囲は−３．６８〜３．３２
であった。パラメータｃの平均予測値は、０．１７、標
準偏差は０．０９、分布範囲は０．００〜０．５０であ
った。母集合全体についての情報関数に関する母集合の
性質を検査した結果、母集合は、全体として、能力レベ
ルゼロより低い能力レベルについてよりも、能力レベル
ゼロよりも高い能力レベルにおいて、より多くの情報を
有していることが示された。

【０１１１】《内容に関する制限》この試験に関して選
択されるべき項目及び文は、５４の異なる特性に従って
分類することが出来る。試験開発の専門家が、現行の従
来型の試験の作成処理と対応させながら、各特性に関す
る望ましい項目数を特定した。項目選択に関するこれら
５４個の制限を、以下の表３に示す。重み付け偏差モデ
ルは、実際には、上限値及び下限値に等しい特性の各々
について単一の制限を、上限値及び下限値とは等しくな
い特性の各々について２つの制限を採用した。したがっ
て、重み付け偏差アルゴリズムの観点から、表３の仕様
は、合計９７個の制限（１１＋２×４３）を示してい
る。しかしながら、説明の便宜上、項目特性について試
験専門家が推定した５４個の制限を適用する。

【０１１２】

【表３】 この試験設計実験の当初において、各制限の下限値及び
上限値は、適応試験の長さとして、２０、２１、…、３
０と特定される。最終的に満足の行く試験の長さは上記
の範囲に有ると予め仮定されたからである。表３に示し
た下限値及び上限値は、２７項目の最終的な適応試験の
ものである。また、表３に示された相対重み値は、最終
的な適応試験における各制限を満足するものであり、こ
れらの重み値は、試験の専門家にとっての項目が有する
相対的重要度を反映するものである。さらに、集合中の
文章又は項目の数は、各特定の特性を持つと識別される
文章又は項目数を示すものである。

【０１１３】最初の１０個の制限は、読取る文章の内容
に関するものである。例えば、文章は、長文、中程度の
長さの文として分類され、また、科学に関するもの、人
文学に関するもの、社会科学に関するものとして内容の
属する分野によっても分類され、さらに文章のスタイル
から文語調文、平易文としても分類され、またその関わ
る内容から男性に関するもの、女性に関するもの、少数
民族に関するものとして分類される。その次の１１個の
制限は、読取り文に関連付けられた項目に関するもので
ある。これらの項目は、文章の主題、明白な声明、又は
推論を要するもの等に関する設問である。制限２２〜３
２は、文章完成項目に関する制限である。制限３３〜４
６は、類似の項目に関する制限であり、制限４７〜５４
は、反対語に関する制限である。

【０１１４】表３に示した制限の重み値は、２７項目の
最終的な満足の行く試験設計において使用されたもので
ある。重み値は、項目情報に対する制限であり、各項目
に関して２１の異なる能力レベルに関して計算され、そ
の結果は１．５であった。したがって、重み付け偏差ア
ルゴリズムの観点から、統計的な制限により、項目選択
に対して、２１個の追加の制限が加えられる。

【０１１５】表３の重み値は、反復された試行錯誤より
得られたものである。その過程では、制限の重み値が特
定され、制限違反に関して適応試験の結果が検討され、
いくつかの重み値は重大な制限違反を排除するために変
更された。最も大きな重み値２０を持つ制限は非常に重
要であり、これに違反することが許されず、結果として
作成された適応試験は許容可能であると判断された。他
の制限は、重要ではあるが、いくつかの制限に対する違
反は許容可能であるため、より小さな重み値が与えられ
る。

【０１１６】重み値を与えることにより、時として集合
中の欠点を解消する助けとなる。例えば、集合中に男性
に関する１６の文章と女性に関する２つの文章があった
とする。各適応試験において男性に関する文章と女性に
関する文章とを１つずつ設問することを要求すること
は、女性に関する文章の安定性を大きく揺るがすものと
なる。しかしながら、男性に関する文章が非常に多いた
め、これらの文章には大きな重み値を与えて、男性に関
する文章がいずれの適応試験においても２以上設問され
ないことを確実にしなければならない。

【０１１７】１３個の制限は、ゼロの重み値を有してお
り、これらの制限は、種々の理由に基づいて、問題から
排除することが出来る。制限１６〜２１は、すべて文章
の読解に関連付けられた項目に関するものである。これ
らの制限の目的は、受験者が、長文及び中程度の長さの
文の双方に関して、文章の前半部に含まれる情報、文章
の後半部に含まれる情報、文章の全体に含まれる情報か
ら確実に項目を与えられるようにすることである。これ
は、例えば、一つの文章に関係するすべての項目が、そ
の文章の前半部のみに含まれる情報についての設問であ
る場合と対照的である。これらの制限は、いずれの単一
の読取り文もすべての可能なタイプの項目と関連を持っ
ておらず、制限に違反することが不可避であるため、排
除された。これらの制限を満足することが重要な場合に
は、項目の集合は、さらに多くの文章とそれらに関連付
けられたすべてのタイプのより多くの項目により補強さ
れる必要がある。しかし、これは経済的に実現不可能で
あった。いくつかの制限は、例えば制限４１又は４６の
ように、集合中に項目がほとんどなく、ともかく制限が
違反されることがないという理由で、あるいは例えば制
限３１、３２、又は３９のように、試験の専門家による
制限の再検討中に重要ではないと判断されたという理由
で、問題から排除された。

【０１１８】表３において、ゼロでない重み値を与えら
れた４１個の制限は、情報、重複、及び項目の集合に関
する制限に加えて、適応試験のための項目選択において
重み付け偏差アルゴリズムが満足しようとする所望の特
性の集合を構成する。

【０１１９】《重複に対する制限》表４は、母集合を注
意深く検討した後に試験専門家によって設定された重複
群の集合の一部である。他の項目及び／又は文章と重複
している項目が示されている。また、他の文章及び／又
は個別の項目と重複している文章が示されている。１つ
の文章が、他の文章又は個別の項目と重複している場
合、当該文章に関連付けられたすべての項目は重複して
いるものと考えられる。各重複群に掲げられている内容
は、同一の適応試験において一緒に設問することが出来
ない項目及び文章を示すものである。５１８の項目と５
１の文章とを含む集合に関して、合計５２８のこうした
重複群と１３５８の当該重複群に含まれる内容とがあっ
た。

【０１２０】

【表４】 《項目の集合》表５は、集合として考えられるべき項目
のブロックのリストの一部を示すものである。この例に
関しては、いずれのブロックも再エントリ不能であり、
各々の項目は１つのブロック内に現れる。試験の専門家
は、従来の筆記試験との対応性を改善するために、すべ
ての反対語及びすべての類似と同様に、すべての穴埋め
項目を一緒に設問する必要があると感じる。読取り文
は、試験問題中のいかなる位置にも配置することが出来
るが、一旦始まれば、途中で文章を中断することはでき
ない。この集合に関して、合計５４の論理ブロックが存
在する。（本例において、ブロックの数と内容的制限の
数とが等しいことは、偶然である。）

【表５】 《適応試験アルゴリズム及びシミュレーション》前述し
たように、この例で使用される適応試験アルゴリズムに
おける精神測定の基礎は、ある項目がある受験者の現在
の能力の最大確度予測値において最も有益であるとすれ
ば、当該項目は最適統計特性を有しているという観点に
おいて、ロード（１９７７年）のものと非常に良く似て
いる。第１の項目が、能力レベル上で約−１．０の難易
度を持つように選択される。それ以前のすべての項目に
対する応答に基づいて、受験者の能力の最大確度予測値
は、既に説明した内容、重複、及び項目集合の制限に従
って、後続の設問について最も有用な項目を選択するた
めに使用される。項目の安定性を改善するために、無作
為化体系が導入される。即ち、最初の項目は、８つの最
良項目のリストから無作為に選択され、第２の項目は、
７つの最良項目のリストから無作為に選択される等であ
る。８番目及びこれに続く項目は、最適になるように選
択される。

【０１２１】２７項目の設問後の最終能力予測は、試験
特性曲線（ロード、１９８０年、式４〜９）を用いた項
目の基準集合における真の得点の予測値に変換される。
この項目の基準集合は、従来の筆記版によるものの原型
を全く損なわないものである。この形式の８５個の項目
が、較正され、項目集合と同一の評価体系に配置され
た。

【０１２２】シミュレーションは、２００人のシミュレ
ーションサンプルについて、この評価体系の及第点より
も僅かに高い得点から満点より僅かに低い得点までの報
告された得点上の１５ヶ所の点で行われた。これらの１
５ヶ所の点は、報告された得点評価体系についてはほぼ
等間隔に、能力レベルに関しては不均一な間隔で配置さ
れる。各シミュレーションサンプルは、クロック周波数
２５ＭＨｚの３８６シリーズＣＰＵで構成されたマイク
ロコンピュータにおいて約７秒の時間を要した。したが
って、３０００のシミュレーションサンプルでは、約６
時間を要した。

【０１２３】《結 果》シミュレーションの結果は、得
点レベルに関して条件を設けた場合と、条件を設けない
場合との双方に関して、種々の方法で評価された。条件
付きではない評価を行うために、項目パラメータと原型
の８５項目版の試験を受けた実際の６０００人を超える
受験者の群からの項目応答とが、ミズレヴィー(Mislev
y) （１９８４年）の方法を用いて真の能力の分布予測
値を算出するために用いられた。この分布の比例値は、
受験者の代表的な群における条件付きでない結果の予測
を得るために条件付きの結果に適用された。

【０１２４】２７項目を有する適応試験についての、グ
リーン(Green) 等（１９８４年、式６）の方法を用いて
算出された信頼度の予測値は、０．９１であった。この
信頼度は、（５１８項目中から選択された）２９５項目
及び（５１の文章中から選択された）２８の読取り文の
みによって達成された。得点をつける目的で使われてい
る従来の基準試験の信頼度は０．９３であり、この試験
は従来の平均的な試験よりも信頼性が高い。

【０１２５】ほとんど制限を持たない適応試験は、ただ
１つの確保されたブロック構造が読取り文に関連付けら
れた項目の集合である場合、この集合から得られる測定
だけに関しては最良である。この試験の信頼度は０．９
４で、５１８項目中の１４４項目及び５１の読取文の内
の１６のみを用いて得られた。２つの適応試験のＣＳＥ
Ｍ曲線の相違、特に真の得点の範囲の中間部における相
違は、内容の制限、重複の制限及びより詳細な集合の制
限を満足しようとする試みによって、測定に関して罰則
点が付加されたことを示している。すべての制限を備え
た適応試験は、試験作成の上での制限を出来る限り多く
満足するために、集合中に２倍以上の数の項目と、ほぼ
２倍の文章を使用するので、この試験と同程度に優れて
いる。

【０１２６】特定されたすべての制限を持つ適応試験に
より、重複の制限あるいは集合の制限に違反することな
く測定することが達成された。しかしながら、いくつか
の内容的な制限についての違反が生じた。表６は、ある
種の違反が生じたゼロでない重み値を持つ各制限につい
て、こうした違反が生じると予測される代表的な集合の
割合及びこうした違反の度合いを示している。各制限に
関して設問され、代表的分布に対して平均化された多く
の項目は、制限に違反することはほとんどない。しかし
ながら、各能力レベルにおける項目の数の条件付きでな
い平均値は、ある特定の特性を有する項目とある特定の
能力レベルに対する項目の適切性との間に関連性がある
場合に、制限の違反が生じやすいことを示している。例
えば、芸術に関する類似項目に含まれる１乃至２の制限
に違反した適応試験は、代表的な群の３０．２％を持っ
ていることになる。真の能力の平均値を下回るシミュレ
ーションサンプルの多くの割合に、３つのこうした項目
が設問された。同様に、人間に関する反対語の項目に含
まれる１乃至２の制限に違反した適応試験は、代表的集
合の６４．７％を持っている。真の能力の平均値を上回
るシミュレーションサンプルの多くの割合に、３乃至４
のこうした項目が設問された。

【０１２７】

【表６】 すべての能力レベルに関して適切であり、すべての対象
となる特性を持つ項目を得ることが出来れば、このよう
な制限の違反は減少され、おそらく排除される。しか
し、これは経済的に実現不可能である。

【０１２８】適応試験問題を最終的に評価するために、
３０の適応試験が、試験作成の専門家により調査され
た。６つの試験が５人の試験専門家のそれぞれに無作為
に割り当てられた。これらの試験の内の１０の試験は、
最も低い方の４つの能力レベル及び最も高い方の６つの
能力レベルの者に出題された設問から無作為に抽出され
た。また、別の１２の試験は、中間の５つの能力レベル
（真の得点が３５、４０、４５、５０、及び５５）の者
の標本から無作為に抽出されたものであり、この範囲に
代表的な能力分布の約６７％が存在する。残りの８つの
試験は、特定の内容的制限違反のパターンを持つ標本か
ら無作為に抽出されたものである。

【０１２９】試験の検討は、ブラインド方式で実施され
た。即ち検討を行った５人の試験専門家には、内容的制
限の違反、重複に関する仕様、又は自分が検討する試験
がどのような能力レベルに対して適正であるかについて
全く知らされなかった。これらの試験サンプルに含まれ
る多数の問題が、一般的受験者に関する試験に対照され
るものとしての、より高い能力レベルに関して適正な試
験に対して適当であると認められた。このことは、集合
中の項目が、中間的な能力レベルに関して最もよく測定
できるように計画された従来の試験から抽出されたもの
であり、その集合がこのような能力レベルの者に適した
項目を数多く含んでいることを考えれば、驚くには当た
らない。すべての問題は注意深く検討されたが、いずれ
の問題も適応試験の構成方法が採用されているとは判定
されなかった。むしろ、すべての問題が、項目の集合及
び重複仕様の規模、性質、及び特性に基づいて構成され
ていると認められた。

【０１３０】《参考文献》 アッカーマン，ティイ(Ackerman, T.)（１９８９年３
月） ＩＲＴ情報を用いて対応する試験を生成するための代替
方法 論文は、サンフランシスコにおける１９８９年ＮＣＭＥ
年次総会において提出された アデマ，ジェイ．ジェイ．(Adema, J. J.)（１９８８
年） 大規模０／１プログラミング問題の解法に関する草稿 研究報告８８−４、エンシェード(Enschede)：トゥウェ
ンテ大学教育学部 アデマ，ジェイ．ジェイ．(Adema, J. J.)（１９９０
年） アチーブメント試験作成のためのモデル及びアルゴリズ
ム オランダ国、ハーグ、ＣＩＰ−ゲゲベンズ コニンクリ
ヤケ ビブリオセーク(CIP-gegevens Koninklijke Bibl
iotheek) ベッコイ−ティミンガ，イー．(Boekkaoi-Timminga,
E.) （１９８９年） コンピュータ化試験構成のモデル オランダ国、ハーグ、アカデミッシュ ボーケン セン
トラム(Academisch Boeken Centrum) ブルック，エイ．(Brooke, A.)、ケンドリック，デイ．
(Kendrick, D.)及びメーラウス，エイ．(Meeraus, A.)
（１９８８年） ＧＡＭＳ：ユーザーズガイド カリフォルニア州、レッドウッド シティー、ザ・サイ
エンティフィック・プレス 単科大学委員会（１９９０年） コンピュータ化された採用試験のためのコーディネータ
ーノートブック ニュージャージー州・プリンストン、エデュケーショナ
ル・テスティング・サービス(Educational Testing Ser
vice) グリーン，ビイ．エフ．(Green, B. F.)、ボック，アー
ル．ディイ．(Bock, R.D.) 、ハンフリース，エル．ジ
イ．(Humphreys, L. G.)、リン，アール．エル．(Linn,
R. L.) 及びレカセ，エム．ディイ．(Reckase M. D.)
（１９８４年） コンピュータ化された適応試験を評価するための技術的
指針 教育測定ジャーナル(Journal of Educational Measurem
ent)、２１、３４７−３６０ ケスター，ジェイ．ジイ．(Kester, J. G.) （１９８８
年） 項目選択のための種々の数学的プログラミング技法 「最適項目選択」プロジェクト・報告番号３、オランダ
国・アーヘン、ＣＩＴＯ キングズベリー，ジイ．ジイ．(Kingsbury, G. G.)及び
ザラ，エイ．アール．(Zara, A. R.) （１９９１年） コンピュータ化された適応試験における内容重視型項目
選択方法の比較 教育における応用測定(Applied Measurement in Educat
ion)、４、２４１−２６１ キングズベリー，ジイ．ジイ．(Kingsbury, G. G.)及び
ザラ，エイ．アール．(Zara, A. R.) （１９８９年） コンピュータ化された適応試験のための項目選択方法 教育における応用測定(Applied Measurement in Educat
ion)、２、３５９−３７５ ロード，エフ． エム．(Lord, F. M.) （１９５２年） 試験採点理論 精神測定論文、Ｎｏ．７ ロード，エフ． エム．(Lord, F. M.) （１９７０年） 簡略試験のためのある試験理論 ダブリュー．エイチ．ホルツマン(W. H. Holtzman)編、
コンピュータ支援による指導、試験、及びガイダンス、
ニューヨーク、ハーパー・アンド・ロー ロード，エフ． エム．(Lord, F. M.) （１９７１年
ａ） 簡略試験のためのロビンス−マンロ(Robbins-Munro) 法 教育及び心理学測定、３１、３−３１ ロード，エフ． エム．(Lord, F. M.) （１９７１年
ｂ） 自己採点形可変レベル試験 教育測定ジャーナル、８、１４７−１５１ ロード，エフ． エム．(Lord, F. M.) （１９７７年） 言語能力の広範囲簡略試験 応用心理学測定、１、９５−１００ ロード，エフ． エム．(Lord, F. M.) （１９８０年） 実際的試験問題に対する項目応答理論の適用 ニュージャージー州・ヒルスデール、エールバウム(Erl
baum) ミズレヴィー，アール．ジェイ．(Mislevy, R. J.)（１
９８４年） 潜在分布の予測 サイコメトリカ(Psychometrika) 、４９、３５９−３８
１ ネムハウザー，ジイ．エル．(Nemhauser, G. L.)及びウ
ォルズィー，エル．エイ．(Wolsey, L. A.) （１９８８
年） 整数及び組合せによる最適化 ニューヨーク州・ニューヨーク、ジョン・ワイリー ・
アンド・サンズ(Jonh Wiley & Sons) セゴール，ディイ．オウ．(Segall, D. O.) （１９８７
年） ＡＣＡＰ項目集合：分析及び推奨 カリフォルニア州・サンディエゴ、海軍職員研究開発セ
ンター(Navy PersonnelResearch and Development Cent
er) ストッキング，エム．エル．(Stocking M. L.)、スワン
ソン，エル．(Swanson,L.) 及びパールマン，エム．(Pe
arlman, M.)（１９９１年） 実データに対する自動項目選択方法適用に関する実験 研究報告９１−６４、ニュージャージー州・プリンスト
ン、エデュケーショナル・テスティング・サービス セウニッセン，ティイ．ジェイ．ジェイ．エム．(Theun
issen, T. J. J. M.) （１９８５年） バイナリープログラミング及び試験デザイン サイコメトリカ、５０、４１１−４２０ セウニッセン，ティイ．ジェイ．ジェイ．エム．(Theun
issen, T. J. J. M.) （１９８６年） 試験デザイン及び適応試験における最適化アルゴリズム
のいくつかの適用 応用心理学測定、１０、３８１−３８９ バン デル リンデン，ダブリュー．ジェイ．(van der
Linden, W. J.) （１９８７年） ミニマックスプログラミングを用いた自動化試験作成 ダブリュー．ジェイ．バン デル リンデン編・ＩＲＴ
に基づく試験の作成 オランダ国・エンシェーデ、トゥウェンテ大学教育学部 バン デル リンデン，ダブリュー．ジェイ．(van der
Linden, W. J.) 及びベッコイ−ティミンガ，イー．(B
oekkooi-Timminga, E.) （１９８９年） 実際的制限を備えた試験デザインのためのマクシミニ(m
aximin) モデル サイコメトリカ、５４、２３７−２４８ ワイナー，エイチ．(Wainer, H.)及びキーリー，ジイ．
エル．(Kiely, G. L.)（１９８７年） 項目集合及びコンピュータ化された適応試験：テストレ
ットのためのケース 教育測定ジャーナル、２４、Ｎｏ．３、１８５−２０１ ワイナー，エイチ．(Wainer, H.)、ドウランズ，エヌ．
ジェイ．(Dorans, N. J.) 、フラウガー，アール．(Fla
ugher, R.)、グリーン，ビイ．エフ．(Green, B.F.)、
ミズレヴィー，アール．ジェイ．(Mislevy R. J.) 、ス
テインバーグ，エル．(Steinberg, L.) 及びティッセ
ン，ディイ．(Thissen, D.) （１９９０年） コンピュータ化された適応試験：入門書 ニュージャージー州・ヒルスデール：ロウレブス・エー
ルバウム協会(LawrebceErlbaum Associates) ウォード，ダブリュー．シイ．(Ward, W. C.) （１９８
８年） 単科大学委員会コンピュータ化入学試験 マシンメディア学習(Machine-Mediated Learning) 、
２、２１７−２８２ ワイズ，ディイ．ジェイ．(Weiss, D. J.)（１９７６
年） ミネソタ州における適応試験：概観、最近の結果、及び
将来の方向 シイ．エル．クラーク(C. L. Clark) 編 コンピュータ
化された適応試験第１回会議論文集（２４〜３５頁）、
ワシントン，Ｄ．Ｃ．：合衆国市民サービス委員会(Uni
ted States Civil Service Commission) ワイズ，ディイ．ジェイ．(Weiss, D. J.)（１９７８） １９７７年コンピュータ化された適応試験会議論文集、
ミネアポリス ミネソタ大学 ウインガスキー，エム．エス．(Wingersky, M. S.)（１
９８３年） ロジスト(LOGIST): 記号論理学試験モデルの最大確度手
順算出のためのプログラム アール．ケイ．ハンブルトン（R. K. Hambleton)編 項
目応答理論の適用、ブリティッシュ・コロンビア州 バ
ンクーバー、ブリティッシュ・コロンビア教育研究所(E
ducational Research Institute of British Columbia) ザーラ，エイ．アール．(Zara, A. R.) （１９９０年） 看護免許試験のＣＡＴ実地試験のための研究提案 デリゲート・アッセンブリ・ブック・オブ・リポート(D
elegate Assembly Bookof Reports) １９８９年、シ
カゴ 国家看護委員会全体会議

【０１３１】

【発明の効果】上記のように、本発明によれば、自動的
な項目選択を可能とするバイナリープログラミングモデ
ルにおける上記の試験仕様の制限を満足する適応試験を
構成することが可能となる。

【図面の簡単な説明】

【図１】コンピュータ化された適応試験の実施における
項目選択のための環境設定を示すフローチャートであ
る。

【図２】初期選択処理の詳細を示すフローチャートであ
る。

【図３】図１の次項目選択手続の詳細を示すフローチャ
ートである。

【図４】項目選択処理のフローチャートである。

【図５】前項目記録処理のフローチャートである。

【図６】重み付け偏差の和の計算手順を示すフローチャ
ートである。

【図７】正の偏差の計算手順を示すフローチャートであ
る。

【図８】予測値の演算手順を示すフローチャートであ
る。

【図９】図４の項目選択手順において必要となるｎ個の
最良項目を同定するステップを示すフローチャートであ
る。

【図１０】図３の次項目選択手続において必要となるブ
ロック有効範囲の設定ステップを示すフローチャートで
ある。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 マーサ エル．ストッキング アメリカ合衆国・ニュージャージー州 08525・ホープウェル・マウンテン チャ ーチ ロード 45

Claims (9)

【特許請求の範囲】
1. 【請求項１】 コンピュータを用いて適応試験を作成す
   るための項目選択方法であって、（Ａ） 項目選択の初
   期化を行う工程と、（Ｂ） 次の（ｉ）から（ｖ）まで
   の工程を備えて次項目を選択する工程と、 （ｉ） 能力予測許容誤差を設定する工程 （ｉｉ） 能力の最大確度予測値を算出する工程 （ｉｉｉ） 停止条件が成立していない場合、次の
   （ａ）から（ｅ）までの工程によって項目を選択する工
   程 （ａ） 以前の項目を記録する工程 （ｂ） θの予測値に最も近いθ位置を検出する工
   程 （ｃ） 現在のブロックに基づいて集合の有効範囲
   を設定する工程 （ｄ） ｎ個の最良項目を識別する工程 （ｅ） ｎ個の項目の中から無作為に選択する工程 （ｉｖ） 停止条件が成立している場合、試験の終了
   を示す信号を発生する工程 （ｖ） ブロックの有効範囲を設定する工程 （Ｃ） 停止条件が成立するまで前記（Ｂ）の工程を反
   復する工程とを備えたことを特徴とするコンピュータを
   用いて適応試験を作成するための項目選択方法。
2. 【請求項２】 前記以前の項目を記録する工程は、
   （ａ） 各々の項目制限と関連づけられた特性を有する
   項目の数の計数値を更新する工程と、（ｂ） 各々の集
   合制限と関連づけられた特性を有する集合の数の計数値
   を更新する工程と、（ｃ） 各θについて試験情報を更
   新する工程と、（ｄ） 新たな重み付けされた偏差の和
   を算出する工程と、（ｅ） 当該項目と重複するすべて
   の項目を選択不能に設定する工程とを備えていることを
   特徴とする請求項１に記載のコンピュータを用いて適応
   試験を作成するための項目選択方法。
3. 【請求項３】 前記ｎ個の最良項目を識別する工程は、
   （ａ） 次の選択可能な項目を検出する工程と、（ｂ）
   重み付けされた偏差の和を算出する工程と、（ｃ）
   検出された項目がｎ個の最良項目に含まれる場合に該項
   目をスタック内に格納する工程と、（ｄ） 集合全体の
   選択が終了していない場合には、前記（ａ）、（ｂ）及
   び（ｃ）の工程を反復する工程と、（ｅ） 集合全体の
   選択が完了したと判定された場合には、ｎ個の最良項目
   を返す工程とを備えていることを特徴とする請求項１に
   記載のコンピュータを用いて適応試験を作成するための
   項目選択方法。
4. 【請求項４】 前記重み付けされた偏差の和を算出する
   工程は、（ａ） 各項目制限に対する正の偏差を算出す
   る工程と、（ｂ） 各集合制限に対する正の偏差を算出
   する工程と、（ｃ） 各θ位置において正の偏差を算出
   する工程と、（ｄ） 重み付けされた偏差の和を更新す
   る工程とを備えていることを特徴とする請求項３に記載
   のコンピュータを用いて適応試験を作成するための項目
   選択方法。
5. 【請求項５】 前記正の偏差を算出する工程（ａ）、
   （ｂ）及び（ｃ）は、それぞれ、（ａ） 予測値を算出
   する工程と、（ｂ） 対応する特性を有する項目又は集
   合の以前の数、又は以前の試験情報を加算する工程と、
   （ｃ） 以前の正の偏差の値と前記予測値との和が下限
   値よりも小さい場合には重み付けされた差分を返す工程
   と、（ｄ） 以前の正の偏差の値と前記予測値との和が
   上限値よりも大きい場合には重み付けされた差分を返す
   工程と、（ｅ） 以前の正の偏差の値と前記予測値との
   和が下限値よりも小でなく、かつ上限値よりも大きくな
   い場合にはリターンする工程とを備えていることを特徴
   とする請求項４に記載のコンピュータを用いて適応試験
   を作成するための項目選択方法。
6. 【請求項６】 前記予測値を算出する工程（ａ）は、
   （ａ） 項目又は集合制限が存在しない場合には、集合
   中の項目情報の平均値と試験中の残っている項目数との
   積を予測値として設定する工程と、（ｂ） 項目又は集
   合制限が存在するが、当該制限がブロックには適用され
   ない場合には、集合中の項目又は集合の割合と試験中の
   残っている項目又は集合の数との積を予測値として設定
   する工程と、（ｃ） 項目又は集合制限が存在し、当該
   制限がブロックに適用される場合には、ブロック中の項
   目又は集合の割合とブロック中の残っている項目又は集
   合の数との積を予測値として設定する工程とを備えてい
   ることを特徴とする請求項５に記載のコンピュータを用
   いて適応試験を作成するための項目選択方法。
7. 【請求項７】 前記ブロックの有効範囲を設定する工程
   は、（ａ） ブロック内の使用された項目の数を計数す
   る工程と、（ｂ） ブロック内の項目の使用が完了して
   いる場合には、当該ブロックが使用不能であることを宣
   言する工程と、（ｃ） 次に開始されるべき新たなブロ
   ックの開始位置及び終了位置を設定する工程とを備えて
   いることを特徴とする請求項１に記載のコンピュータを
   用いて適応試験を作成するための項目選択方法。
8. 【請求項８】 コンピュータを用いた適応試験の作成に
   熟練者の試験作成方法を取入れる方法であって、（ａ）
   次の式 【数１】 を最小化する重み付け偏差モデルを適用し、（ｂ） 項
   目が試験に追加された場合の重み付けされた正の偏差の
   和の予測値を算出することによって該重み付けされた正
   の偏差の和の予測値が減少するように逐次連続的に複数
   の項目を選択する工程と、重み付けされた正の偏差の和
   の予測値を最も小さくする項目を選択して該項目を試験
   に追加する工程とを備えた自動化された項目選択に発見
   的解決方法を適用することを特徴とするコンピュータを
   用いた適応試験の作成に熟練者の試験作成方法を取入れ
   る方法。
9. 【請求項９】 前記選択段階は、（ａ） 残されている
   すべての選択されるべき項目が集合から無作為に抽出さ
   れるという仮定のもとに、各々のｊについて上限値及び
   下限値が満足されると予測される範囲を算出する工程
   と、（ｂ） 集合内に含まれる各々の選択可能な項目に
   ついて、該項目が選択された場合の重み付けされた正の
   偏差の和の予測値を、前記（ａ）の工程における計算を
   考慮して算出する工程と、（ｃ） 重み付けされた正の
   偏差の和の予測値を最小とする項目を選択して該項目を
   試験に追加する工程と、（ｄ） 前記（ａ）から（ｃ）
   までの工程をｎ個の項目が選択されるまで継続する工程
   とを備えていることを特徴とする請求項８に記載のコン
   ピュータを用いた適応試験の作成に熟練者の試験作成方
   法を取入れる方法。