JP4018673B2 - Multiple choice language test question automatic creation program - Google Patents
Multiple choice language test question automatic creation program Download PDFInfo
- Publication number
- JP4018673B2 JP4018673B2 JP2004221450A JP2004221450A JP4018673B2 JP 4018673 B2 JP4018673 B2 JP 4018673B2 JP 2004221450 A JP2004221450 A JP 2004221450A JP 2004221450 A JP2004221450 A JP 2004221450A JP 4018673 B2 JP4018673 B2 JP 4018673B2
- Authority
- JP
- Japan
- Prior art keywords
- sentence
- language
- creating
- choice
- corpus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims description 111
- 238000013519 translation Methods 0.000 claims description 55
- 230000014616 translation Effects 0.000 claims description 55
- 238000007493 shaping process Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 18
- 239000000470 constituent Substances 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 6
- 238000010187 selection method Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 description 43
- 230000008569 process Effects 0.000 description 32
- 238000012545 processing Methods 0.000 description 31
- 238000013500 data storage Methods 0.000 description 20
- 238000001514 detection method Methods 0.000 description 18
- 238000002474 experimental method Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 235000021185 dessert Nutrition 0.000 description 3
- 235000015243 ice cream Nutrition 0.000 description 3
- 230000020509 sex determination Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000009469 supplementation Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
この発明は試験問題を自動的に作成するための装置に関し、特に、多肢選択式の言語試験問題を自動的に作成するための装置に関する。 The present invention relates to an apparatus for automatically creating a test question, and more particularly to an apparatus for automatically creating a multiple-choice language test question.
語学教育用試験には、いわゆる記述式問題と多肢選択式問題とがある。語学教育用試験は、学習者の学習習熟度を測定する上で欠くことができないものであり、そのために語学教師は試験問題作成に多大な時間を割いている。したがって、問題作成を容易にする方策が求められている。 Language education tests include so-called descriptive questions and multiple-choice questions. The language education test is indispensable for measuring the learner's learning proficiency level. For this reason, language teachers spend a great deal of time creating test questions. Therefore, there is a need for measures that facilitate problem creation.
記述式試験問題と多肢選択試験問題とを比較すると、両者には以下のような相違がある。まず記述式試験問題については、問題を作成することは比較的容易である。しかし、記述式試験の場合、問題に対する解答の入力および採点が難しいという問題がある。特に採点は採点者の主観によってかなり異なってくるという問題がある。また記述式試験の場合には、採点を機械化することが非常に難しいという問題もある。 Comparing the descriptive test problem with the multiple-choice test problem, there are the following differences. First, for descriptive test questions, it is relatively easy to create a question. However, in the case of a descriptive test, there is a problem that it is difficult to input and score an answer to the question. In particular, there is a problem that scoring varies considerably depending on the subjectivity of the grader. In the case of a descriptive test, there is also a problem that it is very difficult to mechanize the scoring.
これと比較して多肢選択言語試験問題の場合、解答入力が容易で、採点も容易であるという長所を備えている。さらに、評価者による採点の揺れがない、という意味で客観的であるという長所もある。そのため、大量の受験者がある場合や、コンピュータベースの試験（ＣＢＴ）では多肢選択式試験が広く用いられる。また、「いつでもどこでも学習」という目標を標榜するいわゆるｅラーニングでは、携帯電話またはＰＤＡ（Portable Digital Assistant）等のモバイル機器特有の問題、例えば画面が小さい、入力装置が貧弱である、等という制約から考えて、多肢選択言語試験問題が重要な役割を担うと考えられる。 Compared to this, the multiple-choice language test question has the advantage that it is easy to input an answer and easy to score. In addition, it has the advantage of being objective in the sense that there are no fluctuations in scoring by the evaluator. Therefore, when there are a large number of examinees or in a computer-based test (CBT), a multiple-choice test is widely used. In addition, so-called e-learning advocating the goal of “learning anytime, anywhere” is due to problems specific to mobile devices such as mobile phones or PDAs (Portable Digital Assistants), such as restrictions such as small screens and poor input devices. In view of this, the multiple-choice language test questions may play an important role.
しかし、多肢選択式試験の場合、問題を作成する手間が記述式試験と比較してかなり大きいという問題がある。特に、学習対象のドメイン（旅行会話、ビジネス会話、ニュース等）に合致し、かつ被験者の到達目標に合致した問題を作成することは困難だという課題がある。学習対象のドメインにおいて長年の経験または蓄積を持たない教育機関の場合、所望のドメインの多肢選択言語試験問題を、所定の到達レベルに合致させて作成することは非常に困難である。そうした問題を解決しようとすれば、多大な人員を動員することが必要になり、試験問題作成のコストが高くなる要因となっている。何らかの形で多肢選択言語試験問題を自動的に作成できるようになれば、そうした問題が解決され、好ましい。 However, in the case of a multiple-choice type test, there is a problem that the time and effort required to create a problem is considerably large compared to a descriptive test. In particular, there is a problem that it is difficult to create a problem that matches the domain to be learned (travel conversation, business conversation, news, etc.) and that matches the target of the subject. For educational institutions that do not have many years of experience or accumulation in the domain to be learned, it is very difficult to create a multiple-choice language test problem for a desired domain in accordance with a predetermined level of achievement. In order to solve such a problem, it is necessary to mobilize a large number of personnel, which is a factor in increasing the cost of preparing the test questions. It would be desirable to be able to automatically create a multiple choice language test question in some way and that would be solved.
それゆえに本発明の目的は、多肢選択言語試験問題を自動的に作成するようにコンピュータを機能させることができるプログラムを提供することである。 Therefore, an object of the present invention is to provide a program that allows a computer to function to automatically create a multiple choice language test question.
本発明の他の目的は、多肢選択言語試験問題であって、所望のドメインの問題を自動的に作成するようにコンピュータを機能させることができるプログラムを提供することである。 Another object of the present invention is to provide a program that allows a computer to function to automatically create a problem of a desired domain that is a multiple choice language test problem.
本発明のさらに他の目的は、多肢選択言語試験問題であって、所望のドメインの所望の到達レベル問題を自動的に作成するようにコンピュータを機能させることができるプログラムを提供することである。 Still another object of the invention is a multiple-choice language exam is to provide a program capable of making a computer function to automatically create the desired levels reached problems desired domain .
本発明の第１の局面に係る多肢選択言語試験問題自動作成プログラムは、コンピュータ読取可能なコーパスを記憶するためのコーパス記憶手段と、選択肢作成のための、単語辞書、シソーラス、単語に関連した誤りを集めた誤りリスト、若しくは単語の頻度及び重要度とともにリストした単語リスト、又はこれらの任意の組合せを含む言語情報をコンピュータ読取可能な形式で記憶するための言語情報記憶手段と、コーパス記憶手段に記憶されたコーパスから、予め定める選択方式にしたがって多肢選択言語試験問題の元となる文を選択するための文選択手段と、文選択手段により選択された文を構成する構成要素のうち、多肢選択の対象箇所とする構成要素を所定の条件により決定するための構成要素決定手段と、言語情報記憶手段に記憶された言語情報のうち、当該決定された構成要素に関連する言語情報に基づいて、構成要素決定手段により決定された構成要素に対し所与の条件を充足する置換候補を作成するための置換候補作成手段と、選択された文において、決定された構成要素を置換候補で置換することにより得られる文の妥当性を、当該得られる文中に含まれる前記置換候補を含む構成要素列の、所定のコーパス中における出現頻度に基づく統計的基準にしたがって判定するための妥当性判定手段と、妥当性判定手段により文が妥当でないと判定された置換候補と、元となる文とを所定の形態に組合せることにより多肢選択言語試験問題を作成するための問題作成手段としてコンピュータを機能させる。 A program for automatically creating a multiple-choice language test question according to the first aspect of the present invention relates to a corpus storage means for storing a computer-readable corpus , a word dictionary, a thesaurus, and a word for creating options . Language information storage means and corpus storage means for storing linguistic information in a computer-readable format including an error list in which errors are collected, a word list listed together with the frequency and importance of words, or any combination thereof From the corpus stored in the sentence selection means for selecting the sentence that is the basis of the multiple-choice language test problem according to a predetermined selection method, and among the components that constitute the sentence selected by the sentence selection means, a component determining means for determining the components of the target portion of the multiple-choice by a predetermined condition, stored in the language information storage unit Of the language information, based on the language information related to the determined component replacement for creating replacement candidate satisfying the Shi pairs components determined by the configuration element determination means given conditions In the selected sentence, the validity of the sentence obtained by replacing the determined constituent element with the replacement candidate in the selected sentence is determined in accordance with a predetermined element of the constituent string including the replacement candidate included in the obtained sentence. Validity determination means for determining in accordance with statistical criteria based on the appearance frequency in the corpus of the corpus, replacement candidates determined by the validity determination means that the sentence is not valid, and the original sentence in a predetermined form a problem preparing means for preparing multiple-choice language test questions causing a computer to function and by combining.
コーパス記憶手段から文が選択され、その中の所定条件を充足する構成要素に対する置換候補が作成される。当該構成要素を置換候補で置換した後の文の妥当性を、文中に含まれる置換候補を含む構成要素列の、所定のコーパス中における出現頻度に基づく統計的基準にしたがって妥当性判定手段で判定し、文が妥当でないと判定された置換候補と、最初に選択された元となる文とを所定の形態に組合わせることで多肢選択言語試験問題が自動的に作成される。コーパスを変えれば所望のドメインまたはレベルの多肢選択言語試験問題を自動的に作成できる。さらに、置換候補のうち、置換によって得られる文が妥当でないものだけを残すことで、最初に選ばれた文との組合せにより、適切な多肢選択言語試験問題を作成できる。問題文および選択肢集合を人間が考えたり、問題としての正しさを検証したりする必要がなく、短い時間に大量の多肢選択言語試験問題を作成できる。 A sentence is selected from the corpus storage means, and a replacement candidate for a component satisfying a predetermined condition is created. The validity of the sentence after replacing the component with a replacement candidate is determined by the validity determination means according to a statistical criterion based on the frequency of occurrence of the component string containing the replacement candidate included in the sentence in a predetermined corpus. Then, the multiple choice language test question is automatically created by combining the replacement candidate determined to be invalid and the original sentence selected first, in a predetermined form. If you change the corpus, you can automatically create multiple-choice language questions with the desired domain or level. Furthermore, by leaving only the sentence that is not valid from the replacement candidates, it is possible to create an appropriate multiple-choice language test question in combination with the sentence selected first. A large number of multiple-choice language test questions can be created in a short period of time without the need for humans to think about question sentences and option sets or to verify the correctness of problems.
好ましくは、置換候補作成手段は、言語情報記憶手段に記憶された言語情報のうち、当該決定された構成要素に関連する言語情報に基づいて、決定された構成要素に対する複数個の置換候補を作成するための手段を含み、問題作成手段は、選択された文のうち、決定された構成要素を空所で置換した問題文を作成するための手段と、複数個の置換候補のうち、妥当性判定手段で文が妥当でないと判定された予め定める所定個数の置換候補と、決定された構成要素とからなる選択肢集合を作成するための選択肢作成手段と、問題文と選択肢集合とを所定の問題形式に整形するための整形手段とを含む。 Preferably, the replacement candidate creating unit creates a plurality of replacement candidates for the determined component based on language information related to the determined component among the language information stored in the language information storage unit. includes means for, problems creating means, among the selected sentence, means for creating a substituted problem statement the determined component in space, among the plurality of replacement candidates, reasonable An option creation means for creating an option set consisting of a predetermined number of replacement candidates determined by the sex determination means and a predetermined number of replacement candidates determined, and a problem sentence and an option set as a predetermined Shaping means for shaping into a problem form.
さらに好ましくは、問題作成手段は、選択された文のうち、決定された構成要素を、妥当性判定手段により文が妥当でないと判定された置換候補で置換して問題文を作成するための手段と、問題文のうち、置換候補と、置換候補以外の所定個数の単語または単語群とを選択肢候補として表示するように問題文を整形するための整形手段とを含む。 More preferably, problems creating means, among the selected sentence, the determined components for making substitution to issue statements appropriateness determination means the substitution candidate is determined that statement is not valid Means and a shaping means for shaping the question sentence so as to display a candidate for replacement and a predetermined number of words or word groups other than the candidate for replacement as option candidates.
好ましくは、多肢選択言語試験問題自動作成プログラムはさらに、所与の条件に関するユーザの入力を受け、条件付置換候補作成手段に与えるための手段としてコンピュータを機能させる。 Preferably, the multiple-choice language test question automatic creation program further causes the computer to function as a means for receiving input from the user regarding a given condition and giving it to the conditional replacement candidate creation means.
多肢選択言語試験問題自動作成プログラムは、さらに、複数個のコーパスからなるコーパス群を記憶するためのコンピュータ読取可能なコーパス群記憶手段から、ユーザによって指定されたコーパスを読出してコーパス記憶手段に格納するためのコーパス読出手段としてコンピュータを機能させる。 The automatic program for creating multiple-choice language test questions further reads a corpus designated by the user from the computer-readable corpus group storage means for storing a corpus group consisting of a plurality of corpora and stores it in the corpus storage means The computer is made to function as a corpus reading means for doing this .
好ましくは、コーパスは第１言語の文と第２言語の文との対訳を複数個含むバイリンガルコーパスであり、文選択手段は、コーパス記憶手段に記憶されたバイリンガルコーパスから、選択方式にしたがって多肢選択言語試験問題の元となる対訳を選択するための対訳選択手段を含む。 Preferably, the corpus is a bilingual corpus including a plurality of parallel translations of sentences in the first language and sentences in the second language, and the sentence selecting means is selected from the bilingual corpora stored in the corpus storage means according to the selection method. A bilingual selection means for selecting a bilingual source of the selected language test question is included.
さらに好ましくは、構成要素決定手段は、選択された対訳の第２言語の文の構成要素のうち、所定条件を充足する構成要素を決定するための手段を含み、置換候補作成手段は、言語情報記憶手段に記憶された言語情報に基づいて、決定された構成要素に対する複数個の第２言語の置換候補を作成するための手段を含み、問題作成手段は、選択された対訳の第１言語の文と、選択された対訳の第２言語の文のうち、決定された構成要素を空所で置換した文とを含む問題文を作成するための手段と、複数個の置換候補のうち、妥当性判定手段により文が妥当でないと判定された予め定める所定個数の第２言語の置換候補と、決定された構成要素とからなる選択肢集合を作成するための選択肢作成手段と、問題文と選択肢集合とを所定の問題形式に整形するための整形手段とを含む。 More preferably, the constituent element determining means includes means for determining a constituent element satisfying a predetermined condition among the constituent elements of the selected bilingual sentence in the second language, and the replacement candidate creating means includes the language information. based on the stored language information in the storage means includes means for creating a replacement candidate in the plurality of second language for the determined components, problems creating means, the first language of the selected translation And a means for creating a question sentence including the sentence in which the determined component is replaced with a blank space among the sentences in the second language of the selected parallel translation, and among a plurality of replacement candidates, Option creation means for creating a set of choices consisting of a predetermined number of second language replacement candidates determined in advance by the validity judgment means and the determined constituent elements, and question sentences and options A set with a given problem form And a shaping means for the form.
問題作成手段は、選択された対訳の第１言語の文と、選択された対訳の第２言語の文のうち、決定された構成要素を、妥当性判定手段により文が妥当でないと判定された置換候補で置換して得られた文とを含む問題文を作成するための手段と、問題文の第２言語の文のうち、置換候補と、置換候補以外の所定個数の単語または単語群とを選択肢候補として表示するように問題文を整形するための整形手段とを含んでもよい。 Problem creating means is determined and sentence in the first language of the selected translation, of the sentence in the second language of the selected translation, the determined elements, the statement is not valid due appropriateness determination means Means for creating a question sentence including a sentence obtained by replacement with a replacement candidate, and a replacement candidate and a predetermined number of words or word groups other than the replacement candidate among sentences in the second language of the question sentence And a shaping means for shaping the question sentence so as to be displayed as option candidates.
好ましくは、構成要素決定手段は、選択された対訳の第２言語の文全体を所定条件を充足する構成要素として決定するための手段を含み、置換候補作成手段は、言語情報記憶手段に記憶された言語情報に基づいて、選択された対訳の第１言語の文を機械翻訳するための複数の機械翻訳手段を含み、問題作成手段は、選択された対訳の第２言語の文、および複数の機械翻訳手段による翻訳結果のうち、妥当性判定手段により妥当でないと判定された文からなる選択肢集合を作成するための手段と、選択された対訳の第１言語の文と、選択肢集合とを所定の形態に組合せることにより多肢選択言語試験問題を作成するための手段とを含む。 Preferably, the constituent element determining means includes means for determining an entire sentence in the second language of the selected parallel translation as a constituent element satisfying a predetermined condition, and the replacement candidate creating means is stored in the language information storage means. based on the language information includes a plurality of machine translation means for mechanically translating the sentence of the first language of the selected translation, issue creation means, second language sentence of the selected translation, and more A means for creating an option set composed of sentences determined not to be valid by the validity determination means, a sentence in the first language of the selected parallel translation, and an option set. Means for creating a multiple choice language test question by combining in a predetermined form.
さらに好ましくは、多肢選択言語試験問題自動作成プログラムは、文選択手段、構成要素決定手段、置換候補作成手段、妥当性判定手段、および問題作成手段を制御して、所定個数の多肢選択言語試験問題を作成させるための制御手段としてコンピュータを機能させる。 More preferably, multiple-choice language exam automatic creation program statement selected means, component determining means, substituted candidate creating unit, adequacy judging means, and controls the and problems creating means, a predetermined number of multi A computer functions as a control means for creating a limb selection language test question.
［多肢選択言語試験問題の概要］
多肢選択言語試験問題には、図１に示す空所補充問題、図３に示す誤り検出問題、図示しない正解文または誤り文選択問題等がある。以下に述べる実施の形態に係る多肢選択言語試験問題の作成装置は、少なくとも空所補充問題と誤り検出問題との双方を含む複数種類の多肢選択言語試験問題を作成することができる。
[Overview of multiple choice language test questions]
The multiple-choice language test problem includes a space filling problem shown in FIG. 1, an error detection problem shown in FIG. 3, a correct answer sentence or an error sentence selection problem (not shown), and the like. An apparatus for creating a multiple-choice language test problem according to an embodiment described below can create a plurality of types of multi-choice language test problems including at least both a space filling problem and an error detection problem.
まず、図１に示す空所補充問題について説明する。図１を参照して、空所補充問題では、受験者は正しい文となるように選択肢２６から選択して問題文２２中の空所２４を補充することが要求される。
First, the empty space replenishment problem shown in FIG. 1 will be described. Referring to FIG. 1, in the empty space replenishment question, the examinee is required to replenish the
本実施の形態に係る装置では、こうした空所補充問題では、正解は文をなし、不正解は文をなさないことを利用する。また、正解が誤りなく作成できるように、模範的な文を集めたコーパスを準備し、当該コーパスに含まれる文を種として、多肢選択言語試験問題を作成する。 In the device according to the present embodiment, in such empty space replenishment problem, it is utilized that the correct answer is a sentence and the incorrect answer is a sentence. In addition, a corpus that collects exemplary sentences is prepared so that correct answers can be created without error, and a multiple-choice language test question is created using the sentences included in the corpus as seeds.
より具体的には、模範的な文を集めたコーパスに基づいて、問題と選択肢（正解と不正解との候補）を生成する。正解はコーパスから抽出できる。問題と不正解の選択肢候補との組合せの各々について、文として妥当か否かを判定する。ここでは不正解の選択肢候補を生成するので、上記判定で文として妥当と判定されたものは、選択肢から除外する。以下の実施の形態では所定の方法で文の妥当性を計算し、妥当性が所定のしきい値を下回るもののみを選択肢として残す。 More specifically, questions and options (candidates for correct and incorrect answers) are generated based on a corpus that collects exemplary sentences. The correct answer can be extracted from the corpus. It is determined whether or not each combination of a question and an incorrect answer option candidate is valid as a sentence. Here, since incorrect option candidates are generated, those that are determined to be appropriate as sentences in the above determination are excluded from the options. In the following embodiment, the validity of a sentence is calculated by a predetermined method, and only those whose validity falls below a predetermined threshold are left as options.
図２に、例として、問題と解の候補とから生成される文群３０を示す。図２を参照して、この文群は全部で５つの文４０、４２、４４、４６および４８を含む。下線を引いた部分が解候補であり、その中で太字で示したものが正解である。図２に示す例では、１番目の文４０と５番目の文４８との双方とも正解となる。一般的に多肢選択の場合、選択肢の個数と正解の個数は一定である。本明細書では、特に断らない限り、前者を４、後者を１とする。したがってこの場合には１番目の選択肢４０または５番目の選択肢４８を削除する。
FIG. 2 shows, as an example, a
誤り検出問題も、空所補充問題とほぼ同様に実現できる。図３に誤り検出問題の例５０を示す。図３を参照して、この問題は、文５２の４つの選択肢ａ）〜ｄ）の中から誤り部分を選択する、というものである。この場合には、最初に文を決め、選択肢として単語を決め、その中の一つに関して単語の置換を行なって、文の妥当性検査で非文になることを確認すればよい。なお、最初に置換単語の位置を決めてから、他の選択肢を決めるようにしても同じことである。
The error detection problem can be realized in almost the same way as the empty space filling problem. FIG. 3 shows an example 50 of the error detection problem. Referring to FIG. 3, the problem is that an error part is selected from the four options a) to d) of the
［第１の実施の形態］
＜構成＞
以下、こうした手順を実現するための一実施の形態に係る装置の構成および動作について説明する。なお、以下の装置は本発明の一実施の形態に過ぎず、本発明が以下の実施の形態に限定されることはない。
[First Embodiment]
<Configuration>
Hereinafter, the configuration and operation of an apparatus according to an embodiment for realizing such a procedure will be described. The following apparatus is merely one embodiment of the present invention, and the present invention is not limited to the following embodiment.
図４に、本実施の形態に係る多肢選択言語試験問題作成システム６０をブロック図形式で示す。図４を参照して、この多肢選択言語試験問題作成システム６０は、問題作成の条件を設定するためにユーザが使用する条件選択部６２と、種々のドメインに応じた問題の種文となる正しい文をそれぞれ含む、複数のコーパスからなるコーパス群６６と、条件選択部６２により設定された条件にしたがい、指定されたドメインにふさわしいコーパスをコーパス群６６から選択し、上記した空所補充問題と誤り検出問題とのいずれかからなる多肢選択言語試験問題７４を自動的に作成するための問題作成装置６４と、問題作成装置６４が問題を作成する際に参照する種々の言語情報データを記憶する各種データ記憶部６８とを含む。問題作成装置６４はまた、いわゆるインターネット７０を用いて、多肢選択言語試験問題の作成中に文の妥当性をチェックする機能を持つ。
FIG. 4 shows a multiple-choice language test
多肢選択言語試験問題作成システム６０はいわゆるコンピュータシステムで実現されることが想定されている。条件選択部６２は、図示しないキーボードと、マウス等のポインティングデバイスと、条件設定の画面を用いた入出力を行なうためのソフトウェアおよび表示装置等からなる。本実施の形態においては、条件選択部６２は、以下のような条件を指定する。
It is assumed that the multiple-choice language test
（１）問題作成の対象となるドメイン
（２）作成する多肢選択言語試験問題の種別（空所補充問題または誤り検出問題）
（３）作成する問題の個数
（４）問題作成時の種文の選択条件
（５）空所補充問題の際の空所の位置の決定条件
（６）空所補充問題の選択肢作成の際の条件
（７）候補の妥当性の検証方式
問題作成装置６４は、後述するようにコンピュータハードウェアと、当該コンピュータ上で実行されるコンピュータプログラムとにより実現される。コーパス群６６および各種データ記憶部６８は、本実施の形態では、問題作成装置６４を実現するものと同じコンピュータ内に設けられた記憶装置により実現される。
(1) Domain to be created (2) Type of multiple choice language test question to be created (vacancy refilling problem or error detection problem)
(3) Number of questions to be created (4) Specified sentence selection conditions at the time of question creation (5) Conditions for determining the position of the vacant space for the vacancy replenishment problem (6) Condition (7) Candidate Validity Verification Method The
問題作成装置６４は、条件選択部６２を用いてユーザにより指定されたドメインのコーパスをコーパス群６６から選択するためのコーパス選択部８０と、コーパス選択部８０により選択されたコーパスを記憶するためのコーパス記憶部８２と、条件選択部６２を用いてユーザにより指定された条件にしたがって、コーパス記憶部８２に格納されているコーパスの中から問題の元となる種文を選択するための種文選択部８４とを含む。
The
問題作成装置６４はさらに、種文選択部８４により選択された種文の中で、条件選択部６２を用いてユーザにより指定された問題の種別に応じ、空所補充問題の作成の際には指定された条件にしたがった位置の単語を空所として選択し、誤り検出問題の作成の際には、選択肢となる単語位置を選択肢の数だけ選択し、問題の種別を示す情報および種文とともに出力するための問題位置選択部８６と、問題位置選択部８６から与えられた種文に対し、問題の種別を示す情報と問題位置とにしたがい、各種データ記憶部６８に記憶された各種データを参照しながら選択肢を作成することにより、多肢選択言語試験の選択肢候補を生成するための選択肢候補生成処理部８８と、選択肢候補生成処理部８８により作成された選択肢候補に関連する文の各々に対し、その妥当性を判定するために、インターネット７０を検索するための妥当性判定用データ検索部９２と、選択肢候補生成処理部８８から受取る選択肢候補に関連する文の各々に対し、妥当性判定用データ検索部９２を用いて妥当性判定用データを検索し、文として妥当性を判定するとともに、条件選択部６２から与えられる問題種別に応じ、問題自体の適切さをも判定するための妥当性判定部９０とを含む。
Further, the
妥当性判定部９０は、選択肢候補の妥当性の判定の結果、問題が適切なものでないと判定された場合には、当該問題を破棄し、種文選択部８４に対して次の問題作成を指示する機能を持つ。
When the
問題作成装置６４はさらに、妥当性判定部９０によって適切と判定された問題を、問題の種類に応じた適切なフォーマットに整形するための整形部９４と、整形部９４により整形された問題に対して、インターネット７０上のデータおよび各種データ記憶部６８に記憶されたデータの中から、問題に関連した情報（例文、定義、語義等）を付与するための関連情報付与処理部９６と、関連情報付与処理部９６から出力される、関連情報が付与されかつ整形された問題を多肢選択言語試験問題７４として記憶装置に書込む処理を行なうための出力部９８とを含む。
The
なお、多肢選択言語試験問題の場合には、異なる問題文中に同じ単語が出現することは望ましくない。そのため、問題作成装置６４は、出力部９８により出力された多肢選択言語試験問題中の選択肢を記憶するための既出選択肢記憶部１００を含み、選択肢候補生成処理部８８は、問題作成時に既出選択肢記憶部１００を参照して、既出の単語が後続の問題中に含まれないように、問題作成の際の単語の選択を行なう機能を持つ。
In the case of multiple choice language test questions, it is not desirable that the same word appears in different question sentences. Therefore, the
図５は、コーパス記憶部８２に記憶されたコーパス１１０の構成例を示す。図５を参照して、コーパス１１０は本実施の形態ではモノリンガルコーパスであって、複数個の例文１１６を含む。各例文１１６は、識別番号（ＩＤ）１１２と、本文１１４とを含む。コーパス群６６に含まれるコーパスは、全て同じフォーマットである必要はないが、問題作成装置６４の構成を簡単にするために、統一されたフォーマットであることが望ましい。
FIG. 5 shows a configuration example of the
図６は、図４に示す各種データ記憶部６８の構成を示す。図６を参照して、各種データ記憶部６８は、選択肢を作成する際に使用する、ある単語に関連した誤りを誤りの種類にしたがって集めた複数のリストからなる誤りリスト１２０と、単語に関する辞書１２２と、同義語、反義語等を収録するとともに、単語の間の類似関係等を収録したシソーラス１２４と、所定の単語を、その頻度および重要度とともにリストした単語リスト１２６とを含む。
FIG. 6 shows the configuration of various
誤りリスト１２０は、綴りの似た語の集合を集めたリスト１３０と、ある単語と、その単語に対して綴りを誤った単語とからなる集合を集めたリスト１３２と、いわゆる和製英語を正しい英語単語（単語列）とともに集めたリスト１３４とを含む。
The
リスト１３０に含まれる単語の集合の例として、「ｍｏｓｓ，ｍｉｓｓ，ｍｅｓｓ」がある。リスト１３２に含まれる単語の集合の例としては、「ｆｌｉｇｈｔ，ｆｒｉｇｈｔ，ｆｌｉｔ，ｆｌｉｔｅ」等がある。リスト１３４に含まれる単語の集合の例としては、「ｎｉｇｈｔｅｒ（ナイター），ｎｉｇｈｔ ｇａｍｅ」がある。
As an example of a set of words included in the
後述するように、本実施の形態に係る多肢選択言語試験問題作成システム６０は、コンピュータハードウェアおよびその上で実行されるソフトウェアにより実現可能である。図７に、多肢選択言語試験問題作成システム６０を実現するためのソフトウェアを構成するプログラムのメイン処理の流れをフローチャート形式で示す。以下、図７を参照してこのプログラムの制御構造について説明する。
As will be described later, the multiple-choice language test
図７を参照して、このプログラムが起動されると、ステップ１４０で設定の読込みが行なわれる。この設定は、図４に示す条件選択部６２により設定され、記憶装置等に書き込まれていたものである。続いてステップ１４２で、読込んだ設定にしたがって、試験の種別を判定する。試験の種別が空所補充問題の場合にはステップ１４４に進む。試験の種別が誤り検出問題の場合にはステップ１４６に進む。以下同様に、選択された試験の種別にしたがい、適切なステップ１４４〜１４８の処理が実行される。
Referring to FIG. 7, when this program is activated, settings are read in
図８にステップ１４４で実行される空所補充問題の作成処理を行なうプログラムの制御構造をフローチャート形式で示す。図８を参照して、まずステップ１５０で作成中の問題番号を表す変数ｉに０を代入する。ステップ１５２で変数ｉに１を加算する。ステップ１５４で変数ｉの値が、作成する問題数として設定された値ＭＡＸを超えたか否かを判定する。変数ｉの値が値ＭＡＸを超えていれば処理を終了する。変数ｉの値が値ＭＡＸ以下であれば制御はステップ１５６に進む。
FIG. 8 is a flowchart showing a control structure of a program for performing the empty space replenishment problem creation process executed in
ステップ１５６では、図４に示すコーパス記憶部８２に記憶された文の中から所定の方法で種文を選択する。なお、図９を参照して後述するように、このステップで選択する種文については、長さに制限を設けてある。
In
続いてステップ１５８で、種文の中で空所とする位置を決定する。空所の位置も、全体の中からランダムに選択したり、品詞および単語の位置等を条件として選んだりすることができる。例えば、「最左の動詞（例えば「I lost the return ticket of my flight」の「lost」）」、「頻度の高い前置詞（例えば上記「of」）」、または「最右の限定詞（例えば上記「my」）」等を選択することができる。
Subsequently, in
さらにステップ１６０で、選択肢候補からなる選択肢集合を作成する。このステップでは、ステップ１５８で選択された空所位置に存在していた単語を「正解」として保存（記憶）した上で、誤りの選択肢候補を複数個だけ作成し、ｉ番目の問題に対する選択肢候補集合Ａiとする。本実施の形態では、作成される選択肢候補の最大個数はＭ個とし、各選択肢候補をＡi,mと表す（１≦ｍ≦Ｍ）。ステップ１６０での処理の詳細については図１０を参照して後述する。なお、後述するように、ステップ１６０の処理では、既出の問題に含まれる単語と同じ単語を選択肢候補とすることは不適当と考えられるので、そのような単語は選択肢候補としない。
In
この後、ステップ１６２で以下の繰返しを制御するための繰返制御変数ｍに０を代入する。ステップ１６４で変数ｍに１を加算する。続いてステップ１６６で変数ｍの値が値Ｍを超えたか否かが判定される。変数ｍの値が値Ｍを超えた場合、制御はステップ１７２に進む。それ以外の場合、制御はステップ１６８に進む。ステップ１７２以下の処理については後述する。
Thereafter, in
ステップ１６８では、選択肢候補Ａi,mを含む文が妥当な文かどうかを判定する。本実施の形態では、インターネット７０を利用して文の妥当性を判定する。具体的には、本実施の形態では、空所の前後の内容語までの単語列と選択肢とからなる単語列をインターネット７０のウェブにおいて検索し、あれば選択肢候補Ａi,mを含む文が妥当な文だと判定する。ここでの目的は、誤りとして選択肢候補を見つけることであるから、選択肢候補Ａi,mを含む文が妥当な文だと判定された場合、ステップ１７０で選択肢候補の集合Ａiから選択肢候補Ａi,mを削除し、ステップ１６４に戻る。さもなければ選択肢候補Ａi,mを含む文は非文であって選択肢候補Ａi,mは選択肢として適当であるから選択肢候補集合Ａiに残し、何もせずステップ１６４に戻る。
In
ステップ１６６で変数ｍの値が値Ｍを上回ると、制御はステップ１７２に進む。ステップ１７２では、選択肢候補の集合Ａiに含まれる要素の数｜Ａi｜が２より大きいか否か（すなわち３以上か）を判定する。２より大きい場合にはステップ１７４に進むが、それ以外の場合には選択肢の数が不足し問題を構成できないので、この選択肢集合Ａiについては問題作成をやめることとし、ステップ１５６に戻って次の種文の選択からやり直す。
If the value of variable m exceeds value M at
ステップ１７４では、選択肢集合Ａiに正解の選択肢を加え、ランダムな順番に配列してその内容を整形して、図１に示すような問題とする。ステップ１７６で、各選択肢についてウェブで検索した例文、辞書から読みだした語義等の関連情報をこの問題に付与する。さらにステップ１７８で、この問題を既出選択肢として図４に示す既出選択肢記憶部１００のような記憶装置に記憶する。この情報は、ステップ１６０での選択肢候補の作成処理で使用される。
In
さらに、ステップ１８０において、このようにして作成された問題を所定の記憶装置に出力する。この後制御はステップ１５２に戻り、次の問題の作成を開始する。
In
図９を参照して、図８のステップ１５６で行なわれる種文選択処理について説明する。まずステップ１８１で、種文候補をコーパスの中から選択する。この際、本実施の形態では、種文の選択方式は複数の方式の中からユーザが指定できるようになっている。例えば種文を全くランダムに選択したり、文の属性（長さ、頻度、読みやすさ等）に関する条件、文に含まれる文法事項または文の使われる場面、例えば動詞を含む文、感嘆文、特定の前置詞を含む文、等の条件等で絞った中からランダムに選択したり、上記した属性の値にしたがって所定の順番で選択したりすることができる。
With reference to FIG. 9, the seed sentence selection process performed in
ステップ１８２では、ステップ１８１で選択した種文候補の形態素長が所定のしきい値ＴＨ１より大きいか否かを判定する。このような判定をするのは、あまりにも短い文では情報が足りず、受験者が選択肢を選ぶのが難しくなり、試験が成立しない可能性があるためである。形態素長がしきい値ＴＨ１より大きければステップ１８４に進み、それ以外の場合には種文として不適当であるためステップ１８１に戻り、次の種文候補の選択を行なう。一方、ステップ１８４では、形態素長が別のしきい値ＴＨ２（ＴＨ２＞ＴＨ１）より小さいか否かを判定する。このような判定を行なうのは、問題文が長いと、場所をとり、例えば携帯電話等の狭い画面上に問題を表示するには不都合である可能性があるためである。形態素長がしきい値ＴＨ２より小さければこの種文候補を種文として種文選択の処理を終了する。さもなければステップ１８１に戻り、次の種文候補の選択から繰返す。
In
図１０に、図８のステップ１６０で実行される選択肢候補作成処理の詳細をフローチャート形式で示す。図１０を参照して、まずステップ１９０で、選択肢候補からなる集合Ａiを空集合φとし、繰返制御変数ｊに０を代入する。ステップ１９１で変数ｊに１を加算する。ステップ１９２で変数ｊの値が選択肢候補の最大数Ｍを超えたか否かを判定する。ｊがＭを超えた場合、この選択肢候補作成処理を終了する。ｊがＭ以下であればステップ１９３に進む。
FIG. 10 is a flowchart showing details of the option candidate creation process executed in
ステップ１９３では、選択肢候補の単語を、図４に示す各種データ記憶部６８を参照して選択する。この場合、以下のような選択の仕方が可能である。
In
（１）問題位置の単語を置換しても文法を逸脱しないように、選択肢の単語の品詞、活用（過去形、単数現在等）を維持して別の単語に置換える。この場合、辞書１２２から単語をランダムに選択したり、シソーラス１２４から類義語または反義語を選択したり、単語リスト１２６から単語の頻度順、重要度順に単語を取出して置換したりできる。
(1) Maintaining the part of speech and utilization (past tense, singular present, etc.) of an alternative word and replacing it with another word so as not to deviate from the grammar even if the word in question is replaced In this case, words can be randomly selected from the
（２）単語を置換することで文法を逸脱するように、当該位置の単語の語基を維持して、品詞、活用（過去形、単数現在等）を置換える。例えば辞書１２２を参照して単語の活用形を変化させたり、ある単語を、当該単語に対応する別品詞の単語に置換する。
(2) The part of speech and the utilization (past tense, singular present, etc.) are replaced while maintaining the word base of the word at the position so as to deviate from the grammar by replacing the word. For example, referring to the
（３）頻度の高い誤りを再現するように、当該位置の単語を含む誤り単語の集合を図６に示す誤りリスト１２０から取出し、その中の単語で置換する。例えば、図６に示すように，綴りの似た語、綴りの誤っている語、和製英語等で元の単語位置を置換する。
(3) A set of error words including the word at the position is taken out from the
選択肢候補を選択した後、ステップ１９４において当該単語の頻度を各種データ記憶部６８を参照して調べ、その頻度が所定のしきい値ＴＨ３より小さいか否かを判定する。頻度があまりに低い単語の場合、受験者は、見慣れないという理由だけで選択肢の単語が不正解であると考えてしまう可能性があり、選択肢として不適当と考えられるためである。したがってステップ１９４において頻度がしきい値ＴＨ３より小さいと判定された場合、ステップ１９３に戻り、次の選択肢候補を選択する。さもなければステップ１９５に進む。
After selecting an option candidate, in
ステップ１９５では、選択肢候補が既に作成した問題に出現した単語と同じか否かについて、図４に示す既出選択肢記憶部１００に記憶された内容を参照して判定する。既出の単語は選択肢候補として妥当でないため、このような判定を行なう。したがって、選択肢候補が既出単語であればステップ１９３に戻り、次の選択肢候補について上記した処理を繰返す。既出単語でなければ、ステップ１９６に進み、この選択肢候補を選択肢候補集合Ａiに追加する。この後ステップ１９１に戻る。
In
以上が、例えば問題作成装置６４が空所補充問題を作成する場合に実行されるプログラムのフローチャートである。
The above is a flowchart of the program executed when, for example, the
一方、図７に示すステップ１４６で実行される誤り検出問題の作成処理も、同様のプログラムにより実現できる。図１１に、本実施の形態の問題作成装置６４において採用したプログラムの制御構造をフローチャート形式で示す。図１１において、図８と同じ処理には同じ参照番号を付す。したがってそれらについての詳細な説明は繰返さない。
On the other hand, the error detection problem creation processing executed in
図１１において、ステップ１５６で種文を選択した後、制御はステップ２００に進む。ステップ２００では、選択肢として種文の中の所定個数（デフォルトは４個であるが、ユーザによる指定が可能である。）の単語を決定し、そのうちの一つを誤り単語位置として選択する。
In FIG. 11, after selecting a seed sentence in
続いてステップ２０２で、選択された単語を別の単語で置換することにより、種文Ｂiを別の文Ｂi 'に変換する。本実施の形態では、ここでの置換単語は、図６に示す誤りリスト１２０の各リストを用いて決定する。なお、ステップ２００で選択肢として決定された単語と、ステップ２０２で決定された置換単語とは、いずれもこれより前の問題（空所補充／誤り検出の別を問わない。）において既出の単語ではないものとする。またこの置換単語は、後に記載する実験では内容語に限定し、機能語は候補から外している。
Then in
ステップ２０４で、置換後の文Ｂi 'が非文か否かを判定する。この判定は、図８のステプ１６８で行なう処理と同様の処理により実現できる。文Ｂi 'が非文であれば、この文Ｂi 'を誤り検出問題の問題とすることができる。
In
したがってステップ２０６で文Ｂi 'を整形して図３に示すような問題とする。ステップ２０８で、ステップ２０４の判定においてインターネット７０等から取得した例文、辞書から取得した語義情報等を関連情報としてこの問題に付与する。ステップ２１０で、この問題を既出選択肢として図４の既出選択肢記憶部１００に記憶する。ステップ２１２でこの問題を出力する。この後、ステップ１５２に戻り、次の問題の作成を行なう。
Therefore, the sentence B i ′ is shaped in
こうして、誤り検出問題についても、自動的に作成することができる。これ以外にも多肢選択言語試験問題の形式はあるが、それらはいずれも上で説明したものと同様の考え方で実現できる。したがってここではそれら個々についてのプログラムの制御構造については説明しない。 In this way, an error detection problem can be automatically created. There are other forms of multiple-choice language test questions, but they can be realized in the same way as described above. Therefore, the control structure of each program will not be described here.
＜動作＞
上に説明した多肢選択言語試験問題作成システム６０は以下のように動作する。図４を参照して、予め様々なドメインおよびレベルに対応したコーパス群６６が準備されているものとする。また、問題を作成するための誤りリスト１２０、辞書１２２、シソーラス１２４、および単語リスト１２６についても予め準備されているものとする。
<Operation>
The multiple choice language test
ユーザは、条件選択部６２を使用して種々の設定を行なう。例えば問題の対象となるドメイン、多肢選択言語試験問題の種別、作成する問題の数、作成しようとする問題のレベル、等を指定する。
The user performs various settings using the
コーパス選択部８０は、ユーザによる指定に応答して、コーパス群６６の中から適切なドメインで適切なレベルのコーパスを選択し、コーパス記憶部８２に格納する。
The
種文選択部８４は、条件選択部６２により指定された条件にしたがって、コーパス記憶部８２に格納されたコーパス中から種文を選択し、指定された条件とともに問題位置選択部８６に与える。問題位置選択部８６は、例えば作成すべき問題が空所補充問題であれば、どの単語を空所とするかを決定する。作成すべき問題が誤り検出問題であれば、問題位置選択部８６は種文の中で選択肢となる単語位置を決定し、さらにどの単語を誤り単語で置換するかを決定する。なおこの順序は逆でもよい。
The seed
選択肢候補生成処理部８８は、問題位置選択部８６により問題位置が決定された種文を受け、各種データ記憶部６８を参照して、問題の種別に応じ選択肢候補を生成する。例えば問題が空所補充問題であれば、例えば図６に示すシソーラス１２４を参照し、問題位置の単語と同じ意味コードを持つ単語を選んで選択肢集合を作成する。
The option candidate
妥当性判定部９０は、こうして生成された選択肢候補が妥当か否かを判定する。空所補充問題であれば、選択肢集合に含まれる単語を空所に補充した文が、一つを除いて非文となるか否かを判定する。また誤り検出問題であれば、問題位置に誤り単語を挿入した結果得られた文が非文となるか否かを判定する。この際、妥当性判定部９０は、妥当性判定用データ検索部９２を用いてインターネット７０上のウェブを検索し、文の妥当性を判定する。
The
空所補充問題の場合、選択肢集合に含まれる単語を種文の空所に補充した文が、一つ（正解）を除いてすべて非文と判定されれば、妥当性判定部９０は選択肢候補を整形部９４に与える。誤り検出問題の場合、種文のうち問題位置に誤り単語を挿入して得られた文が非文であれば、妥当性判定部９０はこの問題を整形部９４に与える。それ以外の場合には、妥当性判定部９０は選択肢候補生成処理部８８から与えられた問題を破棄する。妥当性判定部９０は、問題を採用した場合も、そうでない場合も、種文選択部８４に再度問題の作成を開始することを指示する信号を与える。
In the case of an empty space supplementation problem, if all sentences except for one (correct answer) are determined to be non-sentences except for one (correct answer), the
整形部９４は、妥当性判定部９０から問題が与えられると、問題の種類に応じて適切な形に整形し関連情報付与処理部９６に与える。関連情報付与処理部９６は、インターネット７０から得られた例文、および各種データ記憶部６８から得られた単語の語義等の関連情報を選択肢に付与し、出力部９８に与える。出力部９８は、この問題を既出選択肢記憶部１００に書込んだ後，多肢選択言語試験問題７４として問題を出力する。
When a problem is given from the
種文選択部８４は、妥当性判定部９０から次の問題の作成を指示する信号が与えられると、既に作成した問題数が条件選択部６２から指定された問題数に達したか否かを判定し、達した場合に処理を終了する。達していない場合には、種文選択部８４は次の種文をコーパス記憶部８２から選択し、問題位置選択部８６に与える。
When the signal for instructing the creation of the next question is given from the
以下、種文選択部８４、問題位置選択部８６、選択肢候補生成処理部８８、妥当性判定部９０、妥当性判定用データ検索部９２、整形部９４、関連情報付与処理部９６、出力部９８および既出選択肢記憶部１００により、指定された個数の問題が作成されるまで既に述べた動作が繰返される。
Hereinafter, the seed
なお、上記した妥当性の判定では、空所の前後の内容語までの単語列と、選択肢とからなる単語列がウェブ上に存在するか否かを基準とした。しかし本発明はそのような実施の形態には限定されない。これ以外にも、ウェブにおいて元の文の空所部分を選択肢候補Ａi,m で置換した文を検索し、あれば妥当な文だと判定する方法、選択肢候補Ａi,mを含む文を構成する全てのＮグラム（たとえばトライグラム）がウェブ上で見つけられたら妥当な文だと判定する方法、ウェブから求めたＮグラム尤度を用いて選択肢候補Ａi,mを含む文尤度を計算し、所定のしきい値以上であれば妥当な文と判定する方法、等がある。なお最後に挙げた方法では、ウェブのＮグラムの頻度としては、通常の単語列の頻度ではなく、検索システムで検索できた単語列を含む文書の数、すなわち文書頻度ｄｆに置換える。例えば、バイグラムｗ１ｗ２の文書頻度をｄｆ（ｗ１ｗ２）、ユニグラムｗ１の文書頻度をｄｆ（ｗ１）とすると、バイグラム文書尤度はＰ（ｗ１ｗ２）はｄｆ（ｗ１ｗ２）／ｄｆ（ｗ１）となる。
The validity determination described above is based on whether or not a word string consisting of a word string up to the content word before and after the empty space and an option exists on the web. However, the present invention is not limited to such an embodiment. In addition to this, a method of searching for a sentence in which a blank portion of the original sentence is replaced with the option candidate A i, m on the web and determining that it is a valid sentence if there is a sentence including the option candidate A i, m A method of determining that all N-grams (for example, trigrams) constituting a sentence are valid if found on the web, and a sentence likelihood including option candidates A i, m using the N-gram likelihood obtained from the web There is a method of calculating and determining an appropriate sentence if it exceeds a predetermined threshold. In the last method, the frequency of the web N-gram is replaced with the number of documents including the word string that can be searched by the search system, that is, the document frequency df, instead of the normal word string frequency. For example,
＜実験＞
上記した実施の形態に係る多肢選択言語試験問題作成システム６０について、実験によりその有効性を検証した。実験では、コーパス群６６として旅行会話とビジネス会話という二つのドメインのコーパスを準備し、多肢選択言語試験問題作成システム６０により得られた問題を複数の受験者に解かせた結果と、各受験者のＴＯＥＩＣ（登録商標）スコアとが相関しているか否かを調べることで多肢選択言語試験問題作成システム６０の有効性を検証した。
<Experiment>
The effectiveness of the multiple-choice language test
実験では、以下のオプションを使用した。上記したいずれかのコーパスを選択し、種文を順に選択させる。問題は空所補充問題とする。空所位置は種文の最左の動詞とする。選択肢候補としては、問題位置の単語と同じ意味コードを持つ単語をシソーラス１２４から選択する。妥当性判定では、選択肢候補の前後の内容語までをキーにしてウェブで文書頻度（妥当性判定用データ検索部９２で検索できた単語列を含む文書の個数）を求め、これが０のものを選択肢とする。
The following options were used in the experiment. Select one of the above corpora, and select the seed sentence in order. The problem is a void filling problem. The vacant position is the leftmost verb in the seed sentence. As an option candidate, a word having the same meaning code as the word at the problem position is selected from the
種文としては、形態素数が６未満、または２１以上の文を除いた。また、選択肢候補から頻度９未満の単語を除いた。既出の問題で選択肢として採用された単語列は、別の問題では選択肢候補から除いた。妥当性判定用データ検索部９２としては、ＧＯＯＧＬＥ（登録商標）を用いた。
As a seed sentence, sentences having a morpheme number of less than 6 or 21 or more were excluded. Also, words with a frequency of less than 9 were excluded from the choice candidates. The word string adopted as an option in the previous problem was excluded from the option candidates in another problem. As the validity determination
こうして作成した問題を、ＴＯＥＩＣスコアが既知の受験者に解かせ、項目反応理論（大友賢二著、「項目応答理論入門」、大修館書店、１９９６年等の教科書を参照されたい。）によって受験者の英語能力（θ）を推定した。受験者のＴＯＥＩＣスコアを横軸に、受験者の推定英語能力θを縦軸にして示したのが図１２のグラフである。図１２に示すように、両者の相関は８２％と高かった。このことから、上記した実施の形態に係る多肢選択言語試験問題作成システム６０によって自動作成した多肢選択問題／空所補充問題が受験者の英語能力を計測するのに有効であることが検証できた。
Candidates who have a TOEIC score should solve the problem created in this way, and examinee by item response theory (refer to textbooks such as Kenji Otomo, “Introduction to Item Response Theory”, Daishukan Shoten, 1996). English ability (θ) was estimated. The horizontal axis TOEIC score candidates, to that shown by the estimated English language candidates θ to the vertical axis is the graph of Figure 12. As shown in FIG. 12, the correlation between the two was as high as 82%. From this, it is verified that the multiple choice question / vacancy replacement problem automatically created by the multiple choice language test
なお、本実験では、パーソナルコンピュータ１台で、１時間ほどの間に２０、０００問の多肢選択言語試験問題を作成した。従来、英語の検定試験の運営機関では、問題作成および整備に数年の時間をかけている。しかもそうした機関で準備された問題数は４、０００問程度である。したがって、本実施の形態に係る多肢選択言語試験問題作成システム６０が問題作成の上で非常に有効であることが分かる。
In this experiment, a 20,000-question multiple choice language test question was created in one personal computer in about an hour. Traditionally, institutions that administer English proficiency tests have taken several years to create and maintain questions. Moreover, the number of problems prepared by such institutions is around 4,000. Therefore, it can be seen that the multiple-choice language test
［第２の実施の形態］
第１の実施の形態では、種文をソースとしてモノリンガルのコーパスを用いた。しかし、本発明はモノリンガルのコーパスを用いたものに限定されない。例えば、この第２の実施の形態のように、対訳を集めたバイリンガルコーパスを用いて多肢選択言語試験問題を作成することもできる。バイリンガルコーパスを種文のソースとして用いると、原文が制約として働く多肢選択言語試験問題を実現できる。
[Second Embodiment]
In the first embodiment, a monolingual corpus is used with a seed sentence as a source. However, the present invention is not limited to the one using a monolingual corpus. For example, as in the second embodiment, a multiple-choice language test question can be created using a bilingual corpus in which parallel translations are collected. If a bilingual corpus is used as a seed source, a multiple-choice language test problem in which the original text acts as a constraint can be realized.
＜構成＞
図１３に、本実施の形態に係る多肢選択言語試験問題作成システム２２０の構成をブロック図形式で示す。図１３を参照して、多肢選択言語試験問題作成システム２２０は、第１の実施の形態で使用された条件選択部６２と同様の条件選択部２２２と、複数のバイリンガルコーパスを含むバイリンガルコーパス群２３４と、複数の機械翻訳装置２２６と、第１の実施の形態で使用した各種データ記憶部６８と同様、図６に示すような各種データを記憶するための各種データ記憶部２２８と、条件選択部２２２、複数の機械翻訳装置２２６、各種データ記憶部２２８、およびインターネット２３０に接続され、条件選択部２２２により指定された条件にしたがって多肢選択言語試験問題２３２を自動的に作成するための問題作成装置２２４とを含む。
<Configuration>
FIG. 13 is a block diagram showing the configuration of the multiple-choice language test
各種データ記憶部２２８は図４に示す各種データ記憶部６８と同様のデータを記憶している。したがってその構成についてはここでは説明は繰返さない。
The various
複数の機械翻訳装置２２６は、本実施の形態では互いに異なる方式の機械翻訳装置からなっている。機械翻訳装置２２６は、後述するように誤り選択肢となる文を作成するために使用される。
In the present embodiment, the plurality of
問題作成装置２２４は、条件選択部２２２を用いてユーザが与える指示にしたがい、バイリンガルコーパス群２３４から一つのバイリンガルコーパスを選択するためのコーパス選択部２４０と、コーパス選択部２４０により選択されたバイリンガルコーパスを記憶するためのバイリンガルコーパス記憶部２４２を含む。このバイリンガルコーパスとしては、一般的には受験者の母語の文と、試験の対象となる言語の文との対訳文を多数含むものを選択する。例えば日本人に英語の試験を課す場合であれば、バイリンガルコーパスとして日本語と英語の対訳を多数含むものを用いる。本実施の形態では、日本語と英語とのバイリンガルコーパスを用いるものとする。この場合、複数の機械翻訳装置２２６は、いずれも日本語から英語への翻訳を行なうものを用いる。
The
問題作成装置２２４はさらに、バイリンガルコーパス記憶部２４２に記憶されたバイリンガルコーパスから、問題を作成するための種文を含む対訳を選択するための種文選択部２４４と、種文選択部２４４により選択された対訳のうちの英語の文について、空所補充問題における空所、誤り検出問題における選択肢位置等を選択するための問題位置選択部２４６とを含む。なお、後述するように、本実施の形態では、原文である日本語を提示してそれに対する複数の訳文から正しいものを選ぶ、という問題形式も可能である。そうした問題を作成する場合には、問題位置選択部２４６は英語の文全体をまとめて問題位置とする。
The
問題作成装置２２４はさらに、種文を含む対訳を受け、条件選択部２２２を用いてユーザにより指定された問題形式にしたがって選択肢候補を作成するための選択肢候補生成処理部２４８と、選択肢候補生成処理部２４８により生成された選択肢候補についてインターネット２３０を検索した結果に基づいて妥当性を判定し、問題として適切なもののみを残し、不適切なものを削除するための妥当性判定部２５０と、妥当性判定部２５０からの要求に応じてインターネット２３０を検索し、結果を妥当性判定部２５０に返すための妥当性判定用データ検索部２５２とを含む。
The
選択肢候補生成処理部２４８が行なう選択肢候補生成処理は、作成すべき多肢選択言語試験問題の形式によって異なる。図１４に、本実施の形態に係る問題作成装置２２４によって作成可能な多肢選択言語試験問題の例を示す。図１４を参照して、問題作成装置２２４により作成可能な問題は、問題２７０のように日本語の原文を与えて対応の英語文の空所に、ある単語を適切に活用したものを選択肢から選ぶ問題、問題２７２のように日本語の原文を与えてそれに対応する適切な英語の訳文を４つの選択肢から選択する問題、問題２７４のように日本語の原文を与え、対応する英語の訳文の空所に補充すべき適切な単語を選択する問題、問題２７６のように日本語の複合語を与え、それに対する正しい訳語を選択肢から選ぶ問題、等がある。空所補充問題の場合の作成方法は基本的に第１の実施の形態と同様である。問題２７２の場合には、前述した複数の機械翻訳装置２２６に原文を与えることにより生成される英文を誤答として準備することができる。問題２７６の場合には、日本語の複合語の要素単語の各々を各種データ記憶部２２８内の辞書を使って翻訳し、それら訳語を組合せて誤答を生成できる。
The option candidate generation processing performed by the option candidate
これらいずれの場合にも、種文選択部２４４が選ぶ種文に日本語の文が含まれているため、図１４に示すように問題文に日本語文を添えることが可能になる。この場合、例えば空所補充問題では、受験者は、英語だけでなく日本語も制約条件として考慮し解答する。したがって、種文が短くても解答することが容易になり、短い文でも種文として採用できるという効果がある。
In any of these cases, since the Japanese sentence is included in the seed sentence selected by the seed
再び図１３を参照して、問題作成装置２２４はさらに、妥当性判定部２５０によって問題として適切と判定されたものを問題形式にあわせて整形するための整形部２５４と、整形部２５４により整形された問題に、インターネット２３０から検索された用例、各種データ記憶部２２８に記憶されている語義、用法等の情報を付与するための関連情報付与処理部２５６と、関連情報付与処理部２５６により関連情報が付された問題を多肢選択言語試験問題２３２として外部の記憶装置に書込むための出力部２５８と、出力部２５８により出力される問題中の選択肢を記憶するための既出選択肢記憶部２６０とを含む。
Referring again to FIG. 13, the
＜動作＞
多肢選択言語試験問題作成システム２２０は以下のように動作する。空所補充問題については、多肢選択言語試験問題作成システム２２０の動作は第１の実施の形態に係る多肢選択言語試験問題作成システム６０と同様の動作を行なう。異なるのは、選択する種文が日本語の文と英語の文との対訳からなること、短い文でも種文として使用できること、問題文に日本語の文を制約条件として追加すること、等である。従って以下では、図１４に示す問題２７２を作成するときの多肢選択言語試験問題作成システム２２０の動作について説明する。
<Operation>
The multiple choice language test
条件選択部２２２によって、問題２７２のような多肢選択言語試験問題を作成することが指定されたものとする。予めバイリンガルコーパス記憶部２４２には、ユーザの指示にしたがいコーパス選択部２４０がバイリンガルコーパス群２３４から選択したコーパスが記憶されているものとする。以下の説明では、このコーパスは日本語と英語のバイリンガルコーパスであるものとする。
Assume that the
種文選択部２４４は、バイリンガルコーパス記憶部２４２に記憶されたコーパスの中から種文となる対訳を一組選択する。この選択の際、種文の長さとしては、日本語の文と英語の文との双方について考慮する。ただし、選ばれる種文は、第１の実施の形態の場合より短くてもよい。
The seed
問題位置選択部２４６は、問題２７２のように複数の文のうちから適切な文を選択する問題の場合、種文全体を問題位置として選択し選択肢候補生成処理部２４８に与える。
In the case of a problem of selecting an appropriate sentence from a plurality of sentences like the
選択肢候補生成処理部２４８は、与えられた種文の対訳のうち、日本語の文を機械翻訳装置２２６に与え、機械翻訳させる。例えば、種文が「好きなデザートはアイスクリームです。」と「My favorite dessert is ice cream.」という文との対訳である場合を考える。選択肢候補生成処理部２４８は、この日本語の文「好きなデザートはアイスクリームです。」を複数の機械翻訳装置２２６の各々に与え、その結果を受取る。選択肢候補生成処理部２４８は、受取った機械翻訳結果と、種文の対訳とを妥当性判定部２５０に与える。
The option candidate
妥当性判定部２５０は、機械翻訳結果の各々を選択肢候補とし、妥当性判定用データ検索部２５２を用いたインターネットの検索を行ない、第１の実施の形態で行なったのと同様に、非文か否かの判定を行なう。非文でない候補は捨て、非文となる候補のみ残す。非文となる候補の数が２以下であれば、選択肢の数が不足する。したがって選択肢候補生成処理部２４８は、処理中の種文に関する問題作成を中止し、種文選択部２４４に対して次の種文選択を指示する。非文となる候補の数が３以上の場合、選択肢候補生成処理部２４８は、そのうち３つの文のみ選択して、種文の対訳とともに整形部２５４に与える。妥当性判定部２５０はこのとき、種文選択部２４４に対して次の種文の選択を指示する。これに応答して、種文選択部２４４は次の種文を選択し、次の問題の作成が開始される。
The
妥当性判定部２５０から選択肢候補と種文の対訳とを受取った整形部２５４は、図１４に示す問題２７２のような形式に問題を整形する。この際、整形部２５４は、種文のうちの英語文と選択肢候補とをマージし、乱数にしたがってａ）、ｂ）、ｃ）、ｄ）のいずれかに配置する。
The
関連情報付与処理部２５６は、このように整形された問題に対し、インターネット２３０から検索した用例、各種データ記憶部２２８に記憶されている語義、同義語、反義語、関連単語等の情報を付与し出力部２５８に与える。
The related information
出力部２５８は、この問題を多肢選択言語試験問題２３２として外部記憶装置に出力する。出力部２５８はまた、出力する問題文中の単語を既出選択肢記憶部２６０に格納する。
The
以上の処理を繰返し、条件選択部２２２を用いてユーザが指定しただけの数の問題が作成できたら処理を終了する。
The above process is repeated, and when the number of problems specified by the user using the
以上のようにこの実施の形態の多肢選択言語試験問題作成システム２２０によれば、バイリンガルコーパスを用いるため、コーパス中の原文を制約として用いる問題を作成することができる。そのため、受験者は問題文が短くても答えを選択することができるようになる。その結果、コーパスをより有効に利用して、多くの種類の多肢選択言語試験問題を作成することが可能になる。
As described above, according to the multiple-choice language test
また、上記第１の実施の形態、第２の実施の形態のいずれにおいても、様々な属性のコーパスを準備してそこから種文を選択することにより、試験の対象のドメイン（旅行会話、ビジネス会話、ニュース等）、対象となる受験者のレベル（中学、高校、大学等教育機関の別、または各種検定のランク等）に容易に対応することができる。例えば、特定の教科書の特定単元に出現する文（およびその訳文）を含むコーパスを準備することにより、その教科書が想定している学習者（例えば中学１年、高校３年、ビジネス英語受講者等）の学習レベルに適した多肢選択言語試験問題を容易に、かつ短時間のうちに作成することができる。 Also, in both the first embodiment and the second embodiment, by preparing a corpus having various attributes and selecting a seed sentence from the corpus, a domain to be tested (travel conversation, business) Conversation, news, etc.) and the level of the target examinee (junior high school, high school, university, etc., or the rank of various examinations). For example, by preparing a corpus that includes sentences (and their translations) that appear in a specific unit of a specific textbook, the learner assumed by that textbook (for example, junior high school 1st year, high school 3rd year, business English students, etc.) The multiple choice language test questions suitable for the learning level can be created easily and in a short time.
さらに、コーパス、辞書、シソーラス等を言語ごとに準備することで、複数の言語についても容易に多肢選択言語試験問題を作成できる。また、対訳辞書の言語の組合せを様々にかえることにより、受験者の母語と、試験の対象となる言語との多様な組合せを容易に実現できる。 Furthermore, by preparing a corpus, a dictionary, a thesaurus, and the like for each language, a multiple-choice language test question can be easily created for a plurality of languages. In addition, by changing the combination of languages in the bilingual dictionary, various combinations of the examinee's mother tongue and the language to be tested can be easily realized.
また、インターネット、辞書、シソーラス等を検索することにより、誤答となる選択肢には、適切な用例、語義、同義語、類義語、反義語等を関連情報として付加することができるので、単に問題を解くだけのための問題ではなく、教育効果をあげることが期待できる問題を作成できる。 Also, by searching the Internet, dictionary, thesaurus, etc., it is possible to add appropriate examples, meanings, synonyms, synonyms, antonyms, etc. as related information to options that become incorrect answers, so you can simply solve the problem You can create a problem that can be expected to have an educational effect.
なお、上記した実施の形態では、たとえば携帯電話のように狭い画面を使用して多肢選択言語試験問題を提供する場合を想定し、そのために問題文が長くなることを避けている。しかし、この制限は本質的なものではなく、たとえば問題文を提示するスペースに特に制限がない場合等には、問題文の長さを制限する必要はない。 In the above-described embodiment, for example, a case where a multiple-choice language test question is provided using a narrow screen such as a mobile phone is assumed, and therefore, the problem sentence is prevented from becoming long. However, this restriction is not essential. For example, when the space for presenting the question sentence is not particularly restricted, it is not necessary to restrict the length of the question sentence.
また、上記した実施の形態では、選択肢候補の妥当性を検査するに際してインターネット上のウェブページを検索し、その結果を用いている。ウェブページは極めて大規模なコーパスと考えることができるので、そこにおける、ある単語列からなる言語表現の出現頻度は、当該言語表現の妥当性を近似できると考えられる。つまり、頻度が大きければその言語表現が極めてよく使用されることの現れであり、頻度が非常に低いかまたはゼロであれば、それはその言語表現が非文法的であるか、不自然な表現であることが期待できる。したがって、上記したようにインターネットを用いることで妥当性検査を精度良く行なうことが期待できる。 In the above-described embodiment, when checking the validity of the option candidates, a web page on the Internet is searched and the result is used. Since a web page can be considered as an extremely large corpus, the appearance frequency of a linguistic expression composed of a certain word string can approximate the validity of the linguistic expression. In other words, if the frequency is high, it is an indication that the linguistic expression is very often used. If the frequency is very low or zero, it means that the linguistic expression is ungrammatical or unnatural. You can expect to be there. Therefore, it can be expected that the validity check is performed with high accuracy by using the Internet as described above.
もっとも、文法的であるにもかかわらず新規な表現はどのウェブページにものっていない可能性もあるし、正しい表現が全ていずれかのウェブページ上にあるという保証はない。したがって上記した妥当性検査はあくまで近似的なものと理解されるべきである。したがって、正しい文からなる大規模なコーパスを、ウェブの代わりに使用することもできる。 Of course, though it is grammatical, the new expression may not be on any web page, and there is no guarantee that all the correct expressions are on any web page. Therefore, it should be understood that the validity check described above is only approximate. Thus, a large corpus of correct sentences can be used instead of the web.
［コンピュータによる実現］
なお、上記した第１の実施の形態に係る問題作成装置６４、および第２の実施の形態に係る問題作成装置２２４はいずれも、コンピュータシステムと、当該コンピュータシステムにより実行されるコンピュータプログラムと、当該コンピュータシステム内の記憶装置または外部記憶装置に格納されるデータとにより実現できる。図１５はこのコンピュータシステム３３０の外観を示し、図１６はコンピュータシステム３３０の内部構成を示す。
[Realization by computer]
Each of the
図１５を参照して、このコンピュータシステム３３０は、ＦＤ（フレキシブルディスク）ドライブ３５２およびＣＤ−ＲＯＭ（コンパクトディスク読出専用メモリ）ドライブ３５０を有するコンピュータ３４０と、いずれもコンピュータ３４０に接続されるキーボード３４６、マウス３４８、およびモニタ３４２とを含む。
Referring to FIG. 15, this
図１６を参照して、コンピュータ３４０は、ＦＤドライブ３５２およびＣＤ−ＲＯＭドライブ３５０に加えて、ＣＰＵ（中央処理装置）３５６と、ＣＰＵ３５６、ＦＤドライブ３５２およびＣＤ−ＲＯＭドライブ３５０に接続されたバス３６６と、ブートアッププログラム等を記憶する読出専用メモリ（ＲＯＭ）３５８と、バス３６６に接続され、プログラム命令、システムプログラム、および作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）３６０とを含む。コンピュータシステム３３０はさらに、プリンタ３４４を含んでいる。
Referring to FIG. 16, in addition to FD drive 352 and CD-
ここでは示さないが、コンピュータ３４０はさらにローカルエリアネットワーク（ＬＡＮ）への接続を提供するネットワークアダプタボードを含んでもよい。
Although not shown here, the
コンピュータシステム３３０に上記した問題作成装置６４または問題作成装置２２４としての動作を行なわせるためのコンピュータプログラムは、ＣＤ−ＲＯＭドライブ３５０またはＦＤドライブ３５２に挿入されるＣＤ−ＲＯＭ３６２またはＦＤ３６４に記憶され、さらにハードディスク３５４に転送される。または、プログラムは図示しないネットワークを通じてコンピュータ３４０に送信されハードディスク３５４に記憶されてもよい。プログラムは実行の際にＲＡＭ３６０にロードされる。ＣＤ−ＲＯＭ３６２から、ＦＤ３６４から、またはネットワークを介して、直接にＲＡＭ３６０にプログラムをロードしてもよい。
A computer program for causing the
このプログラムは、コンピュータ３４０に上記した問題作成装置６４または問題作成装置２２４としての動作を行なわせる複数の命令を含む。このために必要な基本的機能のいくつかはコンピュータ３４０上で動作するオペレーティングシステム（ＯＳ）またはサードパーティのプログラム、もしくはコンピュータ３４０にインストールされる各種ツールキットのモジュールにより提供される。したがって、このプログラムはこの実施の形態のシステムおよび方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能または「ツール」を呼出すことにより、上記した問題作成装置６４または２２４としての動作を実現するための命令のみを含んでいればよい。コンピュータシステム３３０の動作は周知であるので、ここでは繰り返さない。
This program includes a plurality of instructions that cause the
なお、上記した実施の形態の説明では、例えば図７に示すように、作成する対象となる選択肢問題の種類に応じて、プログラムの主要部分を全く別のものとしている。しかし本発明はそのような実施の形態に限定されるわけではなく、共通の処理を実行する部分は同一のプログラムコードが実行されるようにしてもよい。また、上記説明では、制御構造の説明として便宜的にフローチャートを用いたが、実際のプログラムがこのようなフローチャートにより表された制御構造を持っているとは限らない。例えばオブジェクト指向プログラムのように、個々のオブジェクトが別々に動作し、全体として上に示した実施の形態の装置の機能を実現するものであってもかまわない。 In the above description of the embodiment, for example, as shown in FIG. 7, the main part of the program is completely different depending on the type of option problem to be created. However, the present invention is not limited to such an embodiment, and the same program code may be executed in portions that execute common processing. In the above description, a flowchart is used for convenience of description of the control structure. However, an actual program does not necessarily have the control structure represented by such a flowchart. For example, like an object-oriented program, each object may operate separately, and the functions of the apparatus of the above-described embodiment as a whole may be realized.
さらに、上記実施の形態では、コーパス、条件選択部、問題作成装置の各部、および多肢選択言語試験問題を記憶する記憶装置がすべて同一の場所にあるものとして説明した。しかし本発明はそのような実施の形態に限定されるわけではない。例えば問題作成装置がインターネットに接続されたあるコンピュータにより実現され、条件選択部が無線電話網およびインターネットを通じて当該コンピュータに接続可能な携帯電話のような情報端末装置で実現されてもよい。また、多肢選択言語試験問題を蓄積せず、条件選択部を介して問題の作成要求があるごとに、問題作成装置によって多肢選択言語試験問題を作成し、要求の送信元に返信するような構成を採ってもよい。 Furthermore, in the above-described embodiment, the corpus, the condition selection unit, each unit of the problem creation device, and the storage device that stores the multiple-choice language test questions are all assumed to be in the same place. However, the present invention is not limited to such an embodiment. For example, the problem creation device may be realized by a computer connected to the Internet, and the condition selection unit may be realized by an information terminal device such as a mobile phone that can be connected to the computer through a wireless telephone network and the Internet. Also, do not accumulate multiple-choice language test questions, create a multiple-choice language test question using the question creation device each time a question creation request is made via the condition selection unit, and send it back to the request sender A simple configuration may be adopted.
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。 The embodiment disclosed herein is merely an example, and the present invention is not limited to the above-described embodiment. The scope of the present invention is indicated by each of the claims after taking into account the description of the detailed description of the invention, and all modifications within the meaning and scope equivalent to the wording described therein are intended. Including.
６０，２２０ 多肢選択言語試験問題作成システム、６２，２２２ 条件選択部、６４，２２４ 問題作成装置、６６ コーパス群、６８，２２８ 各種データ記憶部、７０，２３０ インターネット、８０ コーパス選択部、８２ コーパス記憶部、８４，２４４ 種文選択部、８６，２４６ 問題位置選択部、８８，２４８ 選択肢候補生成処理部、９０，２５０ 妥当性判定部、９２，２５２ 妥当性判定用データ検索部、９４，２５４ 整形部、９６，２５６ 関連情報付与処理部、９８，２５８ 出力部、１００，２６０ 既出選択肢記憶部、２４２ バイリンガルコーパス記憶部 60,220 Multiple Choice Language Test Question Creation System, 62,222 Condition Selection Unit, 64,224 Question Creation Device, 66 Corpus Group, 68,228 Various Data Storage Units, 70,230 Internet, 80 Corpus Selection Unit, 82 Corpus Storage unit, 84, 244 Seed sentence selection unit, 86, 246 Problem position selection unit, 88, 248 Option candidate generation processing unit, 90, 250 Validity determination unit, 92, 252 Validity determination data search unit, 94, 254 Shaping unit, 96, 256 related information adding processing unit, 98, 258 output unit, 100, 260 existing option storage unit, 242 bilingual corpus storage unit
Claims (10)
選択肢作成のための、単語辞書、シソーラス、単語に関連した誤りを集めた誤りリスト、若しくは単語の頻度及び重要度とともにリストした単語リスト、又はこれらの任意の組合せを含む言語情報をコンピュータ読取可能な形式で記憶するための言語情報記憶手段と、
前記コーパス記憶手段に記憶された前記コーパスから、予め定める選択方式にしたがって多肢選択言語試験問題の元となる文を選択するための文選択手段と、
前記文選択手段により選択された文を構成する構成要素のうち、多肢選択の対象箇所とする構成要素を所定の条件により決定するための構成要素決定手段と、
前記言語情報記憶手段に記憶された前記言語情報のうち、当該決定された構成要素に関連する言語情報に基づいて、前記構成要素決定手段により決定された構成要素に対し所与の条件を充足する置換候補を作成するための置換候補作成手段と、
前記選択された文において、前記決定された構成要素を前記置換候補で置換することにより得られる文に含まれる、前記置換候補を含む構成要素列を、所定のコーパス中において検索するための検索手段と、
前記検索手段による検索結果に応答し、前記置換候補の各々に対し、前記構成要素列の前記所定のコーパス中における出現頻度を表す統計的尺度を前記検索手段による検索結果に基づいて算出するための算出手段と、
前記置換候補のうち、前記算出手段により算出された前記統計的尺度が予め定められたしきい値よりも小さな置換候補と、前記元となる文とを所定の形態に組合せることにより多肢選択言語試験問題を作成するための問題作成手段としてコンピュータを機能させる、多肢選択言語試験問題自動作成プログラム。 Corpus storage means for storing a computer-readable corpus;
Computer-readable linguistic information including word dictionary, thesaurus, list of errors related to the word, or a list of words listed with the frequency and importance of the word, or any combination thereof, for making choices Language information storage means for storing in a form;
Sentence selection means for selecting a sentence that is a source of a multiple choice language test question from the corpus stored in the corpus storage means according to a predetermined selection method;
Among the constituent elements constituting the sentence selected by the sentence selecting means, the constituent element determining means for determining a constituent element that is a target location for multiple selection according to a predetermined condition;
Of the language information stored in the language information storage unit, a given condition is satisfied for the component determined by the component determination unit based on language information related to the determined component A replacement candidate creation means for creating a replacement candidate;
In the selected sentence, the determined components included in the sentence which is obtained by replacing the replacement candidate, the components string including the replacement candidate, for Oite search in a given corpus Search means;
In response to a search result by the searching means, wherein for each of replacement candidate, to calculate a statistical measure of the appearance frequency definitive in said predetermined corpus of the component string based on the search result by the searching means Means for calculating
Among the replacement candidates, multiple-choice selection is performed by combining a replacement candidate whose statistical measure calculated by the calculating means is smaller than a predetermined threshold and the original sentence in a predetermined form. An automatic multiple-choice language test question creation program that causes a computer to function as a question creation means for creating a language test question.
前記言語情報記憶手段に記憶された前記言語情報のうち、当該決定された構成要素に関連する言語情報に基づいて、前記決定された構成要素に対する複数個の置換候補を作成するための手段を含み、
前記問題作成手段は、
前記選択された文のうち、前記決定された構成要素を空所で置換した問題文を作成するための手段と、
前記複数個の置換候補のうち、前記算出手段により算出された前記統計的尺度が前記しきい値よりも小さな予め定める所定個数の置換候補と、前記決定された構成要素とからなる選択肢集合を作成するための選択肢作成手段と、
前記問題文と前記選択肢集合とを所定の問題形式に整形するための整形手段とを含む、請求項１に記載の多肢選択言語試験問題自動作成プログラム。 The replacement candidate creating means includes:
Means for creating a plurality of replacement candidates for the determined component based on language information related to the determined component of the language information stored in the language information storage unit ,
The problem creating means is:
Means for creating a question sentence in which the determined component of the selected sentence is replaced with a space;
Among the plurality of replacement candidates, an option set including a predetermined number of replacement candidates in which the statistical measure calculated by the calculation unit is smaller than the threshold and the determined component is created. Choice creation means to
The multiple-choice language test question automatic creation program according to claim 1, further comprising: shaping means for shaping the question sentence and the option set into a predetermined question form.
前記選択された文のうち、前記決定された構成要素を、前記算出手段により算出された前記統計的尺度が前記しきい値よりも小さいと判定された置換候補で置換して問題文を作成するための手段と、
前記問題文のうち、前記置換候補と、前記置換候補以外の所定個数の単語または単語群とを選択肢候補として表示するように前記問題文を整形するための整形手段とを含む、請求項１に記載の多肢選択言語試験問題自動作成プログラム。 The problem creating means is:
Among the selected sentence, the determined component, the statistical measure that is calculated by the calculation means to create a replacement to issue statements in small intention determination has been substituted candidates than the threshold value Means for
2. The shaping unit for shaping the question sentence so as to display the replacement candidate and a predetermined number of words or word groups other than the replacement candidate as option candidates. Multiple-choice language test question automatic creation program described.
前記文選択手段は、前記コーパス記憶手段に記憶された前記バイリンガルコーパスから、前記選択方式にしたがって多肢選択言語試験問題の元となる対訳を選択するための対訳選択手段を含む、請求項１に記載の多肢選択言語試験問題自動作成プログラム。 The corpus is a bilingual corpus including a plurality of parallel translations of sentences in a first language and sentences in a second language,
The sentence selection means includes a parallel translation selection means for selecting a parallel translation that is a source of a multiple-choice language test question according to the selection method from the bilingual corpus stored in the corpus storage means. Multiple-choice language test question automatic creation program described.
前記置換候補作成手段は、
前記言語情報記憶手段に記憶された前記言語情報に基づいて、前記決定された構成要素に対する複数個の前記第２言語の置換候補を作成するための手段を含み、
前記問題作成手段は、
前記選択された対訳の前記第１言語の文と、前記選択された対訳の前記第２言語の文のうち、前記決定された構成要素を空所で置換した文とを含む問題文を作成するための手段と、
前記複数個の置換候補のうち、前記算出手段により算出された前記統計的尺度が前記しきい値よりも小さいと判定された予め定める所定個数の前記第２言語の置換候補と、前記決定された構成要素とからなる選択肢集合を作成するための選択肢作成手段と、
前記問題文と前記選択肢集合とを所定の問題形式に整形するための整形手段とを含む、請求項６に記載の多肢選択言語試験問題自動作成プログラム。 The component determining means includes means for determining a component that satisfies the predetermined condition among the components of the sentence in the second language of the selected parallel translation,
The replacement candidate creating means includes:
Means for creating a plurality of replacement candidates for the second language for the determined component based on the language information stored in the language information storage means;
The problem creating means is:
Creating a question sentence including the sentence in the first language of the selected parallel translation and a sentence in which the determined component is replaced with a blank space among the sentences in the second language of the selected parallel translation Means for
Among the plurality of replacement candidates, the statistical measure that is calculated and replacement candidate of the second language a predetermined number of predetermined intended is determined smaller than the threshold value, which is the determined by the calculating means Choice creation means for creating a choice set consisting of components;
The multiple-choice language test question automatic creation program according to claim 6, comprising shaping means for shaping the question sentence and the option set into a predetermined question format.
前記選択された対訳の前記第１言語の文と、前記選択された対訳の前記第２言語の文のうち、前記決定された構成要素を、前記算出手段により算出された前記統計的尺度が前記しきい値よりも小さいと判定された置換候補で置換して得られた文とを含む問題文を作成するための手段と、
前記問題文の前記第２言語の文のうち、前記置換候補と、前記置換候補以外の所定個数の単語または単語群とを選択肢候補として表示するように前記問題文を整形するための整形手段とを含む、請求項６に記載の多肢選択言語試験問題自動作成プログラム。 The problem creating means is:
Of the sentence in the first language of the selected parallel translation and the sentence in the second language of the selected parallel translation, the statistical measure calculated by the calculating means is the statistical measure calculated by the calculating means. means for creating a problem statement including a statement obtained by substituting at small the Most the determined replacement candidate than the threshold value,
Shaping means for shaping the question sentence so as to display the replacement candidate and a predetermined number of words or word groups other than the replacement candidate among the sentences in the second language of the question sentence as option candidates; The multiple-choice language test question automatic creation program according to claim 6, comprising:
前記置換候補作成手段は、前記言語情報記憶手段に記憶された言語情報に基づいて、前記選択された対訳の前記第１言語の文を機械翻訳するための複数の機械翻訳手段を含み、
前記問題作成手段は、
前記選択された対訳の前記第２言語の文、および前記複数の機械翻訳手段による翻訳結果のうち、前記算出手段により算出された前記統計的尺度が前記しきい値よりも小さいと判定された文からなる選択肢集合を作成するための手段と、
前記選択された対訳の前記第１言語の文と、前記選択肢集合とを所定の形態に組合せることにより多肢選択言語試験問題を作成するための手段とを含む、請求項６に記載の多肢選択言語試験問題自動作成プログラム。 The component determining means includes means for determining the entire sentence in the second language of the selected parallel translation as a component satisfying the predetermined condition,
The replacement candidate creating means includes a plurality of machine translation means for machine translating the sentence in the first language of the selected parallel translation based on language information stored in the language information storage means,
The problem creating means is:
The second language sentence of the selected translation, and of the translation result by the plurality of machine translation unit, wherein the statistical measure that is calculated by the calculating means is the Most determined smaller than the threshold value statements Means for creating a set of choices comprising:
The multi-selection language test problem according to claim 6, comprising means for creating a multiple choice language test question by combining the sentence of the first language of the selected parallel translation and the set of choices in a predetermined form. Automatic creation program for limb choice language test questions.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004221450A JP4018673B2 (en) | 2004-07-29 | 2004-07-29 | Multiple choice language test question automatic creation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004221450A JP4018673B2 (en) | 2004-07-29 | 2004-07-29 | Multiple choice language test question automatic creation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006039353A JP2006039353A (en) | 2006-02-09 |
| JP4018673B2 true JP4018673B2 (en) | 2007-12-05 |
Family
ID=35904395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004221450A Active JP4018673B2 (en) | 2004-07-29 | 2004-07-29 | Multiple choice language test question automatic creation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4018673B2 (en) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4820197B2 (en) * | 2006-03-31 | 2011-11-24 | 株式会社日本統計事務センター | Capability value estimation method, capability value estimation device, and computer program |
| JP5317093B2 (en) * | 2008-04-07 | 2013-10-16 | シャープ株式会社 | Learning content generation device, learning content generation method, program for causing a computer to function as the learning content generation device, and computer-readable recording medium storing the program |
| JP5401859B2 (en) * | 2008-07-29 | 2014-01-29 | 富士通株式会社 | Problem creation program, problem creation apparatus, and problem creation method |
| JP5182954B2 (en) * | 2009-07-10 | 2013-04-17 | 日本電信電話株式会社 | Cavity problem generator and program thereof |
| JP5515150B2 (en) * | 2010-05-17 | 2014-06-11 | 公立大学法人首都大学東京 | Learning support device, learning support system, and learning support program |
| JP5664978B2 (en) * | 2011-08-22 | 2015-02-04 | 日立コンシューマエレクトロニクス株式会社 | Learning support system and learning support method |
| KR101853091B1 (en) * | 2017-05-19 | 2018-04-27 | (주)뤼이드 | Method, apparatus and computer program for providing personalized educational contents through user response prediction framework with machine learning |
| KR102231967B1 (en) * | 2018-01-16 | 2021-03-25 | 최보연 | Making system for test questions and method thereof |
| KR102149972B1 (en) * | 2018-01-16 | 2020-09-03 | 최보연 | Making system for test questions and method thereof |
| KR102149961B1 (en) * | 2018-01-19 | 2020-09-07 | 최보연 | Making system for test questions and method thereof |
| KR102143051B1 (en) * | 2018-01-19 | 2020-08-13 | 최보연 | Making system for test questions and method thereof |
| KR102195082B1 (en) * | 2018-12-19 | 2020-12-24 | 최보연 | Method for test questions |
| JP6930754B2 (en) * | 2019-09-09 | 2021-09-01 | ａｔａｍａ ｐｌｕｓ株式会社 | Learning support device and questioning method |
| CN111353037B (en) * | 2020-02-27 | 2021-06-22 | 北京字节跳动网络技术有限公司 | Topic generation method and device and computer readable storage medium |
| JP7019770B1 (en) | 2020-09-29 | 2022-02-15 | 瑞穂 東海林 | Computer systems and computer programs |
| KR102427321B1 (en) * | 2020-11-30 | 2022-07-28 | 정재훈 | Training system for auto generating and providing question |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2840119B2 (en) * | 1990-08-01 | 1998-12-24 | 富士通株式会社 | Automatic correct answer extraction method |
| JPH05281898A (en) * | 1992-03-30 | 1993-10-29 | Toshiba Corp | Teaching support system |
| JPH07261653A (en) * | 1994-03-25 | 1995-10-13 | Hitachi Ltd | Practice question forming and assisting system |
| JP4326107B2 (en) * | 2000-03-23 | 2009-09-02 | 富士通株式会社 | Problem creating apparatus and recording medium |
| JP2003173131A (en) * | 2001-12-06 | 2003-06-20 | Japan Research Institute Ltd | Question generating system, education system using question generating system, question generating program, and recording medium with the program recorded thereon |
| JP2004085734A (en) * | 2002-08-23 | 2004-03-18 | Sanyo Electric Co Ltd | Question preparation method, question preparation, question providing device, and computer program |
-
2004
- 2004-07-29 JP JP2004221450A patent/JP4018673B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006039353A (en) | 2006-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10325517B2 (en) | Systems and methods for extracting keywords in language learning | |
| Paradis et al. | Children's second language acquisition of English complex syntax: The role of age, input, and cognitive factors | |
| JP4018673B2 (en) | Multiple choice language test question automatic creation program | |
| US9959776B1 (en) | System and method for automated scoring of texual responses to picture-based items | |
| Wu et al. | Chinese spelling check evaluation at SIGHAN bake-off 2013 | |
| US8700382B2 (en) | Personal text assistant | |
| US9342499B2 (en) | Round-trip translation for automated grammatical error correction | |
| Thompson et al. | A generative model for semantic role labeling | |
| Herring et al. | ‘I saw the madre’: evaluating predictions about codeswitched determiner-noun sequences using Spanish–English and Welsh–English data | |
| Beinborn et al. | Predicting the difficulty of language proficiency tests | |
| US20070073532A1 (en) | Writing assistance using machine translation techniques | |
| JP4827163B2 (en) | Test question distribution system | |
| Lotz et al. | Omission and other sins: Tracking the quality of online machine translation output over four years | |
| Park et al. | Is the sky pure today? AwkChecker: an assistive tool for detecting and correcting collocation errors | |
| KR20090035346A (en) | Language stydy method which accomplishes a vocabulary analysis | |
| Kao et al. | Design and development of the sentence-based collocation recommender with error detection for academic writing | |
| Hermas | L2 and L3 ultimate attainment: an investigation of two parameters | |
| Xiang et al. | Multiple constraints on second language processing of English dative alternation | |
| JP7084003B1 (en) | English composition correction result analysis system | |
| Collentine et al. | A corpus analysis of the structural elaboration of Spanish heritage language learners | |
| Hamed | Automatic generation of lexical recognition tests using natural language processing | |
| Romagnoli | Connecting Chinese Written Discourse: A Case Study Based on Italian Learners | |
| Schwegler | Diachronic Applications in Hispanic Linguistics ed. by Eva Núñez Méndez | |
| Alreshidi et al. | Auto-Extracting Method of Cognates Words in Arabic and English Languages | |
| Adams | Spelling correction and morphological analysis to aid electronic dictionary look-up |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060620 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060802 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070309 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070828 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070920 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4018673 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110928 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120928 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120928 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120928 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130928 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |