JP2005331615A - 文章評価装置および文章評価方法 - Google Patents

Abstract

【課題】文章の評価を適切に行うことができる文章評価装置および文章評価方法を提供する。
【解決手段】答案理由文章クラス情報計算部１５は、各模範理由特徴クラス１２０および無関係理由特徴クラス１３０の模範理由特徴集合１２１および無関係理由特徴集合１３１それぞれと、答案理由文章３２の答案特徴集合との類似度を算出する。各類似度を算出すると、答案理由文章クラス情報計算部１５は、類似度が最も高い模範理由特徴集合１２１を含む模範理由特徴クラス１２０を、答案理由文章３２を分類するクラスと決定する。
【選択図】 図１

Description

本発明は、電子データ化された文章を評価する文章評価装置および文章評価方法に関するものである。

近年、安価で演算処理能力の高いコンピュータの普及に伴い、教育分野でもコンピュータやコンピュータネットワークが利用されるようになってきている。
例えば、一部の大学では、遠隔地にある他大学とLAN(Local Area Network)、WAN(Wide Area Network)、インターネット等のコンピュータネットワーク（以下、ネットワークという）で接続し、一方の大学で行われている講義を他方の大学で受講可能な環境を実現している。また、コンピュータに表示可能な教育コンテンツをサイトに用意し、そのサイトにネットワークを介して自宅のコンピュータでアクセスすることにより、在宅学習を可能にするオンライン学習も盛んに行われている。
このようなe-Learningを適切に運営するためには、学習者の習熟度を適切に把握することが重要である。習熟度を把握する１つの方法として、コンピュータを用いたオンラインのテストがある。このテスト問題は、解答として複数の選択肢を予め用意し、この中から何れかを学習者に選択させる方法が主である。しかしながら選択式の試験だけでは、学習者の習熟度を適切に把握できないという問題がある。

また、一部の資格試験においても、ネットワークに接続されたコンピュータで受験者が解答を入力し、この答案をコンピュータを用いて自動的に採点するデジタルテストが実施されている。しかし、このデジタルテストの場合もe-Learningの場合と同様、テスト問題の出題形式が選択式であるのが主である。したがって、受験者の深い知識や考え方を測るには、選択式のテストに加えて、文章で回答させる文章形式のテストを実施することが必要となる。

文章形式のテストは、選択式の場合とは異なり、正解を１つ、または、少数に限定することが困難である。これは、ある事柄を文章として表現する際、使用する単語や構文によって同じ事柄を様々な文章で表現することが可能だからである。したがって、予め模範解答を用意しておき、答案と模範解答とを文章を構成する文字列で単純に比較するような方法では、適切な答案を正解と評価することができない。
もし、このような文章形式の答案をコンピュータを用いて自動的に採点できるのであれば、e-Learningにおける習熟度確認試験やデジタルテストの採点を全て自動化することができるようになり、e-Learningの効率を高め、採点の人件費を節約することが可能となる。

文章形式の答案を自動採点する既存技術として、小論文の自動評価技術がある。これは、文章で書かれた設問に対する受験者の考えや意見が表現された答案文章の適当さを数値で評価する技術である。例えばEducational Testing Services(ETS)が行ってるビジネススクール入試試験(Graduate Management Admission Test,GMAT)では、E-raterと呼ばれる自動採点の技術が検討されている（例えば、非特許文献１参照。）。この技術では、文章を構成する文字、単語および文の種類や数量の傾向を分析し、過去の試験や専門家の意見を考慮して決められた最適な値と比較することにより、文章の表現の適切さを評価している。また、過去に行った同一の試験における答案を専門家が分類し、個々の分類に評価点を予め付与しておき、答案の文章とその分類の関連性を計算し、関連の高い文章の評価点をその答案の評価点としている。日本語においても、E-raterと同等の自動採点技術であるjeratorの検討が行われている（例えば、非特許文献２参照。）。jeratorの検討では、過去の答案の代わりに模範答案に関係が深いと考えられる新聞記事によって分類が作成されている。
一方、Intelligent Essay Assessor(IEA)（例えば、非特許文献３参照。）や、長坂らの技術（例えば、非特許文献４参照。）では、答案自体や試験に関係する文章データにより単語間の関連性を計算し、単語間の関連性を考慮して模範解答と答案の近さを計算している。
なお、出願人は、本明細書に記載した先行技術文献情報で特定される先行技術文献以外には、本発明に関連する先行技術文献を出願時までに発見するには至らなかった。
Burstein, J., Kukich, K., Wolff, S., C., Chodorow, M., Braden-Harder, L. and Harris, M. D.，Automated Scoring Using a Hybrid Feature Identification Technique, Proceedings of the Thirty-Sixth Annual Meeting of the Association for Computational Linguistics and Seventeenth International Conference on Computational Linguistics，1998，p.206-210 石垣恒憲，亀田雅之，「コンピュータによる日本語の自動採点システム」，電子情報通信学会技術研究報告，2002年，No.TL2002-40， p.43-48 Landauer, T. K. and Dumais, S. T.，A Solution to Plato's Problem，The Latent Semantic Analysis Theory of the Acquisition, Induction, and Representation of Knowledge, Psychological Review，1997，Vol. 104，p. 211-240 長坂悦敬，古瀬勝茂，石井哲，西川勉，「Web環境における記述問題自動採点エンジンの開発」，高度情報化支援ソフトウェアシーズ育成事業，2001年

上述した従来の文章の自動評価技術では、同一の試験の過去の答案やそれに類する文章データ、または、これらの答案や文章データの専門家による分類があれば、試験の種類に限らずに自動的に答案文章を評価することが可能である。
しかしながら、答案の内容が、選択肢を表す文章とこの選択肢を選択した理由を表す理由文章から構成される小論文のような試験の場合、従来の方法では、選択肢を表す文章と理由文章という答案や模範解答の構造的な情報を利用しないので、答案の評価が適切に行われない場合があった。

例えば、従来の方法では、選択肢を表す文章と理由文章が整合していない場合でも、選択肢を表す文章と理由文章を一括して評価してしまう。通常、理由文章の方が選択肢を表す文章よりも長文となることが多い。したがって、従来の方法では、主として理由文章の内容を模範解答のいくつかある理由文章の内容と近いかを評価することになり、選択肢を表す文章と理由文章の結びつきの適当さは評価されなくなってしまう。
また、従来の方法では、正解ではない等の例外的な選択肢を表す文章を選択した場合であっても、上述したように選択肢を表す文章と理由文章を一括して評価してしまうので、その答案を高く評価してしまう場合があった。

そこで、本発明は、上述したような課題を解決するためになされたものであり、文章の評価を適切に行うことができる文章評価装置および文章評価方法を提供することを目的とする。

上述したような課題を解決するために本発明にかかる文章評価装置は、複数の選択文章のうち任意に選択された１つの選択文章と、この選択文章を選択した理由を示す選択理由文章とから構成される答案を評価する文章評価装置において、選択文章と、この選択文章を選択する模範的な理由を示す模範理由文章の特徴からなる模範理由特徴集合とを含む複数の模範答案特徴クラスを記憶した模範答案特徴ＤＢと、選択理由文章から特徴を抽出する抽出手段と、模範理由文章と選択理由文章との類似度を、模範理由特徴集合と抽出手段により抽出された特徴とに基づいて算出し、類似度が最も高い模範理由文章を含む模範答案特徴クラスを特定する計算手段と、この計算手段により特定された模範答案特徴クラスに基づいて答案を評価する評価手段とを備えたことを特徴とする。本発明によれば、計算手段により模範答案特徴クラスが特定されると、答案の選択理由文章に類似度が最も高い模範理由文章に対応する選択文章が一意に定まる。したがって、選択理由文章と選択文章との結びつきの適当さを評価することが可能となる。
なお、特徴とは、複数の文章を比較する際に利用可能な要素であり、文章を構成する文字または単語など文章を構成する要素の全てまたは一部を意味する。

上記文章評価装置において、評価手段は、答案に含まれる選択文章と、計算手段により特定された模範答案特徴クラスに含まれる選択文章とが一致するか否かを判定する判定手段を備え、判定手段が一致しないと判定した場合、答案に対して最も低い評価をするようにしてもよい。
ここで、評価手段は、判定手段が一致すると判定した場合、計算手段により特定された模範答案特徴クラスに含まれる模範理由特徴集合から得られる特徴と、答案理由文章の特徴との類似度に基づいて答案を評価するようにしてもよい。

また、本発明にかかる他の形態の文章評価装置は、複数の選択文章のうち任意に選択された１つの選択文章と、この選択文章を選択した理由を示す選択理由文章とから構成される答案を評価する文章評価装置において、選択文章およびこの選択文章を選択する模範的な理由を示す模範理由文章の特徴からなる模範理由特徴集合を含む複数の模範答案特徴クラスと、選択文章を選択する模範的ではない理由を示す無関係理由文章の特徴からなる無関係理由特徴集合を含む無関係理由特徴クラスとを記憶した模範答案特徴ＤＢと、選択理由文章から特徴を抽出する抽出手段と、模範理由文章および無関係理由文章と選択理由文章との類似度を、模範理由特徴集合および無関係理由特徴集合と抽出手段により抽出された特徴とに基づいて算出し、類似度が最も高い模範理由文章または無関係理由文章を含む模範答案特徴クラスまたは無関係理由特徴クラスを特定する計算手段と、この計算手段により特定された模範答案特徴クラスまたは無関係理由特徴クラスに基づいて答案を評価する評価手段とを備えたことを特徴とする。

上記文章評価装置において、評価手段は、計算手段により無関係理由特徴クラスが特定された場合、答案に対して最も低い評価をするようにしてもよい。

また、上記文章評価装置において、選択文章およびこの選択文章に対応する模範理由文章を含む複数の模範理由文章クラスと、無関係理由文章を含む無関係理由文章クラスとのうち少なくとも一方を記憶した模範答案ＤＢと、この模範答案ＤＢから模範答案特徴ＤＢを作成する模範答案特徴ＤＢ作成手段とをさらに備えるようにしてもよい。

また、本発明にかかる文章評価方法は、複数の選択文章のうち任意に選択された１つの選択文章と、この選択文章を選択した理由を示す選択理由文章とから構成される答案を評価する文章評価方法において、選択文章と、この選択文章を選択する模範的な理由を示す模範理由文章の特徴からなる模範理由特徴集合とを含む複数の模範答案特徴クラスを記憶した模範答案特徴ＤＢを作成する作成ステップと、選択理由文章から特徴を抽出する抽出ステップと、模範理由文章と選択理由文章との類似度を、模範理由特徴集合と抽出ステップにより抽出された特徴とに基づいて算出し、類似度が最も高い模範理由文章を含む模範答案特徴クラスを特定する計算ステップと、この計算ステップにより特定された模範答案特徴クラスに基づいて答案を評価する評価ステップとを備えたことを特徴とする。

上記文章評価方法において、評価ステップは、答案に含まれる選択文章と、計算ステップにより特定された模範答案特徴クラスに含まれる選択文章とが一致するか否かを判定する判定ステップを備え、判定ステップで一致しないと判定した場合、答案に対して最も低い評価をするようにしてもよい。
ここで、評価ステップは、判定ステップで一致すると判定した場合、計算ステップにより特定された模範答案特徴クラスに含まれる模範理由特徴集合から得られる特徴と、答案理由文章の特徴との類似度に基づいて答案を評価するようにしてもよい。

また、本発明にかかる他の形態の文章評価方法は、複数の選択文章のうち任意に選択された１つの選択文章と、この選択文章を選択した理由を示す選択理由文章とから構成される答案を評価する文章評価方法において、選択文章およびこの選択文章を選択する模範的な理由を示す模範理由文章の特徴からなる模範理由特徴集合を含む複数の模範答案特徴クラスと、選択文章を選択する模範的ではない理由を示す無関係理由文章の特徴からなる無関係理由特徴集合を含む無関係理由特徴クラスとを記憶した模範答案特徴ＤＢを作成する作成ステップと、選択理由文章から特徴を抽出する抽出ステップと、模範理由文章および無関係理由文章と選択理由文章との類似度を、模範理由特徴集合および無関係理由特徴集合と抽出ステップにより抽出された特徴とに基づいて算出し、類似度が最も高い模範理由文章または無関係理由文章を含む模範答案特徴クラスまたは無関係理由特徴クラスを特定する計算ステップと、この計算ステップにより特定された模範答案特徴クラスまたは無関係理由特徴クラスに基づいて答案を評価する評価ステップとを備えたことを特徴とする。

上記文章評価方法において、評価ステップは、計算ステップで無関係理由特徴クラスが特定された場合、答案に対して最も低い評価をするようにしてもよい。

また、上記文章評価方法において、作成ステップは、選択文章およびこの選択文章に対応する模範理由文章を含む複数の模範理由文章クラスと、無関係理由文章を含む無関係理由文章クラスとのうち少なくとも一方を記憶した模範答案ＤＢとから模範答案特徴ＤＢを作成するようにしてもよい。

本発明によれば、選択理由文章の特徴と、模範理由文章の特徴との類似度に基づいて答案を評価するため、答案や模範解答の構造的な情報を利用して答案を評価することが可能となり、選択肢およびこの選択肢を選択した理由を述べる小論文のような試験の答案の評価を適切に行うことができる。
また、本発明によれば、答案に含まれる選択文章と、特定された模範答案特徴クラスに含まれる選択文章が一致するか否かを判定し、一致しない場合はその答案に対して最も低い評価をする。これにより、選択肢と理由文章の結びつきの適当さを考慮した適切な評価が可能となる。
さらに、本発明によれば、無関係理由特徴クラスが特定された場合、答案に対して最も低い評価をする。これにより、正解ではない等の例外的な選択肢が答案に含まれる場合でも、適切な評価が行うことが可能となる。

以下、図面を参照して本発明の実施の形態について詳細に説明する。
図１は、本実施の形態にかかる文章評価装置の構成を示すブロック図である。
本実施の形態にかかる文章評価装置１は、任意の質問に対して予め用意された模範となる答案を模範答案ＤＢ２から予め受信し、その質問に対してユーザ（以下、受験者という）が作成した答案３を模範答案ＤＢ２から受信した模範となる答案を用いて評価し、この評価を数値化した評価値４を外部に出力するものである。

図２は、質問を説明するための模式図である。
ここで、質問とは、図２に示すように、受験者への問いかけを表す文章であり、質問文章５と、この質問文章５について受験者が選択する２つ以上の答案選択文章６とから構成される。図２の場合は、質問文章５に対して、２つの答案選択文章６ａ，６ｂが設けられていることになる。
なお、質問文章５は、文章のみならず、画像や音声が含まれてもよい。
また、本実施の形態全般において、文章とは、複数の文字コードから構成される電子データのことを意味する。

模範答案ＤＢ２は、複数の模範理由文章クラス２１と、無関係理由文章クラス２２とから構成される。図３は、模範理由文章クラス２１と無関係理由文章クラス２２を説明するための模式図である。
模範理由文章クラス２１の数量は、質問文章５に対する答案選択文章６の数量に対応する。例えば、図２に示すように質問文章５に対して２つの答案選択文章６ａ、６ｂが設定されている場合、模範理由文章クラス２１は、答案選択文章６ａ、６ｂに１対１に対応する２つの模範理由文章クラス２１ａ，２１ｂが設定される。

模範理由文章クラス２１は、質問文章５に対する１つの答案選択文章６と、この答案選択文章６を選択した理由を示す少なくとも１つの模範理由文章７とから構成される。
例えば、図３（ａ）に示す模範理由文章クラス２１ａは、答案選択文章６ａに対して３つの模範理由文章７ａ〜７ｃが設けられている。また、図３（ｂ）に示す模範理由文章クラス２１ｂは、選択文章６ｂに対して２つの模範理由文章７ｄ〜７ｅが設けられている。
ここで、模範理由文章７は、答案選択文章６を選択する理由として適切であれば、個々の答案選択文章６に対して質問の作成者（以下、試験者という）が予め作成したり、または、質問に関連する文章、書籍、www(world wide web)などより収集した文章の中で適切なものを選択したものでもよい。

無関係理由文章クラス２２は、答案選択文章６を選択した理由とは関係のない文章である複数の無関係理由文章８を有する。例えば、図３（ｃ）に示す無関係理由文章クラス２２の場合は、３つの無関係理由文章８ａ〜８ｃが設定されている。

このような模範答案ＤＢ２は、公知のコンピュータの記憶装置や磁気ディスク等に記録されるようにしてもよい。
本実施の形態では、模範答案ＤＢ２が文章評価装置１と独立して設けられている。これにより、模範答案ＤＢ２を作成するための場所や時間等の自由度が増すので、試験者にとってとても使い勝手がよい。
なお、模範答案ＤＢ２は、文章評価装置１に内蔵するようにしてもよい。

答案３は、答案選択文章３１と、答案理由文章３２とから構成される。図４は、答案３を説明するための模式図である。
答案選択文章３１は、図２に示すような複数の答案選択文章６の中から受験者が選択した選択文章に相当する。
答案理由文章３２は、受験者が答案選択文章３１を選択した理由について記述した文章に相当する。
例えば、図４に示す答案３は、図２に示す質問５に対する受験者の答案であり、答案選択文章６から選択した答案選択文章３１と、この答案選択文章３１を選択した理由について記述した答案理由文章３２とから構成されている。

文章評価装置１は、模範答案特徴ＤＢ作成部１１と、模範答案特徴ＤＢ１２と、文章特徴抽出部１３と、類似度計算部１４と、答案理由文章クラス情報計算部１５と、評価値ＤＢ１６と、評価値算出部１７とから構成される。

模範答案特徴ＤＢ作成部１１は、模範答案ＤＢ２に基づいて模範答案特徴ＤＢ１２を作成する。
模範答案特徴ＤＢ１２は、複数の模範理由特徴クラス１２０と、無関係理由特徴クラス１３０とから構成される。図５は、模範理由特徴クラス１２０と無関係理由特徴クラス１３０を説明するための模式図である。
各模範理由特徴クラス１２０は、模範答案ＤＢ２の各模範理由文章クラス２１に１対１で対応する。例えば、図１に示すように、模範答案ＤＢ２に２つの模範理由文章クラス２１ａ，２１ｂが設けられている場合、模範答案特徴ＤＢ１２には、図３に示すように、それぞれに１対１で対応する模範理由特徴クラス１２０ａ，１２０ｂが設けられる。

模範理由特徴クラス１２０は、１対１に対応する模範理由文章クラス２１の答案選択文章６と、少なくとも１つの模範理由特徴集合１２１と、模範平均特徴集合１２２と、類似度統計情報１２３とから構成される。
例えば、図５（ａ）に示す模範理由特徴クラス１２０ａは、図３（ａ）の模範理由文章クラス２１ａに対応し、答案選択文章６ａと、模範理由特徴集合１２１ａ〜１２１ｃと、模範平均特徴集合１２２と、類似度統計情報１２３とから構成される。同様に、図５（ｂ）に示す模範理由特徴クラス１２０ｂは、図３（ｂ）の模範理由文章クラス２１ｂに対応し、答案選択文章６ｂと、模範理由特徴集合１２１ｄ，１２１ｅと、模範平均特徴集合１２２と、類似度統計情報１２３とから構成される。

模範理由特徴集合１２１は、対応する模範理由文章クラス２１の各模範理由文章７から抽出した特徴の集合から構成される。
ここで、特徴とは、複数の文章を比較する際に利用可能な要素であるならば適宜自由に設定することができ、例えば文章を構成する文字または単語など、文章を構成する要素の全てまたは一部を意味する。このような特徴は、文章に含まれる全ての単語の内で文章を内容で比較する際に重要な名詞や動詞のような特定の品詞の語や、予め文章評価装置１に登録された辞書に一致した語などでもよい。
例えば、図５（ａ）に示す模範理由特徴集合１２１ａ〜１２１ｃは、それぞれ対応する図３（ａ）の模範理由文章７ａ〜７ｃから抽出した特徴の集合から構成されている。同様に、図５（ｂ）に示す模範理由特徴集合１２１ｄ，１２１ｅは、それぞれ対応する図３（ｂ）の模範理由文章７ｄ，７ｅから抽出した特徴の集合から構成されている。

模範平均特徴集合１２２は、例えば、各模範理由特徴集合１２１に重複する特徴の集合、重複を除去した各模範理由特徴集合１２１の特徴の集合、全ての模範理由特徴集合１２１の特徴のうち一定回数以上出現する特徴の集合、各模範理由特徴集合１２１の特徴の和集合または積集合など、模範理由特徴クラス１２０に含まれる模範理由特徴集合１２１を特徴付ける特徴の集合から構成される。
例えば、図５（ａ）に示す模範平均特徴集合１２２ａは、模範理由特徴集合１２１ａ〜１２１ｃを特徴付ける特徴の集合から構成されている。同様に、図５（ｂ）に示す模範平均特徴集合１２２ｂは、模範理由特徴集合１２１ｄ，１２１ｅを特徴付ける特徴の集合から構成されている。

類似度統計情報１２３は、模範平均特徴集合１２２と各模範理由特徴集合１２１との似ている度合いに関する類似度に基づく統計情報であり、類似度の平均と標準偏差とから構成される。
例えば、図５（ａ）に示す類似度統計情報１２３ａは、模範理由特徴集合１２１ａ〜１２１ｃと模範平均特徴集合１２２ａとの類似度の平均と標準偏差とから構成されている。同様に、図５（ｂ）に示す類似度統計情報１２３ｂは、模範理由特徴集合１２１ｄ，１２１ｅと模範平均特徴集合１２２ｂとの類似度の平均と標準偏差とから構成されている。

無関係理由特徴クラス１３０は、無関係理由文章クラス２２の無関係理由文章８から抽出した特徴の集合から構成される無関係理由特徴集合１３１を有する。例えば、図５（ｃ）に示す無関係理由特徴クラス１３０の無関係理由特徴集合１３１ａ〜１３１ｃは、それぞれ対応する図３（ｃ）の無関係理由文章８ａ〜８ｃから抽出した特徴の集合から構成されている。

文章特徴抽出部１３は、模範答案特徴ＤＢ作成部１１または答案理由文章クラス情報計算部１５から文の集合である文章を受信し、受信した文章から特徴をを抽出して模範答案特徴ＤＢ作成部１１または答案理由文章クラス情報計算部１５に出力する。
なお、文章特徴抽出部１３は、単語を分類したデータベースである類似辞典（シソーラス）を設け、文章中の各単語が含まれる類語辞典中の分類を特徴として出力するようにしてもよい。

類似度計算部１４は、模範答案特徴ＤＢ作成部１１または答案理由文章クラス情報計算部１５から異なる２つの特徴の集合を受信すると、これらの集合の似ている度合いを表す類似度を計算し、この計算結果を模範答案特徴ＤＢ作成部１１または答案理由文章クラス情報計算部１５に出力する。
ここで、類似度は、予め設定された最大値と最小値の間の値をとり、似ている度合いが高いほどその値が大きくなる。

類似度の計算方法としては、２つの特徴の集合間に一致する特徴の数量を計測し、２つの特徴の集合それぞれで一致する特徴が含まれる割合を求め、この値の大きい方または小さい方の値を出力する方法や、予め類似度計算部１４で最大の一致数を類似度の最大値、最小の一致数を類似度の最小値として設定し、比較する特徴の集合間で一致する特徴数が最大値よりも大きな場合には予め設定した類似度の最大値、最小値よりも小さな場合には予め設定した類似度の最小値、これら以外の場合には一致する特徴数を類似度として出力する方法等が挙げられる。

また、文章の特徴が単語で表現されている場合には、類似度の計算方法として上述した方法のみならず、単語の概念ベクトルを用いて計算するようにしてもよい。単語の概念ベクトルとは、考慮する全ての単語に共通する属性を複数予め用意し、個々の単語についてそれぞれの属性における重み付けを表す値を用意し、このような属性や重み付けを要素としたベクトルである。概念ベクトルを自動的に作成する方法としては、国語辞典を利用する方法（笠原要，松澤和光，石川勉，「国語辞書を利用した日常語の類似性判別」，情報処理学会論文誌，1997年，Vol.38， No.7， p.1272-1284）や、新聞記事などのコーパスを利用する方法（Schutze, H，Dimensions of Meaning，Proceedings of Supercomputing 92，1992，p.787-796）が提案されている。このような概念ベクトルを予め類似度計算部１４内に設け、２つの特徴の集合それぞれに対応する概念ベクトルを足し合わせ、２つの概念ベクトルがなす角度の余弦にて類似度を算出するようにしてもよい。

答案理由文章クラス情報計算部１５は、受験者が作成した答案３が入力されると、文書特徴抽出部１３に答案３の答案理由文章３２から特徴の集合（以下、答案特徴集合という）を抽出させる。
次に、答案理由文章クラス情報計算部１５は、模範答案特徴ＤＢ１２を参照して、答案理由文章３２から抽出した答案特徴集合と、模範答案特徴ＤＢ１２の各模範理由特徴クラス１２０の各模範理由特徴集合１２１および無関係理由特徴クラス１３０の各無関係理由特徴集合１３１との類似度を類似度計算部１４に計算させ、この計算結果に基づいてその答案理由文章３２がどの模範理由特徴クラス１２０または無関係理由特徴クラス１３０に分類するかを決定する。分類する模範理由特徴クラス１２０または無関係理由特徴クラス１３０を決定すると、答案理由文章クラス情報計算部１５は、答案３の答案選択文章３１、答案３の答案理由文章３２より抽出された特徴の集合、名称等の分類を決定した模範理由特徴クラス１２０または無関係理由特徴クラス１３０（以下、便宜上、それぞれ決定模範理由特徴クラス１２０または決定無関係理由特徴クラス１３０という）に関する情報を評価値算出部１７に出力する。

答案３の答案理由文書３２より抽出される答案特徴集合の分類を決定する方法は、各クラスに含まれる模範理由特徴集合１２１および無関係理由特徴集合１３１と答案３の答案理由文章３２より抽出される特徴の集合とを比較して決定する方法であるならば、各種方法を適宜自由に用いることができる。例えば、各クラスｋ個の模範理由特徴集合１２１および無関係理由特徴集合１３１と、答案理由文章３２より抽出される特徴の集合との類似度を算出し、この算出値の最大の類似度をとる模範理由特徴集合１２１または無関係理由特徴集合１３１が属するクラスを、答案理由文章３２を有する答案３が属する分類として決定するようにしてもよい。ここで、ｋは任意の値を意味する。

評価値ＤＢ１６は、最も答案が適切であることを示す評価値上限と、最も答案が不適切であることを示す評価値下限とを記憶している。このような評価値下限および評価値上限は、ユーザにより予め設定される。評価値上限が評価値下限よりも大きな値であるならば、評価値上限および評価値下限の値は、適宜自由に設定することができる。

評価値算出部１７は、答案理由文書クラス情報計算部１５から出力される答案３の答案選択文章３１、答案３の答案理由文章３２より抽出された特徴の集合、決定模範理由特徴クラス１２０または決定無関係理由特徴クラス１３０に関する情報を受け取り、模範答案特徴ＤＢ１２と評価値ＤＢ１６を参照して評価値を計算し、計算結果を出力する。

評価値の計算方法は、まず、答案３の答案選択文章３１と、決定模範理由特徴クラス１２０の答案選択文章６とが一致しているか否かを確認する。
一致していない場合、評価値算出部１７は、評価値下限を出力する。答案理由文章３２が無関係理由特徴クラス１３０に分類されている場合も、評価値算出部１７は評価値下限を出力する。
答案３の答案選択文章３１と決定模範理由特徴クラス１２０の答案選択文章６とが一致している場合、評価値算出部１７は、答案３の答案理由文章３２より抽出された答案特徴集合と、決定模範理由特徴クラス１２０の模範平均特徴集合１２２との類似度を、類似度計算部１４に計算させる。この計算した類似度と、決定模範理由特徴クラス１２０の類似度統計情報１２３とを比較することにより、評価値算出部１７は評価値を決定する。

評価値の決定方法としては、答案３の答案理由文章３２より抽出された答案特徴集合と決定模範理由特徴クラス１２０の模範平均特徴集合１２２の類似度、および、決定模範理由特徴クラス１２０の類似度統計情報１２３を用い、評価値を評価値上限と評価値下限の間に設定するものであるならば、各種方法を適宜自由に用いることができる。例えば、類似度統計情報１２３の類似度の平均値と標準偏差を用い、その平均値から一定数倍の標準偏差を足した値と引いた値の間に計算された類似度が含まれている場合は評価値上限、これ以外の場合には評価値下限とするようにしてもよい。また、別の評価値の決定方法としては、計算された類似度が類似度統計情報１２３の類似度の平均値から標準偏差を差し引いた値以上の場合は評価値上限、これ以外の場合には評価値下限とするようにしてもよい。

このような文章評価装置１は、ＣＰＵ等の演算装置、メモリ、HDD等の記憶装置、模範答案ＤＢ２や受験者の端末装置と情報の送受を行うＩ/Ｆ装置、キーボード、マウス等の入力装置、CRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)、FED(Field Emission Display)または有機EL(Electro Luminescence)等の表示装置などを備えたコンピュータと、このコンピュータにインストールされたプログラムとからそれぞれ構成されており、上記ハードウェア装置がプログラムによって制御されることによって、すなわちハードウェア資源とソフトウェアが協働することによって、上述した模範答案特徴ＤＢ作成部１１、模範答案特徴ＤＢ１２、文章特徴抽出部１３、類似度計算部１４、答案理由文章クラス情報計算部１５、評価値ＤＢ１６および評価値算出部１７を実現する。

次に、本実施の形態にかかる文章評価装置１の動作について図１〜７を参照して説明する。図６は、本実施の形態にかかる文章評価装置１の動作を示すフローチャート、図７は、本実施の形態にかかる文章評価装置１による類似度の算出動作の具体例を示す模式図である。
まず、図２に示す質問文章５に対して、この質問文章５に対応する図３に示す模範理由文章クラス２１ａ，２１ｂおよび無関係理由文章クラス２２を有する模範答案ＤＢ２を本実施の形態にかかる文章評価装置１に入力する（ステップＳ６０１）。

文章評価装置１の模範答案特徴ＤＢ作成部１１は、文章特徴抽出部１３に、入力された模範答案ＤＢ２の各模範理由文章クラス２１および無関係理由文章クラス２２の模範理由文章７および無関係理由文章８から特徴を抽出させ、模範理由特徴集合１２１および無関係理由特徴集合１３１を作成させる（ステップＳ６０２）。
例えば、文章特徴抽出部１３は、図３（ａ），（ｂ）に示す模範答案ＤＢ２に含まれる模範理由文章クラス２１ａ，２１ｂの模範理由文章７ａ〜７ｅから特徴を抽出し、図５（ａ），（ｂ）に示す模範答案特徴ＤＢ１２に含まれる模範理由特徴クラス１２０ａ，１２０ｂの模範理由特徴集合１２１ａ〜１２１ｅを作成する。同様に、文章特徴抽出部１３は、図３（ｃ）に示す模範答案ＤＢ２に含まれる無関係理由文章クラス２２の無関係理由文章８から特徴を抽出し、図５（ｃ）に示す模範答案特徴ＤＢ１２に含まれる無関係理由特徴クラス１３０の無関係理由特徴集合１３１を作成する。

本実施の形態の場合、文章特徴抽出部１３は、模範理由文章７または無関係理由文章から名詞のみを特徴として抽出する。したがって、例えば図３（ａ）に示す模範理由文章クラス２１ａの模範理由文章７ａの場合、文章特徴抽出部１３は、模範理由文章７ａから「日本、山、地形、梅雨、台風、一時期、降雨、ダム、防災、手段」という特徴を抽出する。この抽出した特徴の集合が、図５（ａ）に示す模範理由特徴クラス１２０ａの模範理由特徴集合１２１ａとなる。
上述した模範理由文章７ａの場合と同様、模範理由文章７ｂ〜７ｅおよび無関係理由文章８ついても、文章特徴抽出部１３は、それぞれ名詞からなる特徴を抽出し、模範理由特徴集合１２１ｂ〜１２１ｅおよび無関係理由特徴集合１３１を作成する。

各模範理由特徴クラス１２０の模範理由特徴集合１２１を作成すると、模範答案特徴ＤＢ作成部１１は、個々の模範理由特徴クラス１２０について模範平均特徴集合１２２を作成する（ステップＳ６０３）。
例えば、図５（ａ）に示す模範理由特徴クラス１２０ａにおいては、模範答案特徴ＤＢ作成部１１は、模範理由特徴集合１２１ａ〜１２１ｃの中に２個以上存在する特徴の集合を模範平均特徴集合１２２ａとして作成する。同様に、図５（ｂ）に示す模範理由特徴クラス１２０ｂにおいては、模範答案特徴ＤＢ作成部１１は、模範理由特徴集合１２１ｄ，１２１ｅの中に２個以上存在する特徴の集合を模範平均特徴集合１２２ｂとして作成する。

模範平均特徴集合１２２を作成すると、模範答案特徴ＤＢ作成部１１は、個々の模範理由特徴クラス１２０について類似度統計情報１２３を類似度計算部１４に作成させる（ステップＳ６０４）。一例として、図５（ａ），（ｂ）に示す模範理由特徴クラス１２０ａ，１２０ｂの類似度統計情報１２３ａ，ｂの作成方法について、図７（ａ），（ｂ）を参照して説明する。

まず、図５（ａ）に示す模範理由特徴クラス１２０ａの場合について説明する。
本実施の形態では、２つの特徴集合間で共通する特徴数がそれぞれの特徴集合で占める割合の平均を類似度とする。したがって、模範理由特徴集合１２１ａと模範平均特徴集合１２２ａの類似度は、模範理由特徴集合１２１ａの特徴数が１０個、模範平均特徴集合１２２ａと共通する特徴数が９個、模範平均特徴集合１２２ａの特徴数が９個なので、下式（１）で算出され、０．９５となる。
（９／１０＋９／９）／２＝０．９５ ・・・（１）
同様に、模範理由特徴集合１２１ｂと模範平均特徴集合１２２ａの類似度、模範理由特徴集合１２１ｃと模範平均特徴集合１２２ａの類似とは、それぞれ下式（２），（３）で算出される。
（８／１０＋８／９）／２＝０．８４ ・・・（２）
（２／５＋２／９）／２＝０．３１ ・・・（３）
上記３つの類似度の平均と標準偏差が類似度統計情報１２３ａの平均と標準偏差となる。したがって、類似度統計情報１２３ａの平均は０．７０、標準偏差は０．２８となる。

同様に、図５（ｂ）に示す模範理由特徴クラス１２０ｂの場合、模範理由特徴集合１２１ｄ，１２１ｅと模範平均特徴集合１２２ｂとの類似度は、それぞれ下式（４），（５）で算出される。
（４／１１＋４／４）／２＝０．６８ ・・・（４）
（４／８＋４／４）／２＝０．７５ ・・・（５）
これらの類似度から、類似度統計情報１２３ｂの平均は０．７２、標準偏差は０．０３となる。

上述した類似度統計情報１２３が作成されると、模範答案特徴ＤＢ１２が完成する。

模範答案特徴ＤＢ１２の完成後、受験者により作成された答案３が文章評価装置１に入力されると、答案理由文章クラス情報計算部１５は、文章特徴抽出部１３に答案３の答案理由文章３２から答案特徴集合を抽出させる（ステップＳ６０５）。
例えば、図４に示すような答案３が入力された場合、文章特徴抽出部１３は、上述したように本実施の形態では模範理由文章７ａ〜７ｅおよび無関係理由文章８から名詞からなる特徴を抽出しているので、答案理由文章３２からも「ダム、自然、破壊」という名詞の特徴を抽出する。

答案理由文章３２の答案特徴集合が抽出されると、答案理由文章クラス情報計算部１５は、その答案特徴集合の類似度を算出し（ステップＳ６０６）、答案理由文章３２の分類を決定する（ステップＳ６０７）。
本実施の形態では、最も単純な分類方法であるｋ近傍法を用いて分類を決定する。このｋ近傍法とは、各分類より最大ｋ個の要素を取り出し、分類対象との類似度を計算し、最も類似度が大きい要素の分類を対象の分類として決定する方法である。なお、本実施の形態では、全ての要素を用いて分類を決定することとする。

まず、答案理由文章クラス情報計算部１５は、図７（ｃ）に示すように、各模範理由特徴クラス１２０および無関係理由特徴クラス１３０の模範理由特徴集合１２１ａ〜１２１ｅおよび無関係理由特徴集合１３１ａ〜１３１ｃそれぞれと、答案理由文章３２の答案特徴集合との類似度を算出する。

一例として、模範理由特徴集合１２１ａと答案理由文章３２の答案特徴集合との類似度は、模範理由特徴集合１２１ａの特徴数が１０個、答案理由文章３２の答案特徴集合が３個、模範理由特徴集合１２１ａと答案理由文章３２の答案特徴集合とで共通する特徴の数が１個なので、下式（６）で算出され、０．２２となる。
（１／１０＋１／３）／２＝０．２２ ・・・（６）

同様の方法で、答案理由文章クラス情報計算部１５は、模範理由特徴集合１２１ｂ〜１２１ｅおよび無関係理由特徴集合１３１ａ〜１３１ｃそれぞれと、答案理由文章３２の答案特徴集合との類似度についても算出する。すると、各類似度は、０．２２（模範理由特徴集合１２１ｂ）、０．２７（模範理由特徴集合１２１ｃ）、０．４２（模範理由特徴集合１２１ｄ）、０．４６（模範理由特徴集合１２１ｅ）、０．３３（無関係理由特徴集合１３１ａ）、０（無関係理由特徴集合１３１ｂ）、０．３３（無関係理由特徴集合１３１ｃ）となる。

各類似度を算出すると、答案理由文章クラス情報計算部１５は、類似度が最も高い模範理由特徴集合１２１ｅを含む模範理由特徴クラス１２０ｂを、答案理由文章３２を分類するクラス、すなわち決定模範理由特徴クラス１２０ｂと決定する。

このように、本実施の形態によれば、答案選択文章を選択した理由に関する答案理由文章３２の答案特徴集合と、答案選択文章を選択した模範となる理由模範理由特徴集合１２１ａ〜１２１ｅとの類似度を算出する、すなわち答案選択文章を選択した理由に関する文章同士を対比させるので、答案や模範解答の構造的な情報を利用して答案を評価することが可能となり、択一的な質問に対する受験者の解答およびこの解答に至る理由を述べるような試験の答案を評価する場合も、適切な評価を行うことができる。

答案理由文章３２を分類するクラスが決定すると、答案理由文章クラス情報計算部１５は、答案３の答案選択文章３１、答案３の答案理由文章３２より抽出された答案特徴集合、分類を決定した模範理由特徴クラス１２０または無関係理由特徴クラス１３０に関する情報を評価値算出部１７に出力する（ステップＳ６０８）。
したがって、模範理由特徴クラス１２０ｂを答案理由文章３２を分類するクラスと決定すると、答案理由文章クラス情報計算部１５は、模範理由特徴クラス１２０ｂに関する情報と、答案３の答案選択文章３１である「２．推進すべきではない」と、模範理由特徴クラス１２０ｂの答案選択文章６である「２．推進すべきではない」と、答案理由文章３２より抽出された特徴の集合である「ダム、自然、破壊」を評価値算出部１７に送出する。

答案理由文章クラス情報計算部１５から各情報を受信すると、評価値算出部１７は、評価値を算出する（ステップＳ６０９）。

まず、評価値算出部１７は、答案３の答案選択文章３１と、決定模範理由特徴クラス１２０の答案選択文章６との２つの答案選択文章が一致しているか否かを確認する。
本実施の形態では、答案３の答案選択文章３１が「２．推進すべきではない」であり、模範理由特徴クラス１２０ｂの答案選択文章６が「２．推進すべきではない」であるので、２つの答案選択文章が一致していることがわかる。

２つの答案選択文章が一致している場合、評価値算出部１７は、評価値上限と評価値下限の差の半分を部分評価値として与える。
２つの答案選択文章が一致していない場合、評価値算出部１７は、評価値下限を外部に出力する。
例えば、評価値上限を１０、評価値下限を０と評価値ＤＢ１６を予め設定すると、模範理由特徴クラス１２０ｂを答案理由文章３２を分類するクラスと決定した場合は、２つの答案選択文章が一致しているので、部分評価点として５点が与えられることになる。

このように本実施の形態によれば、答案選択文章が一致しない場合はその答案３に対して最も低い評価をするので、答案選択文章３１と答案理由文章３２の結びつきの適当さを評価することが可能となり、結果として適切な評価を行うことができる。

なお、評価値算出部１７は、答案理由文章３２の無関係理由特徴クラス１３０に分類されている場合も、評価値算出部１７は評価値下限を出力する。
このように本実施の形態によれば、無関係理由特徴クラス１３０が特定された場合、答案３に対して最も低い評価をするので、同じ理由に関する様々な文章の記述に対して、それが予め用意した理由の文章の集まりの中で代表的であるか、また正解ではない等の例外的であるかに応じて適切に答案の評価値を算出することができるため、結果として適切な評価が可能となる。

続いて、２つの答案選択文章が一致している場合、評価値算出部１７は、決定模範理由特徴クラス１２０の模範平均特徴集合１２２と、答案理由文章３２の答案特徴集合との類似度を計算する。
図７（ｄ）に示すように、決定模範理由特徴クラス１２０ｂの場合、模範平均特徴集合１２２ｂの特徴が「ダム、建設、周辺、環境」の４個、答案理由文章３２の特徴が「ダム、自然、破壊」の３個、これらに共通する特徴が「ダム」の１個なので、模範平均特徴集合１２２ｂと答案理由文章３２の答案特徴集合との類似度は、下式（７）で算出され、０．２９となる。
（１／４＋１／３）／２＝０．２９ ・・・（７）

本実施の形態では、算出した類似度を類似度統計情報１２３と比較して評価値を決定するが、部分点が評価値下限よりも大きく、かつ、類似度が類似度統計情報１２３の平均から標準偏差を差し引いた値以上である場合には、評価点にさらに５点を与えることとする。
したがって、模範平均特徴集合１２２ｂと答案理由文章３２の答案特徴集合との類似度０．２９は、類似度統計情報１２３ｂの平均から標準偏差を引いた値、すなわち０．７２−０．０３＝０．６９より小さいので、評価値算出部１７は、最初に与えられた部分点５点を答案３に対する評価値４として出力する（ステップＳ６１０）。

このように、本実施の形態によれば、文章形式の答案において、いくつかの選択肢が考えられ、それぞれについて適切な理由を提示できれば正解とする小論文のような試験であっても、選択肢に対応した理由に関する文章を予め用意することにより、それぞれに応じて答案の評価を自動的に適切に計算することが可能となる。
さらに、同じ理由に関する様々な文章の記述に関して、それが予め用意した理由の文章の集まりの中で代表的であるか、例外的であるかに応じて適切に答案の評価値を算出することが可能となる。

本実施の形態にかかる文章評価装置の構成を示すブロック図である。 質問を説明するための模式図である。 （ａ）模範理由文章クラス２１ａ、（ｂ）模範理由文章クラス２１ｂ、（ｃ）無関係理由文章クラス２２を説明するための模式図である。 答案３を説明するための模式図である。 （ａ）模範理由特徴クラス１２０ａ、（ｂ）模範理由特徴クラス１２０ｂ、（ｃ）無関係理由特徴クラス１３０を説明するための模式図である。 本実施の形態にかかる文章評価装置１の動作を示すフローチャートである。 （ａ）模範理由特徴クラス１２０ａの各数値の算出動作を説明する図、（ｂ）模範理由特徴クラス１２０ｂの各数値の算出動作を説明する図、（ｃ）各特徴集合と答案理由文章３２との類似度の算出動作を説明する図、（ｄ）模範平均特徴集合１２２ｂと答案理由文章３２との類似度の算出動作を説明する図である。

符号の説明

１…文章評価装置、２…模範答案ＤＢ、３…答案、４…評価値、５…質問文章、６，６ａ，６ｂ…選択文章、７，７ａ〜７ｅ…模範理由文章、８，８ａ〜８ｃ…無関係理由文章、１１…模範答案特徴ＤＢ作成部、１２…模範答案特徴ＤＢ、１３…文章特徴抽出部、１４…類似度計算部、１５…答案理由文章クラス情報計算部、１６…評価値ＤＢ、１７…評価値算出部、２１…模範理由文章クラス、２２…無関係理由文章クラス、３１…答案選択文章、３２…答案理由文章、１２０，１２０ａ，１２０ｂ…模範理由特徴クラス、１２１，１２１ａ〜１２１ｅ…模範理由特徴集合、１２２，１２２ａ，１２２ｂ…模範平均特徴集合、１２３，１２３ａ，１２３ｂ…類似度統計情報、１３０…無関係理由特徴クラス、１３１…無関係理由特徴集合。

Claims (12)

1. 複数の選択文章のうち任意に選択された１つの選択文章と、この選択文章を選択した理由を示す選択理由文章とから構成される答案を評価する文章評価装置において、
   前記選択文章と、この選択文章を選択する模範的な理由を示す模範理由文章の特徴からなる模範理由特徴集合とを含む複数の模範答案特徴クラスを記憶した模範答案特徴ＤＢと、
   前記選択理由文章から特徴を抽出する抽出手段と、
   前記模範理由文章と前記選択理由文章との類似度を、前記模範理由特徴集合と前記抽出手段により抽出された特徴とに基づいて算出し、前記類似度が最も高い前記模範理由文章を含む前記模範答案特徴クラスを特定する計算手段と、
   この計算手段により特定された前記模範答案特徴クラスに基づいて前記答案を評価する評価手段と
   を備えたことを特徴とする文章評価装置。
2. 前記評価手段は、
   前記答案に含まれる前記選択文章と、前記計算手段により特定された前記模範答案特徴クラスに含まれる前記選択文章とが一致するか否かを判定する判定手段を備え、
   前記判定手段が一致しないと判定した場合、前記答案に対して最も低い評価をする
   ことを特徴とする請求項１記載の文章評価装置。
3. 前記評価手段は、
   前記判定手段が一致すると判定した場合、前記計算手段により特定された前記模範答案特徴クラスに含まれる前記模範理由特徴集合から得られる特徴と、前記答案理由文章の特徴との類似度に基づいて前記答案を評価する
   ことを特徴とする請求項２記載の文章評価装置。
4. 複数の選択文章のうち任意に選択された１つの選択文章と、この選択文章を選択した理由を示す選択理由文章とから構成される答案を評価する文章評価装置において、
   前記選択文章およびこの選択文章を選択する模範的な理由を示す模範理由文章の特徴からなる模範理由特徴集合を含む複数の模範答案特徴クラスと、前記選択文章を選択する模範的ではない理由を示す無関係理由文章の特徴からなる無関係理由特徴集合を含む無関係理由特徴クラスとを記憶した模範答案特徴ＤＢと、
   前記選択理由文章から特徴を抽出する抽出手段と、
   前記模範理由文章および前記無関係理由文章と前記選択理由文章との類似度を、前記模範理由特徴集合および前記無関係理由特徴集合と前記抽出手段により抽出された特徴とに基づいて算出し、前記類似度が最も高い前記模範理由文章または前記無関係理由文章を含む前記模範答案特徴クラスまたは前記無関係理由特徴クラスを特定する計算手段と、
   この計算手段により特定された前記模範答案特徴クラスまたは前記無関係理由特徴クラスに基づいて前記答案を評価する評価手段と
   を備えたことを特徴とする文章評価装置。
5. 前記評価手段は、前記計算手段により前記無関係理由特徴クラスが特定された場合、前記答案に対して最も低い評価をする
   ことを特徴とする請求項４記載の文章評価装置。
6. 前記選択文章およびこの選択文章に対応する模範理由文章を含む複数の模範理由文章クラスと、前記無関係理由文章を含む無関係理由文章クラスとのうち少なくとも一方を記憶した模範答案ＤＢと、
   この模範答案ＤＢから前記模範答案特徴ＤＢを作成する模範答案特徴ＤＢ作成手段と
   をさらに備えることを特徴とする請求項１乃至５の何れか１項記載の文章評価装置。
7. 複数の選択文章のうち任意に選択された１つの選択文章と、この選択文章を選択した理由を示す選択理由文章とから構成される答案を評価する文章評価方法において、
   前記選択文章と、この選択文章を選択する模範的な理由を示す模範理由文章の特徴からなる模範理由特徴集合とを含む複数の模範答案特徴クラスを記憶した模範答案特徴ＤＢを作成する作成ステップと、
   前記選択理由文章から特徴を抽出する抽出ステップと、
   前記模範理由文章と前記選択理由文章との類似度を、前記模範理由特徴集合と前記抽出ステップにより抽出された特徴とに基づいて算出し、前記類似度が最も高い前記模範理由文章を含む前記模範答案特徴クラスを特定する計算ステップと、
   この計算ステップにより特定された前記模範答案特徴クラスに基づいて前記答案を評価する評価ステップと
   を備えたことを特徴とする文章評価方法。
8. 前記評価ステップは、
   前記答案に含まれる前記選択文章と、前記計算ステップにより特定された前記模範答案特徴クラスに含まれる前記選択文章とが一致するか否かを判定する判定ステップを備え、
   前記判定ステップで一致しないと判定した場合、前記答案に対して最も低い評価をする
   ことを特徴とする請求項７記載の文章評価方法。
9. 前記評価ステップは、
   前記判定ステップで一致すると判定した場合、前記計算ステップにより特定された前記模範答案特徴クラスに含まれる前記模範理由特徴集合から得られる特徴と、前記答案理由文章の特徴との類似度に基づいて前記答案を評価する
   ことを特徴とする請求項８記載の文章評価方法。
10. 複数の選択文章のうち任意に選択された１つの選択文章と、この選択文章を選択した理由を示す選択理由文章とから構成される答案を評価する文章評価方法において、
    前記選択文章およびこの選択文章を選択する模範的な理由を示す模範理由文章の特徴からなる模範理由特徴集合を含む複数の模範答案特徴クラスと、前記選択文章を選択する模範的ではない理由を示す無関係理由文章の特徴からなる無関係理由特徴集合を含む無関係理由特徴クラスとを記憶した模範答案特徴ＤＢを作成する作成ステップと、
    前記選択理由文章から特徴を抽出する抽出ステップと、
    前記模範理由文章および前記無関係理由文章と前記選択理由文章との類似度を、前記模範理由特徴集合および前記無関係理由特徴集合と前記抽出ステップにより抽出された特徴とに基づいて算出し、前記類似度が最も高い前記模範理由文章または前記無関係理由文章を含む前記模範答案特徴クラスまたは前記無関係理由特徴クラスを特定する計算ステップと、
    この計算ステップにより特定された前記模範答案特徴クラスまたは前記無関係理由特徴クラスに基づいて前記答案を評価する評価ステップと
    を備えたことを特徴とする文章評価方法。
11. 前記評価ステップは、前記計算ステップで前記無関係理由特徴クラスが特定された場合、前記答案に対して最も低い評価をする
    ことを特徴とする請求項１０記載の文章評価方法。
12. 前記作成ステップは、
    前記選択文章およびこの選択文章に対応する模範理由文章を含む複数の模範理由文章クラスと、前記無関係理由文章を含む無関係理由文章クラスとのうち少なくとも一方を記憶した模範答案ＤＢとから前記模範答案特徴ＤＢを作成する
    ことを特徴とする請求項７乃至１１の何れか１項記載の文章評価装置。
    

Images