<第1の実施の形態>
本開示の第1の実施の形態について、図面を参照して説明する。図1は、本実施の形態に係る文章評価装置10の機能構成の一例を示す機能ブロック図である。図2は、図1に示す文章評価装置10を含む文章評価システム1の構成の一例を示すブロック図である。
図2に示す通り、文章評価システム1は、文章評価装置10と評価基準記憶装置20と出力装置30とを備える。文章評価装置10は、評価基準記憶装置20および出力装置30と、ネットワークを介してまたは介さずに通信可能に接続している。
評価基準記憶装置20は、第1の文章を構成する第1事象の間に成り立つ第1論理関係を表す情報を記憶する。第1の文章は、後述する第2の文章に対する評価の基準となる文章である。第1の文章は、例えば、模範解答である。以下、第1の文章が模範解答であるとして説明を行う。模範解答は、後述する評価部13が評価を行う第2の文章(例えば、答案)に関連付けられたある問題に対して、模範となる解答の一例を示す。模範解答は、例えば、自然文で記述される。評価基準記憶装置20は、例えば、非特許文献2に記載の技術を用いて、模範解答である自然文を論理式に変換することによって得られた第1論理関係を表す情報を格納してもよい。評価基準記憶装置20は、例えば、ハードディスクドライブ等によって実現されてもよい。
ここで、第1事象とは、例えば、論理式に含まれる要素である。論理式は、例えは、非特許文献2に記載の方法で表現される。第1事象とは、例えば、キーワードまたはキーフレーズで表現される。例えば、模範解答が「戦争が起きた。それゆえ、財政難になった。」であり、変換によって得られた論理式を模式的に表現したものが「(戦争)→(財政難)」であるとする。この論理式を模式的に表現したものを論理表現情報と呼ぶ。この場合、(戦争)および(財政難)は第1事象であり、(戦争)および(財政難)の間の矢印(→)は、第1事象の間に成り立つ第1論理関係となる。この例の場合、第1論理関係は矢印の起点の第1事象を原因とし、矢印の終点の第1事象を結果とする因果関係である。また、第1論理関係は、因果関係に限定されず、例えば、上位概念に対する下位概念の関係を表す上下関係であってもよいし、第1事象が同時に起こるイベントであることを表す関係(同時関係と呼ぶ)であってもよいし、その他の関係であってもよい。このように、第1論理関係は、論理式から抽出された、第1事象の間に成り立つ論理関係であり、第1事象の情報とこれらの関係性を表す情報を含むものである。
出力装置30は、後述する評価部13の採点結果を出力する。出力装置30は、例えば、液晶ディスプレイなどの表示装置であってもよいし、プリンタ等の印刷装置であってもよい。
また、評価基準記憶装置20と出力装置30とは文章評価装置10に内蔵されるものであってもよい。
図1に示す通り、本実施の形態に係る文章評価装置10は、取得部11と、論理関係抽出部12と、評価部13とを備える。
取得部11は、模範解答を構成する第1事象の間に成り立つ第1論理関係を取得する。取得部11は、例えば、評価基準記憶装置20から第1論理関係を取得する。なお、取得部11は、評価基準記憶装置20からではなく、文章評価装置10に入力された模範解答を論理式に変換することによって第1論理関係を取得してもよい。取得部11が第1論理関係を取得する方法は特に限定されない。取得部11は、取得した第1論理関係を評価部13に供給する。
論理関係抽出部12は、評価対象である第2の文章から、該第2の文章を構成する第2事象の間に成り立つ第2論理関係を抽出する。第2の文章は、例えば、答案である。答案は、例えば、自然文で記述されたものである。論理関係抽出部12は、自然文で記載された答案を例えば、非特許文献2に記載の技術を用いて論理式に変換することにより、第2論理関係を抽出する。論理関係抽出部12は、抽出した第2論理関係を評価部13に供給する。以下、評価対象である第2の文章を、評価対象の答案として説明を行う。
ここで、第2事象とは、第1事象と同様に論理式に含まれる要素であり、例えば、キーワードまたはキーフレーズで表現される。また、第2論理関係は、このような第2事象の間に成り立つ論理関係であり、例えば、因果関係、同時関係である。
評価部13は、第1論理関係と第2論理関係との比較により、評価対象の答案を採点する。評価部13は、取得部11から第1論理関係を受け取る。また、評価部13は、論理関係抽出部12から第2論理関係を受け取る。そして、評価部13は、第1論理関係と第2論理関係とを比較し、同じ論理関係を表しているか否かを判定する。評価部13は、第1論理関係と第2論理関係とが同じ論理関係を表している場合、答案に含まれる第2論理関係が正解であると判定する。そして、第2論理関係を含む答案を採点する。例えば、第1論理関係に、所定の点数が関連付けられている場合、評価部13は、正解であると判定した第2論理関係と同じ論理関係を表す第1論理関係に関連付けられた所定の点数を用いて、答案を採点することにより、該答案を評価する。
図3は、本実施の形態に係る文章評価装置10の処理の流れの一例を示すフローチャートである。図3に示す通り、本実施の形態に係る文章評価装置10の取得部11は、模範解答を構成する第1事象の間に成り立つ第1論理関係を取得する(ステップS31)。また、論理関係抽出部12は、評価対象の答案から、該評価対象の答案を構成する第2事象の間に成り立つ第2論理関係を抽出する(ステップS32)。そして、評価部13は、第1論理関係と第2論理関係との比較により、評価対象の答案を採点する(ステップS33)。
以上により、文章評価装置10は処理を終了する。
本実施の形態に係る文章評価装置10によれば、模範解答を構成する第1事象の間に成り立つ第1論理関係と、評価対象の答案を構成する第2事象の間に成り立つ第2論理関係とを比較することによって、評価対象の答案を評価する。上述した通り、第1論理関係および第2論理関係は、例えば、因果関係である。例えば、模範解答が「(A)→(B)」の論理表現情報で表現され、(A)と(B)との間の矢印(→)が(A)を原因、(B)を結果とする因果関係を表す場合、第1事象は(A)および(B)であり、第1事象(A)と第1事象(B)との間に成り立つ第1論理関係は、第1事象(A)を原因、第1事象(B)を結果とする因果関係である。
そして、答案を構成する第2事象の間に成り立つ第2論理関係が、第2事象(A)を原因、第2事象(B)を結果とする因果関係の場合、第1論理関係と、第2論理関係とが同じ論理関係であるため、評価部13は、この答案に含まれる第2論理関係が正しいと判定することができる。よって、評価部13は、この答案に含まれる第2論理関係に対して、例えば、所定の点数を付与することができる。
また、答案を構成する第2事象の間に成り立つ第2論理関係が、第2事象(B)を原因、第2事象(A)を結果とする因果関係の場合、この第2論理関係を含む論理式を模式的に表現した論理表現情報は「(B)→(A)」となる。第1論理関係を含む論理式を模式的に表現した論理表現情報は、上述した通り「(A)→(B)」であるため、答案を構成する第2事象(A)および第2事象(B)は、模範解答を構成する第1事象(A)および第1事象(B)と同じであるが、第1論理関係と第2論理関係とは異なる論理関係である。したがって、評価部13は、この答案に含まれる第2論理関係が間違っていると判定することができる。よって、評価部13は、この答案に含まれる第2論理関係に対して、例えば、点数を付与しない、または、マイナスの点数を付与することができる。
このように、本実施の形態に係る文章評価装置10は、採点対象の答案に含まれる要素である第2事象が第1事象と同じであっても第2事象の間に成り立つ第2論理関係と第1論理関係とを比較することによって、答案の評価を行う。よって、文章評価装置10は、答案を構成する第2事象の間の論理関係である第2論理関係の正誤を正しく評価することができる。すなわち、文章評価装置10は、採点対象の答案に含まれる要素間の論理関係に対して評価を行うことができる。
<第2の実施の形態>
次に、上述した第1の実施の形態を基本とする、本開示の第2の実施の形態について、図面を参照して説明する。図4は、本実施の形態に係る文章評価装置100の機能構成の一例を示す機能ブロック図である。なお、図4に示す文章評価装置100は、上述した文章評価装置10と評価基準記憶装置20とが一体となった装置であるとして説明を行う。
図4に示す通り、本実施の形態に係る文章評価装置100は、模範解答受付部110、第1抽出部120、重み受付部130、採点基準記憶部(評価基準記憶装置)140、答案受付部150、第2抽出部(論理関係抽出部)160、取得部170および採点部(評価部)180を備える。
模範解答受付部110は、評価対象の答案に対する模範解答を受け付ける。模範解答は、本実施の形態では、自然文であるとする。模範解答受付部110は、例えば、キーボードなどの入力装置を用いて、例えば、問題の出題者、模範解答の作成者または問題の評価者によって入力された模範解答を受け付ける。以下、問題の出題者、模範解答の作成者または問題の評価者をまとめて、単に評価者と呼ぶ。模範解答受付部110は、受け付けた模範解答を第1抽出部120に供給する。なお、本実施の形態では、答案の評価の方法として、該答案の採点を行うことを例に挙げる。よって、以下では、評価対象の答案を、採点対象の答案とも呼ぶ。
第1抽出部120は、模範解答を構成する事象の間に成り立つ論理関係である第1論理関係を、該模範解答から抽出する。まず、第1抽出部120は、模範解答受付部110から自然文で記載された模範解答を受け取る。第1抽出部120は、この模範解答である自然文を論理式に変換する。第1抽出部120は、例えば、非特許文献2に記載の技術を用いて、自然文を論理式に変換することにより、該自然文から第1論理関係を抽出する。第1抽出部120は、変換した論理式に含まれる複数の第1事象および第1事象の間に成り立つ第1論理関係を夫々採点基準記憶部140に格納する。
ここで、第1事象とは、論理式に含まれる要素を示す。第1事象は、例えば、キーワードまたはキーフレーズで表現される。要素は、単語の概念を含んでもよい。第1事象および第1論理関係の具体例は後述する。なお、以下では、第1事象を第1要素とも呼ぶ。
重み受付部130は、論理式に変換された模範解答に含まれる各第1要素および各第1論理関係に対する重みの入力を受け付ける。重みとは、例えば、各第1要素および各第1論理関係に付与する配点である。また、重みとは、第2事象(後述)および第2論理関係(後述)を含む答案を採点する際に、第2事象と一致する第1事象および第2論理関係と一致する第1論理関係に対して与えられる点数(部分点)である。重みは、基準となる値(得点)に対する相対的な値(パラメータ)であってもよいし、配点そのものであってもよい。また、重みは、第1事象および第1論理関係に対する評価を表す評価情報(評価値)とも呼べる。本実施の形態では、重み受付部130が各第1要素および各第1論理関係に対する配点を受け付けるとして説明を行う。重み受付部130は、受け付けた配点を、採点基準記憶部140に格納された、関連する第1要素または第1論理関係に関連付ける。
採点基準記憶部140は、互いに関連付けられた、第1抽出部120によって変換された論理式に含まれる第1要素および第1論理関係と重み受付部130が受け付けた重みとを採点基準(評価基準)として記憶する。後述する採点部180は、この採点基準に含まれる重みに応じて採点を行う。なお、採点基準記憶部140に格納された採点基準の一例については図面を変えて後述する。
答案受付部150は、採点対象の答案を受け付ける。採点対象の答案は、本実施の形態では、自然文であるとする。なお、以下では、採点対象の答案を単に答案とも呼ぶ。答案受付部150は、例えば、ネットワーク等を介して、答案の作成者によって入力された答案を、ネットワーク等を介して受信することにより、該答案を受け付ける。答案受付部150は、受け付けた答案を第2抽出部160に供給する。
第2抽出部160は、上述した第1の実施の形態における論理関係抽出部12の一例である。第2抽出部160は、採点対象の答案から、該採点対象の答案を構成する第2事象の間に成り立つ第2論理関係を抽出する。まず、第2抽出部160は、自然文で記載された答案を受け取る。第2抽出部160は、受け取った答案に含まれる自然文を論理式に変換する。第2抽出部160が答案に含まれる自然文を論理式に変換する方法は、第1抽出部120が模範解答である自然文を論理式に変換する方法と同じであってもよいし異なっていてもよい。第2抽出部160は、任意の方法を用いて、答案に含まれる自然文を論理式に変換することにより、該答案から第2論理関係を抽出する。第2抽出部160は、変換した論理式に含まれる第2事象および第2事象の間に成り立つ第2論理関係を夫々採点部180に供給する。
ここで、第2事象とは、第1事象と同様に論理式に含まれる要素であり、例えば、キーワードまたはキーフレーズで表現される。第2事象および第2論理関係の具体例は後述する。なお、以下では、第2事象を第2要素とも呼ぶ。
取得部170は、上述した第1の実施の形態における取得部11の一例である。取得部170は、採点基準記憶部140から、採点部180が採点を行う答案に関連付けられた模範解答を構成する複数の第1事象の間に成り立つ第1論理関係を取得する。この第1論理関係には、上述した通り配点が関連付けられている。また、取得部170は、配点が関連付けられた第1事象も取得する。取得部170は取得した第1事象および第1論理関係を採点部180に供給する。このとき、取得部170は、配点が0ではない第1事象および第1論理関係を取得することが好ましい。これにより後述する採点部180による比較処理の工数を削減することができる。
採点部180は、上述した第1の実施の形態における評価部13の一例である。採点部180は、第2抽出部160から第2事象および第2論理関係を受け取る。また、採点部180は、取得部170から第1事象および第1論理関係を受け取る。そして、採点部180は、第1論理関係と第2論理関係とを比較する。また、採点部180は、第1事象と第2事象とを比較する。ここで、第1論理関係と第2論理関係との比較の方法および第1事象と第2事象との比較の方法は特に限定されず、任意の方法を採用してもよい。
採点部180は、第1論理関係と第2論理関係との比較の結果、これらが同じ論理関係である場合、第1論理関係に関連付けられた配点を、第2論理関係に対する点数として付与する。また、採点部180は、第1事象と第2事象との比較の結果、これらが同じ事象である場合、第1事象に関連付けられた配点を、第2事象に対する点数として付与する。そして、採点部180は第2事象および第2論理関係に付与された点数の合計を、答案に対する点数とする。このようにして、採点部180は、答案に対する採点を行う。
図5は、本実施の形態に係る文章評価装置100における採点基準記憶部140に採点基準を格納する処理の流れの一例を示すフローチャートである。図5に示す通り、まず、模範解答受付部110が模範解答を受け付ける(ステップS51)。そして、第1抽出部120が、模範解答を論理式に変換する(ステップS52)。例えば、模範解答である自然文が「戦争が起きた。それゆえ、財政難になった。」である場合、第1抽出部120は、この模範解答を、「戦争」および「財政難」というイベントを第1要素(第1事象)とする論理式に変換する。この場合、変換された論理式を模式的に表現した論理表現情報は、「(戦争)→(財政難)」となる。この矢印(→)は、イベント間の因果関係を表す。第1論理関係は、このような第1要素間に成り立つ関係(この例の場合はイベント間の因果関係)である。第1抽出部120は、模範解答を論理式に変換する際、例えば接続詞を、接続詞の前後の要素の間の第1論理関係と判定し、該第1論理関係を含む論理式を生成する。なお、第1論理関係は、第1要素間の因果関係に限定されず、例えば、第1要素間の同時関係であってもよい。同時関係は、第1要素(イベント)同士が同時に起こったことを表す。例えば、模範解答である自然文が「平民には課税された一方、貴族は非課税であった。」である場合、第1抽出部120は、「平民に課税」と「貴族に非課税」とを第1要素とし、この第1要素同士を同時に起こったイベントであると判定する。これにより、第1抽出部120は、上記自然文を、同時関係を第1論理関係とした論理式に変換する。この場合、変換された論理式の論理表現情報は、同時関係を表す「―」を用いて、「(平民に課税)―(貴族に非課税)」となる。第1抽出部120は、変換した論理式に含まれる第1要素および第1論理関係を採点基準記憶部140に格納する。
その後、重み受付部130が、第1抽出部120が変換した論理式に含まれる第1論理関係および第1要素に対する配点の入力を受け付ける(ステップS53)。これにより、論理式に変換されることによって、模範解答から抽出された各第1要素だけでなく第1論理関係にも配点を付与することができる。つまり、評価者が評価したいと意図した、第1要素だけでなく第1要素間のつながり(第1論理関係)にも配点を付与することができる。そして、重み受付部130は、受け付けた配点に関連する、採点基準記憶部140に格納された第1要素または第1論理関係に、該配点を関連付けて、採点基準として保存する(ステップS54)。これにより、採点基準記憶部140は、配点が関連付けられた第1要素および第1論理関係を格納する。
この処理により、採点基準記憶部140に格納された採点基準について、図6を参照して説明する。図6は、採点基準記憶部140に格納された採点基準60を説明するための図である。図6の(a)は、採点基準60を、論理表現情報を用いて示したものであり、図6の(b)は、採点基準60を、表形式で表現したものである。
模範解答受付部110が受け付けた模範解答が、「戦争が起きた。それゆえ、財政難になった。そのため増税が行われた。」である場合、第1抽出部120は、模範解答を、論理表現情報「(戦争)→(財政難)→(増税)」で表現される論理式に変換する。このように、第1抽出部120は、模範解答に複数の第1論理関係が含まれる場合、複数の第1論理関係を模範解答から抽出する。ここで、評価者が、模範解答のうち答案を評価する視点が、以下の(1)〜(3)であるとすると仮定する。
(1)第1要素(戦争)を原因、第1要素(財政難)を結果とする因果関係(第1論理関係64)
(2)第1要素(財政難)を原因、第1要素(増税)を結果とする因果関係(第1論理関係65)
(3)第1要素(増税)(第1要素63)
重み受付部130は、上記(1)〜(3)に対する重みを受け付ける。このとき、評価者は、上記(1)〜(3)を示す情報および配点をテキストで入力してもよいし、(1)〜(3)を表現する情報(例えばテキスト)に対して配点を入力してもよい。重み受付部130は、評価者が任意の方法によって入力した配点を受け付ければよい。重み受付部130が受け付けた配点が、(1)に対して10点、(2)および(3)に対して5点であったとする。これにより、図6の(a)および図6の(b)に示す通り、(1)第1要素(戦争)を原因、第1要素(財政難)を結果とする因果関係である、「(戦争)→(財政難)」の2つの第1要素の情報を含む矢印の部分(第1論理関係64)に10点、(2)第1要素(財政難)を原因、第1要素(増税)を結果とする因果関係である、「(財政難)→(増税)」の2つの第1要素の情報を含む矢印の部分(第1論理関係65)に5点、(3)第1要素(増税)の部分(第1要素63)に5点が関連付けられる。また、図6の(b)に示す通り、配点の入力を受け付けなかった第1要素61および第1要素62に対しては、0点が関連付けられている。この0点の配点は、該配点が関連付けられた第1要素または第1論理関係が、評価の対象ではないことを示している。
なお、図6の(a)に示す通り、第1論理関係64は、「(戦争)→(財政難)」のうち、矢印の起点(戦争)と終点(財政難)の情報を含む矢印の部分で表現される情報である。同様に、第1論理関係65も、矢印の起点(財政難)と終点(増税)との情報を含む矢印の部分で表現される情報である。図6の(b)では、矢印の起点と終点との情報を含む論理関係(この場合、因果関係)を論理表現情報と区別するために、矢印(⇒)を用いて表現している。つまり、「(戦争)→(財政難)」は論理表現情報であり、「(戦争)⇒(財政難)」は第1要素(戦争)を原因、第1要素(財政難)を結果とする因果関係である、第1論理関係64である。
なお、採点基準60は、図6に示す形式でなくてもよく、第1要素または第1論理関係と配点とが関連付けられたものであればよい。また、採点基準60は、図6に示す情報加えて、答案に対応付けられる問題を表す情報(問題番号等)を含んでいてもよい。
なお、模範解答は、論理式であってもよい。この場合、第1抽出部120は、模範解答受付部110から受け取った模範解答を採点基準記憶部140に格納すればよい。
図7は、本実施の形態に係る文章評価装置100における答案採点処理の流れの一例を示すフローチャートである。図7に示す通り、答案受付部150が採点対象の答案を受け付ける(ステップS71)。そして、第2抽出部160が、答案を論理式に変換する(ステップS72)。これにより第2抽出部160は、複数の第2要素と1以上の第2論理関係とを答案から抽出することができる。
また、取得部170が、採点対象の答案に対応付けられる採点基準に含まれる、配点が関連付けられた第1要素および第1論理関係を採点基準記憶部140から取得する(ステップS73)。なお、答案受付部150が受け付ける答案に対応付けられる採点基準がどの採点基準であるかが予めわかっている場合、ステップS73はステップS71またはステップS72と同時に行われてもよいし、ステップS71またはステップS72より前に行われてもよい。答案が、例えば、小論文の場合、第2論理関係は該答案に複数含まれることが一般的である。したがって、本実施の形態では、取得部170は、0点以外の配点が関連付けられた複数の第2要素および複数の第2論理関係を取得するとして説明を行う。
次に、採点部180が、第1論理関係と第2論理関係との比較および第1要素と第2要素との比較により、採点対象の答案を採点する(ステップS74)。具体的には、採点部180は、取得部170から受け付けた1以上の第1論理関係が答案に含まれる第2論理関係に含まれるか否かを判定する。また、採点部180は、取得部170から受け付けた1以上の第1要素が答案に含まれる第2要素に含まれるか否かを判定する。
そして、採点部180は、第1論理関係と一致する第2論理関係が答案に含まれる場合、該第1論理関係に関連付けられた配点を第2論理関係に付与する。また、採点部180は、第1要素と一致する第2要素が答案に含まれる場合、該第1要素に関連付けられた配点を第2要素に付与する。採点部180は第2要素および第2論理関係に付与された点数の合計を、答案に対する点数とする。このようにして、採点部180は、答案に対する採点を行う。
採点部180の採点処理について、具体例を挙げてさらに説明する。以下に説明する答案は、図6に示した模範解答に対応付けられる問題に対する答案であるとする。図8は、採点部180が行う採点処理を説明するための図である。答案80は、図8に示す通り、「増税が戦争の原因となった。この戦争で財政難になった。」であるとする。第2抽出部160によって変換された論理式の論理表現情報は、図8に示す通り、「(増税)→(戦争)→(財政難)」となる。
よって、第2抽出部160は、以下の(A)〜(E)を答案から抽出することができる。
(A)第2要素(増税)(第2要素81)
(B)第2要素(戦争)(第2要素82)
(C)第2要素(財政難)(第2要素83)
(D)第2要素(増税)を原因、第2要素(戦争)を結果とする因果関係(第2論理関係84)
(E)第2要素(戦争)を原因、第2要素(財政難)を結果とする因果関係(第2論理関係85)
取得部170は、0点以外の配点が関連付けられている第1要素および第1論理関係を取得する。図6に示す通り、0点以外の配点が関連付けられている第1要素は、第1要素63であり、0点以外の配点が関連付けられている第1論理関係は、第1論理関係64および第1論理関係65である。よって、取得部170は、以下の(1)から(3)を採点基準記憶部140から取得する。
(1)第1要素(増税)(第1要素63)と配点(5点)
(2)第1要素(戦争)を原因、第1要素(財政難)を結果とする因果関係(第1論理関係64)と配点10点
(3)第1要素(財政難)を原因、第1要素(増税)を結果とする因果関係(第1論理関係65)と配点5点
そして、採点部180は、第1要素63である「(増税)」と一致する第2要素が、第2抽出部160によって抽出された複数の第2要素に含まれるか否かを判定する。上述した通り、「(増税)」は、第2要素81であるため、採点部180は、第1要素63と一致する第2要素が答案に含まれると判定する。そして、採点部180は、第1要素63と一致する第2要素81に対し、第1要素63に関連付けられた配点5点(部分点86)を付与する。
採点部180は、同様に、第1論理関係64である「(戦争)⇒(財政難)」が、第2抽出部160によって抽出された第2論理関係に含まれるか否かを判定する。そして、採点部180は、第1論理関係64と一致する第2論理関係85に対し、第1論理関係64に関連付けられた配点10点(部分点87)を付与する。
また、採点部180は、第1論理関係65である「(財政難)⇒(増税)」が、第2抽出部160によって抽出された第2論理関係に含まれるか否かを判定する。図8に示す通り、答案には、第1論理関係65と一致する第2論理関係が含まれていないため、この第1論理関係65に関連付けられた配点は、答案に付与しない。
このようにして、採点部180は、答案の採点処理を行う。なお、採点部180は、採点結果を出力してもよい。採点部180が出力する採点結果は、部分点の合計点であってもよいし、部分点と該部分点が付与された第2論理関係および/または第2要素とを関連付けた情報であってもよい。採点結果の出力方法はどのような方法であってもよく、例えば、第1の実施の形態において説明した出力装置30に出力してもよいし、ネットワークを介して他の装置に出力してもよい。
また、採点部180が採点することによって得られた結果は点数でなくてもよい。例えば、採点部180は、答案に対するランクを表す情報(例えば、優、良、可等)を採点結果としてもよい。この場合、配点(重み)は該ランクを表すために用いられる情報(例えば、点数)であってもよい。また、採点部180は、合否を採点結果としてもよい。この場合、採点部180は、得られた点数と所定の閾値との比較によって合否を決定してもよい。
また、上記では、採点部180が第1論理関係と第2論理関係との一致を判定することについて説明を行ったが、この判定における「一致」とは完全一致ではなくてもよい。第1論理関係と第2論理関係との比較の手法によって、「一致」の程度は変更してもよい。第1要素と第2要素との比較についても同様である。また、第1要素と第2要素との比較の場合、例えば、第1要素が表す概念と第2要素が表す概念とが同じであれば、一致していると判定してもよい。
また、例えば、論理関係が、要素を表すイベントが同時に起こったことを表す同時関係の場合、要素の前後が異なっていても採点部180は一致と判定することができる。例えば、「平民には課税された一方、貴族は非課税であった。」という模範解答の場合、同時関係を表す「―」を用いて「(平民に課税)―(貴族に非課税)」という論理表現情報で表現される論理式が得られる。この場合、答案から得られた論理式の論理表現情報が「(平民に課税)―(貴族に非課税)」だけでなく「(貴族に非課税)―(平民に課税)」であっても、採点部180は、第2論理関係と第1論理関係とが一致していると判定することができる。
なお、本実施の形態では、採点基準を格納する処理と、答案を受け付け、採点する処理とが同じ装置で行われていることを例に説明を行ったが、別々の装置で行われてもよい。つまり、模範解答受付部110、第1抽出部120、重み受付部130および採点基準記憶部140は、文章評価装置100とは別の装置(例えば、図2に示した評価基準記憶装置20)で実現されてもよい。この場合、取得部170は、この別の装置から第1論理関係を取得すればよい。また、模範解答受付部110、第1抽出部120および重み受付部130が文章評価装置100とは別の装置で実現される構成であってもよい。
また、第1抽出部120と第2抽出部160とは1つのブロックで実現されてもよい。この場合であっても、模範解答と答案とを論理式に変換する場合に用いる方法は、同じであってもよいし、異なっていてもよい。
以上のように、本実施の形態に係る文章評価装置100は、上述した第1の実施の形態に係る文章評価装置10と同様に、第2要素の間に成り立つ第2論理関係と第1論理関係とを比較することによって、答案の採点を行う。文章評価装置100は、採点対象の答案に含まれる要素である第2要素が第1要素と同じであっても第2要素の間に成り立つ第2論理関係と第1論理関係とが異なる場合は、第2論理関係が第1論理関係と異なると判定することができる。よって、文章評価装置100は、答案を構成する第2要素の間の論理関係である第2論理関係の正誤を正しく評価することができる。すなわち、文章評価装置100は、採点対象の答案に含まれる要素間の論理関係に対して評価を行うことができる。
また、本実施の形態に係る文章評価装置100によれば、採点部180が、第1論理関係および/または第1要素に関連付けられた重みに応じて、採点対象の答案を採点する。つまり、採点部180は、答案に含まれる、第2論理関係と一致する第1論理関係に関連付けられた重みと、第2要素に一致する第1要素に関連付けられた重みとに応じて、採点対象の答案を採点する。これにより、第1論理関係に関連付けられた重みを該第1論理関係と一致する第2論理関係に付与し、第1要素に関連付けられた重みを該第1要素と一致する第2要素に付与することができる。
例えば、評価者が、模範解答に含まれる第1論理関係の全てを評価対象と意図する場合、第1論理関係の全てに配点を関連付けてもよい。また、評価者が、模範解答に含まれる第1論理関係のうち、特定の第1論理関係のみを加算したいと意図する場合、その特定の第1論理関係のみに配点を関連付ければよい。これにより、文章評価装置100は、更に、評価者が評価したいと意図した箇所毎に評価を行うことができる。
また、採点部180が、答案に含まれる第2論理関係だけでなく、第2要素を評価することにより、文章評価装置100は、答案に含まれる第2要素の充足性の評価も行うことができる。
また、取得部170が複数の第1論理関係を取得し、第2抽出部160が複数の第2論理関係を取得してもよい。そして、採点部180は、複数の第2論理関係の夫々を複数の第1論理関係の夫々と比較してもよい。これにより、採点部180は、複数の第2論理関係の夫々における第1論理関係との比較結果に基づいて、第2論理関係毎に、部分点を付与することができる。また、採点部180は、複数の第2要素の夫々を複数の第1要素の夫々と比較することにより、第2要素ごとに、部分点を付与することができる。したがって、採点部180は、答案に複数の第2論理関係が含まれる場合であっても、第2論理関係および第2要素に付与された部分点を用いて、採点対象の答案を精度よく採点することができる。更に、答案に含まれる第2論理関係および第2要素に部分点を付与することにより、採点結果を答案の作成者の能力改善に生かすためのより詳細なフィードバックとして活用することもできる。
(変形例1)
上述した第2の実施の形態では、採点部180による採点の方法として、部分点を加点する方法について説明したが、採点の方法は答案に含まれる第2論理関係が間違っている場合に減点する方法であってもよい。本変形例における文章評価装置100の構成は図4に示した文章評価装置100と同様である。
採点方法が間違っている場合に減点する方法の場合、重み受付部130が受け付ける重みが減点可能な情報になる。例えば、重み受付部130が受け付ける重みは、マイナスの点数となる。このとき採点基準記憶部140に格納された採点基準90の一例について、図9を用いて説明する。採点基準90に含まれる第1論理関係の番号および第1要素の番号は図6の(a)に示した番号に相当する。
図9に示す採点基準90と図6の(b)に示した採点基準60とは、配点の欄の点数が異なる。例えば、図9に示す通り、第1要素63には、配点として−5点が関連付けられている。このマイナスの配点は、この第1要素63が答案に含まれない場合、減点することを表している。
図10は、本変形例における文章評価装置100における答案採点処理の流れの一例を示すフローチャートである。図10に示す通り、答案受付部150が採点対象の答案を受け付ける(ステップS101)。そして、第2抽出部160が、答案を論理式に変換する(ステップS102)。これにより第2抽出部160は、複数の第2要素と1以上の第2論理関係とを答案から抽出することができる。
また、取得部170が、採点対象の答案に対応付けられる採点基準に含まれる、配点が関連付けられた第1要素および第1論理関係を採点基準記憶部140から取得する(ステップS103)。また、取得部170は、採点基準記憶部140から、初期値を取得する(ステップS104)。初期値は、模範解答が入力された際に採点基準記憶部140に格納されるものであってもよい。また、初期値はあらかじめ決められた値であってもよい。初期値があらかじめ決められた値の場合、取得部170ではなく、採点部180が初期値を取得してもよい。
そして、採点部180が、第1論理関係と第2論理関係との比較および第1要素と第2要素との比較により、採点対象の答案を採点する(ステップS105)。具体的には、採点部180は、取得部170から受け付けた1以上の第1論理関係が答案に含まれる第2論理関係に含まれるか否かを判定する。また、採点部180は、取得部170から受け付けた1以上の第1要素が答案に含まれる第2要素に含まれるか否かを判定する。判定の結果、第1論理関係が答案に含まれる第2論理関係に含まれない場合、採点部180は、該第1論理関係に関連付けられた配点を減点する点数として保持する。また、判定の結果、第1要素が答案に含まれる第2要素に含まれない場合、採点部180は、該第1要素に関連付けられた配点を減点する点数として保持する。減点する点数は図9に示す通り、マイナスの点数であるため、保持した減点する点数の合計もマイナスの点数となる。よって採点部180がこのマイナスの点数を、初期値に加算することにより、初期値から減点を行う方法で採点部180は答案を採点することができる。
なお、図9の配点が図6と同様にプラスの値であり、初期値が設定されることによって、採点部180は、減点法で答案の採点を行う構成であってもよい。また、採点基準に含まれる問題ごとに、加点法および減点法の情報が関連付けられおり、この加点法の情報が関連付けられている問題に対する答案の場合、採点部180は加点法で採点を行い、減点法の情報が関連付けられている問題に対する答案の場合は、減点法で採点を行ってもよい。
また、第1論理関係および第1要素に関連付けられた0点以外の配点の符号が全て同じでなくてもよい。例えば、第1論理関係64には+10点が配点として関連付けられており、第1論理関係65には−5点が配点として関連付けられていてもよい。このとき、例えば、採点部180は、第1論理関係に関連付けられた配点の符号を参照して、プラスの符号の配点に関連付けられた第1論理関係64と一致する第2論理関係が答案に含まれる場合は加点し、含まれない場合は何もしない。また、採点部180は、マイナスの符号の配点に関連付けられた第1論理関係65と一致する第2論理関係が答案に含まれない場合は減点し、含まれる場合は何もしない。このように、採点部180は加点法と減点法とを配点の符号に応じて変えてもよい。
また、第1論理関係および第1要素には、プラスの配点およびマイナスの配点の両方が関連付けられていてもよい。例えば、第1論理関係64に、+10点と−5点とが関連付けられていてもよい。この場合、採点部180は、第1論理関係64と一致する第2論理関係が答案に含まれる場合は+10点を加点し、含まれない場合は、5点を減点すればよい。
このように、採点部180の採点方法は加点法であっても減点法であってもよい。このような構成であっても、本変形例に係る文章評価装置100は、上述した第2の実施の形態における文章評価装置100と同様に、答案に複数の第2論理関係が含まれる場合であっても、採点対象の答案を精度よく採点することができる。また、文章評価装置100が、加点法及び減点法による採点を行うことにより、評価者が評価したいと意図した箇所毎に更に詳細な評価を行うことができる。
また、採点部180は、答案に含まれなかった第1論理関係(減点の対象となった第1論理関係)を、減点数とともに例えば、リスト形式で出力してもよい。これにより、答案の作成者は、減点の根拠を把握することができる。
(変形例2)
上述した第2の実施の形態および変形例1では、模範解答から抽出された第1論理関係が、答案に含まれるか否かを判定した。しかしながら、自然文を記述する形式の問題の場合、答案には、実際には正解だが評価者が想定していない文章が含まれる可能性がある。以下では、このような文章を正誤判定が行われなかった文章として、出力する構成について説明する。
本変形例における文章評価装置100の構成は図4に示した文章評価装置100と同様である。取得部170は、採点対象の答案に関連付けられた問題に対する模範解答から抽出された全ての第1論理関係および第1要素を、夫々に関連付けられた配点と共に取得する。このとき取得する第1論理関係および第1要素は、0点の配点が関連付けられたものも含む。
採点部180は、第1論理関係と第2論理関係とを比較する。具体的には、採点部180は、第2論理関係と一致する第1論理関係が採点基準に含まれているか否かを判定する。そして、採点部180は、第2論理関係と一致する第1論理関係が採点基準に含まれている場合、該第1論理関係に関連付けられた配点を該第2論理関係に付与する。また、採点部180は、第2要素と一致する第1要素が採点基準に含まれているか否かを判定する。そして、採点部180は、第2要素と一致する第1要素に関連付けられた配点を該第2要素に付与する。
また、採点部180は、第1論理関係と一致しなかった第2論理関係および第1要素と一致しなかった第2要素に対しては、配点を付与しない。ここで、第1論理関係および第1要素は、0点の配点が関連付けられているものも含んでいる。配点が付与された第2論理関係および第2要素とは、プラスの配点だけでなく、0点の配点が付されたものを示す。つまり、採点部180が配点を付与しない第2論理関係および第2要素は、点数の配点の処理が行われなかった第2論理関係または第2要素のことである。採点部180は、このような配点を付与しない第2論理関係および第2要素を、採点基準に含まれない第2論理関係および第2要素として、例えば、評価者が把握可能な様態で採点結果と共に出力してもよい。なお、採点部180は、配点を付与しない第2論理関係および第2要素を、別解候補群として、採点基準記憶部140またはその他の記憶装置に格納することにより出力してもよい。
これにより、採点基準に含まれない第2論理関係および第2要素が模範解答に含まれない場合であっても、評価者が、該第2論理関係および第2要素が正しいか否かを判断することができる。
また、該第2論理関係および第2要素が模範解答とは別の正しい解答(別解)を構成しうると評価者が判定した場合、文章評価装置100は、答案の作成者が記述した文章が別解であると判定し、この別解に含まれる第2論理関係および第2要素を別の模範解答として、採点基準記憶部140に新たに登録してもよいし、登録されている模範解答に含まれる第1論理関係および第1要素を修正してもよい。これにより、答案に含まれる第2論理関係および第2要素が別の正解である可能性を評価者に把握させることができる。
<第3の実施の形態>
次に本開示の第3の実施の形態について図面を参照して説明する。図11は、本実施の形態に係る文章評価装置200の機能構成の一例を示す図である。また、図12は、本実施の形態に係る文章評価装置200を含む文章評価システム2の構成の一例を示す図である。なお、上述した第2の実施の形態に係る文章評価装置100に含まれるブロックと同様の機能を有するブロックには同じ符号を付し、その詳細な説明を省略する。
図12に示す通り、文章評価システム2は、文章評価装置200と表示装置40とを含む。表示装置40と文章評価装置200とはネットワークを介してまたは介さずに通信可能に接続している。表示装置40は、図2に示した出力装置30であってもよい。表示装置40は、文章評価装置200から送信された制御信号に基づいた画面を表示する。表示装置40は、例えば、液晶ディスプレイ等によって実現される。なお、表示装置40は、文章評価装置200に内蔵される構成であってもよい。
文章評価装置200は、文章評価装置100の機能に、表示制御部210を備える。文章評価装置200は、図11に示す通り、模範解答受付部110と、第1抽出部120と、重み受付部130と、採点基準記憶部140と、答案受付部150と、第2抽出部160と、取得部170と、採点部180と、表示制御部210とを備える。
表示制御部210は、第1要素および第1論理関係を用いてグラフを作成する。具体的には、第1抽出部120から、第1抽出部120が変換した論理式に含まれる第1要素および第1論理関係を受け取る。表示制御部210は受け取った複数の第1要素の夫々をノードとし、ある第1要素と他の第1要素との間に成り立つ第1論理関係をエッジとするグラフを生成する。そして、表示制御部210は生成したグラフを表示装置40に表示させる。例えば、表示制御部210は、グラフを表示させるための制御信号を生成し、該制御信号を表示装置40に送信することにより、グラフを表示装置40に表示させる。
評価者は表示装置40に表示されたグラフに対して、例えば、マウスやキーボード等の入力装置を介して、ノードおよびエッジに対する重みを入力する。重み受付部130は、このようにして入力された重みを受け付ける。重み受付部130は受け付けた重みを、表示制御部210に供給する。表示制御部210は、ノードに対する重みを第1要素に関連付け、エッジに対する重みを第1論理関係に関連付けて、採点基準記憶部140に格納する。なお、表示制御部210は、表示装置40に表示させたグラフに、評価者が入力した重みを関連付けて、表示装置40に表示させてもよい。
図13は、本実施の形態に係る文章評価装置200における採点基準記憶部140に採点基準を格納する処理の流れの一例を示すフローチャートである。図13に示す通り、まず、模範解答受付部110が模範解答を受け付ける(ステップS131)。そして、第1抽出部120が、模範解答を論理式に変換する(ステップS132)。例えば、模範解答である自然文が「戦争が起きた。それゆえ、財政難になった。」である場合、第1抽出部120は、この模範解答を、「戦争」および「財政難」というイベントを第1要素(第1事象)とする論理式に変換する。この論理式の論理表現情報は「(戦争)→(財政難)」となる。第1抽出部120は、変換した論理式に含まれる第1要素および第1論理関係を表示制御部210に供給する。
表示制御部210は、第1抽出部120から受け取った第1要素および第1論理関係を用いてグラフを作成し、作成したグラフを表示装置40に表示させる(ステップS133)。これにより、表示装置40は、グラフを表示する。
図14に、表示装置40に表示されるグラフ141の一例を示す。ここでは、模範解答である自然文が「戦争が起きた。それゆえ、財政難になった。」であるとする。第1抽出部120は、この模範解答から、図6に示した第1要素(61〜63)および第1論理関係(64、65)を抽出する。表示制御部210は、この第1要素(61〜63)の夫々をノード(142〜144)とし、第1論理関係(64、65)の夫々をエッジ(145、146)とする、図14に示すようなグラフ141を生成し、表示装置40に表示させる。なお、図14に示すように、表示制御部210は、エッジ(145、146)の近傍に、この第1論理関係がどのような論理関係かを示す論理関係情報(147、148)を表示させてもよい。上述した通り、エッジ145は、第1論理関係64を表しており、第1論理関係64は、第1要素(戦争)を原因、第1要素(財政難)を結果とする因果関係である。表示制御部210は、図14に示す通り、エッジ145の論理関係情報147として、「因果関係」をエッジ145の近傍に表示させてもよい。このとき、表示制御部210は、第1論理関係を表す論理関係情報を自身に保持しておき、この保持した論理関係情報を表示装置40に表示させてもよい。また、表示制御部210は、図14に示す通り、エッジ146の論理関係情報148として、「因果関係」をエッジ146の近傍に表示させてもよい。
図13に戻り、評価者が表示装置40に表示されたグラフ141に対して、ノードおよびエッジに対する重みを入力すると、重み受付部130が、この入力された重みを受け付ける(ステップS134)。
表示制御部210が、図14に示すグラフ141に対して入力された重みを、該グラフ141と共に表示装置40に表示した際の画面の一例を図15に示す。評価者が、エッジ145に対して10点、エッジ146に対して5点およびノード144に対して5点の配点を重みとして入力したとする。図15に示す通り、表示装置40には、エッジ145に対する配点151である「10点」がエッジ145に関連付けて表示される。同様に、表示装置40には、エッジ146に対する配点152である「5点」がエッジ146に関連付けて表示される。また、表示装置40には、ノード144に対する配点153である「5点」がノード144に関連付けて表示される。
その後、表示制御部210は、ノード(142〜144)に対する重みを第1要素(61〜63)に関連付け、エッジ(145、156)に対する重みを第1論理関係(64、65)に関連付ける。表示制御部210は、ノード(142〜144)に対する重みが関連付けられた第1要素(61〜63)と、エッジ(145、156)に対する重みが関連付けられた第1論理関係(64、65)とを採点基準記憶部140に格納する。これにより、採点基準記憶部140は、図6の(b)に示すような採点基準60を記憶する(ステップS135)。
採点部180はこのようにして採点基準記憶部140に格納された、重みが関連付けられた第1要素および第1論理関係を用いて、答案を採点する。
以上のように、本実施の形態では、文章評価装置200が、模範解答からグラフを生成し、表示装置40に該グラフを表示させる。これにより、評価者は、模範解答のうち、評価したいと意図する論理関係がどの部分かを容易に把握することができる。よって、評価者は、評価したいと意図する第1論理関係および第1要素に対して、重みを容易に入力することができる。
なお、表示制御部210が生成するグラフは、図14に示すように向きを有した有向グラフであってもよいし、無向グラフであってもよい。また、表示制御部210が生成するグラフは、有向グラフと無向グラフとの両方の特徴を有する混合グラフであってもよい。表示制御部210は、第1論理関係に応じて、生成するグラフを変更すればよい。例えば、表示制御部210は、第1要素間に対称律が成り立つことを表す有向グラフを生成してもよい。
<第4の実施の形態>
次に本開示の第4の実施の形態について図面を参照して説明する。図16は、本実施の形態に係る文章評価装置300の機能構成の一例を示す図である。なお、上述した第2の実施の形態に係る文章評価装置100に含まれるブロックと同様の機能を有するブロックには同じ符号を付し、その詳細な説明を省略する。
文章評価装置300は、文章評価装置100の第2抽出部160に代えて第2抽出部360を備え、採点部180に代えて、採点部380を備え、更に、答案記憶部(第2文章記憶部)310を備える。文章評価装置300は、図16に示す通り、模範解答受付部110と、第1抽出部120と、重み受付部130と、採点基準記憶部140と、答案受付部150と、第2抽出部360と、取得部170と、採点部380と、答案記憶部310とを備える。なお、文章評価装置300は、上述した文章評価装置200の第2抽出部160に代えて第2抽出部360を備え、採点部180に代えて採点部380を備え、答案記憶部310を更に備える構成であってもよい。
本実施の形態では、答案受付部150が受け付けた答案が、図8に示した答案80であるとする。図8に示す通り、答案80は、「増税が戦争の原因となった。この戦争で財政難になった。」である。第2抽出部360は、答案を図8に示す通り、第2要素81、第2要素82、第2要素83、第2論理関係84および第2論理関係85を含む論理式に変換する。このとき、第2抽出部360は、各第2要素を、該第2要素が含まれる抽出元(答案)における範囲を示す情報と共に抽出する。この範囲を示す情報とは、第2要素の開始アドレスとそのサイズ等、第2要素が答案内のどの位置からどの位置までに含まれるかがわかる情報であればよい。例えば、第2要素81である(増税)の場合、第2要素81が含まれる答案における範囲を示す情報は、答案の一文字目から2文字分であること示す位置情報であってもよい。
また、第2抽出部360は、各第2論理関係を、該第2論理関係が含まれる抽出元における範囲を示す情報と共に抽出する。この範囲を示す情報は、各第2論理関係に関連する2つの第2要素が含まれる範囲であればよい。例えば、この範囲は2つの第2要素の一方の開始位置から他方の終了位置までであってもよい。例えば、第2論理関係84の場合、この範囲は、第2論理関係84に含まれる第2要素81である(増税)と第2要素82である(戦争)とが含まれる一文である「増税が戦争の原因となった。」であってもよい。
そして、第2抽出部360は、答案と、各第2論理関係または各第2要素と、各第2論理関係または各第2要素の答案における範囲を示す情報とを互いに関連付けて、答案記憶部310に答案情報として格納する。図17は、答案記憶部310に格納される答案情報171の一例を示す図である。図17に示す通り、答案情報171は、答案と、第2論理関係または第2要素と、答案における第2論理関係または第2要素の範囲とを含む。なお、図17に示す答案情報171は、説明の便宜上、図8に示した第2論理関係または第2要素の番号も含む。答案における第2論理関係または第2要素の範囲は、図17に示すように、開始位置とそのサイズであるとして説明を行う。開始位置とそのサイズの表現方法は特に限定されず、ビット数であってもよいし、文字数であってもよい。また、答案情報171に含まれる情報はこれに限定されない。
なお、答案から複数の独立した論理式が生成される場合、答案情報171は、答案のうち、その独立した論理式に関連する文章ごとに、第2論理関係または第2要素と、答案における第2論理関係または第2要素の範囲とが関連付けられたものであってもよい。例えば、答案から互いに独立した論理式A、論理式Bおよび論理式Cが生成され、これらの生成の際に用いた自然文の部分(文章)が夫々、文章a、文章bおよび文章cであるとする。この場合、第2抽出部360は、論理式Aに含まれる第2論理関係と第2要素とを文章aに関連付けて答案記憶部310に格納してもよい。同様に、第2抽出部360は、論理式Bに含まれる第2論理関係と第2要素とを文章bに関連付けて答案記憶部310に格納し、論理式Cに含まれる第2論理関係と第2要素とを文章cに関連付けて答案記憶部310に格納してもよい。
なお、答案記憶部310は、採点基準記憶部140と同じ記憶装置で実現されるものであってもよい。また、答案記憶部310は、文章評価装置300とは別の記憶装置で実現されるものであってもよい。
採点部380は、採点部180と同様に、第1論理関係と第2論理関係とを比較する。また、採点部380は、第1要素と第2要素とを比較する。採点部380は、第1論理関係と第2論理関係との比較の結果、これらが同じ論理関係である場合、第1論理関係に関連付けられた配点を、第2論理関係に対する点数として付与する。また、採点部380は、第1要素と第2要素との比較の結果、これらが同じ要素である場合、第1要素に関連付けられた配点を、第2要素に対する点数として付与する。
また、採点部380は、答案記憶部310を参照し、採点の対象となる答案に関連する第2論理関係または第2要素のうち、配点が付与された第2論理関係および第2要素に関連付けられた、答案における第2論理関係または第2要素の範囲を該答案と共に取得する。そして、採点部380は、取得した答案と、範囲と、配点が付与された第2論理関係および第2要素とを関連付けた結果を、採点結果とする。なお、採点部380は、採点結果を、上述した出力装置30に出力してもよい。出力装置30が表示装置の場合、採点部380は、出力装置30に表示する画面を生成して出力してもよい。採点部380が出力する採点結果の例については後述する。
図18は、本実施の形態に係る文章評価装置300における答案採点処理の流れの一例を示すフローチャートである。本実施の形態では、採点部380が出力装置30に表示する画面を生成する処理を含むとして説明を行う。
図18に示す通り、答案受付部150が採点対象の答案を受け付ける(ステップS181)。第2抽出部360が、答案を論理式に変換する(ステップS182)。また、第2抽出部360が、上述した答案情報171を答案記憶部310に格納する(ステップS183)。
また、取得部170が、採点対象の答案に対応付けられる採点基準に含まれる、配点が関連付けられた第1要素および第1論理関係を採点基準記憶部140から取得する(ステップS184)。
次に、採点部380が、第1論理関係と第2論理関係との比較および第1要素と第2要素との比較により、採点対象の答案を採点する(ステップS185)。そして、採点部380は、答案のうち、第1論理関係に対応する第2論理関係の範囲および第1要素に対応する第2要素を表す範囲を、答案と共に採点結果として出力する(ステップS186)。具体的には、採点部380は、第1論理関係に対応する第2論理関係の範囲として、答案における配点が付与された第2論理関係の範囲を関連する答案と共に取得する。更に、採点部380は、第1要素に対応する第2要素の範囲として、答案における配点が付与された第2要素の範囲を取得する。そして、採点部380は、答案における取得した範囲の部分を例えば枠囲みし、該範囲に含まれる第2論理関係および第2要素に対して付与された配点を表示した画面を生成し出力する。採点部380が出力する採点結果191の一例を図19に示す。図8に示した採点結果と同様に、第2要素である(増税)に5点、第2要素(戦争)を原因、第2要素(財政難)を結果とする第2論理関係に10点が付与されているとする。
ここで、第2要素(戦争)を原因、第2要素(財政難)を結果とする第2論理関係を表す答案の範囲は、「この戦争で財政難になった。」の部分であるとする。採点部380は、図19に示す通り、10点が付与された「この戦争で財政難になった。」の部分と、5点が付与された「増税」の部分が枠囲みされている。なお、採点部380はこの部分を、他とは異なる様態で表せばよく、枠囲みに限定されるものではない。また、この枠囲みした部分の近傍には、対応する第2要素または第2論理関係に付与された配点が表示される。なお、図19に示す通り、採点部380は、採点結果191に、合計点数を含めてもよい。これにより、答案の作成者は、答案のどの部分が何点の評価を得たのかを把握することができる。
上述した通り、本実施の形態における答案記憶部310は、答案と、抽出した第2論理関係と、答案のうち第2論理関係を表す範囲とを関連付けて記憶する。採点部380は、答案のうち、第1論理関係に対応する第2論理関係を表す範囲を、答案と共に出力する。これにより、答案の作成者は、自身が記載した答案のうち、どの部分に対して評価を受けたのかを知ることができる。これにより、採点結果を答案の作成者の能力改善に生かすためのより詳細なフィードバックとして活用することができる。更に、答案の作成者が、自身が記載した答案の評価を確認することができるため、該答案の作成者は、採点結果を異議申し立て等に活用することができる。
<第5の実施の形態>
本実施の形態では、評価者が模範解答に含まれる第1論理関係および/または第1要素に更に条件を付与した場合について説明する。出題された問題の内容によっては、評価者は、ある第1要素またはある第1論理関係が、答案に必ず含まれてほしいと考える場合がある。このような場合、評価者は、必ず含まれていてほしい第1論理関係または第1要素を含んでいる答案に対する評価をより高くし、そうでない答案に対する評価をより低く評価する場合がある。
本実施の形態では、このような場合においても、答案を好適に評価できる文章評価装置400について説明する。図20は、本実施の形態に係る文章評価装置400の機能構成の一例を示す機能ブロック図である。なお、上述した第2の実施の形態に係る文章評価装置100に含まれるブロックと同様の機能を有するブロックには同じ符号を付し、その詳細な説明を省略する。図20に示す通り、文章評価装置400は、模範解答受付部110と、第1抽出部120と、重み受付部430と、採点基準記憶部440と、答案受付部150と、第2抽出部160と、取得部470と、採点部480とを備える。文章評価装置400は、文章評価装置100の重み受付部130に代えて重み受付部430を備え、採点基準記憶部140に代えて採点基準記憶部440を備え、取得部170に代えて取得部470を備え、採点部180に代えて採点部480を備える。なお、文章評価装置400は文章評価装置200の重み受付部130に代えて重み受付部430を備え、採点基準記憶部140に代えて採点基準記憶部440を備え、取得部170に代えて取得部470を備え、採点部180に代えて採点部480を備える構成であってもよい。また、文章評価装置400は文章評価装置300の重み受付部130に代えて重み受付部430を備え、採点基準記憶部140に代えて採点基準記憶部440を備え、取得部170に代えて取得部470を備え、採点部180に代えて採点部480を備える構成であってもよい。
重み受付部430は、上述の重み受付部130の機能に加え、更に、第1論理関係および/または第1要素に対して、所定の条件を表す情報を受け付ける。重み受付部430は、例えば、必須の条件を表す情報を受け付ける。そして、重み受付部430は、受け付けた必須の条件を表す情報を、関連する第1論理関係および/または第1要素に関連付けて、採点基準記憶部440に格納する。
採点基準記憶部440は、採点基準を記憶する。図21は、本実施の形態における採点基準記憶部440が格納する採点基準66の一例を示す図である。図21において、第1論理関係の番号および第1要素の番号は、図6に示した番号と同様である。採点基準60と採点基準66との異なる点は、必須の条件を表すフラグの列が追加されている点である。このフラグは、必須の条件であることを表す「1」と必須の条件ではないことを表す「0」で表現しているが、フラグはこれらの表現に限定されない。なお、必須の条件の表現方法はこれに限定されない。図21に示す通り、第1論理関係64には値が「1」のフラグが関連付けられている。重み受付部430が、必須の条件であることを受け付けていない第1論理関係および第1要素に関しては図21では値が「0」のフラグを関連付けている。
取得部470は、配点が0ではないまたはフラグが「1」の第1要素および第1論理関係を取得する。このとき、取得部470は、第1要素および第1論理関係の夫々に対し、配点およびフラグの値を関連付けて取得する。取得部470は、取得した第1要素および第1論理関係を採点部480に供給する。
採点部480は、採点部180と同様に第1論理関係と第2論理関係との比較することにより、答案を採点する。このとき、採点部480は、フラグが「1」の第1論理関係と第2論理関係とを比較する。また、採点部480は、フラグが「1」の第1要素と、第2要素とを比較する。図21に示す通り、フラグが「1」である第1論理関係は、第1論理関係64のみである。したがって、採点部480は、第1論理関係64と第2論理関係とを比較し、これらが同じ論理関係を表す場合、第1論理関係64に関連付けられた配点である「10点」を付与する。
答案受付部150が受け付けた答案が図8に示す答案の場合、第1論理関係64と第2論理関係85とは同じ論理関係を示すため、採点部480は、採点部180と同様に、第2論理関係85に「10点」を付与する。
なお、答案受付部150が受け付けた答案に、第1論理関係64と同じ論理関係を有する第2論理関係が含まれていない場合、採点部480は、答案に必須の条件が含まれていないと判定し、その旨を表す情報を採点結果として出力してもよい。例えば、採点部480は、答案に必須の条件が含まれていないと判定した場合、その他の第1論理関係と第2論理関係との比較、および、第1要素と第2要素との比較を行わず、より低い評価点(例えば、0点)を採点結果として出力してもよい。また、採点部480は、配点の合計点からより低い評価点となるように所定の点数を引いた値を、採点結果として出力してもよいし、より低い評価点となるように所定の割合を乗算した値を採点結果として出力してもよい。
また、重み受付部430は、所定の条件として、例えば、優先順位とを受け付けてもよい。そして、採点部480は、優先順位の高い順に、該優先順位に関連付けられた第1論理関係または第1要素を、夫々、第2論理関係または第2要素と比較する。そして、比較の結果、所定の順位までに、第1論理関係と同じ論理関係を有する第2論理関係または第1要素と同じ要素である第2要素が答案に含まれていない場合、採点部480はより低い評価を採点結果として出力してもよい。
このように、第1論理関係および第1要素は、更に所定の条件が関連付けられていてもよい。そして、採点部480は、所定の条件が関連付けられた第1論理関係および第1要素を夫々、第2論理関係および第2要素と比較し、該比較の結果に応じて、採点対象の答案を採点する。これにより、文章評価装置400は、評価者が意図した評価を反映させた採点を行うことができる。また、例えば、必須の条件が含まれていない場合において、採点部480が他の第1論理関係および他の第1要素に対する処理を行わない構成の場合、文章評価装置400は、評価にかかる時間的コストを削減することができる。
なお、採点部480は上述した採点部180と同様に、採点結果を点数ではなく合否を表す情報で出力してもよい。採点部480は、例えば、必須の条件が答案に含まれていない場合、不合格という採点結果を出力してもよい。これにより、文章評価装置400は、答案にどの程度、評価者の意図する第1論理関係および第1要素が充足されているかではなく、答案に評価者が基本的あるいは重要と考えるような内容が含まれているか否かを判定することができる。
(ハードウェア構成について)
本発明の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図22に示すような情報処理装置900とプログラムとの任意の組み合わせにより実現される。図22は、各装置の各構成要素を実現する情報処理装置900のハードウェア構成の一例を示すブロック図である。情報処理装置900は、一例として、以下のような構成を含む。
・CPU(Central Processing Unit)901
・ROM(Read Only Memory)902
・RAM(Random Access Memory)903
・RAM903にロードされるプログラム904
・プログラム904を格納する記憶装置905
・記録媒体906の読み書きを行うドライブ装置907
・通信ネットワーク909と接続する通信インタフェース908
・データの入出力を行う入出力インタフェース910
・各構成要素を接続するバス911
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム904をCPU901が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム904は、例えば、予め記憶装置905やRAM903に格納されており、必要に応じてCPU901が読み出す。なお、プログラム904は、通信ネットワーク909を介してCPU901に供給されてもよいし、予め記録媒体906に格納されており、ドライブ装置907が当該プログラムを読み出してCPU901に供給してもよい。
各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個の情報処理装置900とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置900とプログラムとの任意の組み合わせにより実現されてもよい。
また、各装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
第1の文章を構成する第1事象の間に成り立つ第1論理関係を取得する取得手段と、
評価対象である第2の文章から、該第2の文章を構成する第2事象の間に成り立つ第2論理関係を抽出する論理関係抽出手段と、
前記第1論理関係と前記第2論理関係との比較により、前記第2の文章を評価する評価手段と、
を備え、
前記第1の文章は、前記第2の文章に対する評価の基準となる文章である、ことを特徴とする文章評価装置。
(付記2)
前記第1論理関係には、重みが関連付けられており、
前記評価手段は、前記重みに応じて前記第2の文章を評価する、
ことを特徴とする付記1に記載の文章評価装置。
(付記3)
前記第1の文章は、模範解答であり、
前記第2の文章は、採点対象の答案であり、
前記評価手段は、前記第1事象と前記第2事象との比較により、前記重みに応じて前記答案を採点する、
ことを特徴とする付記2に記載の文章評価装置。
(付記4)
前記第1事象には、前記重みが関連付けられており、
前記評価手段は、前記第1事象と前記第2事象との比較により、前記第2の文章を前記重みに応じて評価する、
ことを特徴とする付記2または3に記載の文章評価装置。
(付記5)
前記取得手段は、前記第1論理関係を複数取得し、
前記論理関係抽出手段は、前記第2の文章から、複数の前記第2論理関係を抽出し、
前記評価手段は、前記重みに基づいて、前記第2論理関係ごとおよび前記第2事象ごとに部分点を付与することにより、前記第2の文章を評価する、
ことを特徴とする付記4に記載の文章評価装置。
(付記6)
前記第1事象をノードとし、ある前記第1事象と他の前記第1事象との間に成り立つ前記第1論理関係をエッジとするグラフを表示装置に表示させる表示制御手段と、
前記ノードに対する前記重みおよび前記エッジに対する前記重みの入力を受け付ける重み受付手段と、
前記エッジに対する重みが関連付けられた前記第1論理関係と、前記ノードに対する重みが関連付けられた前記第1事象とを記憶する記憶手段と、
を更に備えることを特徴とする付記4または5に記載の文章評価装置。
(付記7)
前記第1論理関係および前記第1事象の少なくとも一方には、更に所定の条件を表す情報が関連付けられており、
前記評価手段は、前記所定の条件が関連付けられた前記第1論理関係および前記第1事象を夫々、前記第2論理関係および前記第2事象と比較し、該比較の結果に応じて、前記第2の文章を評価する、
ことを特徴とする付記4から6の何れか1つに記載の文章評価装置。
(付記8)
前記第1事象および前記第2事象は、キーワードまたはキーフレーズにより表現される、
ことを特徴とする付記1から7の何れか1つに記載の文章評価装置。
(付記9)
前記第2の文章と、抽出した前記第2論理関係と、前記第2の文章のうち前記第2論理関係を表す範囲とを関連付けて記憶する第2文章記憶手段を更に備え、
前記評価手段は、前記第2の文章のうち、前記第1論理関係に対応する前記第2論理関係を表す範囲を、前記第2の文章と共に出力する、
ことを特徴とする付記1から8の何れか1つに記載の文章評価装置。
(付記10)
評価の基準となる文章である第1の文章を構成する第1事象の間に成り立つ第1論理関係を取得し、
評価対象である第2の文章から、該第2の文章を構成する第2事象の間に成り立つ第2論理関係を抽出し、
前記第1論理関係と前記第2論理関係との比較により、前記第2の文章を評価する、
ことを特徴とする文章評価方法。
(付記11)
前記第1論理関係には、重みが関連付けられており、
前記第2の文章は、前記重みに応じて評価される、
ことを特徴とする付記10に記載の文章評価方法。
(付記12)
評価の基準となる文章である第1の文章を構成する第1事象の間に成り立つ第1論理関係を取得する処理と、
評価対象である第2の文章から、該第2の文章を構成する第2事象の間に成り立つ第2論理関係を抽出する処理と、
前記第1論理関係と前記第2論理関係との比較により、前記第2の文章を評価する処理と、
をコンピュータに実行させるプログラムを記録する、コンピュータ読み取り可能な非一時的な記録媒体。
(付記13)
前記第1論理関係には、重みが関連付けられており、
前記第2の文章を評価する処理は、前記重みに応じて前記第2の文章を評価する、
ことを特徴とする付記12に記載の記録媒体。