JP6717387B2 - Text evaluation device, text evaluation method and recording medium - Google Patents
Text evaluation device, text evaluation method and recording medium Download PDFInfo
- Publication number
- JP6717387B2 JP6717387B2 JP2018557491A JP2018557491A JP6717387B2 JP 6717387 B2 JP6717387 B2 JP 6717387B2 JP 2018557491 A JP2018557491 A JP 2018557491A JP 2018557491 A JP2018557491 A JP 2018557491A JP 6717387 B2 JP6717387 B2 JP 6717387B2
- Authority
- JP
- Japan
- Prior art keywords
- logical relationship
- sentence
- answer
- logical
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Description
本開示は、文章評価装置、文章評価方法および記録媒体に関する。 The present disclosure relates to a text evaluation device, a text evaluation method, and a recording medium.
記述式の答案を人手で採点する負荷を軽減するための採点支援システムが開発されている。例えば、特許文献１には、設問（Ｔｅｓｔ ｐｒｏｍｐｔ）とは独立な既定の特徴群（Ｆｅａｔｕｒｅ ｓｅｔ）を定めておき、採点済みのデータなどに基づいて重みづけされたスコアリングの方程式に従って得点を付与する採点支援システムの一例が記載されている。
A scoring support system has been developed to reduce the burden of manually scoring descriptive answers. For example, in
また、特許文献２には、複数のエッセーを評価して特徴群を生成し、各特徴の重さを、複数のエッセーの夫々から決定されたスコアカテゴリおよび特徴群に基づいて生成し、特徴群に対する重さに基づいて、モデルを生成することが記載されている。特許文献２に記載の技術は、生成したモデルに従って、エッセーを評価する。
Further, in
特許文献１に記載された技術は、文法や長さ、語彙といった、良いエッセーの一般的特徴と照らし合わせてスコアを決定することになるため、ある設問に特有の評価基準に基づいて該エッセーを評価することが難しい。
Since the technique described in
特許文献２に記載された技術は、設問ごとに固有の特徴が抽出できるため、ある設問に特有の評価基準に基づいてエッセーを評価できるが、該エッセーが備える特徴と対応付けられたスコアポイントとを用いて採点を行うため、エッセー全体に得点を付与することとなる。よって、エッセーに含まれる要素間の論理関係などの、問題の出題者や評価者が評価したいと意図した箇所が、該エッセー内に存在する場合であっても、この箇所毎に評価を行うことが困難である。
Since the technique described in
ここで、文章の内容を論理関係として捉えるためには、まず、自然言語で書かれた文章を論理式に変換する技術が必要となる。英語の文を論理式に変換する技術の一例が非特許文献１に、日本語の文を論理式に変換する技術の一例が非特許文献２に記載されている。これらの技術によれば、例えば、「太郎は部屋に入った」と「部屋に入ってきたのは太郎だった」のような、同一内容で表現が異なる文章であっても、汎化し同一の論理式に変換することができる。
Here, in order to capture the content of a sentence as a logical relationship, first, a technique for converting a sentence written in natural language into a logical expression is required. Non-Patent
更に、特許文献１および特許文献２に記載の技術では、特徴として抽出される要素の充足性によって評価が決まる可能性が高い。そのため、これらの技術では、要素が充実していれば、その論理の流れが正しくない場合であっても、高い評価を得る可能性がある。すなわち、これらの技術では、文章（例えば、評価対象の答案）に含まれる論理関係を正しく評価できない可能性がある。
Further, in the techniques described in
本開示は、上記課題に鑑みてなされたものであり、その目的は、評価対象の文章に含まれる要素間の論理関係に対して評価を行うことが可能な技術を提供することにある。 The present disclosure has been made in view of the above problems, and an object thereof is to provide a technique capable of performing an evaluation on a logical relationship between elements included in a sentence to be evaluated.
本開示の一態様に係る文章評価装置は、第１の文章を構成する第１事象の間に成り立つ第１論理関係を取得する取得手段と、評価対象である第２の文章から、該第２の文章を構成する第２事象の間に成り立つ第２論理関係を抽出する論理関係抽出手段と、前記第１論理関係と前記第２論理関係との比較により、前記第２の文章を評価する評価手段と、を備え、前記第１の文章は、前記第２の文章に対する評価の基準となる文章である。 A sentence evaluation device according to an aspect of the present disclosure includes an acquisition unit that acquires a first logical relationship that holds between first events that form a first sentence, and a second sentence that is an evaluation target from the second sentence. Which evaluates the second sentence by comparing the first logical relation and the second logical relation with a logical relation extracting means for extracting a second logical relation that is established between the second events forming the sentence Means, and the first sentence is a sentence serving as a reference for evaluation of the second sentence.
本開示の一態様に係る文章評価方法は、評価の基準となる第１の文章を構成する第１事象の間に成り立つ第１論理関係を取得し、評価対象である第２の文章から、該第２の文章を構成する第２事象の間に成り立つ第２論理関係を抽出し、前記第１論理関係と前記第２論理関係との比較により、前記第２の文章を評価する。 A text evaluation method according to an aspect of the present disclosure acquires a first logical relationship that holds between first events that form a first text that serves as a criterion for evaluation, and extracts the first logical relationship from a second text that is an evaluation target. A second logical relationship that is established between the second events forming the second sentence is extracted, and the second sentence is evaluated by comparing the first logical relation and the second logical relation.
なお、上記装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。 Note that a computer program that implements the above apparatus or method by a computer, and a computer-readable non-transitory recording medium that stores the computer program are also included in the scope of the present disclosure.
本開示によれば、評価対象の文章に含まれる要素間の論理関係に対して評価を行うことができる。 According to the present disclosure, it is possible to evaluate a logical relationship between elements included in a sentence to be evaluated.
＜第１の実施の形態＞
本開示の第１の実施の形態について、図面を参照して説明する。図１は、本実施の形態に係る文章評価装置１０の機能構成の一例を示す機能ブロック図である。図２は、図１に示す文章評価装置１０を含む文章評価システム１の構成の一例を示すブロック図である。<First Embodiment>
A first embodiment of the present disclosure will be described with reference to the drawings. FIG. 1 is a functional block diagram showing an example of the functional configuration of the
図２に示す通り、文章評価システム１は、文章評価装置１０と評価基準記憶装置２０と出力装置３０とを備える。文章評価装置１０は、評価基準記憶装置２０および出力装置３０と、ネットワークを介してまたは介さずに通信可能に接続している。
As shown in FIG. 2, the
評価基準記憶装置２０は、第１の文章を構成する第１事象の間に成り立つ第１論理関係を表す情報を記憶する。第１の文章は、後述する第２の文章に対する評価の基準となる文章である。第１の文章は、例えば、模範解答である。以下、第１の文章が模範解答であるとして説明を行う。模範解答は、後述する評価部１３が評価を行う第２の文章（例えば、答案）に関連付けられたある問題に対して、模範となる解答の一例を示す。模範解答は、例えば、自然文で記述される。評価基準記憶装置２０は、例えば、非特許文献２に記載の技術を用いて、模範解答である自然文を論理式に変換することによって得られた第１論理関係を表す情報を格納してもよい。評価基準記憶装置２０は、例えば、ハードディスクドライブ等によって実現されてもよい。
The evaluation
ここで、第１事象とは、例えば、論理式に含まれる要素である。論理式は、例えは、非特許文献２に記載の方法で表現される。第１事象とは、例えば、キーワードまたはキーフレーズで表現される。例えば、模範解答が「戦争が起きた。それゆえ、財政難になった。」であり、変換によって得られた論理式を模式的に表現したものが「（戦争）→（財政難）」であるとする。この論理式を模式的に表現したものを論理表現情報と呼ぶ。この場合、（戦争）および（財政難）は第１事象であり、（戦争）および（財政難）の間の矢印（→）は、第１事象の間に成り立つ第１論理関係となる。この例の場合、第１論理関係は矢印の起点の第１事象を原因とし、矢印の終点の第１事象を結果とする因果関係である。また、第１論理関係は、因果関係に限定されず、例えば、上位概念に対する下位概念の関係を表す上下関係であってもよいし、第１事象が同時に起こるイベントであることを表す関係（同時関係と呼ぶ）であってもよいし、その他の関係であってもよい。このように、第１論理関係は、論理式から抽出された、第１事象の間に成り立つ論理関係であり、第１事象の情報とこれらの関係性を表す情報を含むものである。
Here, the first event is, for example, an element included in the logical expression. The logical expression is expressed by the method described in
出力装置３０は、後述する評価部１３の採点結果を出力する。出力装置３０は、例えば、液晶ディスプレイなどの表示装置であってもよいし、プリンタ等の印刷装置であってもよい。
The
また、評価基準記憶装置２０と出力装置３０とは文章評価装置１０に内蔵されるものであってもよい。
The evaluation
図１に示す通り、本実施の形態に係る文章評価装置１０は、取得部１１と、論理関係抽出部１２と、評価部１３とを備える。
As shown in FIG. 1, the
取得部１１は、模範解答を構成する第１事象の間に成り立つ第１論理関係を取得する。取得部１１は、例えば、評価基準記憶装置２０から第１論理関係を取得する。なお、取得部１１は、評価基準記憶装置２０からではなく、文章評価装置１０に入力された模範解答を論理式に変換することによって第１論理関係を取得してもよい。取得部１１が第１論理関係を取得する方法は特に限定されない。取得部１１は、取得した第１論理関係を評価部１３に供給する。
The acquisition unit 11 acquires a first logical relationship that holds between the first events that form the model answer. The acquisition unit 11 acquires the first logical relationship from the evaluation
論理関係抽出部１２は、評価対象である第２の文章から、該第２の文章を構成する第２事象の間に成り立つ第２論理関係を抽出する。第２の文章は、例えば、答案である。答案は、例えば、自然文で記述されたものである。論理関係抽出部１２は、自然文で記載された答案を例えば、非特許文献２に記載の技術を用いて論理式に変換することにより、第２論理関係を抽出する。論理関係抽出部１２は、抽出した第２論理関係を評価部１３に供給する。以下、評価対象である第２の文章を、評価対象の答案として説明を行う。
The logical
ここで、第２事象とは、第１事象と同様に論理式に含まれる要素であり、例えば、キーワードまたはキーフレーズで表現される。また、第２論理関係は、このような第２事象の間に成り立つ論理関係であり、例えば、因果関係、同時関係である。 Here, the second event is an element included in the logical expression like the first event, and is expressed by, for example, a keyword or a key phrase. The second logical relationship is a logical relationship that is established during such a second event, and is, for example, a causal relationship or a simultaneous relationship.
評価部１３は、第１論理関係と第２論理関係との比較により、評価対象の答案を採点する。評価部１３は、取得部１１から第１論理関係を受け取る。また、評価部１３は、論理関係抽出部１２から第２論理関係を受け取る。そして、評価部１３は、第１論理関係と第２論理関係とを比較し、同じ論理関係を表しているか否かを判定する。評価部１３は、第１論理関係と第２論理関係とが同じ論理関係を表している場合、答案に含まれる第２論理関係が正解であると判定する。そして、第２論理関係を含む答案を採点する。例えば、第１論理関係に、所定の点数が関連付けられている場合、評価部１３は、正解であると判定した第２論理関係と同じ論理関係を表す第１論理関係に関連付けられた所定の点数を用いて、答案を採点することにより、該答案を評価する。
The
図３は、本実施の形態に係る文章評価装置１０の処理の流れの一例を示すフローチャートである。図３に示す通り、本実施の形態に係る文章評価装置１０の取得部１１は、模範解答を構成する第１事象の間に成り立つ第１論理関係を取得する（ステップＳ３１）。また、論理関係抽出部１２は、評価対象の答案から、該評価対象の答案を構成する第２事象の間に成り立つ第２論理関係を抽出する（ステップＳ３２）。そして、評価部１３は、第１論理関係と第２論理関係との比較により、評価対象の答案を採点する（ステップＳ３３）。
FIG. 3 is a flowchart showing an example of the flow of processing of the
以上により、文章評価装置１０は処理を終了する。
With the above, the
本実施の形態に係る文章評価装置１０によれば、模範解答を構成する第１事象の間に成り立つ第１論理関係と、評価対象の答案を構成する第２事象の間に成り立つ第２論理関係とを比較することによって、評価対象の答案を評価する。上述した通り、第１論理関係および第２論理関係は、例えば、因果関係である。例えば、模範解答が「（Ａ）→（Ｂ）」の論理表現情報で表現され、（Ａ）と（Ｂ）との間の矢印（→）が（Ａ）を原因、（Ｂ）を結果とする因果関係を表す場合、第１事象は（Ａ）および（Ｂ）であり、第１事象（Ａ）と第１事象（Ｂ）との間に成り立つ第１論理関係は、第１事象（Ａ）を原因、第１事象（Ｂ）を結果とする因果関係である。
According to the
そして、答案を構成する第２事象の間に成り立つ第２論理関係が、第２事象（Ａ）を原因、第２事象（Ｂ）を結果とする因果関係の場合、第１論理関係と、第２論理関係とが同じ論理関係であるため、評価部１３は、この答案に含まれる第２論理関係が正しいと判定することができる。よって、評価部１３は、この答案に含まれる第２論理関係に対して、例えば、所定の点数を付与することができる。
Then, if the second logical relationship that is established between the second events that make up the answer is a causal relationship that causes the second event (A) and the second event (B) as the result, the first logical relationship and the Since the two logical relationships are the same logical relationship, the
また、答案を構成する第２事象の間に成り立つ第２論理関係が、第２事象（Ｂ）を原因、第２事象（Ａ）を結果とする因果関係の場合、この第２論理関係を含む論理式を模式的に表現した論理表現情報は「（Ｂ）→（Ａ）」となる。第１論理関係を含む論理式を模式的に表現した論理表現情報は、上述した通り「（Ａ）→（Ｂ）」であるため、答案を構成する第２事象（Ａ）および第２事象（Ｂ）は、模範解答を構成する第１事象（Ａ）および第１事象（Ｂ）と同じであるが、第１論理関係と第２論理関係とは異なる論理関係である。したがって、評価部１３は、この答案に含まれる第２論理関係が間違っていると判定することができる。よって、評価部１３は、この答案に含まれる第２論理関係に対して、例えば、点数を付与しない、または、マイナスの点数を付与することができる。
In addition, if the second logical relationship that is established between the second events that make up the answer is a causal relationship that causes the second event (B) and causes the second event (A) as a result, this second logical relationship is included. The logical expression information that schematically represents the logical expression is “(B)→(A)”. Since the logical expression information that schematically expresses the logical expression including the first logical relationship is “(A)→(B)” as described above, the second event (A) and the second event ( B) is the same as the first event (A) and the first event (B) constituting the model answer, but the first logical relationship and the second logical relationship are different logical relationships. Therefore, the
このように、本実施の形態に係る文章評価装置１０は、採点対象の答案に含まれる要素である第２事象が第１事象と同じであっても第２事象の間に成り立つ第２論理関係と第１論理関係とを比較することによって、答案の評価を行う。よって、文章評価装置１０は、答案を構成する第２事象の間の論理関係である第２論理関係の正誤を正しく評価することができる。すなわち、文章評価装置１０は、採点対象の答案に含まれる要素間の論理関係に対して評価を行うことができる。
As described above, in the
＜第２の実施の形態＞
次に、上述した第１の実施の形態を基本とする、本開示の第２の実施の形態について、図面を参照して説明する。図４は、本実施の形態に係る文章評価装置１００の機能構成の一例を示す機能ブロック図である。なお、図４に示す文章評価装置１００は、上述した文章評価装置１０と評価基準記憶装置２０とが一体となった装置であるとして説明を行う。<Second Embodiment>
Next, a second embodiment of the present disclosure based on the above-described first embodiment will be described with reference to the drawings. FIG. 4 is a functional block diagram showing an example of the functional configuration of the
図４に示す通り、本実施の形態に係る文章評価装置１００は、模範解答受付部１１０、第１抽出部１２０、重み受付部１３０、採点基準記憶部（評価基準記憶装置）１４０、答案受付部１５０、第２抽出部（論理関係抽出部）１６０、取得部１７０および採点部（評価部）１８０を備える。
As shown in FIG. 4, the
模範解答受付部１１０は、評価対象の答案に対する模範解答を受け付ける。模範解答は、本実施の形態では、自然文であるとする。模範解答受付部１１０は、例えば、キーボードなどの入力装置を用いて、例えば、問題の出題者、模範解答の作成者または問題の評価者によって入力された模範解答を受け付ける。以下、問題の出題者、模範解答の作成者または問題の評価者をまとめて、単に評価者と呼ぶ。模範解答受付部１１０は、受け付けた模範解答を第１抽出部１２０に供給する。なお、本実施の形態では、答案の評価の方法として、該答案の採点を行うことを例に挙げる。よって、以下では、評価対象の答案を、採点対象の答案とも呼ぶ。
The model
第１抽出部１２０は、模範解答を構成する事象の間に成り立つ論理関係である第１論理関係を、該模範解答から抽出する。まず、第１抽出部１２０は、模範解答受付部１１０から自然文で記載された模範解答を受け取る。第１抽出部１２０は、この模範解答である自然文を論理式に変換する。第１抽出部１２０は、例えば、非特許文献２に記載の技術を用いて、自然文を論理式に変換することにより、該自然文から第１論理関係を抽出する。第１抽出部１２０は、変換した論理式に含まれる複数の第１事象および第１事象の間に成り立つ第１論理関係を夫々採点基準記憶部１４０に格納する。
The
ここで、第１事象とは、論理式に含まれる要素を示す。第１事象は、例えば、キーワードまたはキーフレーズで表現される。要素は、単語の概念を含んでもよい。第１事象および第１論理関係の具体例は後述する。なお、以下では、第１事象を第１要素とも呼ぶ。 Here, the first event indicates an element included in the logical expression. The first event is represented by, for example, a keyword or a key phrase. The element may include the concept of a word. Specific examples of the first event and the first logical relationship will be described later. In addition, below, a 1st event is also called a 1st element.
重み受付部１３０は、論理式に変換された模範解答に含まれる各第１要素および各第１論理関係に対する重みの入力を受け付ける。重みとは、例えば、各第１要素および各第１論理関係に付与する配点である。また、重みとは、第２事象（後述）および第２論理関係（後述）を含む答案を採点する際に、第２事象と一致する第１事象および第２論理関係と一致する第１論理関係に対して与えられる点数（部分点）である。重みは、基準となる値（得点）に対する相対的な値（パラメータ）であってもよいし、配点そのものであってもよい。また、重みは、第１事象および第１論理関係に対する評価を表す評価情報（評価値）とも呼べる。本実施の形態では、重み受付部１３０が各第１要素および各第１論理関係に対する配点を受け付けるとして説明を行う。重み受付部１３０は、受け付けた配点を、採点基準記憶部１４０に格納された、関連する第１要素または第１論理関係に関連付ける。
The
採点基準記憶部１４０は、互いに関連付けられた、第１抽出部１２０によって変換された論理式に含まれる第１要素および第１論理関係と重み受付部１３０が受け付けた重みとを採点基準（評価基準）として記憶する。後述する採点部１８０は、この採点基準に含まれる重みに応じて採点を行う。なお、採点基準記憶部１４０に格納された採点基準の一例については図面を変えて後述する。
The scoring
答案受付部１５０は、採点対象の答案を受け付ける。採点対象の答案は、本実施の形態では、自然文であるとする。なお、以下では、採点対象の答案を単に答案とも呼ぶ。答案受付部１５０は、例えば、ネットワーク等を介して、答案の作成者によって入力された答案を、ネットワーク等を介して受信することにより、該答案を受け付ける。答案受付部１５０は、受け付けた答案を第２抽出部１６０に供給する。
The
第２抽出部１６０は、上述した第１の実施の形態における論理関係抽出部１２の一例である。第２抽出部１６０は、採点対象の答案から、該採点対象の答案を構成する第２事象の間に成り立つ第２論理関係を抽出する。まず、第２抽出部１６０は、自然文で記載された答案を受け取る。第２抽出部１６０は、受け取った答案に含まれる自然文を論理式に変換する。第２抽出部１６０が答案に含まれる自然文を論理式に変換する方法は、第１抽出部１２０が模範解答である自然文を論理式に変換する方法と同じであってもよいし異なっていてもよい。第２抽出部１６０は、任意の方法を用いて、答案に含まれる自然文を論理式に変換することにより、該答案から第２論理関係を抽出する。第２抽出部１６０は、変換した論理式に含まれる第２事象および第２事象の間に成り立つ第２論理関係を夫々採点部１８０に供給する。
The
ここで、第２事象とは、第１事象と同様に論理式に含まれる要素であり、例えば、キーワードまたはキーフレーズで表現される。第２事象および第２論理関係の具体例は後述する。なお、以下では、第２事象を第２要素とも呼ぶ。 Here, the second event is an element included in the logical expression like the first event, and is expressed by, for example, a keyword or a key phrase. Specific examples of the second event and the second logical relationship will be described later. In the following, the second event is also called the second element.
取得部１７０は、上述した第１の実施の形態における取得部１１の一例である。取得部１７０は、採点基準記憶部１４０から、採点部１８０が採点を行う答案に関連付けられた模範解答を構成する複数の第１事象の間に成り立つ第１論理関係を取得する。この第１論理関係には、上述した通り配点が関連付けられている。また、取得部１７０は、配点が関連付けられた第１事象も取得する。取得部１７０は取得した第１事象および第１論理関係を採点部１８０に供給する。このとき、取得部１７０は、配点が０ではない第１事象および第１論理関係を取得することが好ましい。これにより後述する採点部１８０による比較処理の工数を削減することができる。
The
採点部１８０は、上述した第１の実施の形態における評価部１３の一例である。採点部１８０は、第２抽出部１６０から第２事象および第２論理関係を受け取る。また、採点部１８０は、取得部１７０から第１事象および第１論理関係を受け取る。そして、採点部１８０は、第１論理関係と第２論理関係とを比較する。また、採点部１８０は、第１事象と第２事象とを比較する。ここで、第１論理関係と第２論理関係との比較の方法および第１事象と第２事象との比較の方法は特に限定されず、任意の方法を採用してもよい。
The
採点部１８０は、第１論理関係と第２論理関係との比較の結果、これらが同じ論理関係である場合、第１論理関係に関連付けられた配点を、第２論理関係に対する点数として付与する。また、採点部１８０は、第１事象と第２事象との比較の結果、これらが同じ事象である場合、第１事象に関連付けられた配点を、第２事象に対する点数として付与する。そして、採点部１８０は第２事象および第２論理関係に付与された点数の合計を、答案に対する点数とする。このようにして、採点部１８０は、答案に対する採点を行う。
As a result of the comparison between the first logical relationship and the second logical relationship, the
図５は、本実施の形態に係る文章評価装置１００における採点基準記憶部１４０に採点基準を格納する処理の流れの一例を示すフローチャートである。図５に示す通り、まず、模範解答受付部１１０が模範解答を受け付ける（ステップＳ５１）。そして、第１抽出部１２０が、模範解答を論理式に変換する（ステップＳ５２）。例えば、模範解答である自然文が「戦争が起きた。それゆえ、財政難になった。」である場合、第１抽出部１２０は、この模範解答を、「戦争」および「財政難」というイベントを第１要素（第１事象）とする論理式に変換する。この場合、変換された論理式を模式的に表現した論理表現情報は、「（戦争）→（財政難）」となる。この矢印（→）は、イベント間の因果関係を表す。第１論理関係は、このような第１要素間に成り立つ関係（この例の場合はイベント間の因果関係）である。第１抽出部１２０は、模範解答を論理式に変換する際、例えば接続詞を、接続詞の前後の要素の間の第１論理関係と判定し、該第１論理関係を含む論理式を生成する。なお、第１論理関係は、第１要素間の因果関係に限定されず、例えば、第１要素間の同時関係であってもよい。同時関係は、第１要素（イベント）同士が同時に起こったことを表す。例えば、模範解答である自然文が「平民には課税された一方、貴族は非課税であった。」である場合、第１抽出部１２０は、「平民に課税」と「貴族に非課税」とを第１要素とし、この第１要素同士を同時に起こったイベントであると判定する。これにより、第１抽出部１２０は、上記自然文を、同時関係を第１論理関係とした論理式に変換する。この場合、変換された論理式の論理表現情報は、同時関係を表す「―」を用いて、「（平民に課税）―（貴族に非課税）」となる。第１抽出部１２０は、変換した論理式に含まれる第１要素および第１論理関係を採点基準記憶部１４０に格納する。
FIG. 5 is a flowchart showing an example of the flow of processing for storing the scoring standard in the scoring
その後、重み受付部１３０が、第１抽出部１２０が変換した論理式に含まれる第１論理関係および第１要素に対する配点の入力を受け付ける（ステップＳ５３）。これにより、論理式に変換されることによって、模範解答から抽出された各第１要素だけでなく第１論理関係にも配点を付与することができる。つまり、評価者が評価したいと意図した、第１要素だけでなく第１要素間のつながり（第１論理関係）にも配点を付与することができる。そして、重み受付部１３０は、受け付けた配点に関連する、採点基準記憶部１４０に格納された第１要素または第１論理関係に、該配点を関連付けて、採点基準として保存する（ステップＳ５４）。これにより、採点基準記憶部１４０は、配点が関連付けられた第１要素および第１論理関係を格納する。
After that, the
この処理により、採点基準記憶部１４０に格納された採点基準について、図６を参照して説明する。図６は、採点基準記憶部１４０に格納された採点基準６０を説明するための図である。図６の（ａ）は、採点基準６０を、論理表現情報を用いて示したものであり、図６の（ｂ）は、採点基準６０を、表形式で表現したものである。
With this process, the scoring criteria stored in the scoring
模範解答受付部１１０が受け付けた模範解答が、「戦争が起きた。それゆえ、財政難になった。そのため増税が行われた。」である場合、第１抽出部１２０は、模範解答を、論理表現情報「（戦争）→（財政難）→（増税）」で表現される論理式に変換する。このように、第１抽出部１２０は、模範解答に複数の第１論理関係が含まれる場合、複数の第１論理関係を模範解答から抽出する。ここで、評価者が、模範解答のうち答案を評価する視点が、以下の（１）〜（３）であるとすると仮定する。
（１）第１要素（戦争）を原因、第１要素（財政難）を結果とする因果関係（第１論理関係６４）
（２）第１要素（財政難）を原因、第１要素（増税）を結果とする因果関係（第１論理関係６５）
（３）第１要素（増税）（第１要素６３）
重み受付部１３０は、上記（１）〜（３）に対する重みを受け付ける。このとき、評価者は、上記（１）〜（３）を示す情報および配点をテキストで入力してもよいし、（１）〜（３）を表現する情報（例えばテキスト）に対して配点を入力してもよい。重み受付部１３０は、評価者が任意の方法によって入力した配点を受け付ければよい。重み受付部１３０が受け付けた配点が、（１）に対して１０点、（２）および（３）に対して５点であったとする。これにより、図６の（ａ）および図６の（ｂ）に示す通り、（１）第１要素（戦争）を原因、第１要素（財政難）を結果とする因果関係である、「（戦争）→（財政難）」の２つの第１要素の情報を含む矢印の部分（第１論理関係６４）に１０点、（２）第１要素（財政難）を原因、第１要素（増税）を結果とする因果関係である、「（財政難）→（増税）」の２つの第１要素の情報を含む矢印の部分（第１論理関係６５）に５点、（３）第１要素（増税）の部分（第１要素６３）に５点が関連付けられる。また、図６の（ｂ）に示す通り、配点の入力を受け付けなかった第１要素６１および第１要素６２に対しては、０点が関連付けられている。この０点の配点は、該配点が関連付けられた第１要素または第１論理関係が、評価の対象ではないことを示している。When the model answer accepted by the model
(1) A causal relationship in which the first element (war) is the cause and the first element (financial difficulty) is the result (first logical relationship 64)
(2) Causal relationship (first logical relationship 65) in which the first element (financial difficulty) is the cause and the first element (tax increase) is the result
(3) First element (tax increase) (first element 63)
The
なお、図６の（ａ）に示す通り、第１論理関係６４は、「（戦争）→（財政難）」のうち、矢印の起点（戦争）と終点（財政難）の情報を含む矢印の部分で表現される情報である。同様に、第１論理関係６５も、矢印の起点（財政難）と終点（増税）との情報を含む矢印の部分で表現される情報である。図６の（ｂ）では、矢印の起点と終点との情報を含む論理関係（この場合、因果関係）を論理表現情報と区別するために、矢印（⇒）を用いて表現している。つまり、「（戦争）→（財政難）」は論理表現情報であり、「（戦争）⇒（財政難）」は第１要素（戦争）を原因、第１要素（財政難）を結果とする因果関係である、第１論理関係６４である。
Note that, as shown in FIG. 6A, the first
なお、採点基準６０は、図６に示す形式でなくてもよく、第１要素または第１論理関係と配点とが関連付けられたものであればよい。また、採点基準６０は、図６に示す情報加えて、答案に対応付けられる問題を表す情報（問題番号等）を含んでいてもよい。
Note that the scoring
なお、模範解答は、論理式であってもよい。この場合、第１抽出部１２０は、模範解答受付部１１０から受け取った模範解答を採点基準記憶部１４０に格納すればよい。
The model answer may be a logical expression. In this case, the first extracting
図７は、本実施の形態に係る文章評価装置１００における答案採点処理の流れの一例を示すフローチャートである。図７に示す通り、答案受付部１５０が採点対象の答案を受け付ける（ステップＳ７１）。そして、第２抽出部１６０が、答案を論理式に変換する（ステップＳ７２）。これにより第２抽出部１６０は、複数の第２要素と１以上の第２論理関係とを答案から抽出することができる。
FIG. 7 is a flowchart showing an example of the flow of answer scoring processing in
また、取得部１７０が、採点対象の答案に対応付けられる採点基準に含まれる、配点が関連付けられた第１要素および第１論理関係を採点基準記憶部１４０から取得する（ステップＳ７３）。なお、答案受付部１５０が受け付ける答案に対応付けられる採点基準がどの採点基準であるかが予めわかっている場合、ステップＳ７３はステップＳ７１またはステップＳ７２と同時に行われてもよいし、ステップＳ７１またはステップＳ７２より前に行われてもよい。答案が、例えば、小論文の場合、第２論理関係は該答案に複数含まれることが一般的である。したがって、本実施の形態では、取得部１７０は、０点以外の配点が関連付けられた複数の第２要素および複数の第２論理関係を取得するとして説明を行う。
The
次に、採点部１８０が、第１論理関係と第２論理関係との比較および第１要素と第２要素との比較により、採点対象の答案を採点する（ステップＳ７４）。具体的には、採点部１８０は、取得部１７０から受け付けた１以上の第１論理関係が答案に含まれる第２論理関係に含まれるか否かを判定する。また、採点部１８０は、取得部１７０から受け付けた１以上の第１要素が答案に含まれる第２要素に含まれるか否かを判定する。
Next, the
そして、採点部１８０は、第１論理関係と一致する第２論理関係が答案に含まれる場合、該第１論理関係に関連付けられた配点を第２論理関係に付与する。また、採点部１８０は、第１要素と一致する第２要素が答案に含まれる場合、該第１要素に関連付けられた配点を第２要素に付与する。採点部１８０は第２要素および第２論理関係に付与された点数の合計を、答案に対する点数とする。このようにして、採点部１８０は、答案に対する採点を行う。
Then, when the answer includes a second logical relationship that matches the first logical relationship, the
採点部１８０の採点処理について、具体例を挙げてさらに説明する。以下に説明する答案は、図６に示した模範解答に対応付けられる問題に対する答案であるとする。図８は、採点部１８０が行う採点処理を説明するための図である。答案８０は、図８に示す通り、「増税が戦争の原因となった。この戦争で財政難になった。」であるとする。第２抽出部１６０によって変換された論理式の論理表現情報は、図８に示す通り、「（増税）→（戦争）→（財政難）」となる。
The scoring process of the
よって、第２抽出部１６０は、以下の（Ａ）〜（Ｅ）を答案から抽出することができる。
（Ａ）第２要素（増税）（第２要素８１）
（Ｂ）第２要素（戦争）（第２要素８２）
（Ｃ）第２要素（財政難）（第２要素８３）
（Ｄ）第２要素（増税）を原因、第２要素（戦争）を結果とする因果関係（第２論理関係８４）
（Ｅ）第２要素（戦争）を原因、第２要素（財政難）を結果とする因果関係（第２論理関係８５）
取得部１７０は、０点以外の配点が関連付けられている第１要素および第１論理関係を取得する。図６に示す通り、０点以外の配点が関連付けられている第１要素は、第１要素６３であり、０点以外の配点が関連付けられている第１論理関係は、第１論理関係６４および第１論理関係６５である。よって、取得部１７０は、以下の（１）から（３）を採点基準記憶部１４０から取得する。
（１）第１要素（増税）（第１要素６３）と配点（５点）
（２）第１要素（戦争）を原因、第１要素（財政難）を結果とする因果関係（第１論理関係６４）と配点１０点
（３）第１要素（財政難）を原因、第１要素（増税）を結果とする因果関係（第１論理関係６５）と配点５点
そして、採点部１８０は、第１要素６３である「（増税）」と一致する第２要素が、第２抽出部１６０によって抽出された複数の第２要素に含まれるか否かを判定する。上述した通り、「（増税）」は、第２要素８１であるため、採点部１８０は、第１要素６３と一致する第２要素が答案に含まれると判定する。そして、採点部１８０は、第１要素６３と一致する第２要素８１に対し、第１要素６３に関連付けられた配点５点（部分点８６）を付与する。Therefore, the
(A) Second element (tax increase) (second element 81)
(B) Second element (war) (second element 82)
(C) Second element (financial difficulty) (second element 83)
(D) Causal relationship (second logical relationship 84) resulting from the second element (war) and the second element (tax increase)
(E) Causal relationship in which the second element (war) is the cause and the second element (financial difficulty) is the result (second logical relationship 85)
The
(1) 1st element (tax increase) (1st element 63) and points (5 points)
(2) Causal relationship (first logical relationship 64) resulting from the first element (war) and resulting from the first element (financial difficulty) and 10 points (3) Cause of the first element (financial difficulty), A causal relationship (first logical relationship 65) resulting in one element (tax increase) and a score of 5 points. Then, in the
採点部１８０は、同様に、第１論理関係６４である「（戦争）⇒（財政難）」が、第２抽出部１６０によって抽出された第２論理関係に含まれるか否かを判定する。そして、採点部１８０は、第１論理関係６４と一致する第２論理関係８５に対し、第１論理関係６４に関連付けられた配点１０点（部分点８７）を付与する。
Similarly, the
また、採点部１８０は、第１論理関係６５である「（財政難）⇒（増税）」が、第２抽出部１６０によって抽出された第２論理関係に含まれるか否かを判定する。図８に示す通り、答案には、第１論理関係６５と一致する第２論理関係が含まれていないため、この第１論理関係６５に関連付けられた配点は、答案に付与しない。
In addition, the
このようにして、採点部１８０は、答案の採点処理を行う。なお、採点部１８０は、採点結果を出力してもよい。採点部１８０が出力する採点結果は、部分点の合計点であってもよいし、部分点と該部分点が付与された第２論理関係および／または第２要素とを関連付けた情報であってもよい。採点結果の出力方法はどのような方法であってもよく、例えば、第１の実施の形態において説明した出力装置３０に出力してもよいし、ネットワークを介して他の装置に出力してもよい。
In this way, the
また、採点部１８０が採点することによって得られた結果は点数でなくてもよい。例えば、採点部１８０は、答案に対するランクを表す情報（例えば、優、良、可等）を採点結果としてもよい。この場合、配点（重み）は該ランクを表すために用いられる情報（例えば、点数）であってもよい。また、採点部１８０は、合否を採点結果としてもよい。この場合、採点部１８０は、得られた点数と所定の閾値との比較によって合否を決定してもよい。
Further, the result obtained by the
また、上記では、採点部１８０が第１論理関係と第２論理関係との一致を判定することについて説明を行ったが、この判定における「一致」とは完全一致ではなくてもよい。第１論理関係と第２論理関係との比較の手法によって、「一致」の程度は変更してもよい。第１要素と第２要素との比較についても同様である。また、第１要素と第２要素との比較の場合、例えば、第１要素が表す概念と第２要素が表す概念とが同じであれば、一致していると判定してもよい。
Further, in the above description, the
また、例えば、論理関係が、要素を表すイベントが同時に起こったことを表す同時関係の場合、要素の前後が異なっていても採点部１８０は一致と判定することができる。例えば、「平民には課税された一方、貴族は非課税であった。」という模範解答の場合、同時関係を表す「―」を用いて「（平民に課税）―（貴族に非課税）」という論理表現情報で表現される論理式が得られる。この場合、答案から得られた論理式の論理表現情報が「（平民に課税）―（貴族に非課税）」だけでなく「（貴族に非課税）―（平民に課税）」であっても、採点部１８０は、第２論理関係と第１論理関係とが一致していると判定することができる。
Further, for example, in the case where the logical relationship is a simultaneous relationship indicating that the events representing the elements have occurred at the same time, the
なお、本実施の形態では、採点基準を格納する処理と、答案を受け付け、採点する処理とが同じ装置で行われていることを例に説明を行ったが、別々の装置で行われてもよい。つまり、模範解答受付部１１０、第１抽出部１２０、重み受付部１３０および採点基準記憶部１４０は、文章評価装置１００とは別の装置（例えば、図２に示した評価基準記憶装置２０）で実現されてもよい。この場合、取得部１７０は、この別の装置から第１論理関係を取得すればよい。また、模範解答受付部１１０、第１抽出部１２０および重み受付部１３０が文章評価装置１００とは別の装置で実現される構成であってもよい。
In the present embodiment, the process of storing the scoring standard and the process of accepting the answer and scoring are performed by the same device, but they are performed by different devices. Good. That is, the model
また、第１抽出部１２０と第２抽出部１６０とは１つのブロックで実現されてもよい。この場合であっても、模範解答と答案とを論理式に変換する場合に用いる方法は、同じであってもよいし、異なっていてもよい。
Further, the
以上のように、本実施の形態に係る文章評価装置１００は、上述した第１の実施の形態に係る文章評価装置１０と同様に、第２要素の間に成り立つ第２論理関係と第１論理関係とを比較することによって、答案の採点を行う。文章評価装置１００は、採点対象の答案に含まれる要素である第２要素が第１要素と同じであっても第２要素の間に成り立つ第２論理関係と第１論理関係とが異なる場合は、第２論理関係が第１論理関係と異なると判定することができる。よって、文章評価装置１００は、答案を構成する第２要素の間の論理関係である第２論理関係の正誤を正しく評価することができる。すなわち、文章評価装置１００は、採点対象の答案に含まれる要素間の論理関係に対して評価を行うことができる。
As described above, the
また、本実施の形態に係る文章評価装置１００によれば、採点部１８０が、第１論理関係および／または第１要素に関連付けられた重みに応じて、採点対象の答案を採点する。つまり、採点部１８０は、答案に含まれる、第２論理関係と一致する第１論理関係に関連付けられた重みと、第２要素に一致する第１要素に関連付けられた重みとに応じて、採点対象の答案を採点する。これにより、第１論理関係に関連付けられた重みを該第１論理関係と一致する第２論理関係に付与し、第１要素に関連付けられた重みを該第１要素と一致する第２要素に付与することができる。
Further, according to the
例えば、評価者が、模範解答に含まれる第１論理関係の全てを評価対象と意図する場合、第１論理関係の全てに配点を関連付けてもよい。また、評価者が、模範解答に含まれる第１論理関係のうち、特定の第１論理関係のみを加算したいと意図する場合、その特定の第１論理関係のみに配点を関連付ければよい。これにより、文章評価装置１００は、更に、評価者が評価したいと意図した箇所毎に評価を行うことができる。
For example, when the evaluator intends to evaluate all the first logical relationships included in the model answer, the points may be associated with all the first logical relationships. Further, when the evaluator intends to add only the specific first logical relationship among the first logical relationships included in the model answer, the score may be associated only with the specific first logical relationship. As a result, the
また、採点部１８０が、答案に含まれる第２論理関係だけでなく、第２要素を評価することにより、文章評価装置１００は、答案に含まれる第２要素の充足性の評価も行うことができる。
In addition, the
また、取得部１７０が複数の第１論理関係を取得し、第２抽出部１６０が複数の第２論理関係を取得してもよい。そして、採点部１８０は、複数の第２論理関係の夫々を複数の第１論理関係の夫々と比較してもよい。これにより、採点部１８０は、複数の第２論理関係の夫々における第１論理関係との比較結果に基づいて、第２論理関係毎に、部分点を付与することができる。また、採点部１８０は、複数の第２要素の夫々を複数の第１要素の夫々と比較することにより、第２要素ごとに、部分点を付与することができる。したがって、採点部１８０は、答案に複数の第２論理関係が含まれる場合であっても、第２論理関係および第２要素に付与された部分点を用いて、採点対象の答案を精度よく採点することができる。更に、答案に含まれる第２論理関係および第２要素に部分点を付与することにより、採点結果を答案の作成者の能力改善に生かすためのより詳細なフィードバックとして活用することもできる。
Further, the
（変形例１）
上述した第２の実施の形態では、採点部１８０による採点の方法として、部分点を加点する方法について説明したが、採点の方法は答案に含まれる第２論理関係が間違っている場合に減点する方法であってもよい。本変形例における文章評価装置１００の構成は図４に示した文章評価装置１００と同様である。(Modification 1)
In the above-described second embodiment, the method of scoring by the
採点方法が間違っている場合に減点する方法の場合、重み受付部１３０が受け付ける重みが減点可能な情報になる。例えば、重み受付部１３０が受け付ける重みは、マイナスの点数となる。このとき採点基準記憶部１４０に格納された採点基準９０の一例について、図９を用いて説明する。採点基準９０に含まれる第１論理関係の番号および第１要素の番号は図６の（ａ）に示した番号に相当する。
In the case of a method of deducting points when the scoring method is wrong, the weight received by the
図９に示す採点基準９０と図６の（ｂ）に示した採点基準６０とは、配点の欄の点数が異なる。例えば、図９に示す通り、第１要素６３には、配点として−５点が関連付けられている。このマイナスの配点は、この第１要素６３が答案に含まれない場合、減点することを表している。
The scoring
図１０は、本変形例における文章評価装置１００における答案採点処理の流れの一例を示すフローチャートである。図１０に示す通り、答案受付部１５０が採点対象の答案を受け付ける（ステップＳ１０１）。そして、第２抽出部１６０が、答案を論理式に変換する（ステップＳ１０２）。これにより第２抽出部１６０は、複数の第２要素と１以上の第２論理関係とを答案から抽出することができる。
FIG. 10 is a flowchart showing an example of the flow of an answer scoring process in the
また、取得部１７０が、採点対象の答案に対応付けられる採点基準に含まれる、配点が関連付けられた第１要素および第１論理関係を採点基準記憶部１４０から取得する（ステップＳ１０３）。また、取得部１７０は、採点基準記憶部１４０から、初期値を取得する（ステップＳ１０４）。初期値は、模範解答が入力された際に採点基準記憶部１４０に格納されるものであってもよい。また、初期値はあらかじめ決められた値であってもよい。初期値があらかじめ決められた値の場合、取得部１７０ではなく、採点部１８０が初期値を取得してもよい。
In addition, the
そして、採点部１８０が、第１論理関係と第２論理関係との比較および第１要素と第２要素との比較により、採点対象の答案を採点する（ステップＳ１０５）。具体的には、採点部１８０は、取得部１７０から受け付けた１以上の第１論理関係が答案に含まれる第２論理関係に含まれるか否かを判定する。また、採点部１８０は、取得部１７０から受け付けた１以上の第１要素が答案に含まれる第２要素に含まれるか否かを判定する。判定の結果、第１論理関係が答案に含まれる第２論理関係に含まれない場合、採点部１８０は、該第１論理関係に関連付けられた配点を減点する点数として保持する。また、判定の結果、第１要素が答案に含まれる第２要素に含まれない場合、採点部１８０は、該第１要素に関連付けられた配点を減点する点数として保持する。減点する点数は図９に示す通り、マイナスの点数であるため、保持した減点する点数の合計もマイナスの点数となる。よって採点部１８０がこのマイナスの点数を、初期値に加算することにより、初期値から減点を行う方法で採点部１８０は答案を採点することができる。
Then, the
なお、図９の配点が図６と同様にプラスの値であり、初期値が設定されることによって、採点部１８０は、減点法で答案の採点を行う構成であってもよい。また、採点基準に含まれる問題ごとに、加点法および減点法の情報が関連付けられおり、この加点法の情報が関連付けられている問題に対する答案の場合、採点部１８０は加点法で採点を行い、減点法の情報が関連付けられている問題に対する答案の場合は、減点法で採点を行ってもよい。
Note that the score in FIG. 9 is a positive value as in FIG. 6 and the initial value is set, so that the
また、第１論理関係および第１要素に関連付けられた０点以外の配点の符号が全て同じでなくてもよい。例えば、第１論理関係６４には＋１０点が配点として関連付けられており、第１論理関係６５には−５点が配点として関連付けられていてもよい。このとき、例えば、採点部１８０は、第１論理関係に関連付けられた配点の符号を参照して、プラスの符号の配点に関連付けられた第１論理関係６４と一致する第２論理関係が答案に含まれる場合は加点し、含まれない場合は何もしない。また、採点部１８０は、マイナスの符号の配点に関連付けられた第１論理関係６５と一致する第２論理関係が答案に含まれない場合は減点し、含まれる場合は何もしない。このように、採点部１８０は加点法と減点法とを配点の符号に応じて変えてもよい。
Further, the signs of the points other than the 0 point associated with the first logical relationship and the first element may not be all the same. For example, +10 points may be associated with the first
また、第１論理関係および第１要素には、プラスの配点およびマイナスの配点の両方が関連付けられていてもよい。例えば、第１論理関係６４に、＋１０点と−５点とが関連付けられていてもよい。この場合、採点部１８０は、第１論理関係６４と一致する第２論理関係が答案に含まれる場合は＋１０点を加点し、含まれない場合は、５点を減点すればよい。
Further, both the positive allocation point and the negative allocation point may be associated with the first logical relationship and the first element. For example, +10 points and −5 points may be associated with the first
このように、採点部１８０の採点方法は加点法であっても減点法であってもよい。このような構成であっても、本変形例に係る文章評価装置１００は、上述した第２の実施の形態における文章評価装置１００と同様に、答案に複数の第２論理関係が含まれる場合であっても、採点対象の答案を精度よく採点することができる。また、文章評価装置１００が、加点法及び減点法による採点を行うことにより、評価者が評価したいと意図した箇所毎に更に詳細な評価を行うことができる。
As described above, the scoring method of the
また、採点部１８０は、答案に含まれなかった第１論理関係（減点の対象となった第１論理関係）を、減点数とともに例えば、リスト形式で出力してもよい。これにより、答案の作成者は、減点の根拠を把握することができる。
In addition, the
（変形例２）
上述した第２の実施の形態および変形例１では、模範解答から抽出された第１論理関係が、答案に含まれるか否かを判定した。しかしながら、自然文を記述する形式の問題の場合、答案には、実際には正解だが評価者が想定していない文章が含まれる可能性がある。以下では、このような文章を正誤判定が行われなかった文章として、出力する構成について説明する。(Modification 2)
In the above-described second embodiment and
本変形例における文章評価装置１００の構成は図４に示した文章評価装置１００と同様である。取得部１７０は、採点対象の答案に関連付けられた問題に対する模範解答から抽出された全ての第１論理関係および第１要素を、夫々に関連付けられた配点と共に取得する。このとき取得する第１論理関係および第１要素は、０点の配点が関連付けられたものも含む。
The structure of the
採点部１８０は、第１論理関係と第２論理関係とを比較する。具体的には、採点部１８０は、第２論理関係と一致する第１論理関係が採点基準に含まれているか否かを判定する。そして、採点部１８０は、第２論理関係と一致する第１論理関係が採点基準に含まれている場合、該第１論理関係に関連付けられた配点を該第２論理関係に付与する。また、採点部１８０は、第２要素と一致する第１要素が採点基準に含まれているか否かを判定する。そして、採点部１８０は、第２要素と一致する第１要素に関連付けられた配点を該第２要素に付与する。
The
また、採点部１８０は、第１論理関係と一致しなかった第２論理関係および第１要素と一致しなかった第２要素に対しては、配点を付与しない。ここで、第１論理関係および第１要素は、０点の配点が関連付けられているものも含んでいる。配点が付与された第２論理関係および第２要素とは、プラスの配点だけでなく、０点の配点が付されたものを示す。つまり、採点部１８０が配点を付与しない第２論理関係および第２要素は、点数の配点の処理が行われなかった第２論理関係または第２要素のことである。採点部１８０は、このような配点を付与しない第２論理関係および第２要素を、採点基準に含まれない第２論理関係および第２要素として、例えば、評価者が把握可能な様態で採点結果と共に出力してもよい。なお、採点部１８０は、配点を付与しない第２論理関係および第２要素を、別解候補群として、採点基準記憶部１４０またはその他の記憶装置に格納することにより出力してもよい。
In addition, the
これにより、採点基準に含まれない第２論理関係および第２要素が模範解答に含まれない場合であっても、評価者が、該第２論理関係および第２要素が正しいか否かを判断することができる。 Accordingly, even when the second logical relationship and the second element that are not included in the scoring criteria are not included in the model answer, the evaluator determines whether the second logical relationship and the second element are correct. can do.
また、該第２論理関係および第２要素が模範解答とは別の正しい解答（別解）を構成しうると評価者が判定した場合、文章評価装置１００は、答案の作成者が記述した文章が別解であると判定し、この別解に含まれる第２論理関係および第２要素を別の模範解答として、採点基準記憶部１４０に新たに登録してもよいし、登録されている模範解答に含まれる第１論理関係および第１要素を修正してもよい。これにより、答案に含まれる第２論理関係および第２要素が別の正解である可能性を評価者に把握させることができる。
Further, when the evaluator determines that the second logical relationship and the second element can form a correct answer (another solution) different from the model answer, the
＜第３の実施の形態＞
次に本開示の第３の実施の形態について図面を参照して説明する。図１１は、本実施の形態に係る文章評価装置２００の機能構成の一例を示す図である。また、図１２は、本実施の形態に係る文章評価装置２００を含む文章評価システム２の構成の一例を示す図である。なお、上述した第２の実施の形態に係る文章評価装置１００に含まれるブロックと同様の機能を有するブロックには同じ符号を付し、その詳細な説明を省略する。<Third Embodiment>
Next, a third embodiment of the present disclosure will be described with reference to the drawings. FIG. 11 is a diagram showing an example of a functional configuration of the
図１２に示す通り、文章評価システム２は、文章評価装置２００と表示装置４０とを含む。表示装置４０と文章評価装置２００とはネットワークを介してまたは介さずに通信可能に接続している。表示装置４０は、図２に示した出力装置３０であってもよい。表示装置４０は、文章評価装置２００から送信された制御信号に基づいた画面を表示する。表示装置４０は、例えば、液晶ディスプレイ等によって実現される。なお、表示装置４０は、文章評価装置２００に内蔵される構成であってもよい。
As shown in FIG. 12, the
文章評価装置２００は、文章評価装置１００の機能に、表示制御部２１０を備える。文章評価装置２００は、図１１に示す通り、模範解答受付部１１０と、第１抽出部１２０と、重み受付部１３０と、採点基準記憶部１４０と、答案受付部１５０と、第２抽出部１６０と、取得部１７０と、採点部１８０と、表示制御部２１０とを備える。
The
表示制御部２１０は、第１要素および第１論理関係を用いてグラフを作成する。具体的には、第１抽出部１２０から、第１抽出部１２０が変換した論理式に含まれる第１要素および第１論理関係を受け取る。表示制御部２１０は受け取った複数の第１要素の夫々をノードとし、ある第１要素と他の第１要素との間に成り立つ第１論理関係をエッジとするグラフを生成する。そして、表示制御部２１０は生成したグラフを表示装置４０に表示させる。例えば、表示制御部２１０は、グラフを表示させるための制御信号を生成し、該制御信号を表示装置４０に送信することにより、グラフを表示装置４０に表示させる。
The
評価者は表示装置４０に表示されたグラフに対して、例えば、マウスやキーボード等の入力装置を介して、ノードおよびエッジに対する重みを入力する。重み受付部１３０は、このようにして入力された重みを受け付ける。重み受付部１３０は受け付けた重みを、表示制御部２１０に供給する。表示制御部２１０は、ノードに対する重みを第１要素に関連付け、エッジに対する重みを第１論理関係に関連付けて、採点基準記憶部１４０に格納する。なお、表示制御部２１０は、表示装置４０に表示させたグラフに、評価者が入力した重みを関連付けて、表示装置４０に表示させてもよい。
The evaluator inputs weights for the nodes and edges into the graph displayed on the
図１３は、本実施の形態に係る文章評価装置２００における採点基準記憶部１４０に採点基準を格納する処理の流れの一例を示すフローチャートである。図１３に示す通り、まず、模範解答受付部１１０が模範解答を受け付ける（ステップＳ１３１）。そして、第１抽出部１２０が、模範解答を論理式に変換する（ステップＳ１３２）。例えば、模範解答である自然文が「戦争が起きた。それゆえ、財政難になった。」である場合、第１抽出部１２０は、この模範解答を、「戦争」および「財政難」というイベントを第１要素（第１事象）とする論理式に変換する。この論理式の論理表現情報は「（戦争）→（財政難）」となる。第１抽出部１２０は、変換した論理式に含まれる第１要素および第１論理関係を表示制御部２１０に供給する。
FIG. 13 is a flowchart showing an example of the flow of processing for storing the scoring standard in the scoring
表示制御部２１０は、第１抽出部１２０から受け取った第１要素および第１論理関係を用いてグラフを作成し、作成したグラフを表示装置４０に表示させる（ステップＳ１３３）。これにより、表示装置４０は、グラフを表示する。
The
図１４に、表示装置４０に表示されるグラフ１４１の一例を示す。ここでは、模範解答である自然文が「戦争が起きた。それゆえ、財政難になった。」であるとする。第１抽出部１２０は、この模範解答から、図６に示した第１要素（６１〜６３）および第１論理関係（６４、６５）を抽出する。表示制御部２１０は、この第１要素（６１〜６３）の夫々をノード（１４２〜１４４）とし、第１論理関係（６４、６５）の夫々をエッジ（１４５、１４６）とする、図１４に示すようなグラフ１４１を生成し、表示装置４０に表示させる。なお、図１４に示すように、表示制御部２１０は、エッジ（１４５、１４６）の近傍に、この第１論理関係がどのような論理関係かを示す論理関係情報（１４７、１４８）を表示させてもよい。上述した通り、エッジ１４５は、第１論理関係６４を表しており、第１論理関係６４は、第１要素（戦争）を原因、第１要素（財政難）を結果とする因果関係である。表示制御部２１０は、図１４に示す通り、エッジ１４５の論理関係情報１４７として、「因果関係」をエッジ１４５の近傍に表示させてもよい。このとき、表示制御部２１０は、第１論理関係を表す論理関係情報を自身に保持しておき、この保持した論理関係情報を表示装置４０に表示させてもよい。また、表示制御部２１０は、図１４に示す通り、エッジ１４６の論理関係情報１４８として、「因果関係」をエッジ１４６の近傍に表示させてもよい。
FIG. 14 shows an example of the
図１３に戻り、評価者が表示装置４０に表示されたグラフ１４１に対して、ノードおよびエッジに対する重みを入力すると、重み受付部１３０が、この入力された重みを受け付ける（ステップＳ１３４）。
Returning to FIG. 13, when the evaluator inputs weights for nodes and edges in the
表示制御部２１０が、図１４に示すグラフ１４１に対して入力された重みを、該グラフ１４１と共に表示装置４０に表示した際の画面の一例を図１５に示す。評価者が、エッジ１４５に対して１０点、エッジ１４６に対して５点およびノード１４４に対して５点の配点を重みとして入力したとする。図１５に示す通り、表示装置４０には、エッジ１４５に対する配点１５１である「１０点」がエッジ１４５に関連付けて表示される。同様に、表示装置４０には、エッジ１４６に対する配点１５２である「５点」がエッジ１４６に関連付けて表示される。また、表示装置４０には、ノード１４４に対する配点１５３である「５点」がノード１４４に関連付けて表示される。
FIG. 15 shows an example of a screen when the
その後、表示制御部２１０は、ノード（１４２〜１４４）に対する重みを第１要素（６１〜６３）に関連付け、エッジ（１４５、１５６）に対する重みを第１論理関係（６４、６５）に関連付ける。表示制御部２１０は、ノード（１４２〜１４４）に対する重みが関連付けられた第１要素（６１〜６３）と、エッジ（１４５、１５６）に対する重みが関連付けられた第１論理関係（６４、６５）とを採点基準記憶部１４０に格納する。これにより、採点基準記憶部１４０は、図６の（ｂ）に示すような採点基準６０を記憶する（ステップＳ１３５）。
After that, the
採点部１８０はこのようにして採点基準記憶部１４０に格納された、重みが関連付けられた第１要素および第１論理関係を用いて、答案を採点する。
The
以上のように、本実施の形態では、文章評価装置２００が、模範解答からグラフを生成し、表示装置４０に該グラフを表示させる。これにより、評価者は、模範解答のうち、評価したいと意図する論理関係がどの部分かを容易に把握することができる。よって、評価者は、評価したいと意図する第１論理関係および第１要素に対して、重みを容易に入力することができる。
As described above, in the present embodiment, the
なお、表示制御部２１０が生成するグラフは、図１４に示すように向きを有した有向グラフであってもよいし、無向グラフであってもよい。また、表示制御部２１０が生成するグラフは、有向グラフと無向グラフとの両方の特徴を有する混合グラフであってもよい。表示制御部２１０は、第１論理関係に応じて、生成するグラフを変更すればよい。例えば、表示制御部２１０は、第１要素間に対称律が成り立つことを表す有向グラフを生成してもよい。
The graph generated by the
＜第４の実施の形態＞
次に本開示の第４の実施の形態について図面を参照して説明する。図１６は、本実施の形態に係る文章評価装置３００の機能構成の一例を示す図である。なお、上述した第２の実施の形態に係る文章評価装置１００に含まれるブロックと同様の機能を有するブロックには同じ符号を付し、その詳細な説明を省略する。<Fourth Embodiment>
Next, a fourth embodiment of the present disclosure will be described with reference to the drawings. FIG. 16 is a diagram showing an example of the functional configuration of the
文章評価装置３００は、文章評価装置１００の第２抽出部１６０に代えて第２抽出部３６０を備え、採点部１８０に代えて、採点部３８０を備え、更に、答案記憶部（第２文章記憶部）３１０を備える。文章評価装置３００は、図１６に示す通り、模範解答受付部１１０と、第１抽出部１２０と、重み受付部１３０と、採点基準記憶部１４０と、答案受付部１５０と、第２抽出部３６０と、取得部１７０と、採点部３８０と、答案記憶部３１０とを備える。なお、文章評価装置３００は、上述した文章評価装置２００の第２抽出部１６０に代えて第２抽出部３６０を備え、採点部１８０に代えて採点部３８０を備え、答案記憶部３１０を更に備える構成であってもよい。
The
本実施の形態では、答案受付部１５０が受け付けた答案が、図８に示した答案８０であるとする。図８に示す通り、答案８０は、「増税が戦争の原因となった。この戦争で財政難になった。」である。第２抽出部３６０は、答案を図８に示す通り、第２要素８１、第２要素８２、第２要素８３、第２論理関係８４および第２論理関係８５を含む論理式に変換する。このとき、第２抽出部３６０は、各第２要素を、該第２要素が含まれる抽出元（答案）における範囲を示す情報と共に抽出する。この範囲を示す情報とは、第２要素の開始アドレスとそのサイズ等、第２要素が答案内のどの位置からどの位置までに含まれるかがわかる情報であればよい。例えば、第２要素８１である（増税）の場合、第２要素８１が含まれる答案における範囲を示す情報は、答案の一文字目から２文字分であること示す位置情報であってもよい。
In the present embodiment, the answer accepted by
また、第２抽出部３６０は、各第２論理関係を、該第２論理関係が含まれる抽出元における範囲を示す情報と共に抽出する。この範囲を示す情報は、各第２論理関係に関連する２つの第２要素が含まれる範囲であればよい。例えば、この範囲は２つの第２要素の一方の開始位置から他方の終了位置までであってもよい。例えば、第２論理関係８４の場合、この範囲は、第２論理関係８４に含まれる第２要素８１である（増税）と第２要素８２である（戦争）とが含まれる一文である「増税が戦争の原因となった。」であってもよい。
Further, the
そして、第２抽出部３６０は、答案と、各第２論理関係または各第２要素と、各第２論理関係または各第２要素の答案における範囲を示す情報とを互いに関連付けて、答案記憶部３１０に答案情報として格納する。図１７は、答案記憶部３１０に格納される答案情報１７１の一例を示す図である。図１７に示す通り、答案情報１７１は、答案と、第２論理関係または第２要素と、答案における第２論理関係または第２要素の範囲とを含む。なお、図１７に示す答案情報１７１は、説明の便宜上、図８に示した第２論理関係または第２要素の番号も含む。答案における第２論理関係または第２要素の範囲は、図１７に示すように、開始位置とそのサイズであるとして説明を行う。開始位置とそのサイズの表現方法は特に限定されず、ビット数であってもよいし、文字数であってもよい。また、答案情報１７１に含まれる情報はこれに限定されない。
Then, the
なお、答案から複数の独立した論理式が生成される場合、答案情報１７１は、答案のうち、その独立した論理式に関連する文章ごとに、第２論理関係または第２要素と、答案における第２論理関係または第２要素の範囲とが関連付けられたものであってもよい。例えば、答案から互いに独立した論理式Ａ、論理式Ｂおよび論理式Ｃが生成され、これらの生成の際に用いた自然文の部分（文章）が夫々、文章ａ、文章ｂおよび文章ｃであるとする。この場合、第２抽出部３６０は、論理式Ａに含まれる第２論理関係と第２要素とを文章ａに関連付けて答案記憶部３１０に格納してもよい。同様に、第２抽出部３６０は、論理式Ｂに含まれる第２論理関係と第２要素とを文章ｂに関連付けて答案記憶部３１０に格納し、論理式Ｃに含まれる第２論理関係と第２要素とを文章ｃに関連付けて答案記憶部３１０に格納してもよい。
In addition, when a plurality of independent logical expressions are generated from the answer, the
なお、答案記憶部３１０は、採点基準記憶部１４０と同じ記憶装置で実現されるものであってもよい。また、答案記憶部３１０は、文章評価装置３００とは別の記憶装置で実現されるものであってもよい。
The
採点部３８０は、採点部１８０と同様に、第１論理関係と第２論理関係とを比較する。また、採点部３８０は、第１要素と第２要素とを比較する。採点部３８０は、第１論理関係と第２論理関係との比較の結果、これらが同じ論理関係である場合、第１論理関係に関連付けられた配点を、第２論理関係に対する点数として付与する。また、採点部３８０は、第１要素と第２要素との比較の結果、これらが同じ要素である場合、第１要素に関連付けられた配点を、第２要素に対する点数として付与する。
Like the
また、採点部３８０は、答案記憶部３１０を参照し、採点の対象となる答案に関連する第２論理関係または第２要素のうち、配点が付与された第２論理関係および第２要素に関連付けられた、答案における第２論理関係または第２要素の範囲を該答案と共に取得する。そして、採点部３８０は、取得した答案と、範囲と、配点が付与された第２論理関係および第２要素とを関連付けた結果を、採点結果とする。なお、採点部３８０は、採点結果を、上述した出力装置３０に出力してもよい。出力装置３０が表示装置の場合、採点部３８０は、出力装置３０に表示する画面を生成して出力してもよい。採点部３８０が出力する採点結果の例については後述する。
In addition, the
図１８は、本実施の形態に係る文章評価装置３００における答案採点処理の流れの一例を示すフローチャートである。本実施の形態では、採点部３８０が出力装置３０に表示する画面を生成する処理を含むとして説明を行う。
FIG. 18 is a flowchart showing an example of the flow of answer scoring processing in the
図１８に示す通り、答案受付部１５０が採点対象の答案を受け付ける（ステップＳ１８１）。第２抽出部３６０が、答案を論理式に変換する（ステップＳ１８２）。また、第２抽出部３６０が、上述した答案情報１７１を答案記憶部３１０に格納する（ステップＳ１８３）。
As shown in FIG. 18, the
また、取得部１７０が、採点対象の答案に対応付けられる採点基準に含まれる、配点が関連付けられた第１要素および第１論理関係を採点基準記憶部１４０から取得する（ステップＳ１８４）。
In addition, the
次に、採点部３８０が、第１論理関係と第２論理関係との比較および第１要素と第２要素との比較により、採点対象の答案を採点する（ステップＳ１８５）。そして、採点部３８０は、答案のうち、第１論理関係に対応する第２論理関係の範囲および第１要素に対応する第２要素を表す範囲を、答案と共に採点結果として出力する（ステップＳ１８６）。具体的には、採点部３８０は、第１論理関係に対応する第２論理関係の範囲として、答案における配点が付与された第２論理関係の範囲を関連する答案と共に取得する。更に、採点部３８０は、第１要素に対応する第２要素の範囲として、答案における配点が付与された第２要素の範囲を取得する。そして、採点部３８０は、答案における取得した範囲の部分を例えば枠囲みし、該範囲に含まれる第２論理関係および第２要素に対して付与された配点を表示した画面を生成し出力する。採点部３８０が出力する採点結果１９１の一例を図１９に示す。図８に示した採点結果と同様に、第２要素である（増税）に５点、第２要素（戦争）を原因、第２要素（財政難）を結果とする第２論理関係に１０点が付与されているとする。
Next, the
ここで、第２要素（戦争）を原因、第２要素（財政難）を結果とする第２論理関係を表す答案の範囲は、「この戦争で財政難になった。」の部分であるとする。採点部３８０は、図１９に示す通り、１０点が付与された「この戦争で財政難になった。」の部分と、５点が付与された「増税」の部分が枠囲みされている。なお、採点部３８０はこの部分を、他とは異なる様態で表せばよく、枠囲みに限定されるものではない。また、この枠囲みした部分の近傍には、対応する第２要素または第２論理関係に付与された配点が表示される。なお、図１９に示す通り、採点部３８０は、採点結果１９１に、合計点数を含めてもよい。これにより、答案の作成者は、答案のどの部分が何点の評価を得たのかを把握することができる。
Here, the range of the answer showing the second logical relationship that causes the second factor (war) and the second factor (financial difficulty) is the part of "this war has caused financial difficulty". To do. As shown in FIG. 19, the
上述した通り、本実施の形態における答案記憶部３１０は、答案と、抽出した第２論理関係と、答案のうち第２論理関係を表す範囲とを関連付けて記憶する。採点部３８０は、答案のうち、第１論理関係に対応する第２論理関係を表す範囲を、答案と共に出力する。これにより、答案の作成者は、自身が記載した答案のうち、どの部分に対して評価を受けたのかを知ることができる。これにより、採点結果を答案の作成者の能力改善に生かすためのより詳細なフィードバックとして活用することができる。更に、答案の作成者が、自身が記載した答案の評価を確認することができるため、該答案の作成者は、採点結果を異議申し立て等に活用することができる。
As described above, the
＜第５の実施の形態＞
本実施の形態では、評価者が模範解答に含まれる第１論理関係および／または第１要素に更に条件を付与した場合について説明する。出題された問題の内容によっては、評価者は、ある第１要素またはある第１論理関係が、答案に必ず含まれてほしいと考える場合がある。このような場合、評価者は、必ず含まれていてほしい第１論理関係または第１要素を含んでいる答案に対する評価をより高くし、そうでない答案に対する評価をより低く評価する場合がある。<Fifth Embodiment>
In the present embodiment, a case will be described in which the evaluator further applies a condition to the first logical relationship and/or the first element included in the model answer. Depending on the content of the question, the evaluator may want the answer to include a certain first element or a certain first logical relationship. In such a case, the evaluator may give a higher evaluation to the answer that includes the first logical relationship or the first element that should be included without fail, and may give a lower evaluation to the answer that does not include it.
本実施の形態では、このような場合においても、答案を好適に評価できる文章評価装置４００について説明する。図２０は、本実施の形態に係る文章評価装置４００の機能構成の一例を示す機能ブロック図である。なお、上述した第２の実施の形態に係る文章評価装置１００に含まれるブロックと同様の機能を有するブロックには同じ符号を付し、その詳細な説明を省略する。図２０に示す通り、文章評価装置４００は、模範解答受付部１１０と、第１抽出部１２０と、重み受付部４３０と、採点基準記憶部４４０と、答案受付部１５０と、第２抽出部１６０と、取得部４７０と、採点部４８０とを備える。文章評価装置４００は、文章評価装置１００の重み受付部１３０に代えて重み受付部４３０を備え、採点基準記憶部１４０に代えて採点基準記憶部４４０を備え、取得部１７０に代えて取得部４７０を備え、採点部１８０に代えて採点部４８０を備える。なお、文章評価装置４００は文章評価装置２００の重み受付部１３０に代えて重み受付部４３０を備え、採点基準記憶部１４０に代えて採点基準記憶部４４０を備え、取得部１７０に代えて取得部４７０を備え、採点部１８０に代えて採点部４８０を備える構成であってもよい。また、文章評価装置４００は文章評価装置３００の重み受付部１３０に代えて重み受付部４３０を備え、採点基準記憶部１４０に代えて採点基準記憶部４４０を備え、取得部１７０に代えて取得部４７０を備え、採点部１８０に代えて採点部４８０を備える構成であってもよい。
In the present embodiment, a
重み受付部４３０は、上述の重み受付部１３０の機能に加え、更に、第１論理関係および／または第１要素に対して、所定の条件を表す情報を受け付ける。重み受付部４３０は、例えば、必須の条件を表す情報を受け付ける。そして、重み受付部４３０は、受け付けた必須の条件を表す情報を、関連する第１論理関係および／または第１要素に関連付けて、採点基準記憶部４４０に格納する。
In addition to the function of the
採点基準記憶部４４０は、採点基準を記憶する。図２１は、本実施の形態における採点基準記憶部４４０が格納する採点基準６６の一例を示す図である。図２１において、第１論理関係の番号および第１要素の番号は、図６に示した番号と同様である。採点基準６０と採点基準６６との異なる点は、必須の条件を表すフラグの列が追加されている点である。このフラグは、必須の条件であることを表す「１」と必須の条件ではないことを表す「０」で表現しているが、フラグはこれらの表現に限定されない。なお、必須の条件の表現方法はこれに限定されない。図２１に示す通り、第１論理関係６４には値が「１」のフラグが関連付けられている。重み受付部４３０が、必須の条件であることを受け付けていない第１論理関係および第１要素に関しては図２１では値が「０」のフラグを関連付けている。
The scoring
取得部４７０は、配点が０ではないまたはフラグが「１」の第１要素および第１論理関係を取得する。このとき、取得部４７０は、第１要素および第１論理関係の夫々に対し、配点およびフラグの値を関連付けて取得する。取得部４７０は、取得した第１要素および第１論理関係を採点部４８０に供給する。
The
採点部４８０は、採点部１８０と同様に第１論理関係と第２論理関係との比較することにより、答案を採点する。このとき、採点部４８０は、フラグが「１」の第１論理関係と第２論理関係とを比較する。また、採点部４８０は、フラグが「１」の第１要素と、第２要素とを比較する。図２１に示す通り、フラグが「１」である第１論理関係は、第１論理関係６４のみである。したがって、採点部４８０は、第１論理関係６４と第２論理関係とを比較し、これらが同じ論理関係を表す場合、第１論理関係６４に関連付けられた配点である「１０点」を付与する。
Like the
答案受付部１５０が受け付けた答案が図８に示す答案の場合、第１論理関係６４と第２論理関係８５とは同じ論理関係を示すため、採点部４８０は、採点部１８０と同様に、第２論理関係８５に「１０点」を付与する。
When the answer accepted by the
なお、答案受付部１５０が受け付けた答案に、第１論理関係６４と同じ論理関係を有する第２論理関係が含まれていない場合、採点部４８０は、答案に必須の条件が含まれていないと判定し、その旨を表す情報を採点結果として出力してもよい。例えば、採点部４８０は、答案に必須の条件が含まれていないと判定した場合、その他の第１論理関係と第２論理関係との比較、および、第１要素と第２要素との比較を行わず、より低い評価点（例えば、０点）を採点結果として出力してもよい。また、採点部４８０は、配点の合計点からより低い評価点となるように所定の点数を引いた値を、採点結果として出力してもよいし、より低い評価点となるように所定の割合を乗算した値を採点結果として出力してもよい。
If the answer received by the
また、重み受付部４３０は、所定の条件として、例えば、優先順位とを受け付けてもよい。そして、採点部４８０は、優先順位の高い順に、該優先順位に関連付けられた第１論理関係または第１要素を、夫々、第２論理関係または第２要素と比較する。そして、比較の結果、所定の順位までに、第１論理関係と同じ論理関係を有する第２論理関係または第１要素と同じ要素である第２要素が答案に含まれていない場合、採点部４８０はより低い評価を採点結果として出力してもよい。
In addition, the
このように、第１論理関係および第１要素は、更に所定の条件が関連付けられていてもよい。そして、採点部４８０は、所定の条件が関連付けられた第１論理関係および第１要素を夫々、第２論理関係および第２要素と比較し、該比較の結果に応じて、採点対象の答案を採点する。これにより、文章評価装置４００は、評価者が意図した評価を反映させた採点を行うことができる。また、例えば、必須の条件が含まれていない場合において、採点部４８０が他の第１論理関係および他の第１要素に対する処理を行わない構成の場合、文章評価装置４００は、評価にかかる時間的コストを削減することができる。
Thus, the first logical relationship and the first element may be further associated with a predetermined condition. Then, the
なお、採点部４８０は上述した採点部１８０と同様に、採点結果を点数ではなく合否を表す情報で出力してもよい。採点部４８０は、例えば、必須の条件が答案に含まれていない場合、不合格という採点結果を出力してもよい。これにより、文章評価装置４００は、答案にどの程度、評価者の意図する第１論理関係および第１要素が充足されているかではなく、答案に評価者が基本的あるいは重要と考えるような内容が含まれているか否かを判定することができる。
Note that the
（ハードウェア構成について）
本発明の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図２２に示すような情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図２２は、各装置の各構成要素を実現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、一例として、以下のような構成を含む。(About hardware configuration)
In each embodiment of the present invention, each component of each device represents a block of a functional unit. Some or all of the components of each device are realized by an arbitrary combination of an
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＡＭ９０３に格納されており、必要に応じてＣＰＵ９０１が読み出す。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。・CPU (Central Processing Unit) 901
-ROM (Read Only Memory) 902
RAM (Random Access Memory) 903
-
.
-
-
.Input/
Each component of each device in each embodiment is realized by the
各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個の情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。
There are various modifications to the method of realizing each device. For example, each device may be realized by an arbitrary combination of an
また、各装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。 Further, some or all of the constituent elements of each device are realized by other general-purpose or dedicated circuits, processors, etc., or a combination thereof. These may be configured by a single chip, or may be configured by a plurality of chips connected via a bus.
各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。 Some or all of the constituent elements of each device may be realized by a combination of the above-described circuits and the like and a program.
各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。 When some or all of the components of each device are realized by a plurality of information processing devices, circuits, etc., the plurality of information processing devices, circuits, etc. may be centrally arranged or distributed. Good. For example, the information processing device, the circuit, and the like may be realized as a form in which a client and server system, a cloud computing system, and the like are connected to each other via a communication network.
なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。 It should be noted that each of the above-described embodiments is a preferred embodiment of the present disclosure, does not limit the scope of the present disclosure only to the above-described embodiments, and is within the scope of the present disclosure without departing from the gist of the present disclosure. It is possible to modify or substitute the above-mentioned respective embodiments to construct a form in which various changes are made.
上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。 The whole or part of the exemplary embodiments disclosed above can be described as, but not limited to, the following supplementary notes.
（付記１）
第１の文章を構成する第１事象の間に成り立つ第１論理関係を取得する取得手段と、
評価対象である第２の文章から、該第２の文章を構成する第２事象の間に成り立つ第２論理関係を抽出する論理関係抽出手段と、
前記第１論理関係と前記第２論理関係との比較により、前記第２の文章を評価する評価手段と、
を備え、
前記第１の文章は、前記第２の文章に対する評価の基準となる文章である、ことを特徴とする文章評価装置。(Appendix 1)
Acquisition means for acquiring a first logical relationship that holds between the first events forming the first sentence;
Logical relation extracting means for extracting a second logical relation that is established between the second events forming the second sentence from the second sentence to be evaluated,
Evaluation means for evaluating the second sentence by comparing the first logical relationship with the second logical relationship;
Equipped with
The sentence evaluation device, wherein the first sentence is a sentence serving as a reference for evaluation of the second sentence.
（付記２）
前記第１論理関係には、重みが関連付けられており、
前記評価手段は、前記重みに応じて前記第２の文章を評価する、
ことを特徴とする付記１に記載の文章評価装置。(Appendix 2)
A weight is associated with the first logical relationship,
The evaluation means evaluates the second sentence according to the weight,
The sentence evaluation device according to
（付記３）
前記第１の文章は、模範解答であり、
前記第２の文章は、採点対象の答案であり、
前記評価手段は、前記第１事象と前記第２事象との比較により、前記重みに応じて前記答案を採点する、
ことを特徴とする付記２に記載の文章評価装置。(Appendix 3)
The first sentence is a model answer,
The second sentence is the answer to be scored,
The evaluation means scores the answer according to the weight by comparing the first event with the second event.
The sentence evaluation device according to
（付記４）
前記第１事象には、前記重みが関連付けられており、
前記評価手段は、前記第１事象と前記第２事象との比較により、前記第２の文章を前記重みに応じて評価する、
ことを特徴とする付記２または３に記載の文章評価装置。(Appendix 4)
The weight is associated with the first event,
The evaluation means evaluates the second sentence according to the weight by comparing the first event with the second event.
The sentence evaluation device according to
（付記５）
前記取得手段は、前記第１論理関係を複数取得し、
前記論理関係抽出手段は、前記第２の文章から、複数の前記第２論理関係を抽出し、
前記評価手段は、前記重みに基づいて、前記第２論理関係ごとおよび前記第２事象ごとに部分点を付与することにより、前記第２の文章を評価する、
ことを特徴とする付記４に記載の文章評価装置。(Appendix 5)
The acquisition means acquires a plurality of the first logical relationships,
The logical relationship extracting means extracts a plurality of second logical relationships from the second sentence,
The evaluation means evaluates the second sentence by assigning a partial point for each of the second logical relationships and each of the second events based on the weight.
The sentence evaluation device according to attachment 4, which is characterized in that
（付記６）
前記第１事象をノードとし、ある前記第１事象と他の前記第１事象との間に成り立つ前記第１論理関係をエッジとするグラフを表示装置に表示させる表示制御手段と、
前記ノードに対する前記重みおよび前記エッジに対する前記重みの入力を受け付ける重み受付手段と、
前記エッジに対する重みが関連付けられた前記第１論理関係と、前記ノードに対する重みが関連付けられた前記第１事象とを記憶する記憶手段と、
を更に備えることを特徴とする付記４または５に記載の文章評価装置。(Appendix 6)
Display control means for displaying on the display device a graph having the first event as a node and the first logical relationship that holds between the certain first event and the other first event as an edge;
Weight receiving means for receiving input of the weight for the node and the weight for the edge,
Storage means for storing the first logical relationship associated with the weight for the edge and the first event associated with the weight for the node;
6. The sentence evaluation device according to
（付記７）
前記第１論理関係および前記第１事象の少なくとも一方には、更に所定の条件を表す情報が関連付けられており、
前記評価手段は、前記所定の条件が関連付けられた前記第１論理関係および前記第１事象を夫々、前記第２論理関係および前記第２事象と比較し、該比較の結果に応じて、前記第２の文章を評価する、
ことを特徴とする付記４から６の何れか１つに記載の文章評価装置。(Appendix 7)
At least one of the first logical relationship and the first event is further associated with information representing a predetermined condition,
The evaluation means compares the first logical relationship and the first event associated with the predetermined condition with the second logical relationship and the second event, respectively, and according to a result of the comparison, the first logical relationship and the second event are compared with each other. Evaluate the second sentence,
The sentence evaluation device according to any one of appendices 4 to 6, characterized in that.
（付記８）
前記第１事象および前記第２事象は、キーワードまたはキーフレーズにより表現される、
ことを特徴とする付記１から７の何れか１つに記載の文章評価装置。(Appendix 8)
The first event and the second event are expressed by keywords or key phrases,
The sentence evaluation device according to any one of
（付記９）
前記第２の文章と、抽出した前記第２論理関係と、前記第２の文章のうち前記第２論理関係を表す範囲とを関連付けて記憶する第２文章記憶手段を更に備え、
前記評価手段は、前記第２の文章のうち、前記第１論理関係に対応する前記第２論理関係を表す範囲を、前記第２の文章と共に出力する、
ことを特徴とする付記１から８の何れか１つに記載の文章評価装置。(Appendix 9)
A second sentence storage unit that stores the second sentence, the extracted second logical relationship, and a range of the second sentence that represents the second logical relationship in association with each other;
The evaluation means outputs, in the second sentence, a range representing the second logical relationship corresponding to the first logical relationship together with the second sentence.
The sentence evaluation device according to any one of
（付記１０）
評価の基準となる文章である第１の文章を構成する第１事象の間に成り立つ第１論理関係を取得し、
評価対象である第２の文章から、該第２の文章を構成する第２事象の間に成り立つ第２論理関係を抽出し、
前記第１論理関係と前記第２論理関係との比較により、前記第２の文章を評価する、
ことを特徴とする文章評価方法。(Appendix 10)
Acquiring a first logical relationship that is established between first events that form a first sentence that is a sentence that is a criterion for evaluation,
From the second sentence that is the evaluation target, a second logical relationship that holds between the second events that make up the second sentence is extracted,
Evaluating the second sentence by comparing the first logical relationship and the second logical relationship,
A text evaluation method characterized by that.
（付記１１）
前記第１論理関係には、重みが関連付けられており、
前記第２の文章は、前記重みに応じて評価される、
ことを特徴とする付記１０に記載の文章評価方法。(Appendix 11)
A weight is associated with the first logical relationship,
The second sentence is evaluated according to the weight,
The sentence evaluation method according to
（付記１２）
評価の基準となる文章である第１の文章を構成する第１事象の間に成り立つ第１論理関係を取得する処理と、
評価対象である第２の文章から、該第２の文章を構成する第２事象の間に成り立つ第２論理関係を抽出する処理と、
前記第１論理関係と前記第２論理関係との比較により、前記第２の文章を評価する処理と、
をコンピュータに実行させるプログラムを記録する、コンピュータ読み取り可能な非一時的な記録媒体。(Appendix 12)
A process of acquiring a first logical relationship that is established between first events that form a first sentence that is a sentence that serves as an evaluation criterion;
A process of extracting, from the second sentence that is the evaluation target, a second logical relationship that holds between the second events that form the second sentence;
A process of evaluating the second sentence by comparing the first logical relationship with the second logical relationship;
A computer-readable non-transitory recording medium that records a program that causes a computer to execute.
（付記１３）
前記第１論理関係には、重みが関連付けられており、
前記第２の文章を評価する処理は、前記重みに応じて前記第２の文章を評価する、
ことを特徴とする付記１２に記載の記録媒体。
(Appendix 13)
A weight is associated with the first logical relationship,
The process of evaluating the second sentence evaluates the second sentence according to the weight,
13. The recording medium as described in
１ 文章評価システム
２ 文章評価システム
１０ 文章評価装置
１１ 取得部
１２ 論理関係抽出部
１３ 評価部
２０ 評価基準記憶装置
３０ 出力装置
４０ 表示装置
１００ 文章評価装置
１１０ 模範解答受付部
１２０ 第１抽出部
１３０ 重み受付部
１４０ 採点基準記憶部
１５０ 答案受付部
１６０ 第２抽出部
１７０ 取得部
１８０ 採点部
２００ 文章評価装置
２１０ 表示制御部
３００ 文章評価装置
３１０ 答案記憶部
３６０ 第２抽出部
３８０ 採点部
４００ 文章評価装置
４３０ 重み受付部
４４０ 採点基準記憶部
４７０ 取得部
４８０ 採点部1
Claims (10)
評価対象である第２の文章から、該第２の文章を構成する第２事象の間に成り立つ第２論理関係を複数抽出する論理関係抽出手段と、
前記第１論理関係と前記第２論理関係との比較により、前記第２の文章を評価する評価手段と、
を備え、
前記第１の文章は、前記第２の文章に対する評価の基準となる模範解答であり、
前記第２の文章は、採点対象の解答であり、
前記第１論理関係には、重みが関連付けられており、
前記評価手段は、前記重みに基づいて、前記第２論理関係に対し部分点を付与することにより、前記第２の文章を評価する、
ことを特徴とする文章評価装置。 Acquisition means for acquiring a plurality of first logical relationships that hold between the first events forming the first sentence;
Logical relation extracting means for extracting a plurality of second logical relations that hold between the second events forming the second sentence from the second sentence to be evaluated;
Evaluation means for evaluating the second sentence by comparing the first logical relationship with the second logical relationship;
Equipped with
The first sentence is an exemplary answer that serves as a criterion for evaluation of the second sentence,
The second sentence is the answer to be scored,
A weight is associated with the first logical relationship,
The evaluation means evaluates the second sentence by assigning a partial point to the second logical relationship based on the weight.
A text evaluation device characterized by the above.
前記評価手段は、前記第１事象と前記第２事象との比較により、前記第２の文章を前記重みに応じて評価する、
ことを特徴とする請求項１に記載の文章評価装置。 The weight is associated with the first event,
The evaluation means evaluates the second sentence according to the weight by comparing the first event with the second event.
The sentence evaluation device according to claim 1, characterized in that.
ことを特徴とする請求項２に記載の文章評価装置。 The evaluation means evaluates the second sentence by assigning a partial point to the second event based on the weight.
The sentence evaluation device according to claim 2, wherein:
前記ノードに対する前記重みおよび前記エッジに対する前記重みの入力を受け付ける重み受付手段と、
前記エッジに対する重みが関連付けられた前記第１論理関係と、前記ノードに対する重みが関連付けられた前記第１事象とを記憶する記憶手段と、
を更に備えることを特徴とする請求項２または３に記載の文章評価装置。 Display control means for displaying on the display device a graph having the first event as a node and the first logical relationship that holds between the certain first event and the other first event as an edge;
Weight receiving means for receiving input of the weight for the node and the weight for the edge,
Storage means for storing the first logical relationship associated with the weight for the edge and the first event associated with the weight for the node;
The sentence evaluation device according to claim 2 or 3, further comprising:
前記評価手段は、前記情報が関連付けられた前記第１論理関係および前記第１事象を夫々、前記第２論理関係および前記第２事象と比較し、前記第２の文章に前記情報が関連付けられた前記第１論理関係または前記第１事象に対応する、前記第２論理関係または前記第２事象が含まれる場合に、該比較の結果に応じて、前記第２の文章を評価する、
ことを特徴とする請求項２から４の何れか１項に記載の文章評価装置。 At least one of the first logical relationship and the first event is further associated with information representing evaluation when included in the second sentence,
The evaluation means compares the first logical relationship and the first event associated with the information with the second logical relationship and the second event, respectively, and associates the information with the second sentence. When the second logical relationship or the second event corresponding to the first logical relationship or the first event is included, the second sentence is evaluated according to the result of the comparison.
The sentence evaluation device according to any one of claims 2 to 4, characterized in that.
前記評価手段は、前記優先順位が高い順に所定数の前記第１論理関係および前記第１事象を夫々、前記第２論理関係および前記第２事象と比較し、該比較の結果に応じて、前記第２の文章を評価する、
ことを特徴とする請求項２から４の何れか１項に記載の文章評価装置。 Priority is further associated with at least one of the first logical relationship and the first event,
The evaluation means compares a predetermined number of the first logical relationship and the first event with the second logical relationship and the second event in descending order of the priority, and according to the result of the comparison, Evaluate the second sentence,
The sentence evaluation device according to any one of claims 2 to 4, characterized in that.
ことを特徴とする請求項１から６の何れか１項に記載の文章評価装置。 The first event and the second event are expressed by keywords or key phrases,
The sentence evaluation device according to any one of claims 1 to 6, characterized in that.
前記評価手段は、前記第２の文章のうち、前記第１論理関係に対応する前記第２論理関係を表す範囲を、前記第２の文章と共に出力する、
ことを特徴とする請求項１から７の何れか１項に記載の文章評価装置。 A second sentence storage unit that stores the second sentence, the extracted second logical relationship, and a range of the second sentence that represents the second logical relationship in association with each other;
The evaluation means outputs, in the second sentence, a range representing the second logical relationship corresponding to the first logical relationship together with the second sentence.
The sentence evaluation device according to any one of claims 1 to 7, characterized in that.
採点対象の答案である第２の文章から、該第２の文章を構成する第２事象の間に成り立つ第２論理関係を複数抽出し、
重みが関連付けられた前記第１論理関係と前記第２論理関係との比較により、前記重みに基づいて、前記第２論理関係に対し部分点を付与することによって前記第２の文章を評価する、
ことを特徴とする文章評価方法。 Acquiring a plurality of first logical relationships that hold between the first events forming the first sentence that is the model answer,
A plurality of second logical relationships that are established between the second events that form the second sentence are extracted from the second sentence that is the answer to be scored,
Evaluating the second sentence by assigning a partial point to the second logical relationship based on the weight by comparing the first logical relationship and the second logical relationship associated with a weight,
A text evaluation method characterized by that.
採点対象の答案である第２の文章から、該第２の文章を構成する第２事象の間に成り立つ第２論理関係を複数抽出する処理と、
重みが関連付けられた前記第１論理関係と前記第２論理関係との比較により、前記重みに基づいて、前記第２論理関係に対し部分点を付与することによって前記第２の文章を評価する処理と、
をコンピュータに実行させるプログラム。 A process of acquiring a plurality of first logical relationships that are established during a first event forming a first sentence that is a model answer;
A process of extracting a plurality of second logical relationships that are established between the second events forming the second sentence from the second sentence that is the answer to be scored;
A process of evaluating the second sentence by assigning a partial point to the second logical relationship based on the weight by comparing the first logical relationship and the second logical relationship associated with weight. When,
The program causing a computer to execute the.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2016/088458 WO2018116459A1 (en) | 2016-12-22 | 2016-12-22 | Sentence evaluation device, sentence evaluation method, and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2018116459A1 JPWO2018116459A1 (en) | 2019-10-24 |
| JP6717387B2 true JP6717387B2 (en) | 2020-07-01 |
Family
ID=62626117
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018557491A Active JP6717387B2 (en) | 2016-12-22 | 2016-12-22 | Text evaluation device, text evaluation method and recording medium |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6717387B2 (en) |
| WO (1) | WO2018116459A1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7310853B2 (en) * | 2020-06-30 | 2023-07-19 | カシオ計算機株式会社 | Answer evaluation method, program, program distribution server, and information processing device |
| EP4174827A1 (en) * | 2020-06-30 | 2023-05-03 | Casio Computer Co., Ltd. | Answer evaluation method, recording medium, and information processing device |
| CN112540284A (en) * | 2020-11-12 | 2021-03-23 | 中铁第四勘察设计院集团有限公司 | Relay circuit diagnosis method and system |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001056634A (en) * | 1999-08-20 | 2001-02-27 | Toshiba Corp | Automatic marking system |
| JP2010055003A (en) * | 2008-08-29 | 2010-03-11 | Cosmotopia Japan Inc | Grading support program |
| JP5581743B2 (en) * | 2010-03-08 | 2014-09-03 | アーチエス株式会社 | Document evaluation assigning method, program and apparatus |
| JP5877662B2 (en) * | 2011-07-05 | 2016-03-08 | 武藤工業株式会社 | Test answer sheet preparation method, test scoring support method, and computer software used in the method |
| WO2014064777A1 (en) * | 2012-10-24 | 2014-05-01 | 株式会社 日立製作所 | Document evaluation assistance system and document evaluation assistance method |
-
2016
- 2016-12-22 JP JP2018557491A patent/JP6717387B2/en active Active
- 2016-12-22 WO PCT/JP2016/088458 patent/WO2018116459A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018116459A1 (en) | 2018-06-28 |
| JPWO2018116459A1 (en) | 2019-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | A corpus of annotated revisions for studying argumentative writing | |
| US20160133148A1 (en) | Intelligent content analysis and creation | |
| US20160117405A1 (en) | Information Processing Method and Apparatus | |
| CN111506713A (en) | Display control system, program, and storage medium | |
| KR102100951B1 (en) | System for generating question-answer data for maching learning based on maching reading comprehension | |
| KR102189894B1 (en) | Method and system for automatically generating fill-in-the-blank questions of foreign language sentence | |
| KR102365304B1 (en) | Method and system for automatically generating fill-in-the-blank questions of foreign language sentence | |
| CN114547274B (en) | Multi-turn question and answer method, device and equipment | |
| JP6717387B2 (en) | Text evaluation device, text evaluation method and recording medium | |
| Alhassan et al. | A novel framework for Arabic dialect chatbot using machine learning | |
| De Kuthy et al. | Towards automatically generating questions under discussion to link information and discourse structure | |
| JP2019101149A (en) | Question automatic generation program and question automatic generator | |
| Nicoll et al. | Giving feedback on feedback: An assessment of grader feedback construction on student performance | |
| KR102018786B1 (en) | System of producing foreign language worksheet using of text and the method thereof | |
| Krassmann et al. | A process for extracting knowledge base for chatbots from text corpora | |
| Teich et al. | Translation, information theory and cognition | |
| Waxman | A graph database of scholastic relationships in the Babylonian Talmud | |
| JP6942759B2 (en) | Information processing equipment, programs and information processing methods | |
| Schoonewille et al. | A cognitive perspective on developer comprehension of software design documentation | |
| Dumkasem et al. | Eyemath: Increasing accessibility of mathematics to visually impaired readers | |
| JP5877775B2 (en) | Content management apparatus, content management system, content management method, program, and storage medium | |
| KR102365345B1 (en) | Writing correction system using artifical intelligence and big data system and method of thereof | |
| JP6930754B2 (en) | Learning support device and questioning method | |
| CN113901793A (en) | Event extraction method and device combining RPA and AI | |
| CN112307748A (en) | Method and device for processing text |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190611 |
|
| A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A5211 Effective date: 20190611 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190611 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200512 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200525 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6717387 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |