JP6705956B1 - Education support system, method and program - Google Patents
Education support system, method and program Download PDFInfo
- Publication number
- JP6705956B1 JP6705956B1 JP2019051480A JP2019051480A JP6705956B1 JP 6705956 B1 JP6705956 B1 JP 6705956B1 JP 2019051480 A JP2019051480 A JP 2019051480A JP 2019051480 A JP2019051480 A JP 2019051480A JP 6705956 B1 JP6705956 B1 JP 6705956B1
- Authority
- JP
- Japan
- Prior art keywords
- discussion
- evaluation
- text data
- unit
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 35
- 238000011156 evaluation Methods 0.000 claims abstract description 205
- 238000004891 communication Methods 0.000 claims abstract description 46
- 238000010586 diagram Methods 0.000 abstract description 25
- 230000004044 response Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 6
- 238000012854 evaluation process Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- RZVAJINKPMORJF-UHFFFAOYSA-N Acetaminophen Chemical compound CC(=O)NC1=CC=C(O)C=C1 RZVAJINKPMORJF-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】経験の少ない人同士であっても、ネットワークを介して十分なディスカッションをすることが可能になる。【解決手段】教育支援システム１０は、通信データ取得部１１と、ディスカッションの議題を決定する議題決定部１２と、ディスカッションの開始と終了を決定するディスカッション期間特定部１３と、ディスカッション期間において取得された音声をテキスト化したテキストデータを、発言毎に、発言の時間及び発言者の情報と対応付けて記録するテキストデータ生成部１４と、議題に基づいて決定された読み上げ用文章及び単語を、画像とともに端末に表示させるファシリテート部１５と、複数の発言についてのテキストデータ、時間、及び発言者の情報を用いて、メンバの評価値を算出する評価部１６と、を備える。【選択図】図２PROBLEM TO BE SOLVED: Even for people with little experience, it becomes possible to have a sufficient discussion through a network. An education support system includes a communication data acquisition unit, an agenda determination unit that determines a discussion topic, a discussion period identification unit that determines the start and end of a discussion, and a discussion period identification unit acquired during the discussion period. A text data generation unit 14 that records, for each utterance, text data in which voice is converted into text, in association with utterance time and speaker information, and reading sentences and words determined based on the agenda, together with images. A facilitating unit 15 to be displayed on the terminal, and an evaluation unit 16 for calculating an evaluation value of a member using text data, time, and speaker information about a plurality of comments are provided. [Selection diagram] Figure 2
Description
本発明は、人と人とのコミュニケーションのトレーニングを支援するシステム、方法、及びプログラムに関する。 The present invention relates to a system, method, and program for supporting training of communication between people.
従来、コンピュータにより教育を支援するシステムとして、種々のものが提案されている。例えば、特開２０１６−１７３３９５号公報（特許文献１）には、生徒の端末に課題を提示し、端末における回答の提出状況に基づいて情報を提示する回答支援システムが開示されている。また、特開２０１８−１５６２９６号公報（特許文献２）には、グループの議論に関する状況情報をロボットから取得し、状況情報に基づく機械学習をよりロボットの行動を決定する教育支援システムが開示されている。 Conventionally, various systems have been proposed as a system for supporting education by a computer. For example, Japanese Patent Laying-Open No. 2016-173395 (Patent Document 1) discloses an answer support system that presents a task to a student's terminal and presents information based on the submission status of an answer at the terminal. In addition, Japanese Patent Laid-Open No. 2018-156296 (Patent Document 2) discloses an education support system that acquires status information regarding a group discussion from a robot, and performs machine learning based on the status information to further determine the behavior of the robot. There is.
また、会議を支援するシステムや、グループ内の役割に関する能力を算出するシステムも提案されている。例えば、特開２０１８−０６３６９９号公報（特許文献３）には、電子会議のルールを指定する特定会議ルールテンプレートを用いて、電子会議の議題生成、参加者選択、リアルタイム会議管理、会議内容の補強、及び会議後の処理を行うシステムが開示されている。また、特開２０１３−１８２５３３号公報（特許文献４）には、グループのメンバの活動情報から算出されたメンバの役割に関する特徴量に基づいて能力値を算出するグループ活動支援装置が開示されている。また、特開２０１７−２１５９３１号公報（特許文献５）には、会議の参加者の発明内容に基づいて発言の種類を判断し、判断結果に基づいて、評価を出力する会議支援システムが開示されている。 In addition, a system that supports a conference and a system that calculates the ability regarding a role in a group have been proposed. For example, Japanese Patent Laid-Open No. 2018-063699 (Patent Document 3) uses a specific conference rule template that specifies rules of an electronic conference, generates an agenda of the electronic conference, selects participants, real-time conference management, and reinforces conference content. , And a system for performing post-conference processing. Further, Japanese Patent Laying-Open No. 2013-182533 (Patent Document 4) discloses a group activity support device that calculates an ability value based on a feature amount related to a role of a member calculated from activity information of a member of the group. .. Further, Japanese Patent Laid-Open No. 2017-215931 (Patent Document 5) discloses a conference support system that determines the type of utterance based on the content of the invention of the participants of the conference and outputs the evaluation based on the determination result. ing.
発明者は、ネットワークを介したコンピュータシステムを用いて、遠隔地にある学校の学生同士でディスカッションを行い、コミュニケーション能力の向上を図ることを検討した。例えば、高校生のように、経験の少ない学習者同士では、教師等の支援がないと、ディスカッションを円滑に進めるのが難しい場合がある。そこで、発明者は、試行錯誤の結果、適切な支援や環境を提供することにより、例えば、母国語以外の言語でのディスカッションが可能になることがわかった。また、ディスカッションを達成させることで、学習者が自信を得て、さらなる学習の動機付けとなることを見出した。 The inventor studied how to improve communication ability by having a discussion between students at a remote school using a computer system via a network. For example, learners with little experience, such as high school students, may find it difficult to facilitate discussions without the support of a teacher or the like. Then, as a result of trial and error, the inventor has found that by providing appropriate support and environment, for example, discussion in a language other than the native language is possible. It was also found that the achievement of the discussion will give the learner confidence and motivate further learning.
また、教育者は、ディスカッションにおける各メンバの評価を行うために、ディスカッション内容の把握、及び集計の作業が必要である。この教育者の評価作業に係る時間が大きいことに発明者は着目した。この評価作業の時間を低減できれば、教育者が学習者に直接接して教育する時間が確保しやすくなり、教育の質が向上することが期待できる。 In addition, the educator needs to grasp the content of the discussion and collect data in order to evaluate each member in the discussion. The inventor noted that the time required for the educator's evaluation work is long. If the time for this evaluation work can be shortened, it will be easier for the educator to secure time for direct contact with the learners for education, and it can be expected that the quality of education will improve.
発明者らは、経験の少ない人同士のネットワークを介したディスカッションを可能にし、学習者が自信を得るためのコンピュータによる支援の形態を検討した。上記従来の技術では、学習者に自信を持たせる程度にディスカッションを達成するのは難しかった。教育者等が直接ディスカッションをアシストし、適切な評価を行うことで、ディスカッションの結果学習者に自信を持たせることができるが、この場合、教育者等の負担が大きく、教育の質を高める観点から効率が良くないことがわかった。そこで、本願は、経験の少ない人同士であっても、ネットワークを介して十分なディスカッションが可能になるシステム、方法、及びプログラムを開示する。 The inventors examined a mode of computer support for enabling learners to gain self-confidence by enabling discussions between inexperienced people through a network. With the above-mentioned conventional techniques, it is difficult to achieve a discussion to the extent that it gives the learner confidence. If the educator directly assists the discussion and makes an appropriate evaluation, the learner can be confident as a result of the discussion, but in this case, the burden on the educator is large and the viewpoint of improving the quality of education. Showed that it was not efficient. Therefore, the present application discloses a system, a method, and a program that enable even inexperienced people to have sufficient discussions via a network.
本発明の一実施形態における教育支援システムは、遠隔地にいるメンバの端末間でネットワークを介して互いに通信される前記メンバの音声及び画像のうち少なくとも音声を取得する通信データ取得部と、ユーザの入力に基づいてディスカッションの議題を決定する議題決定部と、ディスカッションの開始と終了をユーザから入力に基づいて決定するディスカッション期間特定部と、前記ディスカッションの開始から終了までのディスカッション期間において前記通信データ取得部で取得された前記メンバの音声をテキスト化したテキストデータを、一人のメンバの１つの発言毎に、前記発言の時間及び前記発言の発言者の情報と対応付けて記録するテキストデータ生成部と、前記ディスカッション期間の少なくとも一部において、前記議題に基づいて決定された複数の読み上げ用文章及び複数の単語を、前記メンバの画像とともに前記端末に表示させるファシリテート部と、前記テキストデータに含まれる複数の発言についてのテキストデータ、時間、及び発言者の情報を用いて、前記メンバの少なくとも一人の前記ディスカッション期間における評価値を、複数の項目について算出する評価部と、を備える。 An education support system according to an embodiment of the present invention includes a communication data acquisition unit that acquires at least a voice of a voice and an image of the member, which are communicated with each other via a network between terminals of a member in a remote place, and a user's communication data acquisition unit. An agenda determination unit that determines the discussion agenda based on the input, a discussion period identification unit that determines the start and end of the discussion based on the input from the user, and the communication data acquisition during the discussion period from the start to the end of the discussion A text data generation unit for recording, for each utterance of one member, the text data obtained by converting the voice of the member acquired by the section in association with the time of the utterance and the information of the speaker of the utterance. , A facilitator unit for displaying a plurality of reading sentences and a plurality of words determined based on the agenda item together with the image of the member on the terminal in at least a part of the discussion period, and included in the text data. An evaluation unit that calculates, for a plurality of items, an evaluation value of at least one of the members in the discussion period, using text data about a plurality of comments, time, and speaker information.
本開示によれば、経験の少ない人同士であっても、ネットワークを介して十分なディスカッションをすることが可能になる。 According to the present disclosure, even inexperienced people can sufficiently discuss through a network.
本発明の一実施形態における教育支援システムは、遠隔地にいるメンバの端末間でネットワークを介して互いに通信される前記メンバの音声及び画像のうち少なくとも音声を取得する通信データ取得部と、ユーザの入力に基づいてディスカッションの議題を決定する議題決定部と、ディスカッションの開始と終了をユーザから入力に基づいて決定するディスカッション期間特定部と、前記ディスカッションの開始から終了までのディスカッション期間において前記通信データ取得部で取得された前記メンバの音声をテキスト化したテキストデータを、一人のメンバの１つの発言毎に、前記発言の時間及び前記発言の発言者の情報と対応付けて記録するテキストデータ生成部と、前記ディスカッション期間の少なくとも一部において、前記議題に基づいて決定された複数の読み上げ用文章及び複数の単語を、前記メンバの画像とともに前記端末に表示させるファシリテート部と、前記テキストデータに含まれる複数の発言についてのテキストデータ、時間、及び発言者の情報を用いて、前記メンバの少なくとも一人の前記ディスカッション期間における評価値を、複数の項目について算出する評価部と、を備える。 An education support system according to an embodiment of the present invention includes a communication data acquisition unit that acquires at least a voice of a voice and an image of the member, which are communicated with each other via a network between terminals of a member in a remote place, and a user's communication data acquisition unit. An agenda determination unit that determines the discussion agenda based on the input, a discussion period identification unit that determines the start and end of the discussion based on the input from the user, and the communication data acquisition during the discussion period from the start to the end of the discussion A text data generation unit for recording, for each utterance of one member, the text data obtained by converting the voice of the member acquired by the section in association with the time of the utterance and the information of the speaker of the utterance. , A facilitator unit for displaying a plurality of reading sentences and a plurality of words determined based on the agenda item together with the image of the member on the terminal in at least a part of the discussion period, and included in the text data. An evaluation unit that calculates, for a plurality of items, an evaluation value of at least one of the members in the discussion period, using text data about a plurality of comments, time, and speaker information.
上記構成によれば、ディスカッションの期間において、決定された議題に基づく複数の読み上げ用文章と複数の単語が、メンバの画像とともに表示される。そのため、メンバが、議論に詰まった時などに、読み上げ用文章を読み上げることで議論を進めることができる。また、複数の文章と複数の単語を組み合わせた表示により、様々な状況に対応した議論のアシストが可能になる。さらに、各メンバの発言が、発言毎に、時間と発言者の情報を対応付けてテキストデータとして記録される。これにより、評価部は、各メンバについて、例えば、メンバ自身の発言と他のメンバの発言との関係を用いて複数の項目の評価値を算出できる。そのため、より適切な評価が効率よく可能になる。このように、発言を促進させる環境の提供及び適切な評価が効率よく可能になる。そのため、経験の少ない人同士であっても、ネットワークを介して十分なディスカッションをすることができる。なお、メンバは、ディスカッションを行う者である。ユーザは、メンバであってもよいし、メンバ以外（例えば、教師、管理者、又は進行司会者等）であってもよい。 According to the above configuration, during the discussion period, a plurality of reading sentences and a plurality of words based on the decided agenda are displayed together with the members' images. Therefore, when a member gets stuck in the discussion, the discussion can be advanced by reading the reading text. In addition, by displaying a combination of a plurality of sentences and a plurality of words, it becomes possible to assist the discussion in various situations. Further, the remarks of each member are recorded as text data in association with the time and the information of the speaker for each remark. Accordingly, the evaluation unit can calculate the evaluation values of a plurality of items for each member, for example, by using the relationship between the statement of the member itself and the statement of another member. Therefore, more appropriate evaluation can be efficiently performed. In this way, it is possible to efficiently provide an environment for promoting speech and make an appropriate evaluation. Therefore, even inexperienced people can have a sufficient discussion through the network. The members are those who conduct discussions. The user may be a member or may be a member other than the member (for example, a teacher, an administrator, or a moderator).
前記ファシリテート部は、前記ディスカッション期間におけるユーザからの入力又は前記テキストデータに基づいて、前記ディスカッションの進行段階を判断し、前記判断された進行段階に応じて前記読み上げ用文章及び前記単語の少なくとも一方を更新して表示してもよい。これにより、進行段階及び進行パターンに合った読み上げ用文章又は単語を表示することができる。 The facilitator unit determines a progress stage of the discussion based on an input from the user in the discussion period or the text data, and at least one of the reading sentence and the word according to the determined progress stage. May be updated and displayed. As a result, it is possible to display the reading sentence or word that matches the progress stage and progress pattern.
例えば、教育支援システムがアクセス可能な記録装置にディスカッションにおける複数の進行段階及び複数の進行パターンを示すシナリオデータを予め記録しておいてもよい。前記ファシリテート部は、シナリオデータが示す複数の進行段階及び複数の進行パターンのうち、いずれに該当するかを、前記テキストデータ又はユーザ入力に応じて決定してもよい。 For example, scenario data indicating a plurality of progress stages and a plurality of progress patterns in the discussion may be recorded in advance in a recording device accessible by the education support system. The facilitating unit may determine which of a plurality of progress stages and a plurality of progress patterns indicated by the scenario data corresponds to the text data or the user input.
前記ファシリテート部は、ユーザからの入力に応じて前記読み上げ文章を表示してもよい。また、前記ファシリテート部は、前記テキストデータを参照し、前記議題に関連する単語の発声頻度に基づいて、前記複数の単語を更新してもよい。また、前記ファシリテート部は、前記テキストデータから抽出した単語（例えば、キーワード）と関連性を有する単語を、端末に表示される複数の単語に含めてもよい。関連性を有する単語の決定には、例えば、予め記録された複数の単語間の関係を示すう単語関係性データを用いることができる。単語関係性データは、例えば、単語の情報を含むデータベース又はネットワークを介してアクセス可能なファイルの情報を基に生成及び更新することができる。単語関係性データは、ディスカッションの発言のテキストデータを基に更新されてもよい。 The facilitating unit may display the read-aloud sentence in response to an input from a user. Further, the facilitating unit may refer to the text data and update the plurality of words based on the utterance frequency of the words related to the agenda. Further, the facilitating unit may include a word having a relationship with a word (for example, a keyword) extracted from the text data, in a plurality of words displayed on the terminal. For determining a word having relevance, for example, word relationship data indicating a relationship between a plurality of prerecorded words can be used. The word relationship data can be generated and updated based on, for example, a database containing information on words or a file accessible via a network. The word relationship data may be updated based on the text data of the discussion speech.
前記評価部は、前記ディスカッション期間において、前記ファシリテート部で表示された前記読み上げ用文章を読み上げたメンバの音声に基づいて、当該メンバのスピーキング能力を評価し、評価の結果を前記ディスカッション期間に前記端末へ表示させてもよい。これにより、ディスカッション期間中に、読み上げ用文章を用いた評価が可能になる。例えば、読み上げ用文章と読み上げ音声とを比較することにより、より詳細又は正確なスピーキング能力の評価が可能になる。例えば、メンバが読み上げた読み上げ用文章とともに、評価の結果を端末へ表示させてもよい。 The evaluation unit evaluates the speaking ability of the member based on the voice of the member who has read out the reading text displayed in the facilitator unit during the discussion period, and the evaluation result is evaluated during the discussion period. It may be displayed on the terminal. This makes it possible to make an evaluation using the reading text during the discussion period. For example, by comparing the reading sentence and the reading voice, more detailed or accurate evaluation of the speaking ability becomes possible. For example, the result of the evaluation may be displayed on the terminal together with the reading text read by the member.
前記評価部は、前記評価値に基づく評価内容とともに、前記評価値の算出に用いられた前記発言に関する情報を、前記テキストデータを基に生成して表示してもよい。これにより、評価の基となった発言に関する情報を提供できる。情報の提供を受けた者は、評価の原因を理解することができる。例えば、前記評価部は、前記評価値と、前記評価値の算出で用いた発言のテキストデータとを対応付けるデータを記録してもよい。これにより、評価の情報の表示の際の処理効率がより向上する。 The evaluation unit may generate and display information regarding the statement used to calculate the evaluation value based on the text data together with the evaluation content based on the evaluation value. As a result, it is possible to provide information regarding the utterance on which the evaluation is based. The person who receives the information can understand the cause of the evaluation. For example, the evaluation unit may record data that associates the evaluation value with the text data of the statement used in the calculation of the evaluation value. This further improves the processing efficiency when displaying the evaluation information.
前記評価部は、前記当方メンバの話す速度に基づいて、前記当方メンバの少なくとも１つの項目の前記評価値を算出してもよい。
前記評価部は、前記テキストデータに含まれる単語に基づいて、前記当方メンバの少なくとも１つの項目の評価値を算出してもよい。
前記評価部は、前記テキストデータにおいて一人のメンバの発言に含まれる単語と、他のメンバの発言に含まれる単語との関連性に応じて、前記一人のメンバの少なくとも１つの項目の評価値を算出してもよい。複数の発言における単語間の関連性は、例えば、上記の単語関連性データを用いて決定することができる。発言間の単語の関連性により、ディスカッションの文脈を考慮した評価値の算出が可能になる。
前記評価部は、前記テキストデータにおいて前記当方メンバの発言に含まれる単語と、基準単語との比較に基づいて、前記当方メンバの少なくとも１つの項目の評価値を算出してもよい。
前記評価部は、前記テキストデータにおける前記当方メンバの前記発言数及び発言時間に基づいて、前記当方メンバの少なくとも１つの項目の評価値を算出してもよい。
前記評価部は、一人の前記当方メンバの発言の後の他のメンバの発言に基づいて、前記一人の当方メンバの少なくとも１つの項目の評価値を算出してもよい。
The evaluation unit may calculate the evaluation value of at least one item of the we-member based on the speaking speed of the we-member.
The evaluation unit may calculate an evaluation value of at least one item of the member on the basis of a word included in the text data.
The evaluation unit determines the evaluation value of at least one item of the one member according to the relevance between the word included in the statement of one member and the word included in the statement of another member in the text data. It may be calculated. The relevance between words in a plurality of utterances can be determined using, for example, the above-mentioned word relevance data. The relevance of words between utterances makes it possible to calculate an evaluation value in consideration of the context of discussion.
The evaluation unit may calculate an evaluation value of at least one item of the member on the basis of a comparison between a word included in the statement of the member on the text data and a reference word.
The evaluation unit may calculate an evaluation value of at least one item of the member on the basis of the number of messages and the time of the member of the member on the text data.
The evaluation unit may calculate an evaluation value of at least one item of the one our member based on the remarks of other members after the one member's remark.
本発明の１つの実施形態におけるプログラムは、遠隔地にいるメンバの端末間でネットワークを介して互いに通信される前記メンバの音声及び画像のうち少なくとも音声を取得する処理と、ユーザの入力に基づいてディスカッションの議題を決定する処理と、ディスカッションの開始と終了をユーザから入力に基づいて決定する処理と、前記ディスカッションの開始から終了までのディスカッション期間において取得された前記メンバの音声をテキスト化したテキストデータを、一人のメンバの１つの発言毎に、前記発言の時間及び前記発言の発言者の情報と対応付けて記録する処理と、前記ディスカッション期間の少なくとも一部において、前記議題に基づいて決定された複数の読み上げ用文章及び複数の単語を、前記メンバの画像とともに前記端末に表示させる処理と、前記テキストデータに含まれる複数の発言についてのテキストデータ、時間、及び発言者の情報を用いて、前記メンバの少なくとも一人の前記ディスカッション期間における評価値を、複数の項目について算出する処理と、をコンピュータに実行させる。なお、上記プログラムを記録した記録媒体も、本発明の実施形態に含まれる。 A program according to an embodiment of the present invention is based on a process of acquiring at least a voice of a voice and an image of the member, which are communicated with each other via a network between terminals of a remote member, and a user's input. A process of determining the agenda of the discussion, a process of determining the start and the end of the discussion based on the input from the user, and text data obtained by converting the voice of the member obtained in the discussion period from the start to the end of the discussion into text. Is recorded based on the agenda in at least a part of the discussion period and the processing of recording, for each one statement of one member, in association with the time of the statement and the information of the speaker of the statement. By using a process of displaying a plurality of reading sentences and a plurality of words on the terminal together with the image of the member, and using text data, time, and speaker information about a plurality of comments included in the text data, The computer is caused to execute a process of calculating an evaluation value of at least one member in the discussion period for a plurality of items. A recording medium recording the above program is also included in the embodiments of the present invention.
本発明の１つの実施形態におけるコンピュータにより実施される方法は、遠隔地にいるメンバの端末間でネットワークを介して互いに通信される前記メンバの音声及び画像のうち少なくとも音声を取得するステップと、ユーザの入力に基づいてディスカッションの議題を決定するステップと、ディスカッションの開始と終了をユーザから入力に基づいて決定するステップと、前記ディスカッションの開始から終了までのディスカッション期間において取得された前記メンバの音声をテキスト化したテキストデータを、一人のメンバの１つの発言毎に、前記発言の時間及び前記発言の発言者の情報と対応付けて記録するステップと、前記ディスカッション期間の少なくとも一部において、前記議題に基づいて決定された複数の読み上げ用文章及び複数の単語を、前記メンバの画像とともに前記端末に表示させるステップと、前記テキストデータに含まれる複数の発言についてのテキストデータ、時間、及び発言者の情報を用いて、前記メンバの少なくとも一人の前記ディスカッション期間における評価値を、複数の項目について算出するステップを、含む。なお、上記の各ステップは、プロセッサがプログラムを実行することにより実現可能である。 According to an embodiment of the present invention, a computer-implemented method includes a step of acquiring at least voice of a voice and an image of a member who is in a remote location and communicated with each other via a network. The step of deciding the agenda of the discussion based on the input of, the step of deciding the start and the end of the discussion based on the input from the user, and the voice of the member acquired in the discussion period from the start to the end of the discussion. Recording the text data in text form in association with the time of the statement and the information of the speaker of the statement for each statement of one member; and in the agenda in at least part of the discussion period. Displaying a plurality of reading sentences and a plurality of words determined based on the terminal together with the image of the member on the terminal, and text data, time, and speaker information about a plurality of statements included in the text data. Is used to calculate an evaluation value of at least one of the members in the discussion period for a plurality of items. The above steps can be realized by the processor executing the program.
（実施形態１）
（システム構成）
図１は、本実施形態における教育支援システムを含むシステム全体の構成例を示す図である。教育支援システム１０は、ネットワークＮに接続されるコンピュータ（例えば、サーバ２）上に構築される。教育支援システム１０は、ネットワークＮに接続される端末１ａ、１ｂ間で通信される音声及び画像のうち少なくとも音声から得られる情報に基づいて、端末１ａ、１ｂとデータ通信を行う。
(Embodiment 1)
(System configuration)
FIG. 1 is a diagram showing a configuration example of an entire system including an education support system according to this embodiment. The
図２は、教育支援システム１０の構成例を示す機能ブロック図である。端末１ａ、１ｂ間の音声及び画像の通信により、遠隔地にいるメンバ同士がディスカッション可能である。教育支援システム１０は、端末１ａ、１ｂ間の通信を介したディスカッションの期間に、端末１ａ、１ｂに対して、ディスカッションを支援するデータを提供する。また、教育支援システム１０は、ディスカッションにおける音声及び画像の少なくとも音声に基づいて、メンバの評価データを生成する。
FIG. 2 is a functional block diagram showing a configuration example of the
教育支援システム１０は、通信データ取得部１１、議題決定部１２、ディスカッション期間特定部１３、テキストデータ生成部１４、ファシリテート部１５、及び、評価部１６を備える。教育支援システム１０は、記録装置３にアクセス可能である。記録装置３には、一例として、シナリオデータ、テキストデータ、及び評価データが記録される。
The
通信データ取得部１１は、ネットワークＮを介して端末１ａ、１ｂ間で互いに通信される音声及び画像のうち少なくとも音声を取得する。通信データ取得部１１は、例えば、端末１ａ、１ｂのマイク及びカメラを介して取り込まれた音声及び画像を取得することができる。或いは、通信データ取得部１１は、端末１ａ、１ｂにおいて、出力される音声及び画像を取得してもよいし、端末１ａ、１ｂ間のネットワーク経路を伝送される音声及び画像のデータを取得してもよい。
The communication
議題決定部１２は、端末１ａ及び端末１ｂの少なくとも一方からのユーザの入力に基づいて、端末１ａ、１ｂ間の通信によって行われるディスカッションの議題を決定する。ユーザが、端末１ａ、１ｂの画面で議題を選択又は入力可能としてもよいし、ユーザがログイン時に入力した識別情報（ＩＤ）に基づいて議題が決定されてもよい。ディスカッション期間特定部１３は、ディスカッションの開始と終了を、端末１ａ及び端末１ｂの少なくとも一方からのユーザの入力に基づいて決定する。ディスカッションの開始と終了は、ユーザによる端末１ａ、１ｂ間の音声及び映像の通信の開始及び終了の操作と同じであってもよい。或いは、音声映像通信の開始及び終了の操作とは別にディスカッションの開始と終了を受け付けてもよい。
The
テキストデータ生成部１４は、ディスカッションの開始から終了までのディスカッション期間において通信データ取得部１１で取得されたディスカッションにおけるメンバの音声をテキスト化したテキストデータを、記録装置３に記録する。テキストデータは、一人のメンバの１つの発言毎に、その発言の時間及びその発言者の情報と対応付けて記録される。
The text
ファシリテート部１５は、ディスカッション期間特定部１３で決定されたディスカッション期間の少なくとも一部において、議題決定部１２で決定された議題に基づいて決定される複数の読み上げ用文章及び複数の単語を端末１ａ、１ｂを、ディスカッションにおける画像とともに端末１ａ、１ｂに表示させる。
The facilitating
評価部１６は、メンバの少なくとも一人のディスカッション期間における評価値を、複数の項目について算出する。この評価値の算出には、テキストデータに含まれる複数のメンバの複数の発言についての、テキストデータ、発言の時間、及び発言者の情報が用いられる。評価値は評価データとして記録装置３に記録される。評価値又は評価値に基づいて生成さえる評価結果のデータは、端末１ａ、１ｂに提供される。
The
教育支援システム１０は、プロセッサ及びメモリを備える１又は複数のコンピュータによって構成できる。通信データ取得部１１、議題決定部１２、ディスカッション期間特定部１３、ファシリテート部１５、テキストデータ生成部１４、及び、評価部１６の機能は、プロセッサが所定のプログラムを実行することで実現できる。これらの機能をコンピュータに実行させるプログラム及びこのようなプログラムを記憶した非一時的(non-transitory)な記憶媒体も、本発明の実施形態に含まれる。教育支援システム１０の少なくとも一部の機能は、例えば、サーバ２、端末１ａ、１ｂ等のネットワークに接続された複数のコンピュータに分散させてもよい。記録装置３は、教育支援システム１０が実装されるコンピュータに内蔵されてもよいし、接続されてもよい。記録装置３は、複数の記録装置で構成されてもよい。
The
（動作例）
図３は、教育支援システム１０の動作例を示すフローチャートである。図３に示す例では、教育支援システム１０は、端末１ａ、１ｂから、ディスカッションの議題及びディスカッションの通信の開始を指示する入力を受け付ける（Ｓ１及びＳ２）。例えば、端末１ａ、１ｂにインストールされたＷｅｂブラウザ等の通信アプリケーションを用いて、端末１ａ、１ｂと教育支援システム１０とのデータ通信が行われる。例えば、教育支援システム１０は、端末１ａ、１ｂに、議題の入力及びディスカッションの通信の開始を入力するための画面を表示させることで、議題及び通信開始の入力を受け付けることができる。なお、教育支援システム１０は、ディスカッションの相手の指定等、その他のディスカッション開始のための情報を、端末１ａ、１ｂから受け付けてもよい。
(Operation example)
FIG. 3 is a flowchart showing an operation example of the
教育支援システム１０は、例えば、端末１ａ、１ｂの一方からの、ディスカッションの議題の指定及び通信開始の入力を受けた場合に、議題を決定し（Ｓ１）、端末１ａ、１ｂの双方に、端末１ａ、１ｂ間の音声及び画像の相互通信を開始させる（Ｓ２）。ディスカッションに用いられる端末１ａ、１ｂ間の通信は、サーバ（教育支援システム１０のサーバと同じでなくてもよい）を介して、画像（映像）及び音声データを送受信する形態（サーバ−クライアント型）であってもよいし、端末１ａ、１ｂが直接接続される形態（Ｐｏｉｎｔ ｔｏ Ｐｏｉｎｔ）であってもよい。
The
ディスカッション期間特定部１３は、端末１ａ、１ｂの少なくとも一方からの入力に基づいて、ディスカッション期間の開始を検出する（Ｓ３でＹＥＳ）。例えば、端末１ａ、１ｂの一方において、音声及び画像の通信の開始の指示が入力された場合に、ディスカッション期間が開始した判断することができる。或いは、端末１ａ、１ｂ間の通信の確立後に、端末１ａ、１ｂからディスカッション開始の入力操作を受け付けることができる。
The discussion
ディスカッション期間が開始されると（Ｓ３でＹＥＳ）、テキストデータ生成部１４は、端末１ａ、１ｂ間の通信の音声データをテキスト化してテキストデータとして記録する処理を開始する（Ｓ４）。音声のテキスト化処理には、音声認識の技術が用いられる。音声認識の処理は、例えば、音声データで示される音声の波形を、音響モデルを用いて音素列に変換する処理と、音素列から言語モデルを生成する処理と、言語モデルから文章を決定する処理を含む。言語モデルの生成には、例えば、隠れマルコフモデル（ＨＭＭ）、深層学習（ディープラーニング）、その他のモデル或いは、これらの組み合わせを用いることができる。文章の決定には、例えば、ビダビアルゴリズム、ディープラーニング、その他のアルゴリズム又はこれらの組み合わせを用いることができる。なお、ディープラーニングは、ニューラルネットワークを用いた機械学習である。
When the discussion period starts (YES in S3), the text
テキストデータ生成部１４は、音声データから音声の特徴量に基づいて発言者（話者）を識別することができる。発言者の識別処理には、例えば、深層学習の技術を用いることができる。音声の特徴量として、例えば、声の高さ、声の大きさ、話すスピード、音源方向等に起因する特徴を用いることができる。また、各メンバから学習用の音声の入力を受け付けてもよい。或いは、各メンバがそれぞれのマイクから音声を入力する等、各メンバの音声の入力系統を他と独立した形態とし、入力系統によって発言者を識別する構成であってもよい。又は、音声と同期して取得された画像を用いて発声者を特定してもよい。例えば、音声が発声された時の画像において顔認識される人物のうち、口を動かしている者を認識し、この者を音声の発言者として識別することができる。
The text
テキストデータ生成部１４は、音声データから認識される音声において、一人のメンバの１つの発言を区別する処理を実行する。例えば、音声が入力されない空白の期間を、発言の区切りと認識することができる。また、上記の発言者の識別処理の結果を用いて、異なる発言者の音声は、異なる発言と判断することができる。
The text
テキストデータ生成部１４は、１つの発言の時間を特定する処理を実行してもよい。例えば、音声の波形データを、ディスカッション開始からの経過時間とともに取得することで、音声と時間情報を対応付けることができる。音声に対応付けられた時間情報を用いて、一人のメンバの１回の発言の開始時刻及び継続時間、又は、開始時刻及び終了時刻を特定することができる。
The text
テキストデータ生成部１４は、生成したテキストデータを、各発言を区別可能な状態で、記録装置３に記録する。図４は、発言毎に記録されるテキストデータの例を示す図である。図４に示す例では、１つの発言のテキストデータが、発言の識別子である発言ＩＤ、発言者及び発言の時間と対応付けて記録される。
The text
ファシリテート部１５は、ディスカッションの進行段階を判断する（図３のＳ５）。ファシリテート部１５は、ディスカッションの音声をテキスト化したテキストデータに基づいて進行段階を判断することができる。例えば、テキストデータに含まれるワード又は文章が、各進行段階について予め設定された条件を満たすか否かにより、進行段階を判断することができる。一例として、テキストデータに、判断の基準となる基準テキストが含まれるか否かによって、進行段階に到達した否かを判断してもよい。基準テキストは、機械学習により更新されてもよい。進行段階を示すデータは、予め記録装置３に記録される。
The
図５は、進行段階を示すデータの例を示す図である。図５に示す例では、進行段階を示す文字例が、進行段階の識別子（ＩＤ）と対応づけられて記録される。図示しないが、進行段階を判断するための条件を示すデータが、進行段階のＩＤに対応付けてさらに記録されてもよい。なお、ディスカッションにおける進行段階の組み合わせは、ユーザの入力によって決定される議題によって異なっていてもよい。すなわち、議題に応じて、進行段階の組が決定されてもよい。 FIG. 5 is a diagram showing an example of data indicating the progress stage. In the example shown in FIG. 5, a character example indicating the progress stage is recorded in association with the progress stage identifier (ID). Although not shown, data indicating a condition for determining the progress stage may be further recorded in association with the progress stage ID. The combination of the stages of progress in the discussion may differ depending on the agenda determined by the user's input. That is, a set of progress stages may be determined according to the agenda.
或いは、ファシリテート部１５は、端末１ａ、１ｂを介したユーザからの入力に応じて、進行段階を判断することもできる。例えば、ファシリテート部１５は、ディスカッションで通信される画像とともに、進行段階を入力するためのユーザインタフェース（ボタン、テキストボックス等）を端末１ａ、１ｂの画面に表示させることができる。このようにして、ファシリテート部１５は、ユーザから進行段階を示す情報の入力を受け付けることができる。また、ファシリテート部１５は、現在の進行段階を示す情報を、端末１ａ、１ｂに表示させてもよい。
Alternatively, the facilitating
図６は、端末１ａ、１ｂ間の通信によるディスカッション期間において、端末１ａに表示される画面の一例を示す図である。図６に示す例では、画面Ｋ１には、ディスカッションの相手方の端末１ｂで撮影された画像Ｇ１と、当方の端末１ａで撮影された画像Ｇ２が表示される。画像Ｇ１には、ディスカッションの相手方のメンバが表示され、画像Ｇ２には当方のメンバが表示される。
FIG. 6 is a diagram showing an example of a screen displayed on the terminal 1a during a discussion period by communication between the
画面Ｋ１には、議題エリアＲ１、進行段階エリアＲ２、質問文エリアＲ３、応答文エリアＲ４、単語エリアＲ５、評価結果エリアＲ６の他、レポートタブボタンＢ１、進行段階制御ボタンＢ２、検索テキスト入力ボックスＴｓ、及び検索ボタンＢｓが含まれる。議題エリアＲ１には、Ｓ１で決定した議題が表示される。進行段階エリアＲ２には、Ｓ５で判断された現在の進行段階が表示される。質問文エリアＲ３及び応答文エリアＲ４には、読み上げ用文章が表示される。単語エリアＲ５には、読み上げ用の単語が表示される。進行段階制御ボタンＢ２は、ユーザが選択入力可能であり、一例として、進行段階を１段階進める指示の入力を受け付けるボタンである。検索テキスト入力ボックスＴｓは、テキスト入力可能であり、検索ボタンＢｓがクリックされると、検索テキスト入力ボックスＴｓで入力されたテキストを検索キーワードとして、例えば、インターネット上のファイルなど、外部のデータベースの検索が実行される。検索結果は、画面Ｋ１に表示されてもよいし、別のウィンドウで表示されてもよい。 On the screen K1, in addition to the agenda area R1, progress stage area R2, question sentence area R3, response sentence area R4, word area R5, evaluation result area R6, report tab button B1, progress stage control button B2, search text input box Ts and a search button Bs are included. The agenda determined in S1 is displayed in the agenda area R1. The current stage of progress determined in S5 is displayed in the stage of progress area R2. Reading text is displayed in the question text area R3 and the response text area R4. Words for reading are displayed in the word area R5. The advancing step control button B2 is a button that the user can select and input, and as an example, is a button that receives an input of an instruction to advance the advancing step by one step. Text can be input in the search text input box Ts, and when the search button Bs is clicked, the text input in the search text input box Ts is used as a search keyword to search an external database such as a file on the Internet. Is executed. The search result may be displayed on the screen K1 or may be displayed in another window.
ファシリテート部１５は、質問文エリアＲ３、応答文エリアＲ４に表示する複数の読み上げ用文章を、Ｓ５で判断された進行段階に基づいて決定する。読み上げ用文章を示すデータは、進行段階を示すデータと対応付けて、予め記録装置３に記録される。
The facilitating
図７は、読み上げ用文章を示すデータの一例を示す図である。図７に示す例では、読み上げ用文章の識別子（文章ＩＤ）と、読み上げ用文章の文字列、種類、翻訳文の文字列、及び、進行段階を示すデータ（進行段階ＩＤ）が、対応づけられて記録される。ファシリテート部１５は、現在の進行段階に対応する読み上げ文章の文字列データを抽出して、端末１ａに表示させることができる。
FIG. 7 is a diagram illustrating an example of data indicating a reading sentence. In the example shown in FIG. 7, the reading sentence identifier (sentence ID) is associated with the reading sentence character string, the type, the translated sentence character string, and the data indicating the progress stage (progress stage ID). Will be recorded. The facilitating
記録装置３に記録されるデータで示される読み上げ用文章と進行段階との対応関係は、ユーザの入力に応じて変更可能としてもよいし、機械学習により更新されてもよい。また、読み上げ用文章を示すデータは、議題と対応付けて記録されてもよい。この場合、ファシリテート部１５は、進行段階及び議題に対応する読み上げ用文章を抽出して、端末１ａに表示させることができる。
The correspondence between the reading text and the progress stage indicated by the data recorded in the
ファシリテート部１５は、単語エリアＲ５に表示される複数の単語を、Ｓ１で決定された議題に基づいて決定する。単語を示すデータは、議題を示すデータと対応付けて、予め記録装置３に記録される。例えば、単語のＩＤ、単語の文字列、及び議題を示すデータ（議題ＩＤ）を対応付けて記録することができる。なお、単語を示すデータは、進行段階と示すデータと対応付けて記録されてもよい。この場合、ファシリテート部１５は、議題及び進行段階に対応する単語を抽出して、端末１ａに表示させることができる。
The facilitating
また、単語を示すデータは、例えば、単語の使用頻度及び単語の議題との関連度合いの少なくともいずれかに応じてきまるスコアと関連付けて記録されてもよい。この場合、ファシリテート部１５は、単語のスコアを用いて、端末１ａに表示する単語の選択または表示する順番の決定をすることができる。また、記録装置３に記録される単語を示すデータは、ユーザの入力に応じて変更可能としてもよいし、機械学習により更新されてもよい。機械学習の場合は、例えば、単語の使用頻度、単語と議題との関連度合い、又は、単語と他の単語との関連度合い等をパラメータとする機械学習により、議題に適合する単語群を決定することができる。
Further, the data indicating a word may be recorded in association with a score that depends on at least one of the frequency of use of the word and the degree of association with the agenda of the word. In this case, the facilitating
なお、ファシリテート部１５は、外部のデータベース又は、インターネット等のネットワークを介してアクセス可能なデータを参照して、端末１ａ、１ｂに表示する単語を決定してもよい。例えば、ファシリテート部１５は、議題決定部１２で決定された議題、又は、テキストデータ生成部１４で生成されたディスカッションのテキストデータに含まれる文字列を基に、外部のデータベース又はインターネット上のファイルを検索して、関連する単語を抽出してもよい。これにより、議題又はディスカッションの話題に関連する単語を端末１ａ、１ｂに表示させることができる。なお、外部のデータベース又はインターネット上のファイルから得られる関連する単語群は、記録装置３に予め記録されていてもよい。関連する単語群は、機械学習により更新されてもよい。
The facilitating
また、ファシリテート部１５は、ディスカッション期間において、検索テキストボックスＴｓに入力された検索のためのテキスト（検索キーワード）の単語又は入力されたテキストに関連する単語の訳語を、表示する単語に追加してもよい。これにより、ディスカッションの内容に関連する可能性の高い単語を表示することができる。
Further, the
本実施形態では、ファシリテート部は、端末１ａ、１ｂに対して、読み上げ用文章と単語を、画面の異なるエリアに表示するようにデータを提供する。また、読み上げ用文章を決定する処理と、単語を決定する処理とは、別々に実行され、互いに異なる処理となっている。これにより、表示の更新頻度又は決定処理を、読み上げ用文章と、単語とで、それぞれに適切に制御できる。その結果、コンピュータ処理及びメモリ使用の効率を高めることができる。
In this embodiment, the facilitating unit provides the
図６に示す例では、読み上げ用文章において、話題にあった単語が挿入される部分を、ブランク “**”で表示している。これにより、読み上げ用文章を汎用化できる。なお、ブランクの代わりに、議題に適合する単語を挿入して表示してもよい。 In the example shown in FIG. 6, a blank “**” is displayed in the reading sentence, where a word in a topic is inserted. As a result, the reading text can be generalized. It should be noted that, instead of the blank, a word matching the agenda may be inserted and displayed.
図３のＳ６において、ファシリテート部１５は、読み上げ用文章の表示を更新するか否かを判断し、更新すると判断した場合、端末１ａ、１ｂにおける読み上げ用文章の表示を更新する（Ｓ７）。例えば、ファシリテート部１５は、Ｓ５において進行段階が変わったと判断された場合に、読み上げ用文章の表示を更新してもよい。或いは、ユーザから更新要求の入力に応じて、読み上げ用文章の表示を更新してもよい。また、ファシリテート部１５は、単語の表示の更新を判断し、更新すると判断した場合に、端末１ａ、１ｂにおける複数の単語の表示を更新してもよい。単語の更新判断処理と、読み上げ用文章の更新判断処理は、異なっていてもよい。
In S6 of FIG. 3, the facilitating
評価部１６は、端末１ａ、１ｂに表示されている読み上げ用文書が、ディスカッションにおいて読み上げられているか否かを判断する（Ｓ８）。例えば、ディスカッションにおいてテキストデータとして生成される各発言の文字列と、表示中の読み上げ用文章の文字列とを比較することにより、読み上げの有無を判断することができる。一例として、各発言の文字列と読み上げ用文章の文字列との類似度を示すスコアを算出し、スコアが所定の条件を満たす場合に読み上げ有りと判断することができる。
The
なお、評価部１６は、生成されたテキストデータを用いて読み上げを検出する形態に代えて、音声認識処理により音声の波形データからテキストデータに変換する過程のデータを用いた読み上げを検出してもよい。
Note that the
読み上げが検出された場合（Ｓ８でＹＥＳ）、評価部１６は、読み上げの音声データ及び読み上げ用文章に関するデータを用いて、スピーキング能力を評価する（Ｓ９）。例えば、評価部１６は、読み上げの音声データを、元の読み上げ用文章に基づく音声基準データと比較することにより、発音の正確性等のスピーキング能力に関連する評価値を算出する。例えば、ディープラーニング等の機会学習により生成された学習モデルを用いて、読み上げの音声データから評価値を算出することができる。評価値は、例えば、音声の発音の正確性、イントネーション、又はテンポの少なくとも１つに応じて変化する値としてもよい。また、評価値は、複数の項目について算出されてもよい。
When the reading is detected (YES in S8), the
評価部１６による評価結果は、ディスカッション期間において、読み上げ用文章とともに、端末１ａ、１ｂに表示する。図６に示す例では、評価結果エリアＲ６に、評価対象となった読み上げ用文章と、その評価結果“Ｇｏｏｄ！”が表示される。このように、ディスカッション期間に、メンバが読み上げ用文章を読み上げた発言の評価を表示することで、メンバは自信を持つことができ、さらなる発言の動機付けとなる。特に、メンバが母国語以外の言語でディスカッションする場合に有効である。
The evaluation result by the
端末１ａ、１ｂにおいて、ディスカッションを終了する操作入力がされた場合（Ｓ１０でＹＥＳ）、ディスカッションのための端末１ａ、１ｂ間の音声及び画像の通信が終了し（Ｓ１１）、テキストデータ生成部１４は、テキストデータ生成を終了する（Ｓ１２）。ディスカッションを終了する操作入力は、例えば、通信を終了する操作入力であってもよい。
When an operation input to end the discussion is made on the
評価部１６は、ディスカッション期間において生成されたテキストデータを用いて、各メンバのディスカッション期間における評価値を、複数の項目について算出する（Ｓ１３）。評価部１６は、テキストデータに含まれる複数の発言についてのテキストデータ、時間、及び発言者の情報を用いて、各メンバの評価値を算出する。
The
一例として、評価部１６は、各発言のテキストデータについて、その発言の発言者を評価対象者として、評価値を算出する。各発言についての評価値の算出には、その発言のテキストデータの他、前後の発言のテキストデータを用いてもよい。これにより、例えば、ディスカッションにおける文脈を考慮した発言の評価や、発言による他のメンバの反応を考慮した評価が可能になる。
As an example, the
また、評価部１６は、画像データを用いて評価値を算出してもよい。例えば、画像データにおいて、顔認識されたメンバのジェスチャを検出し、ジェスチャに基づいて評価値を算出してもよい。また、同じ時間帯におけるテキストデータと画像データとの組み合わせを用いて、評価値を算出することもできる。以下、評価部１６による評価処理の具体例を説明する。
The
一例として、評価部１６は、コミュニケーション力の評価として、下記の処理を実行してもよい。例えば、発言における話す速度が所定の条件を満たす場合に、話すテンポがよいと判断し、コミュニケーション力のスコアを加算点として算出することができる。話す速度は、例えば、発言のテキストデータと、それに対応づけて記録された発言の時間に基づいて算出される。この他に時間情報を用いた評価の例として、前の発言から発言開始するまでの時間が、所定の条件を満たす場合に、適切な間での応答と判断して、スコアを加算する処理が挙げられる。
As an example, the
評価部１６は、ディスカッションにおいて、質問をした回数に応じて、コミュニケーション力のスコアを算出してもよい。各発言が質問であるか否かは、例えば、テキストデータに “What”等の疑問視が含まれる否か、又は、発言の末尾でトーンが上がっているか等により判断できる。例えば、図４の示すように、質問か否かを示す情報が、発言ＩＤに対応付けて記録されてもよい。また、質問の有無に加えて、質問の内容が、ディスカッションの文脈に合ったものであるか否かを判断してもよい。例えば、評価対象の発言に含まれる単語又はフレーズと、それより前の他の発言に含まれているテキストデータと比較することにより、評価対象の発言と、文脈との関係性を判断することができる。
The
評価部１６は、評価対象の発言から所定時間経過するまでの他の発言に基づいて、コミュニケーション力のスコアを算出してもよい。これにより、発言による他のメンバの反応を考慮した評価ができる。例えば、評価部１６は、評価対象の発言の後、所定時間内に、複数の肯定的な他の発言が有る場合、又は、笑いを含む他の発言が複数ある場合に、コミュニケーションがうまく取れた発言であると判断し、スコアを加算することができる。なお、各発言において感情分析した結果が、発言毎にテキストデータに対応付けて記録されてもよい。
The
評価部１６は、ディスカッション期間の画像から、所定の条件を満たすメンバのジェスチャを検出した場合に、検出したジェスチャに応じてスコアを算出してもよい。例えば、メンバが発話中のアイコンタクトのジェスチャを検出した場合、スコアを加算することができる。
When detecting the gesture of the member who satisfies the predetermined condition from the image of the discussion period, the
評価部１６は、ディスカッションにおいて、相槌を打った回数に応じて、コミュニケーション力のスコアを算出してもよい。各発言に相槌が含まれるか否かは、例えば、テキストデータに “I see”等の相槌表現が含まれる否か等により判断できる。相槌の有無を示す情報が、発言ＩＤすなわち各発言のテキストデータに対応付けて記録されてもよい。
The
評価部１６は、ディスカッション期間における一人のメンバの発言数及び発言時間の少なくとも一方を用いて、積極性のスコアを算出してもよい。この場合、メンバの各発言のテキストデータの内容の、複数の他の発言のテキストデータの内容との関係性をさらに用いて積極性のスコアを算出することができる。例えば、他の発言との関連性が低い発言について、スコアを加算しないようにしてもよい。このように、積極性のスコアの算出において、他の発言との関係性の高い発言を、関連性の低い発言よりも高く評価することができる。
The
評価部１６は、評価対象の発言の後の、他の複数の発言のテキストデータに基づいて、アイデア力（提案力）のスコアを算出することができる。例えば、評価対象の発言の後に、その発言の内容に関連する内容を含む発言が複数存在する場合に、アイデア力のスコアを加算点として算出してもよい。複数の発言の内容の関連性は、例えば、複数の発言のテキストデータを比較し、類似度合いを示す値を算出することで、判断することができる。また、評価部１６は、評価対象の発言の後、所定時間内に、他の意見を肯定する内容を含む他の発言が有る場合、アイデア力のスコアを加算点として算出してもよい。発言が、他の意見を肯定する内容を含むか否かは、例えば、発言のテキストデータに、 “Ｎｉｃｅ”、“Ｇｏｏｄ”等の肯定的な単語が含まれているか否かにより判断することができる。また、評価対象の発言のテキストデータに、何かを提案する内容（例えば、“Ｈｏｗ ａｂｏｕｔ”、“Ｗｈａｔ ａｂｏｕｔ”、等）が含まれている場合に、アイデア力のスコアを加算点として算出してもよい。
The
評価部１６は、評価対象の発言が、他の発言に対する応答を含む発言である場合に、応答の内容に応じてサポート力のスコアを算出してもよい。発言が、他の発言に対する応答であるか否かは、発言のテキストデータの応答らしさを示す度合いを計算することで判断してもよい。また、評価対象の発言より前の他の発言が、質問又は提案を含むか否かによって、その発言が応答を含むか否かを判断してもよい。評価部１６は、例えば、他のメンバの発言に対して、さらに他のメンバが否定的な応答をする状況で、肯定的な応答をしたメンバに対して、サポート力のスコアを加算点として算出してもよい。応答の内容が肯定的か否定的かは、例えば、発言のテキストデータに、肯定的又は否定的な単語又はフレーズが含まれているかによって判断することができる。
When the utterance to be evaluated is a utterance including a response to another utterance, the
評価部１６は、評価対象の発言のテキストデータに、それより前の複数の発言のテキストデータに含まれる複数の単語が含まれている場合に、サポート力のスコアを加算点として算出してもよい。また、発言に「要するに、」「まとめると、」等、前の発言をまとめるフレーズが含まれる場合に、サポート力のスコアを加算点として算出してもよい。また、「私これやるよ」等、タスクを引き受ける内容が発言のテキストデータに含まれる場合も、サポート力のスコアを加算点として算出することができる。
Even if the
評価部１６は、一人のメンバの発言の回数、時間、及び発言の内容に基づいて、リーダーシップのスコアを算出することができる。例えば、“Ｗｈａｔ ｄｏ ｙｏｕ ｔｈｉｎｋ？”等、他のメンバに話題を振る内容が発言のテキストデータに含まれる場合、その発言の発言者のリーダーシップのスコアを加算点として計算することができる。或いは、ディスカッションにおいて会話が止まり、沈黙が所定時間続いた後に、最初に発言した発言者のリーダーシップのスコアを加算点として算出してもよい。
The
評価部１６は、１回の発言における音声データを用いて、プレゼンテーション力のスコアを算出してもよい。例えば、１回の発言における音声のトーン、話すスピード、流暢さ等を示すスコアを、音声データから算出することができる。また、評価部１６は、予め記録されたプレゼンテーションの内容を示すデータと、発言のテキストデータとを比較することにより、プレゼンテーションの構成（例えば、問題、解決、可能性、まとめ等）を認識してもよい。認識した構成に応じてプレゼンテーション力のスコアを算出することができる。
The
評価部１６は、発言のテキストデータの構文解析の結果を用いて、論理的思考力のスコアを算出してもよい。評価部１６は、例えば、１つの発言の中の複数の文章の間の論理的関係性を示す値が所定条件を満たす場合に、論理的思考力のスコアを加算点として算出してもよい。評価部１６は、発言のテキストデータが、例えば、“ｂｅｃｏｕｓｅ”、“ｓｉｎｃｅ”、“ｓｏ ｔｈａｔ”等の文章の間を接続する接続フレーズを検出し、接続フレーズの前後の文の論理的関係性を示す値を算出することができる。例えば、接続フレーズの前後の文の論理的関係性を示す値が所定の条件を満たす場合に、１つの発言の中で、接続フレーズを用いて、発言の根拠を説明できていると判断することができる。
The
２つの文章間の論理的関連性の値は、例えば、２つの文章に含まれる単語の比較結果に基づいて算出してもよい。単語の比較処理の例として、単語間の関連度合いを示す値を算出してもよい。単語間の関連度合いは、複数の単語の関連性を示す単語関連性データを基に判断できる。単語関連性データは、例えば、百科事典のデータや、インターネットのＷｅｂページデータ等の外部データに含まれる単語を基に作成することができる。図８Ａは、単語関連性データで示される単語間の関連性の一例を示す図である。図８Ａに示すように、複数の単語について、各単語に関連する単語が対応付けられる。図８Ａに示す例において、複数の単語間の関連度合いを示すパラメータがさらに記録されてもよい。このような単語関連性データを用いることより、２つの文章のうち一方に含まれる単語と他方に含まれる単語との関連度合いを示す値を、単語ペア毎に算出することができる。なお、単語関連性データは、百科事典データやＷｅｂページ群等の外部データを用いた機械学習により更新されてもよい。 The value of the logical relationship between two sentences may be calculated based on the comparison result of the words included in the two sentences. As an example of word comparison processing, a value indicating the degree of association between words may be calculated. The degree of association between words can be determined based on word association data indicating the association of a plurality of words. The word relevance data can be created, for example, based on words included in encyclopedia data or external data such as Internet web page data. FIG. 8A is a diagram showing an example of the relationship between words indicated by the word relationship data. As shown in FIG. 8A, a plurality of words are associated with words related to each word. In the example shown in FIG. 8A, a parameter indicating the degree of association between a plurality of words may be further recorded. By using such word relevance data, a value indicating the degree of relevance between a word included in one of the two sentences and a word included in the other of the two sentences can be calculated for each word pair. The word relevance data may be updated by machine learning using external data such as encyclopedia data and Web page groups.
また、評価部１６は、評価対象の発言のテキストデータと、他の発言のテキストデータの論理的関連性の値が所定の条件を満たす場合に、論理的思考力のスコアを加算点として算出してもよい。例えば、前の他の発言の言葉を引用し、且つ新しい情報を追加する部分が、１回の発言のテキストデータに２回以上存在する場合に、論理的思考力のスコアを加算点として算出することができる。
Further, the
また、評価部１６は、ディスカッションにおける複数の発言のテキストデータに含まれる単語間の関係性を示す単語関連性データを生成して、評価に用いてもよい。図８Ｂは、ディスカッションの複数の発言に含まれる単語間の関連性の一例を示す図である。図８Ｂに示す例では、複数の発言Ｈ１、Ｈ２、Ｈ３のそれぞれに含まれる単語が互いに関連ある単語として対応付けられて記録される。評価部１６は、図８Ａに示すような外部データに基づく単語関連性データに加えて、図８Ｂに示すようなディスカッションの発言のテキストデータに基づく単語関連性データを用いて、１つの発言における２つの文章間又は異なる２つの発言間の関連性を数値化することができる。このようにして計算される２つの発言間の関連性の値は、論理的思考力の評価のみならず、他の評価項目に用いられてもよい。
In addition, the
評価部１６は、１つの発言について、その発言及び他の発言のテキストデータ及び時間情報に基づいて、リスニング力のスコアを算出してもよい。例えば、前の発言の終了と評価対象の発言の開始との時間差をリスニング力のスコアの算出に用いてもよい。これにより、前の発言に対して早く応答した場合に、リスニング力の評価を上げることができる。また、前の発言の意味を正しく理解した上で発言できた場合、他のメンバは、その発言に続いて間を開けることなく発言できる可能性が高い。そのため、評価対象の発言の終了と、その評価対象の発言の後の発言の開始との時間差をリスニング力のスコアの算出に用いてもよい。
The
さらに、前の発言を正しく聞き取った上で発言しているか否かを判断するため、評価対象の発言又は評価対象の発言の後の発言の冒頭の言葉のテキストデータ又は音声データをリスニング力の評価に用いてもよい。例えば、評価対象の発言の後の発言の冒頭に、 “Ｉ ｓｅｅ”、“Ｉ ｕｎｄｅｒｓｔａｎｄ”など、前の発言を理解したことを示す言葉がある、又は、“ｐａｒｄｏｎ”、“ｙｏｕ ｌｏｓｔ ｍｅ”等、発言が理解されなかった事を示す言葉がない場合に、リスニング力のスコアを加算点として算出することができる。また、前の他発言と評価対象の発言との関連性を示す値を用いて、他の発言の理解度を数値化したものをリスニング力のスコア計算に用いてもよい。さらに、評価対象の発言の前の発言が質問か否かを判断した結果を、リスニング力のスコアの算出に用いてもよい。前の発言が質問である場合、これに回答するまでに要する反応時間が、リスニング力を判断する上で、より重要になる。例えば、前の発言が質問であるか否かによって、リスニング力のスコアの重み付けを異ならせることができる。 In addition, in order to judge whether or not the previous speech is heard after correctly listening to the previous speech, the text data or voice data of the speech at the beginning of the speech to be evaluated or the speech after the speech to be evaluated is evaluated for listening ability. May be used for. For example, at the beginning of the statement after the statement to be evaluated, there is a word such as “I see” or “I understand” indicating that the previous statement is understood, or “pardon”, “you lost me”, etc. , If there is no word indicating that the utterance was not understood, the score of the listening ability can be calculated as the addition point. Further, a value indicating the relevance between the previous other utterance and the utterance to be evaluated may be used as a numerical value of the comprehension level of the other utterance for the score calculation of the listening ability. Furthermore, the result of determining whether or not the utterance before the utterance to be evaluated is a question may be used for calculating the score of the listening ability. If the previous statement is a question, the reaction time required to answer it becomes more important in judging the listening ability. For example, the score of the listening ability can be weighted differently depending on whether or not the previous statement is a question.
以上のように、ディスカッションにおける音声を、テキスト化して発言毎に記録したテキストデータを用いることで、複数の評価項目について、評価値を算出することができる。なお、評価項目は、上記の例に限定されない。 As described above, the evaluation value can be calculated for a plurality of evaluation items by using the text data in which the voice in the discussion is converted to text and recorded for each statement. The evaluation items are not limited to the above examples.
図９は、評価部１６が算出した評価値を記録する評価データの一例を示す図である。図９に示す例では、評価対象者、評価項目、評価値、評価値の算出に用いた本人（評価対象者）の発言を示す情報（発言ＩＤ）、及び評価値の算出に用いた他人（評価対象者以外のメンバ）の発言を示す情報（発言ＩＤ）が対応付けられて記録される。このように、評価値の算出に用いられた発言を示すデータを、評価と対応付けて記録することで、後述するように、評価結果とともに、評価の根拠を示す情報を、ユーザに提供することができる。また、評価データの管理及び出力のコンピュータ処理の効率が向上する。
FIG. 9 is a diagram showing an example of evaluation data in which the evaluation values calculated by the
図１０は、評価部１６が算出した評価値を記録する評価データの他の一例を示す図である。図１０に示す例では、評価対象者、評価項目、評価値、評価値の算出に用いたジェスチャ、ジェスチャの検出時間が対応付けられて記録される。このように、画像を用いて評価値を算出した場合も、評価値の算出に用いたデータを、評価値に対応付けて、記録することができる。なお、図１０に示す例において、ジェスチャが検出された画像のデータが、評価値と対応付けて記録されてもよい。
FIG. 10 is a diagram showing another example of evaluation data in which the evaluation value calculated by the
図１１は、図６におけるレポートタブボタンＢ１をユーザが選択した際に、表示される画面部品の例を示す図である。図１１は、テキスト入力が可能なテキストボックスＴ１、議題又は進行段階等ディスカッションに関する情報を表示するエリアＲ７、選択可能なカラーボタン群Ｂ３〜Ｂ８が表示される。カラーボタン群Ｂ３〜Ｂ８の色は、互いに異なる。カラーボタン群Ｂ３〜Ｂ８のうち１つが選択可能である。ユーザがテキストボックスＴ１に文字を入力すると、カラーボタン群Ｂ３〜Ｂ８のうち選択されているボタンの色の文字が、テキストボックスＴ１に書き込まれる。異なるメンバは、異なる色のボタンを選択してテキストボックスＴ１へ入力することで、文字を入力したメンバを識別することができる。図１１に示す画面は、ディスカッション期間において表示可能であってもよいし、ディスカッション期間外において表示可能にできる。例えば、メンバは、ディスカッション中に、ディスカッションにおいて決定した内容をテキストボックスＴ１へ入力することができる。入力可能なテキストボックスは、複数の進行段階のそれぞれに対応して、複数表示されてよい。テキストボックスＴ１に入力された文字列は、教育支援システム１０が取得し、記録装置３に記録される。評価部１６は、テキストボックスＴ１に入力されてテキストを用いて評価値を算出してもよい。なお、テキストボックスＴ１に入力されたテキストの入力者を識別する方法は、図１１に示すように、複数のカラーボタン群Ｂ３〜Ｂ８を設ける形態に限られない。また、例えば、複数の進行段階のそれぞれ対応する複数のテキストボックスＴ１が表示されてもよい。
FIG. 11 is a diagram showing an example of screen components displayed when the user selects the report tab button B1 in FIG. FIG. 11 shows a text box T1 in which a text can be input, an area R7 for displaying information on discussion such as a topic or a progress stage, and selectable color button groups B3 to B8. The colors of the color button groups B3 to B8 are different from each other. One of the color button groups B3 to B8 can be selected. When the user inputs a character in the text box T1, the character of the color of the selected button of the color button groups B3 to B8 is written in the text box T1. Different members can identify the member who has input the characters by selecting buttons of different colors and inputting them into the text box T1. The screen shown in FIG. 11 may be displayed during the discussion period or may be displayed outside the discussion period. For example, the member can input the content decided in the discussion into the text box T1 during the discussion. A plurality of enterable text boxes may be displayed corresponding to each of a plurality of progress stages. The character string entered in the text box T1 is acquired by the
なお、教育支援システム１は、ディスカッションを用いた端末１ａ、１ｂを介したレポート入力の他に、ディスカッション期間以外に、メンバが使用可能な端末からレポート（宿題）の入力を受けつけてもよい。例えば、各メンバが、各自の端末でＩＤを入力して教育支援システム１にログインした場合に、端末からのレポートの入力を受け付けてもよい。評価部１６は、このように、ディスカッション期間外に別途入力されたレポート等のテキストデータに対して、評価処理を実行してもよい。
In addition to the report input via the
レポートのテキストデータの評価処理には、例えば、レポートのテキストデータの文字数、レポートのテキストデータに含まれる単語とディスカッションの発言に含まれる単語との比較結果、又はレポートのテキストデータの単語と議題に関連する単語との比較結果又は、数値を用いて物事を定量的に表す表現の数、等を用いることができる。ここで、議題に関連する単語は、外部のデータベース又はインターネット上のファイルから得られる関連する単語群であってもよい。例えば、レポートのテキストデータに含まれる単語と、ディスカッションの複数の発言のテキストデータに含まれる単語又は関連する単語との関連性が所定条件を満たす場合に、レポートのスコアを加算点として算出してもよい。また、議題に関連性のある単語を数値と組み合わせて使用する表現、（例えば、「年間の食品ロスは約６００万トン」）がある場合にレポートのスコアを加算点として算出してもよい。なお、レポートのテキストデータに基づいて、上記ディスカッションの複数の評価項目の少なくとも一部と同じ評価項目の評価値を算出してもよい。 The evaluation process of the text data of the report includes, for example, the number of characters in the text data of the report, the comparison result between the words included in the text data of the report and the words included in the discussion statement, or the words of the text data of the report and the topic. It is possible to use the result of comparison with related words or the number of expressions that quantitatively represent things using numerical values. Here, the word related to the agenda may be a related word group obtained from an external database or a file on the Internet. For example, when the relevance between a word included in the text data of the report and a word included in the text data of a plurality of discussions or related words satisfies a predetermined condition, the score of the report is calculated as an addition point. Good. In addition, when there is an expression that uses a word related to the agenda in combination with a numerical value (for example, “the annual food loss is about 6 million tons”), the score of the report may be calculated as the addition point. The evaluation value of the same evaluation item as at least a part of the plurality of evaluation items of the discussion may be calculated based on the text data of the report.
また、教育支援システム１は、ディスカッション終了後に、ディスカッションの参加メンバから、ディスカッションの自己評価及び／又は他者評価の入力を受け付けてもよい。自己評価の一例として、ディスカッションにおいて、どのような点を心がけていたか、どのような努力をしたか、等、自己振り返り事項を示すテキストデータの入力を受け付けてもよい。また、評価項目毎に、自己振り返り事項を入力可能としてもよい。或いは、教育支援システム１は、「今日の推薦者」として、ディスカッションで評価したい他のメンバの入力、及び、推薦の理由を示すテキストデータ又は評価項目データの入力を受け付けてもよい。評価部１６は、自己評価及び他者評価を、評価データとして記録装置３に記録してもよい。
Further, the
図１２は、評価部１６による評価結果の表示例を示す図である。図１２に示す例では、評価結果として、評価対象者と、各評価項目の評価値が表示される。ユーザが評価項目を指定すると、この評価項目の評価の根拠を示す情報が表示される。図１２に示す例では、コミュニケーション力が指定された場合の評価の根拠を示す情報が表示されている。このように、評価部１６は、評価値に基づく評価内容とともに、評価値の算出に用いられた発言に関する情報を、発言のテキストデータを基に生成して表示することができる。なお、評価の根拠を示す情報として、発言のテキストデータの他、別途入力されたレポート、自己評価、又は、他者評価のデータを表示してもよい。
FIG. 12 is a diagram showing a display example of the evaluation result by the
本実施形態における教育支援システム１０では、ファシリテート部１５により、ディスカッションの議題及び進行段階に合った読み上げ文章及び単語が、端末１ａ、１ｂにおいて画像とともに表示される。そのため、ディスカッションの経験が少ないメンバや、母国語以外の言語でディスカッションをするメンバが、自信を持って発言をできるようになる。さらに、評価部１６が、ディスカッションの発言毎のテキストデータを基に、評価値を算出することで、適切な評価処理が効率よく実行できる。これにより、コンピュータの処理効率が向上するとともに、教育者（例えば、先生、上司）等の評価する者の負担も軽減される。また、ディスカッションにおける各メンバの発言の全体にわたって見逃すことなく評価できる。結果として、メンバは、自信を持たせる程度にディスカッションを達成することが可能になる。また、教育者は、評価に関する負担が低減されるため、メンバに直接接する教育活動により時間を割くことができる。その結果、教育の質が向上する。
In the
本発明は、上記の実施形態に限定されない。例えば、上記例では、ディスカッションにおける画像及び音声の両方を用いて評価処理を実行しているが、音声のみを用いて評価処理を実行してもよい。また、読み上げ用文章及び単語は、ディスカッション期間全体で継続して表示されてもよいし、ディスカッション期間の一部で表示されてもよい。例えば、端末１ａ、１ｂにおいて、ディスカッションの画像とともに、読み上げ用文章及び単語の表示の要求を受け付けるボタン等のインターフェース部品を表示してもよい。この場合、ユーザに、ボタンが選択された際に、読み上げ用文章及び単語を表示することができる。また、上記例では、読み上げ用文章は、質問文と応答文に分かれて表示されているが、読み上げ用文章の表示態様は、これに限られない。質問文と応答文を区別することなく、読み上げ用文章を表示してもよい。
The present invention is not limited to the above embodiments. For example, in the above example, the evaluation process is executed using both the image and the sound in the discussion, but the evaluation process may be executed using only the sound. The reading sentence and word may be continuously displayed during the entire discussion period, or may be displayed during a part of the discussion period. For example, on the
上記実施形態では、１回のディスカッションにおける動作例を説明した。教育支援システム１は、複数のディスカッションにおける評価データ及びテキストデータを、各メンバの識別子（ＩＤ）と対応付けて記録してもよい。例えば、評価データにおける評価対象者とメンバの識別子との対応関係、及びディスカッションの発言のテキストデータにおける発言者とメンバの識別子との対応関係を示すデータが、複数のディスカッションで生成される評価データ及びテキストデータとともに記録部３に記録されてもよい。評価対象者とメンバの識別子との対応、及び、テキストデータにおける発言者とメンバの識別子の対応を示す情報は、例えば、ユーザからの対応を示す入力に基づいて決定することができる。これにより、メンバの複数の教育段階、例えば、幼稚園、小学校、中学、高校、大学、社会人等を通じて、評価データを蓄積することができる。これにより、ユーザは、複数の教育段階において、成長記録の参照、自己分析、及び強みの把握等が可能になる。教育支援システム１は、ユーザの生涯を通じて成長をサポートできる。
In the above embodiment, the operation example in one discussion has been described. The
本実施形態は、一例として、遠隔地における学校のメンバ同士が、ディスカッションを通じて学ぶ場を提供するコンピュータプラットフォームに適用することができる。学校の他、会社、病院、その他機関又は個人のディスカッションを通じた活動の場を提供するコンピュータプラットフォームにも本実施形態を適用できる。また、教育支援システムの用途は、教育に限られず、ビジネス、又は公的活動、その他にあらゆる用途に、教育支援システムを使用できる。 This embodiment can be applied to, for example, a computer platform that provides a place for members of schools in remote areas to learn through discussions. This embodiment can be applied to a computer platform that provides a place of activities through discussions among companies, hospitals, other institutions, or individuals in addition to schools. Further, the use of the education support system is not limited to education, and the education support system can be used for business, public activities, or any other purposes.
例えば、学校、会社その他機関の面接又は会議を、ネットワークを介して行う場合に、教育支援システムを適用することで、面接又は会議の円滑化並びに評価の効率化及びフィードバックが可能になる。教育支援システムの会社等における面接に利用することで、面接者から十分に発言を引き出し、且つ、面接者の適切な評価を効率よく行うことができる。また、評価担当者の作業負担が低減される。さらに、面接者に評価データを提供することで、面接者が、自らのコミュニケーションに関する能力を把握することができる。 For example, when an interview or a meeting of a school, a company, or another organization is conducted via a network, by applying the education support system, it is possible to facilitate the interview or the meeting, improve the efficiency of evaluation, and provide feedback. By using the education support system for an interview in a company or the like, it is possible to sufficiently draw a statement from the interviewer and efficiently perform an appropriate evaluation of the interviewer. Further, the work load on the evaluation staff is reduced. Further, by providing the interviewer with the evaluation data, the interviewer can grasp the ability regarding his/her communication.
１ａ、１ｂ：端末、２：サーバ、３：記録装置、１０：教育支援システム、１１：通信データ取得部１１、１２：議題決定部、１３：ディスカッション期間特定部、１４：テキストデータ生成部、１５：ファシリテート部、１６：評価部
1a, 1b: Terminal, 2: Server, 3: Recording device, 10: Education support system, 11: Communication
Claims (6)
ユーザの入力に基づいてディスカッションの議題を決定する議題決定部と、
ディスカッションの開始と終了をユーザから入力に基づいて決定するディスカッション期間特定部と、
前記ディスカッションの開始から終了までのディスカッション期間において前記通信データ取得部で取得された前記メンバの音声をテキスト化したテキストデータを、一人のメンバの１つの発言毎に、前記発言の時間及び前記発言の発言者の情報と対応付けて記録するテキストデータ生成部と、
前記ディスカッション期間の少なくとも一部において、前記議題に基づいて決定された複数の読み上げ用文章及び複数の単語を、前記メンバの画像とともに前記端末に表示させるファシリテート部と、
前記テキストデータに含まれる複数の発言についてのテキストデータ、時間、及び発言者の情報を用いて、前記メンバの少なくとも一人の前記ディスカッション期間における評価値を、複数の項目について算出する評価部と、を備える、教育支援システム。 A communication data acquisition unit for acquiring at least audio from the audio and images of the members that are communicated with each other via the network between the terminals of the members at remote locations;
An agenda determination unit that determines the agenda of the discussion based on user input,
A discussion period specifying unit that determines the start and end of the discussion based on input from the user,
The text data obtained by converting the voice of the member acquired by the communication data acquisition unit into a text during the discussion period from the start to the end of the discussion, for each one statement of one member, the time of the statement and the statement A text data generation unit that records the information in association with the speaker,
A facilitator unit that causes a plurality of reading sentences and a plurality of words determined based on the agenda item to be displayed on the terminal together with an image of the member in at least a part of the discussion period.
An evaluation unit that calculates, for a plurality of items, an evaluation value in the discussion period of at least one of the members by using the text data, time, and speaker information about the plurality of remarks included in the text data. Prepare for education support system.
ユーザの入力に基づいてディスカッションの議題を決定する処理と、
ディスカッションの開始と終了をユーザから入力に基づいて決定する処理と、
前記ディスカッションの開始から終了までのディスカッション期間において取得された前記メンバの音声をテキスト化したテキストデータを、一人のメンバの１つの発言毎に、前記発言の時間及び前記発言の発言者の情報と対応付けて記録する処理と、
前記ディスカッション期間の少なくとも一部において、前記議題に基づいて決定された複数の読み上げ用文章及び複数の単語を、前記メンバの画像とともに前記端末に表示させる処理と、
前記テキストデータに含まれる複数の発言についてのテキストデータ、時間、及び発言者の情報を用いて、前記メンバの少なくとも一人の前記ディスカッション期間における評価値を、複数の項目について算出する処理と、をコンピュータに実行させる、プログラム。 A process of acquiring at least a voice of the voice and the image of the member that are communicated with each other via the network between the terminals of the member at a remote place;
The process of determining the discussion agenda based on user input,
The process of determining the start and end of the discussion based on input from the user,
The text data obtained by converting the voice of the member into a text obtained during the discussion period from the start to the end of the discussion corresponds to the time of the comment and the information of the speaker of the comment for each one comment of one member. The process of attaching and recording,
A process of displaying a plurality of reading sentences and a plurality of words determined based on the agenda on the terminal together with an image of the member in at least a part of the discussion period;
A process of calculating, for a plurality of items, an evaluation value of at least one of the members in the discussion period using text data about a plurality of remarks, time, and speaker information included in the text data. The program that you want to run.
遠隔地にいるメンバの端末間でネットワークを介して互いに通信される前記メンバの音声及び画像のうち少なくとも音声を取得するステップと、
ユーザの入力に基づいてディスカッションの議題を決定するステップと、
ディスカッションの開始と終了をユーザから入力に基づいて決定するステップと、
前記ディスカッションの開始から終了までのディスカッション期間において取得された前記メンバの音声をテキスト化したテキストデータを、一人のメンバの１つの発言毎に、前記発言の時間及び前記発言の発言者の情報と対応付けて記録するステップと、
前記ディスカッション期間の少なくとも一部において、前記議題に基づいて決定された複数の読み上げ用文章及び複数の単語を、前記メンバの画像とともに前記端末に表示させるステップと、
前記テキストデータに含まれる複数の発言についてのテキストデータ、時間、及び発言者の情報を用いて、前記メンバの少なくとも一人の前記ディスカッション期間における評価値を、複数の項目について算出するステップを、含む方法。 A computer implemented method comprising:
A step of acquiring at least a voice of a voice and an image of the member that are communicated with each other via a network between the terminals of the member at a remote place;
Determining the discussion agenda based on user input,
Determining the start and end of the discussion based on input from the user,
The text data obtained by converting the voice of the member into a text obtained during the discussion period from the start to the end of the discussion corresponds to the time of the comment and the information of the speaker of the comment for each one comment of one member. Attaching and recording steps,
Displaying a plurality of reading sentences and a plurality of words determined based on the agenda item on the terminal together with an image of the member in at least a part of the discussion period;
A method of calculating, for a plurality of items, an evaluation value of at least one of the members in the discussion period using the text data, time, and speaker information about a plurality of remarks included in the text data. ..
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019051480A JP6705956B1 (en) | 2019-03-19 | 2019-03-19 | Education support system, method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019051480A JP6705956B1 (en) | 2019-03-19 | 2019-03-19 | Education support system, method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6705956B1 true JP6705956B1 (en) | 2020-06-03 |
| JP2020154093A JP2020154093A (en) | 2020-09-24 |
Family
ID=70858093
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019051480A Expired - Fee Related JP6705956B1 (en) | 2019-03-19 | 2019-03-19 | Education support system, method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6705956B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022249462A1 (en) * | 2021-05-28 | 2022-12-01 | 株式会社I’mbesideyou | Video analysis system |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022070352A1 (en) * | 2020-09-30 | 2022-04-07 | 株式会社Pfu | Information processing device, content providing method, and program |
| JPWO2022254495A1 (en) * | 2021-05-31 | 2022-12-08 | ||
| WO2022254494A1 (en) * | 2021-05-31 | 2022-12-08 | 株式会社I’mbesideyou | Video analysis system |
| JPWO2022269802A1 (en) * | 2021-06-23 | 2022-12-29 | ||
| WO2022269801A1 (en) * | 2021-06-23 | 2022-12-29 | 株式会社I’mbesideyou | Video analysis system |
| WO2023013027A1 (en) * | 2021-08-06 | 2023-02-09 | 株式会社I’mbesideyou | Video analysis system |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006323738A (en) * | 2005-05-20 | 2006-11-30 | Fuji Xerox Co Ltd | Program for evaluating contribution level of community participant and electronic communication system |
| JP2015141540A (en) * | 2014-01-28 | 2015-08-03 | 株式会社リコー | Information processor, wording association presentation system, and information processing program |
| JP6413256B2 (en) * | 2014-02-20 | 2018-10-31 | 株式会社リコー | CONFERENCE SUPPORT DEVICE, CONFERENCE SUPPORT DEVICE CONTROL METHOD, AND PROGRAM |
| JP7098875B2 (en) * | 2016-02-02 | 2022-07-12 | 株式会社リコー | Conference support system, conference support device, conference support method and program |
| JP6511192B2 (en) * | 2016-07-19 | 2019-05-15 | 株式会社日立製作所 | Discussion support system, discussion support method, and discussion support program |
| JP2018174442A (en) * | 2017-03-31 | 2018-11-08 | 本田技研工業株式会社 | Conference support system, conference support method, program of conference support apparatus, and program of terminal |
-
2019
- 2019-03-19 JP JP2019051480A patent/JP6705956B1/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022249462A1 (en) * | 2021-05-28 | 2022-12-01 | 株式会社I’mbesideyou | Video analysis system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020154093A (en) | 2020-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6705956B1 (en) | Education support system, method and program | |
| Lynch et al. | Listening | |
| Trinh et al. | Robocop: A robotic coach for oral presentations | |
| US9786199B2 (en) | System and method for assisting language learning | |
| Ashwell et al. | How Accurately Can the Google Web Speech API Recognize and Transcribe Japanese L2 English Learners' Oral Production?. | |
| US8033831B2 (en) | System and method for programmatically evaluating and aiding a person learning a new language | |
| CN110489756B (en) | Conversational human-computer interactive spoken language evaluation system | |
| JP2002503353A (en) | Reading aloud and pronunciation guidance device | |
| Daniels et al. | The suitability of cloud-based speech recognition engines for language learning. | |
| US11024194B1 (en) | Virtual reading companion technology to support the acquisition of reading fluency | |
| US8221126B2 (en) | System and method for performing programmatic language learning tests and evaluations | |
| US20220199080A1 (en) | Voice coaching system and related methods | |
| Southwell et al. | Challenges and feasibility of automatic speech recognition for modeling student collaborative discourse in classrooms | |
| Gürbüz | Understanding fluency and disfluency in non-native speakers' conversational English | |
| KR101004913B1 (en) | An apparatus and method for evaluating spoken ability by speech recognition through computer-lead interaction and thereof | |
| Chukharev‐Hudilainen et al. | The development and evaluation of interactional competence elicitor for oral language assessments | |
| JP6656529B2 (en) | Foreign language conversation training system | |
| JP2003228279A (en) | Language learning apparatus using voice recognition, language learning method and storage medium for the same | |
| Yoshino et al. | Japanese dialogue corpus of information navigation and attentive listening annotated with extended iso-24617-2 dialogue act tags | |
| Gorman et al. | A framework for speechreading acquisition tools | |
| KR20190070682A (en) | System and method for constructing and providing lecture contents | |
| US20210304628A1 (en) | Systems and Methods for Automatic Video to Curriculum Generation | |
| JP2004101637A (en) | Online educational system, information processor, information providing method and program | |
| Hjalmarsson | Evaluating AdApt, a multi-modal conversational dialogue system using PARADISE | |
| Pande et al. | Humanoid robot as an educational assistant–insights of speech recognition for online and offline mode of teaching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20191119 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191125 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20191119 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200228 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200316 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6705956 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees | ||
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |