JP2021108046A - Learning support system - Google Patents
Learning support system Download PDFInfo
- Publication number
- JP2021108046A JP2021108046A JP2019239537A JP2019239537A JP2021108046A JP 2021108046 A JP2021108046 A JP 2021108046A JP 2019239537 A JP2019239537 A JP 2019239537A JP 2019239537 A JP2019239537 A JP 2019239537A JP 2021108046 A JP2021108046 A JP 2021108046A
- Authority
- JP
- Japan
- Prior art keywords
- student
- information
- unit
- response
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008451 emotion Effects 0.000 claims abstract description 131
- 230000005540 biological transmission Effects 0.000 claims abstract description 87
- 230000004044 response Effects 0.000 claims abstract description 70
- 230000001755 vocal effect Effects 0.000 claims abstract description 53
- 230000000694 effects Effects 0.000 claims description 18
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 14
- 238000000034 method Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 230000002996 emotional effect Effects 0.000 description 12
- 230000008921 facial expression Effects 0.000 description 11
- 210000003128 head Anatomy 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 10
- 230000010365 information processing Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 235000012631 food intake Nutrition 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
- Toys (AREA)
Abstract
Description
本発明は、コンピュータ支援教育に関する。 The present invention relates to computer assisted instruction.
コンピュータ支援教育に関する技術として、例えば、特許文献１には、生徒証から読み取られる個人データに基づいてユーザが本人であると認証された場合に、その個人データに対応する学習用問題のデータをデータ提供用装置から受信し、画像形成部が、受信されたデータに基づいて試験問題の画像を形成する技術が開示されている。
As a technique related to computer-assisted education, for example,
コンピュータ支援教育として、例えば、生徒の解答の正誤及び所要時間に基づいて新たな問題を発信することが行われているが、同じ生徒であっても、そのときの状態によって問題に取り組む姿勢が変化することがある。
そこで、本発明は、生徒に対して生徒の状態に応じた適切な発信を行うことを目的とする。
As computer assisted instruction, for example, new questions are sent out based on the correctness of the student's answer and the required time, but even for the same student, the attitude of tackling the problem changes depending on the state at that time. I have something to do.
Therefore, an object of the present invention is to make an appropriate transmission to a student according to the student's condition.
上記目的を達成するために、本発明は、生徒に対して発信された情報に対する前記生徒の応答を取得する取得手段と、取得された前記応答に基づき前記生徒の現在の感情を推定する推定手段と、推定された前記感情に基づき前記生徒に対して発信する情報の内容を決定する決定手段と、決定された前記内容の情報を前記生徒に対し発信する発信手段とを備える学習支援システムを提供する。 In order to achieve the above object, the present invention presents an acquisition means for acquiring the student's response to the information transmitted to the student, and an estimation means for estimating the student's current emotion based on the acquired response. Provided is a learning support system including a determination means for determining the content of information to be transmitted to the student based on the estimated emotion, and a transmission means for transmitting the determined information of the content to the student. do.
また、前記生徒による言語情報の入力のための操作を受け付ける操作手段と、前記生徒が発する非言語情報を感知する感知手段とを備え、前記取得手段は、受け付けられた前記操作により入力された言語情報と、感知された前記非言語情報とを前記生徒の応答として取得してもよい。 Further, the acquisition means includes an operation means for receiving an operation for inputting the language information by the student and a sensing means for detecting the non-verbal information emitted by the student, and the acquisition means is the language input by the accepted operation. The information and the sensed non-verbal information may be acquired as the student's response.
また、前記感知手段は、カメラ、マイク及び活動量計のうちの１以上を備え、カメラを備える場合は当該カメラで撮影した画像から認識される前記生徒の状態を前記非言語情報として感知し、マイクを備える場合は当該マイクで拾った音声から認識される前記生徒の状態を前記非言語情報として感知し、活動量計を備える場合は当該活動量計で測定した活動量から認識される前記生徒の状態を前記非言語情報として感知してもよい。 Further, the sensing means includes one or more of a camera, a microphone and an activity meter, and when the camera is provided, the sensing means senses the state of the student recognized from the image taken by the camera as the non-verbal information. When equipped with a microphone, the state of the student recognized from the voice picked up by the microphone is sensed as the non-verbal information, and when equipped with an activity meter, the student is recognized from the amount of activity measured by the activity meter. The state of may be sensed as the non-verbal information.
また、前記取得手段を第１取得手段とするとき、前記生徒ではない情報元から前記生徒に関する情報を取得する第２取得手段を備え、前記推定手段は、前記第２取得手段により取得された情報に基づき前記生徒の現在の感情を推定してもよい。 Further, when the acquisition means is used as the first acquisition means, the second acquisition means for acquiring information about the student from an information source other than the student is provided, and the estimation means is the information acquired by the second acquisition means. The current emotions of the student may be estimated based on.
また、前記決定手段は、推定された前記生徒の感情に基づき前記生徒の関係者に対して発信する情報の内容を決定し、前記発信手段を第１発信手段とするとき、決定された前記内容の情報を前記関係者に対し発信する第２発信手段を備えてもよい。 Further, the determination means determines the content of the information to be transmitted to the related persons of the student based on the estimated emotion of the student, and when the transmission means is used as the first transmission means, the determined content is determined. A second transmission means for transmitting the above information to the related parties may be provided.
また、前記発信手段は、言語情報を発信する言語発信手段と、非言語情報を発信する非言語発信手段を有していてもよい。 Further, the transmission means may have a language transmission means for transmitting linguistic information and a non-language transmission means for transmitting non-verbal information.
本発明によれば、生徒に対して生徒の状態に応じた適切な発信を行うことができる。 According to the present invention, it is possible to make an appropriate transmission to a student according to the student's condition.
［１］実施例
図１は実施例に係る学習支援システム１の全体構成の一例を表す。学習支援システム１は、生徒の学習を支援するシステムである。学習支援システム１は、ネットワーク２と、ウェアラブルデバイス３と、ロボット１０と、サーバ装置２０と、教師端末３０と、保護者端末４０とを備える。
[1] Example FIG. 1 shows an example of the overall configuration of the
ネットワーク２は、移動体通信網及びインターネット等を含む通信システムであり、自システムにアクセスする装置同士のデータのやり取りを中継する。ネットワーク２には、サーバ装置２０が有線通信で、ロボット１０、教師端末３０及び保護者端末４０が無線通信で接続している。なお、各装置とネットワーク２との通信は、有線でも無線でもどちらでもよい。また、ウェアラブルデバイス３は、ロボット１０と無線通信で接続している。
The network 2 is a communication system including a mobile communication network, the Internet, and the like, and relays data exchange between devices accessing the own system. The
ウェアラブルデバイス３は、生徒の身に装着されて使用されるデバイスであり、生徒の活動量を測定する。ウェアラブルデバイス３は、例えば、生徒の手首に装着される腕時計型のデバイスであり、生徒の手のモーション情報（動く方向及び速度等）及び心拍数等を活動量として測定する。ウェアラブルデバイス３は、測定した活動量をロボット１０に送信する。
The
ロボット１０は、生徒とコミュニケーションを取る機能を有し、例えば生徒の学習に関する生徒向けの情報（以下「生徒向け情報」と言う）を発信したり、発信した生徒向け情報に対する生徒の応答を受け取ったりする。ロボット１０は、例えば教室の勉強机に設置されており、生徒の操作を受け付けたり、ウェアラブルデバイス３により測定された活動量等に基づき生徒の動き等を検知したりすることを契機にして各種の動作を行う。
The
サーバ装置２０は、ロボット１０が受け取った生徒の応答を取得し、取得した応答に基づいて生徒の感情の推定及び生徒向け情報の内容の決定等を行う。サーバ装置２０は、生徒向け情報の内容を決定すると、決定した内容をロボット１０に通知する。ロボット１０は、通知された内容の生徒向け情報を生徒に対して発信する。
The
教師端末３０は、生徒達を教える教師が利用する端末であり、保護者端末４０は、生徒達の保護者が利用する端末である。教師及び保護者は生徒の関係者である。以下では教師及び保護者を「生徒の関係者」と総称し、教師端末３０及び保護者端末４０を「関係者端末４」と総称する。サーバ装置２０は、生徒向け情報だけでなく、生徒の関係者向けの情報（以下「関係者向け情報」と言う）も決定する。
The
関係者端末４は、決定された関係者向け情報を関係者に対して発信する。また、関係者端末４は、生徒の関係者により操作されて、生徒に関する情報（例えば保護者が自宅で観察した生徒が教室に向かう前の状態に関する情報や、教師が教室で観察した現在の生徒の状態に関する情報等）を生成してサーバ装置２０に送信する。サーバ装置２０は、送信されてきた情報を、生徒の応答に付加される情報（以下「付加情報」と言う）として取得し、生徒の感情の推定に活用する。
The
図２はロボット１０の外観を表す。ロボット１０としては、様々なロボットが採用可能であるが、以下の説明においては好適な一例として、ロボット１０としてユニロボット株式会社が販売している「ＵＮＩＢＯ」（登録商標）を採用した場合を説明する。ロボット１０は、大まかには、胴体部１００１と、頭部１００２と、右腕部１００３Ｒ及び左腕部１００３Ｌと、右脚部１００４Ｒ及び左脚部１００４Ｌとで構成される。
FIG. 2 shows the appearance of the
頭部１００２の前面にはタッチディスプレイ１００５が配置されている。また、タッチディスプレイ１００５の上（額部分）にはカメラ１００６が配置されている。また、頭部１００２の上面（天頂部分）にはマイク１００７が配置されている。また、胴体部１００１の前面（腹部分）にはスピーカ１００８が配置されている。
A
タッチディスプレイ１００５は、積層されたタッチパネル１００５Ａとディスプレイ１００５Ｂを備え、タッチパネル１００５Ａによりユーザの指やスタイラス等の接触を検知すると共に、ディスプレイ１００５Ｂにより画像等を表示する。カメラ１００６は、いわゆるデジタルカメラであり、ロボット１０の周囲の画像を撮影し、撮影した画像を示す画像データを生成する。マイク１００７は、いわゆるマイクロフォンであり、自身が拾ったロボット１０の周囲の音を示す音データを生成する。スピーカ１００８は、合成された音声を含む各種の音を発する。
The
頭部１００２は胴体部１００１に対し、鉛直軸周りの回動（パン）と左右軸周りの回動（チルト）が可能である。従って、ロボット１０は、頷く、頭を振る等の、頭の動きによる様々なジェスチャーを行うことができる。
The
右腕部１００３Ｒは胴体部１００１に対し、右上方向にやや傾斜した左右軸周りの回動が可能であり、左腕部１００３Ｌは胴体部１００１に対し、左上方向にやや傾斜した左右軸周りの回動が可能である。従って、ロボット１０は、発言を強調するために両手を上下に振る等の、腕の動きによる様々なジェスチャーを行うことができる。
The
タッチディスプレイ１００５には、生徒に対し問題の出題や解説等が行われる際には、それらの内容を示すテキストや図等が表示されるが、問題の出題や解説等が行われない間は、左右の目を表す画像が表示される。ロボット１０は、左右の目の形状、位置、大きさ等を変化させることで、様々な表情を作ることができる。これにより、生徒は機械であるロボット１０に対し人格を感じるので、生徒自身がロボット１０に対し感情を発現させやすくなる。その結果、後述する学習支援の効率を大幅に向上させることができる。
On the
図３はロボット１０のハードウェア構成の一例を表す。ロボット１０は、コンピュータ１１と、入力装置１２と、出力装置１３と、駆動機構１４とを備える。
FIG. 3 shows an example of the hardware configuration of the
コンピュータ１１は、プロセッサ１１１と、メモリ１１２と、ストレージ１１３と、通信ＩＦ（Interface）１１４と、入出力ＩＦ（Interface）１１５と、バス１１９とを備える。
The
プロセッサ１１１は、例えば中央処理装置（ＣＰＵ：Central Processing Unit）であり、ストレージ１１３からメモリ１１２に読み出されたオペレーティングシステム、アプリケーションプログラム等のプログラムに従う演算処理を行うことでロボット１０全体を制御する。
The
メモリ１１２は、コンピュータで読み取り可能にデータを記録する記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）等である。ストレージ１１３もまた、コンピュータで読み取り可能にデータを記録する記録媒体であるが、一般的にメモリ１１２より記憶容量が大きい一方で、メモリ１１２よりデータの読み書き速度が遅い。ストレージ１１３は、例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ等である。
The
通信ＩＦ１１４は、ネットワーク（有線及び無線の少なくとも一方）を介して外部装置との間で通信を行うためのインタフェースである。 The communication IF 114 is an interface for communicating with an external device via a network (at least one of wired and wireless).
入出力ＩＦ１１５は、ケットワークを介さずに外部装置との間で有線又は無線によりデータの受け渡しを行うためのインタフェースである。 The input / output IF 115 is an interface for transferring data to and from an external device by wire or wirelessly without going through a ketwork.
バス１９は、コンピュータ１１の他の構成部（プロセッサ１１１、メモリ１１２等）が互いにデータを受け渡すための通信線である。
The bus 19 is a communication line for other components of the computer 11 (
入力装置１２と、出力装置１３と、駆動機構１４とは、入出力ＩＦ１１５に接続されている。
The
入力装置１２には、タッチパネル１００５Ａと、カメラ１００６と、マイク１００７と、ウェアラブルデバイス３とが含まれる。出力装置１３には、ディスプレイ１００５Ｂと、スピーカ１００８とが含まれる。
The
駆動機構１４は、コンピュータ１１の制御下でモータの動作を制御する駆動制御装置１４１と、駆動制御装置１４１の制御下で動作する頭部パン用モータ１４２、頭部チルト用モータ１４３、右腕回動用モータ１４４、及び左腕回動用モータ１４５を備える。
The
頭部パン用モータ１４２は胴体部１００１と頭部１００２との接続部に配置され、胴体部１００１に対し頭部１００２を鉛直軸周りに駆動する。頭部チルト用モータ１４３は胴体部１００１と頭部１００２との接続部に配置され、胴体部１００１に対し頭部１００２を左右軸周りに駆動する。
The
右腕回動用モータ１４４は胴体部１００１と右腕部１００３Ｒとの接続部に配置され、胴体部１００１に対し右腕部１００３Ｒを軸周りに駆動する。左腕回動用モータ１４５は胴体部１００１と左腕部１００３Ｌとの接続部に配置され、胴体部１００１に対し左腕部１００３Ｌを軸周りに駆動する。
The right
図４はサーバ装置２０のハードウェア構成の一例を表す。サーバ装置２０は、コンピュータ２１で構成される。コンピュータ２１は、プロセッサ２１１と、メモリ２１２と、ストレージ２１３と、通信ＩＦ２１４と、入出力ＩＦ２１５と、バス２１９とを備える。図３に同名のハードウェアが表されているプロセッサ２１１等は、性能及び仕様等の違いはあるが、図３と同種のハードウェアである。
FIG. 4 shows an example of the hardware configuration of the
図５は関係者端末４のハードウェア構成の一例を表す。関係者端末４は、コンピュータ４１と、入力装置４２と、出力装置４３とを備える。コンピュータ４１は、プロセッサ４１１と、メモリ４１２と、ストレージ４１３と、通信ＩＦ４１４と、入出力ＩＦ４１５と、バス４１９とを備える。図３に同名のハードウェアが表されているプロセッサ４１１等は、性能及び仕様等の違いはあるが、図３と同種のハードウェアである。
FIG. 5 shows an example of the hardware configuration of the
入力装置４２には、例えば、生徒の関係者がタイピングによりテキストを入力するためのキーボード、音声によりテキストを入力するためのマイク、タッチ操作によりテキストの入力や選択肢の選択等を行うためのタッチパネル等が含まれる。出力装置４３には、例えば、生徒の関係者に文字、図形等を表示するためのディスプレイ、合成された音声等の音を発音するためのスピーカ等が含まれる。
The
ロボット１０、サーバ装置２０及び関係者端末４の各プロセッサが自装置に記憶されているプログラムを実行して自装置の各部を制御することで、図６に示す学習支援システム１の機能構成が実現される。以下に、学習支援システム１の機能構成を説明する。
The functional configuration of the
ロボット１０は、生徒向け発信部１０１と、言語操作部１０２と、非言語感知部１０３とを備える。サーバ装置２０は、応答情報取得部２０１と、所要時間算出部２０２と、正誤判定部２０３と、感情推定部２０４と、発信情報決定部２０５と、付加情報取得部２０６とを備える。関係者端末４は、関係者向け発信部３０１と、付加情報操作部３０２とを備える。
The
ロボット１０の生徒向け発信部１０１は、上述した生徒向け情報を生徒に対して発信する。生徒向け発信部１０１は本発明の「発信手段」及び「第１発信手段」の一例である。
The
生徒向け情報は、例えば、生徒に対し出願される問題、生徒に対する問題を解くためのアドバイス、生徒を鼓舞する掛け声、生徒の回答に喜ぶ笑顔の表示などである。生徒向け発信部１０１は、ロボット１０のタッチディスプレイ１００５に生徒向け情報を表示したり、ロボット１０のスピーカ１００８から生徒向け情報を発声したりすることで、生徒向け情報を発信する。
Student information includes, for example, questions filed with the student, advice for solving the problem for the student, a shout to inspire the student, a smile on the student's answer, and so on. The
生徒は、ロボット１０から上記のような生徒向け情報が発信されると、その生徒向け情報に対して応答する。例えば生徒向け情報が生徒に対し出題される問題である場合には、その問題への解答という応答を行う。生徒向け情報が生徒に対するアドバイスや掛け声等である場合には、それらのアドバイスや掛け声に対する返事、表情の変化、ジェスチャー、姿勢の変化、声色の変化又は上述した活動量の変化等の応答を行う。
When the
生徒による応答は、言語情報と非言語情報に大別される。言語情報は、問題への解答及び返事等のように言語を用いて表される情報である。非言語情報は、表情、姿勢、声色、話す速度、ジェスチャー及び上述した活動量（心拍数、モーション情報及び視線の方向等）等のように言語を用いずに表される情報である。言語操作部１０２は、生徒による言語情報の入力のための操作を受け付ける。言語操作部１０２は本発明の「操作手段」の一例である。
Responses by students are broadly divided into linguistic information and non-verbal information. Linguistic information is information expressed using language, such as answers and replies to problems. Non-verbal information is information expressed without using language, such as facial expressions, postures, voices, speaking speeds, gestures, and the above-mentioned amount of activity (heart rate, motion information, gaze direction, etc.). The
言語操作部１０２は、例えば、タッチディスプレイ１００５を用いた文字や文章を入力する操作を、言語情報の入力のための操作として受け付ける。また、言語操作部１０２は、マイク１００７を用いた音声入力の操作を、言語情報の入力のための操作として受け付ける。言語操作部１０２は、受け付けた操作により入力された言語情報に入力時刻を示す時刻情報（タイムスタンプ）を付加してサーバ装置２０に送信する。
The
非言語感知部１０３は、生徒が発する非言語情報を感知する。非言語感知部１０３は本発明の「感知手段」の一例である。非言語感知部１０３は、例えば、カメラ１００６で撮影した画像から認識される生徒の状態（生徒の表情、姿勢、ジェスチャー、視線の方向等）を非言語情報として感知する。非言語感知部１０３は、マイク１００７で拾った音声から認識される生徒の状態（声色及び話す速度等）を非言語情報として感知する。なお、カメラ１００６やマイク１００７によって生徒の表情や姿勢、声色を検出することで非言語情報を感知するので、カメラ１００６やマイク１００７も非言語感知部１０３の一部を構成する。
The
また、ロボット１０には、上述したようにウェアラブルデバイス３から測定された生徒の活動量が送信されてくる。非言語感知部１０３は、ウェアラブルデバイス３で測定した活動量から認識される生徒の状態（心拍数、モーション情報等）を非言語情報として感知する。なお、ウェアラブルデバイス３によって生徒の状態を検出することで非言語情報を感知するので、ウェアラブルデバイス３も非言語感知部１０３の一部を構成する。非言語感知部１０３は、上記のとおり感知した非言語情報に感知時刻を示す時刻情報（タイムスタンプ）を付加してサーバ装置２０に送信する。
Further, the amount of student activity measured from the
送信された言語情報及び非言語情報は、サーバ装置２０の応答情報取得部２０１に供給される。応答情報取得部２０１は、生徒に対して発信された情報に対する生徒の応答を取得する。応答情報取得部２０１は本発明の「取得手段」及び「第１取得手段」の一例である。応答情報取得部２０１は、供給された各情報、すなわち、言語操作部１０２により受け付けられた操作により入力された言語情報と、非言語感知部１０３により感知された非言語情報とを生徒の応答として取得する。
The transmitted linguistic information and non-linguistic information are supplied to the response
応答情報取得部２０１は、取得した応答のうち、生徒向け情報として発信された問題への解答を所要時間算出部２０２及び正誤判定部２０３に供給する。所要時間算出部２０２は、生徒が問題を解くのに要した所要時間を算出する。所要時間算出部２０２は、各問題の解答の入力時刻の間隔から所要時間を算出する。所要時間算出部２０２は、算出した所要時間を応答情報取得部２０１に供給する。
The response
正誤判定部２０３は、生徒が入力した問題への解答の正誤を判定する。サーバ装置２０は、例えば、生徒向け情報として発信するための問題と正解とを対応付けた問題データを記憶している。正誤判定部２０３は、供給された生徒の解答の正誤を問題データに基づいて判定する。正誤判定部２０３は、判定した各解答の正誤を応答情報取得部２０１に供給する。
The
応答情報取得部２０１は、上記のとおり供給された所要時間及び解答の正誤を生徒の応答として取得する。応答情報取得部２０１は、取得した生徒の応答を感情推定部２０４に供給する。感情推定部２０４は、応答情報取得部２０１により取得された応答に基づき生徒の現在の感情を推定する。感情推定部２０４は本発明の「推定手段」の一例である。感情推定部２０４は、本実施例では、感情推定部２０４は、感情を、プルチックの感情の輪に従う複数のパラメータの各々の高低を示す数値の集まりの形式で表現する。
The response
図７はプルチックの感情の輪を表す。プルチックの感情の輪は、喜び、信頼、恐れ、驚き、悲しみ、嫌気、怒り、予測という８つの基本感情で表されている。プルチックの感情の輪は、内側に近づくほど強い感情を表す。例えば、「夢中」、「喜び」、「安らぎ」はいずれも、８つの基本感情の１つである「喜び」に分類される感情だが、これらの感情のうち「夢中」が最も強い感情であり、「安らぎ」が最も弱い感情である。また、最も外側の感情の間には２つの感情から生じる新たな感情が配置されている。例えば、「安らぎ」と「容認」からは「愛」が生じる。 FIG. 7 shows the emotional circle of Plutik. Plutik's emotional circle is represented by eight basic emotions: joy, trust, fear, surprise, sadness, disgust, anger, and prediction. The emotional circle of Plutik expresses stronger emotions as it gets closer to the inside. For example, "crazy", "joy", and "peace" are all emotions classified into "joy", which is one of the eight basic emotions, but "crazy" is the strongest of these emotions. , "Peace" is the weakest emotion. In addition, new emotions arising from the two emotions are arranged between the outermost emotions. For example, "love" arises from "peace" and "acceptance."
プルチックの感情の輪において相対する位置に配置されている２つの基本感情（例えば「喜び」と「悲しみ」）は互いに正反対の基本感情として対を成す。従って、８つの基本感情は以下の４つの軸（以下、「感情軸」という）で表される。
第１感情軸：「喜び」−「悲しみ」
第２感情軸：「信頼」−「嫌気」
第３感情軸：「恐れ」−「怒り」
第４感情軸：「驚き」−「予測」
Two basic emotions (eg, "joy" and "sadness") that are located opposite each other in the Prutic emotional circle are paired as opposite basic emotions. Therefore, the eight basic emotions are represented by the following four axes (hereinafter, referred to as "emotion axes").
First emotional axis: "joy"-"sadness"
Second emotional axis: "trust"-"disgusting"
Third emotional axis: "fear"-"anger"
Fourth emotional axis: "surprise"-"prediction"
本実施例において、生徒の感情は、上記の４つの感情軸の各々に応じた４つの数値（例えば、−３〜＋３の範囲内の数値）の集まりで表現される。以下、それらの４つの数値の集まりを「感情指標値群」と呼ぶ。 In this embodiment, the student's emotions are represented by a set of four numerical values (for example, numerical values in the range of -3 to +3) corresponding to each of the above four emotional axes. Hereinafter, the set of these four numerical values will be referred to as an "emotional index value group".
図８は感情推定部２０４が生徒の感情を表す感情指標値群を推定するために用いるテーブルの構成の一例を表している。図８のテーブルは、様々な応答内容（例えば、問題に対する正当と誤答の経時変化のパターン、カメラ１００６で撮影した画像から認識される表情のパターン、マイク１００７で拾った音声から認識される声色のパターン等）に応じたレコードの集まりであり、各レコードには、そのレコードの応答内容に応じた感情指標値群（第１感情軸〜第４感情軸の各々の数値）が格納されている。
FIG. 8 shows an example of the structure of the table used by the
感情推定部２０４は応答情報取得部２０１から情報が供給される毎に、その情報が表す応答内容に応じた感情指標値群を図８のテーブルから読み出し、応答情報取得部２０１から供給された情報に伴う時刻情報と対応付けてログテーブルに記憶する。そして、感情推定部２０４はログテーブルに記憶されている多数の感情指標値群を、第１感情軸〜第４感情軸の各々に関し、それらに対応付けられている時刻情報から現在時刻までの時間に応じたウェイト（時間が長い程、小さいウエイト）を用いて加重平均した値を算出する。そのように算出される第１感情軸〜第４感情軸の各々の加重平均値の集まりは、その時点において推定される生徒の感情指標値群を意味する。以下、この感情指標値群を、「生徒の現在の感情指標値群」という。感情推定部２０４は、生徒の現在の感情指標値群を更新する毎に、更新後の感情指標値群を発信情報決定部２０５に供給する。
Each time information is supplied from the response
発信情報決定部２０５は、感情推定部２０４から供給される生徒の現在の感情指標値群に基づき、生徒に対して発信する生徒向け情報の内容を決定する。発信情報決定部２０５は本発明の「決定手段」の一例である。
The transmission
図９は発信情報決定部２０５が生徒に対して発信する生徒向け情報の内容を決定するために用いるテーブルの構成の一例を表している。図９のテーブルは、様々な条件と感情指標値群との組み合わせに応じたレコードの集まりであり、各レコードには、そのレコードの条件と感情指標値群との組み合わせに応じた発信内容が格納されている。
FIG. 9 shows an example of the configuration of the table used by the transmission
図９のテーブルに格納される条件とは、例えば、直前に発信された発信内容の種別、直前の生徒の応答の種別（問題への解答か否か等）等に関する条件であり、様々な発信内容の選択肢の中から、現在の状況に適するものを絞り込むために用いられる。従って、発信情報決定部２０５は、まず図９のテーブルから、現在の状況が満たす条件を格納しているレコードを抽出する。続いて、発信情報決定部２０５は、抽出したレコードの中から、生徒の現在の感情指標値群と最も近似している感情指標値群を格納しているレコードを検索し、検索したレコードの発信内容を、その時点で生徒に対し発信する生徒向け情報の内容として決定する。発信情報決定部２０５は、決定した内容の生徒向け情報を生成する。なお、発信情報決定部２０５は、生徒向け情報の内容として問題の出題を決定した場合、自装置が記憶している問題データを参照し、決定した問題を示す情報を生徒向け情報として生成する。
The conditions stored in the table of FIG. 9 are, for example, conditions related to the type of the transmission content transmitted immediately before, the type of the response of the student immediately before (whether or not the answer to the question, etc.), and various transmissions. It is used to narrow down the content options that are suitable for the current situation. Therefore, the transmission
発信情報決定部２０５は、生成した生徒向け情報をロボット１０に送信する。ロボット１０の生徒向け発信部１０１は、送信されてきた生徒向け情報、すなわち発信情報決定部２０５により決定された生徒向け情報を生徒に対して発信する。生徒向け発信部１０１は、生徒向け情報が問題を示す場合は、それらの問題をロボット１０のディスプレイに表示することで生徒向け情報を発信する。
The transmission
ここまでは生徒向け情報の発信に関して説明したが、以下では、生徒の関係者に向けた情報である関係者向け情報の発信に関して説明する。関係者向け情報とは、例えば、現在の生徒の感情の状態、その日の生徒の学習評価（問題に対する解答の正否及びその解説等）、生徒に対する声掛けの提案等である。関係者端末４の関係者向け発信部３０１は、生徒の関係者に対して関係者向け情報を発信する。関係者向け発信部３０１は本発明の「第２発信手段」の一例である。
Up to this point, the transmission of information for students has been described, but in the following, the transmission of information for related parties, which is information for related parties of students, will be described. The information for related parties is, for example, the current emotional state of the student, the learning evaluation of the student on that day (correctness of the answer to the problem and its explanation, etc.), the proposal of the voice to the student, and the like. The related
関係者向け発信部３０１は、関係者端末４のディスプレイに関係者向け情報を表示したり、関係者端末４のスピーカから関係者向け情報を発声したりすることで、関係者向け情報を発信する。
The related
感情推定部２０４は、上述したように、主に応答情報取得部２０１から供給される、生徒の応答に関する情報に基づき、生徒の現在の感情を推定する。ただし、本実施例においては、感情推定部２０４は、生徒の応答に関する情報に加え、生徒の関係者から発信される生徒に関する付加情報を、生徒の現在の感情の推定に用いる。
As described above, the
生徒の関係者は、例えば関係者端末４から上記のように発信される関係者向け情報に対し応答して、生徒に関する情報を付加情報として入力する。生徒の保護者が入力する付加情報とは、例えば、家庭内における生徒とその家族との不和の有無、教室に向かう前の食事の摂取状況、生徒の現在の体調、教室に向かう前に行っていた活動（習い事等）等に関する情報である。教師が入力する付加情報とは、例えば、教室において気付いた生徒の気になる様子、他の生徒との関係の良否等に関する情報である。
The person concerned with the student responds to the information for the person concerned transmitted as described above from the person
関係者端末４の付加情報操作部３０２は、生徒の関係者による付加情報の入力のための操作を受け付ける。付加情報操作部３０２は、例えば、キーボードを用いた文字や文章を入力する操作を、付加情報の入力のための操作として受け付ける。また、付加情報操作部３０２は、マイクを用いた音声入力の操作を、付加情報の入力のための操作として受け付ける。付加情報操作部３０２は、受け付けた操作により入力された付加情報に入力時刻を示す時刻情報（タイムスタンプ）を付加してサーバ装置２０に送信する。
The additional
送信された付加情報は、サーバ装置２０の付加情報取得部２０６に供給される。付加情報取得部２０６は、生徒ではない情報元からその生徒に関する情報を取得する。付加情報取得部２０６は本発明の「第２取得手段」の一例である。生徒ではない情報元とは、本実施例では、関係者端末４を利用する教師又は保護者等である。付加情報取得部２０６は、供給された付加情報を、生徒ではない情報元からの生徒に関する情報として取得し、感情推定部２０４に供給する。
The transmitted additional information is supplied to the additional
感情推定部２０４は、供給された付加情報、すなわち、付加情報取得部２０６により取得された生徒に関する情報に基づきその生徒の現在の感情を推定する。図１０は感情推定部２０４が付加情報に基づき生徒の感情を表す感情指標値群を推定するために用いるテーブルの構成の一例を表している。図１０のテーブルは、図８のテーブルと比較し、第１列の内容が「応答内容」に代えて「付加情報」である点が異なっている。感情推定部２０４は、付加情報取得部２０６から付加情報が供給される毎に、図１０のテーブルからその付加情報に応じた感情指標群を検索し、検索した感情指標値群に、付加情報に伴う時刻情報を対応付けて、既述のログテーブルに記憶する。そして、感情推定部２０４は、ログテーブルに記憶されている多数の感情指標群を経過時間に応じたウェイトを用いて加重平均し、生徒の現在の感情指標値群を算出する。そのように算出された感情指標値群に応じて、発信情報決定部２０５が生徒向け情報及び関係者向け情報を決定する点は既述のとおりである。
The
学習支援システム１が備える各装置は、上記構成に基づいて、生徒向け情報及び関係者向け情報を発信する発信処理を行う。
Each device included in the
図１１は発信処理における動作手順の一例を表す。図１１に表す動作手順は、例えばロボット１０に生徒向け情報が送信されてくることを契機に開始される。まず、ロボット１０（生徒向け発信部１０１）は、送信されてきた生徒向け情報を発信する（ステップＳ１１）。
FIG. 11 shows an example of an operation procedure in the transmission process. The operation procedure shown in FIG. 11 is started when, for example, information for students is transmitted to the
次に、ロボット１０（言語操作部１０２）は、生徒による言語情報の入力のための操作を受け付け（ステップＳ１２）、受け付けた操作により入力された言語情報を生徒の応答としてサーバ装置２０に送信する（ステップＳ１３）。続いて、ロボット１０（非言語感知部１０３）は、生徒が発する非言語情報を感知し（ステップＳ１４）、感知した非言語情報を生徒の応答としてサーバ装置２０に送信する（ステップＳ１５）。ステップＳ１２及びＳ１３とＳ１４及びＳ１５とは、順序が反対でもよいし、並行して行われてもよい。
Next, the robot 10 (language operation unit 102) accepts an operation for inputting language information by the student (step S12), and transmits the language information input by the accepted operation to the
サーバ装置２０（所要時間算出部２０２）は、送信されてきた生徒の応答に基づいて、生徒が問題を解くのに要した所要時間を算出する（ステップＳ２１）。次に、サーバ装置２０（正誤判定部２０３）は、送信されてきた生徒の応答に基づいて、生徒が入力した問題への解答の正誤を判定する（ステップＳ２２）。そして、サーバ装置２０（応答情報取得部２０１）は、算出された所要時間及び判定された解答の正誤を含む生徒の応答を取得する（ステップＳ２３）。 The server device 20 (required time calculation unit 202) calculates the required time required for the student to solve the problem based on the transmitted response of the student (step S21). Next, the server device 20 (correctness determination unit 203) determines the correctness of the answer to the question input by the student based on the transmitted response of the student (step S22). Then, the server device 20 (response information acquisition unit 201) acquires the student's response including the calculated required time and the correctness of the determined answer (step S23).
次に、サーバ装置２０（感情推定部２０４）は、取得された応答に基づき生徒の現在の感情を推定する（ステップＳ２４）。続いて、サーバ装置２０（発信情報決定部２０５）は、推定された生徒の感情に基づき生徒に対して発信する生徒向け情報の内容を決定し（ステップＳ２５）、決定した内容の生徒向け情報をロボット１０に送信する（ステップＳ２６）。ロボット１０（生徒向け発信部１０１）は、ステップＳ１１に戻って、送信されてきた生徒向け情報を発信する。
Next, the server device 20 (emotion estimation unit 204) estimates the student's current emotion based on the acquired response (step S24). Subsequently, the server device 20 (transmission information determination unit 205) determines the content of the student information to be transmitted to the student based on the estimated emotion of the student (step S25), and determines the content of the determined student information. It is transmitted to the robot 10 (step S26). The robot 10 (sending
図１２は発信処理における別の動作手順の一例を表す。図１２に表す動作手順は、例えば関係者端末４に関係向け情報が送信されてくることを契機に開始される。まず、関係者端末４（関係者向け発信部３０１）は、送信されてきた関係者向け情報を発信する（ステップＳ３１）。
FIG. 12 shows an example of another operation procedure in the transmission process. The operation procedure shown in FIG. 12 is started, for example, when the related party information is transmitted to the
次に、関係者端末４（付加情報操作部３０２）は、関係者による付加情報の入力のための操作を受け付け（ステップＳ３２）、受け付けた操作により入力された付加情報をサーバ装置２０に送信する（ステップＳ３３）。サーバ装置２０（付加情報取得部２０６）は、送信されてきた付加情報を、生徒ではない情報元からのその生徒に関する情報として取得する（ステップＳ４１）。
Next, the related party terminal 4 (additional information operation unit 302) accepts an operation for inputting additional information by the related party (step S32), and transmits the additional information input by the received operation to the
次に、サーバ装置２０（感情推定部２０４）は、取得された付加情報に基づき生徒の現在の感情を推定する（ステップＳ４２）。続いて、サーバ装置２０（発信情報決定部２０５）は、推定された生徒の感情に基づき関係者に対して発信する関係者向け情報の内容を決定し（ステップＳ４３）、決定した内容の関係者向け情報を関係者端末４に送信する（ステップＳ４４）。関係者端末４（関係者向け発信部３０１）は、ステップＳ３１に戻って、送信されてきた関係者向け情報を発信する。 Next, the server device 20 (emotion estimation unit 204) estimates the current emotion of the student based on the acquired additional information (step S42). Subsequently, the server device 20 (transmission information determination unit 205) determines the content of the information for the related parties to be transmitted to the related parties based on the estimated emotions of the student (step S43), and the related parties with the determined contents. The target information is transmitted to the related party terminal 4 (step S44). The related party terminal 4 (related party transmitting unit 301) returns to step S31 and transmits the transmitted related party information.
本実施例では、上記のとおり発信された生徒向け情報に対する生徒の応答に基づいて生徒の感情が推定され、推定された感情に基づき次の生徒向け情報の内容が決定される。そのため、例えば学習中の教科に夢中になっている生徒と、その教科に嫌気がさしている生徒とに対して、それぞれの感情に合った教科の問題が生徒向け情報として発信される。これにより、生徒の感情に関係なく生徒向け情報が発信される場合に比べて、生徒に対してより適切な発信を行うことができる。 In this embodiment, the student's emotions are estimated based on the student's response to the student information transmitted as described above, and the content of the next student information is determined based on the estimated emotions. Therefore, for example, to a student who is absorbed in a subject being studied and a student who is disgusted with the subject, the problem of the subject suitable for each emotion is transmitted as information for the student. As a result, it is possible to perform more appropriate transmission to the student as compared with the case where the information for the student is transmitted regardless of the emotion of the student.
また、本実施例では、生徒の言語情報及び非言語情報の両方がその生徒の応答として取得され、感情の推定に用いられる。生徒の感情は表情や仕草にも表れるので、非言語情報を用いることで、非言語情報を用いない場合に比べて、生徒の感情をより的確に推定することができる。また、非言語情報をカメラ、マイク又は活動量計を用いて感知することで、それぞれ生徒の外観、音声又は動きが表す生徒の感情を推定することできる。 Further, in this embodiment, both the student's linguistic information and non-verbal information are acquired as the student's response and used for emotion estimation. Since the emotions of the students also appear in facial expressions and gestures, the emotions of the students can be estimated more accurately by using the nonverbal information as compared with the case where the nonverbal information is not used. In addition, by sensing non-verbal information using a camera, a microphone, or an activity meter, it is possible to estimate the student's emotions expressed by the student's appearance, voice, or movement, respectively.
生徒の関係者である教師や保護者は、生徒の感情に大きな影響を与える立場にある。本実施例では、生徒の関係者を情報元として取得される付加情報にも基づいて生徒の感情が推定されるので、付加情報を用いない場合に比べて、生徒の感情をより的確に推定することができる。また、それらの関係者に対して関係者向け情報が発信されるので、関係者が生徒に与える影響をコントロールすることができる。 The teachers and parents who are involved with the student are in a position to have a great influence on the emotions of the student. In this embodiment, the emotions of the student are estimated based on the additional information obtained from the person concerned with the student as the information source, so that the emotions of the student are estimated more accurately than when the additional information is not used. be able to. In addition, since information for related parties is transmitted to those related parties, it is possible to control the influence of the related parties on the students.
［２］変形例
上述した各実施形態は、それぞれが本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、各実施形態及び各変形例は必要に応じてそれぞれ組み合わせてもよい。
[2] Modifications Each of the above-described embodiments is merely an example of the embodiment of the present invention, and may be modified as follows. Moreover, each embodiment and each modification may be combined as necessary.
［２−１］発信する情報
学習支援システム１は、実施例では、問題を示す生徒向け情報と関係者へのアドバイスを示す関係者向け情報を発信した。これらの言語情報を発信する生徒向け発信部１０１及び関係者向け発信部３０１は、いずれも本発明の「言語発信手段」の一例である。なお、生徒向け発信部１０１及び関係者向け発信部３０１は、言語情報に限らず、非言語情報を発信してもよく、その場合はそれぞれ本発明の「非言語発信手段」の一例となる。
[2-1] Information to be transmitted In the embodiment, the
ロボット１０は、タッチディスプレイ１００５に自装置を擬人化した顔を表示して、その顔の表情を変化させることができる。従って、発信情報決定部２０５が、ロボット１０の表情の種類（笑顔や残念そうな顔など）を生徒向け情報として決定し、生徒向け発信部１０１が、決定された種類の表情の顔を表示することで非言語情報である生徒向け情報を発信してもよい。また、ロボット１０は、頭部１００２と、右腕部１００３Ｒ及び左腕部１００３Ｌを動かすことができる。従って、発信情報決定部２０５が、ロボット１０の動きを生徒向け情報として決定し、生徒向け発信部１０１が、決定された動きを行うことで非言語情報である生徒向け情報を発信してもよい。非言語情報を発信することで、言語情報だけでは伝えられないニュアンスを生徒に伝えることができる。
The
例えば、同じレベルの計算問題を解いている生徒の解答の正否が、正答→正答→誤答→正答という順序で変化した場合、３問目の誤答はケアレスミスであると推定される。このような場合に、ロボット１０は生徒に対し単純に「不正解」と解答の正否を伝えるのではなく、例えば疑いの表情を表示しながら「え〜〜？」「本当にこれでファイナルアンサー？」というように、言語情報と非言語情報を組み合わせて発信することで、生徒の自発的な見直しを促し、さらなる成長を促すことが可能となる。
For example, if the correctness of the answer of a student who is solving a calculation problem at the same level changes in the order of correct answer → correct answer → incorrect answer → correct answer, it is presumed that the incorrect answer of the third question is a careless mistake. In such a case, the
［２−２］情報の発信方法
学習支援システム１における情報の発信方法は実施例で述べたものに限らない。例えば、生徒向け情報である問題をロボット１０のディスプレイに表示する代わりに、プリンタに印刷させて紙媒体上の情報として生徒に対して発信してもよい。
[2-2] Information transmission method The information transmission method in the
また、発信情報決定部２０５が、生成した生徒向け情報をロボット１０ではなく関係者端末４に送信して、関係者端末４が関係者に対して生徒向け情報を発信してもよい。その場合は、関係者端末４を利用する関係者（教師又は保護者）が、発信された生徒向け情報を口頭又は関係者端末４を利用して生徒に発信すればよい。
Further, the transmission
［２−３］機能の実現方法
図６に表す各機能を実現する方法は実施例で述べた方法に限らない。例えば、ロボット１０が実現する機能（例えば言語操作部１０２等）をサーバ装置２０が実現してもよいし、サーバ装置２０が実現する機能（例えば発信情報決定部２０５等）をロボット１０が実現してもよい。また、ロボット１０が実現する機能をタブレット端末やスマートフォン等の端末が実現してもよい。
[2-3] Method of realizing each function The method of realizing each function shown in FIG. 6 is not limited to the method described in the examples. For example, the
また、ロボット１０又はサーバ装置２０がそれぞれ１台の装置で実現する機能を２以上の装置で分担して実現してもよい。また、各機能が実行する動作を２以上の機能で分担して実行してもよい。例えば発信情報決定部２０５が行う情報の決定と生成等の動作を別々の機能が実行してもよい。いずれの場合も、学習支援システム１の全体で図６に表す各機能が実現されていればよい。
Further, the functions realized by the
図１３は、実施例のサーバ装置２０の機能を全て、ロボット１０が備える構成例の学習支援システム１の機能構成を表す図である。
FIG. 13 is a diagram showing the functional configurations of the
図１４は、実施例のサーバ装置２０が備える応答情報取得部２０１、所要時間算出部２０２、正誤判定部２０３、感情推定部２０４及び発信情報決定部２０５と同じ機能の構成部である応答情報取得部１０４、所要時間算出部１０５、正誤判定部１０６、感情推定部１０７及び発信情報決定部１０８をロボット１０が備える構成例の学習支援システム１の機能構成を表す図である。図１４に示す構成の学習支援システム１において、例えば、ロボット１０は感情推定部１０７において生徒の現在の感情を、サーバ装置２０の感情推定部２０４よりも大まかであるが短時間で推定する。そして、ロボット１０は、生徒の現在の感情に、速やかに適切な発信を行うべき変化が見られた場合、サーバ装置２０の発信情報決定部２０５による生徒向け情報の決定を待たずに、発信情報決定部１０８により生徒向け情報を決定し、その生徒向け情報を生徒向け発信部１０１により発信する。
FIG. 14 shows a response information acquisition unit having the same functions as the response
一方、ロボット１０において、生徒の現在の感情に、速やかに適切な発信を行うべき変化が見られない場合、生徒向け発信部１０１はサーバ装置２０の発信情報決定部２０５から送信されるよる生徒向け情報を発信する。
On the other hand, in the
図１４の構成を備える学習支援システム１によれば、例えば、相づち等の速やかな発信が必要な生徒向け情報はロボット１０においてその決定と発信を行うことができるため、生徒にとってより適切な発信が可能となる。
According to the
図１５は、実施例においてロボット１０が備える非言語感知部１０３の機能の一部を、サーバ装置２０が備える構成例の学習支援システム１の機能構成を表す図である。図１５に示す構成の学習支援システム１において、例えば、ロボット１０の非言語感知部１０３は、非言語情報から特徴量（例えば、非言語情報が画像であれば画像のエッジの位置を示す座標等、又、非言語情報が音声であれば音節毎の音量や音節間の時間等）を抽出し、抽出した特徴量を示す特徴量情報をサーバ装置２０に送信する。サーバ装置２０の非言語感知部２０７は、ロボット１０から受信した特徴量情報に基づき、非言語情報の意味（例えば、非言語情報が生徒の顔の画像であればその画像が笑顔を表しているということ等、又、非言語情報が音声であればその音声が緊張した声色であるということ等）を特定する。
FIG. 15 is a diagram showing a functional configuration of the
図１５の構成を備える学習支援システム１によれば、ロボット１０は非言語情報の意味を特定するための処理を行う必要が無い。また、図１５の構成を備える学習支援システム１によれば、例えば画像データや音声データをロボット１０からサーバ装置２０に送信する場合と比較し、通信すべきデータ量が大幅に削減される。
According to the
［２−４］ロボットの配置位置
実施例では、ロボット１０は教室に配置される。ロボット１０が配置される位置は教室に限られない。例えば、ロボット１０が家庭に配置されてもよいし、生徒の移動に伴いロボット１０が移動してもよい。
[2-4]
［２−５］生徒端末の形態
実施例では、生徒が用いる端末としてロボット１０が用いられる。生徒が用いる端末が、実施例のように物理的な可動部を備えるロボットである場合、動きによる非言語情報の発信が可能となり望ましい。一方、可動部を備えるロボットは、可動部を備えないタブレット型パーソナルコンピュータ等の端末と比較し、一般的に高額で長大となる。従って、価格やモバイル性を考慮して、生徒が用いる端末として、可動部を備えない端末が採用されてもよい。その場合であっても、端末のディスプレイに表示される表情や、スピーカから発声される音声の声色等の非言語情報を用いることで、生徒とのコミュニケーションを豊かにすることができる。
[2-5] Form of Student Terminal In the embodiment, the
［２−６］ウェアラブルデバイスの種類及び要否
実施例では、ウェアラブルデバイス３として、生徒の手首に装着される腕時計型のデバイスが用いられる。ウェアラブルデバイス３の形態は腕時計型に限られず、例えば、ネックレス型のデバイスやメガネ型のデバイス等であってもよい。
[2-6] Types and Necessity of Wearable Devices In the embodiment, a wristwatch-type device worn on a student's wrist is used as the
また、ウェアラブルデバイス３は必ずしも必要ではない。例えば、カメラ１００６が撮影する画像から生徒の動きや心拍数が推定可能であれば、それらの計測のためのウェアラブルデバイス３は不要である。
Also, the
［２−７］ロボットが備える測定手段の種類
実施例では、ロボット１０は生徒の感情を推定するための情報を測定するための測定手段として、タッチパネル１００５Ａと、カメラ１００６と、マイク１００７とを備える。ロボット１０（又は、生徒が用いる端末）が備える測定手段の種類はこれらに限られない。例えば、ロボット１０に、生徒の体温の分布を表すサーモグラフを生成する赤外線カメラが接続され、赤外線カメラが生成するサーモグラフが、生徒の感情の推定に用いられてもよい。
[2-7] Types of Measuring Means Provided by the Robot In the embodiment, the
［２−８］ロボットの可動部
実施例において、ロボット１０の可動部は頭部１００２と、右腕部１００３Ｒと、左腕部１００３Ｌであるが、ロボット１０の可動部はこれらに限られない。例えば、右脚部１００４Ｒ及び左脚部１００４Ｌが動く構成が採用されてもよい。
[2-8] Moving parts of the robot In the embodiment, the moving parts of the
また、ロボット１０の可動部の動く方向は実施例に示したものに限られない。例えば、頭部１００２がパン、チルトに加え、ロールの方向にも動く構成が採用されてもよい。また、右腕部１００３Ｒ及び左腕部１００３Ｌが方部、肘部及び手首部に関節を備え、それらの関節で様々な方向に右腕部１００３Ｒ及び左腕部１００３Ｌが屈曲できる構成が採用されてもよい。
Further, the moving direction of the movable portion of the
［２−９］ＡＩ
実施例では、図８及び図１０に例示の構成のテーブルに格納されている情報に基づき、生徒の現在の感情が推定される。これに代えて、学習支援システム１が、生徒の応答の内容及び生徒以外の情報元から供給される付加情報を入力すると、それらの入力された情報に応じた生徒の感情を表す感情指標値群を出力する人工知能モデルを備え、当該人工知能モデルにより生徒の感情の推定を行ってもよい。
[2-9] AI
In the embodiment, the student's current emotions are estimated based on the information stored in the tables of the configurations illustrated in FIGS. 8 and 10. Instead of this, when the
また、実施例では、図９に例示の構成のテーブルに格納されている情報に基づき、生徒の現在の感情に応じた生徒向け情報が決定される。これに代えて、学習支援システム１が、生徒の現在の感情指標値群と、過去の生徒の応答及び過去に生徒に発信した生徒向け情報とを入力すると、それらの入力された情報に応じた生徒向け情報を出力する人工知能モデルを備え、当該人工知能モデルにより生徒向け情報の決定を行ってもよい。
Further, in the embodiment, the information for the student according to the current emotion of the student is determined based on the information stored in the table having the configuration illustrated in FIG. Instead, when the
［２−１０］付加情報の情報元
実施例では、生徒の現在の感情の推定に用いる、生徒ではない情報元の情報（付加情報）として、生徒の関係者から提供される情報が用いられる。生徒の現在の感情の推定に用いる情報の情報元はこれに限られない。例えば、生徒のスケジュールがクラウド上で管理されている場合、学習支援システム１が生徒のスケジュールに関する情報を付加情報としてクラウドから取得し、生徒の現在の感情の推定に用いてもよい。例えば、スケジュールに、近々、習い事の発表会の予定が入っていれば、学習支援システム１は、生徒が学習において集中力を欠いている場合、習い事の発表会で失敗することに対する不安（第３感情軸）の指標値を増加させることで、生徒の感情の推定の精度を高めることができる。
[2-10] Information Source of Additional Information In the embodiment, information provided by a person concerned with the student is used as information (additional information) of the information source that is not the student and is used for estimating the current emotion of the student. This is not the only source of information used to estimate a student's current emotions. For example, when the student's schedule is managed on the cloud, the
また、生徒のスケジュールがクラウド上ではなく、生徒が携帯しているスマートフォン等の端末上で管理されている場合、学習支援システム１が、生徒の端末と通信を行い、生徒のスケジュールに関する情報を付加情報として生徒の端末から取得してもよい。
In addition, when the student's schedule is managed not on the cloud but on a terminal such as a smartphone carried by the student, the
また、例えば、生徒の属する組織（学校や習い事の教室等）のスケジュールがクラウド上で管理されていれば、生徒のスケジュールに代えて、又は加えて、学習支援システム１が生徒の属する組織のスケジュールに関する情報を付加情報としてクラウドから取得し、生徒の現在の感情の推定に用いてもよい。 Further, for example, if the schedule of the organization to which the student belongs (school, classroom of lessons, etc.) is managed on the cloud, the schedule of the organization to which the student belongs is replaced by or in addition to the schedule of the student. Information about the student may be obtained from the cloud as additional information and used to estimate the student's current emotions.
また、例えば、生徒が不特定多数の人々に対しＳＮＳ（Social Networking Service）を介して情報を発信している場合、学習支援システム１が生徒からＳＮＳを介して発信された情報を付加情報として取得し、生徒の現在の感情の推定に用いてもよい。
Further, for example, when a student transmits information to an unspecified number of people via SNS (Social Networking Service), the
［２−１１］付加情報の用途
実施例では、生徒ではない情報元（生徒の関係者）の情報（付加情報）は、生徒の現在の感情の推定に用いられる。これに代えて、又は加えて、付加情報が生徒向け情報の決定に用いられてもよい。例えば、付加情報が、家庭での学習の評価を示す場合、学習支援システム１がロボット１０により、教室において、家庭での学習の評価に応じた生徒向け情報が生徒に向けて発信されてもよい。
[2-11] Use of additional information In the embodiment, the information (additional information) of the information source (related person of the student) who is not the student is used to estimate the current emotion of the student. Alternatively or additionally, additional information may be used in determining student information. For example, when the additional information indicates the evaluation of learning at home, the
［２−１２］発明のカテゴリ
本発明は、ロボット１０及びサーバ装置２０のような情報処理装置の他、それらの情報処理装置を備える情報処理システム（学習支援システム１がその一例）としても捉えられる。また、それらの情報処理装置が実施する処理を実現するための情報処理方法やそれらの装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。これらのプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等のネットワークを介してコンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態で提供されてもよい。
[2-12] Category of Invention The present invention can be regarded as an information processing device such as a
１…学習支援システム、３…ウェアラブルデバイス、４…関係者端末、１０…ロボット、１００６…カメラ、１００７…マイク、２０…サーバ装置、３０…教師端末、４０…保護者端末、１０１…発信部、１０２…言語操作部、１０３…非言語感知部、２０１…応答情報取得部、２０２…所要時間算出部、２０３…正誤判定部、２０４…感情推定部、２０５…発信情報決定部、２０６…付加情報取得部、３０１…発信部、３０２…付加情報操作部。 1 ... learning support system, 3 ... wearable device, 4 ... related person terminal, 10 ... robot, 1006 ... camera, 1007 ... microphone, 20 ... server device, 30 ... teacher terminal, 40 ... guardian terminal, 101 ... transmitter, 102 ... Language operation unit, 103 ... Non-language sensing unit, 201 ... Response information acquisition unit, 202 ... Required time calculation unit, 203 ... Correctness judgment unit, 204 ... Emotion estimation unit, 205 ... Transmission information determination unit, 206 ... Additional information Acquisition unit, 301 ... Transmission unit, 302 ... Additional information operation unit.
上記目的を達成するために、本発明は、生徒に対して発信された情報に対する前記生徒の応答を取得する応答情報取得手段と、前記応答情報取得手段が取得した応答に基づき前記生徒の現在の感情を推定する推定手段と、前記推定手段が推定した感情に基づき前記生徒に対して発信する情報を決定する決定手段と、前記決定手段が決定した情報を前記生徒に対し発信する生徒向け発信手段と、前記生徒ではない情報元から前記生徒に関する情報を付加情報として取得する付加情報取得手段とを備え、前記推定手段は、前記付加情報取得手段が取得した付加情報に基づき前記生徒の現在の感情を推定する学習支援システムを提供する。 To achieve the above object, the present invention provides a response information acquisition means for acquiring a response of the student with respect to information transmitted with respect to the student, the current of the student based on the response to the response information acquisition unit acquires and estimating means for estimating the emotion, and determining means for determining a information originating to the student based on the emotion that the estimating means has estimated, transmits the information to the determining means has determined for the student The estimation means includes a transmission means for students and an additional information acquisition means for acquiring information about the student as additional information from an information source other than the student, and the estimation means is based on the additional information acquired by the additional information acquisition means. to provide a learning support system that estimates the current feelings of.
また、前記決定手段は、前記付加情報取得手段が取得した付加情報を用いて前記生徒に対して発信する情報を決定してもよい。 Further, the determination means may determine the information to be transmitted to the student by using the additional information acquired by the additional information acquisition means.
また、記付加情報取得手段は、前記生徒又は前記生徒が属する組織のスケジュールに関する情報を付加情報として、ネットワークを介して外部の装置から取得してもよい。
また、前記付加情報取得手段は、前記生徒がSocial Networking Serviceを介して発信した情報を付加情報として取得してもよい。
Further, the additional information acquisition means may acquire information about the schedule of the student or the organization to which the student belongs as additional information from an external device via a network .
In addition, the additional information acquisition means may acquire information transmitted by the student via the Social Networking Service as additional information.
また、前記決定手段は、前記推定手段が推定した感情に基づき前記生徒の関係者に対して発信する情報を決定し、前記決定手段が決定した情報を前記関係者に対して発信する関係者向け発信手段を備えてもよい。 Further, the determination means is for a related person who determines the information to be transmitted to the related person of the student based on the emotion estimated by the estimating means and transmits the information determined by the determining means to the related person. A transmission means may be provided.
また、前記決定手段は、前記推定手段が前記生徒の現在の感情を推定するために用いた情報を前記応答情報取得手段が取得する前に前記生徒向け発信手段が発信した情報に基づき前記生徒に発信する情報を決定してもよい。 Further, the determination means informs the student based on the information transmitted by the transmission means for the student before the response information acquisition means acquires the information used by the estimation means to estimate the current emotion of the student. You may decide which information to send.
また、本発明は、生徒に対して発信された情報に対する前記生徒の応答を取得する応答情報取得手段と、前記応答情報取得手段が取得した応答に基づき前記生徒の現在の感情を推定する推定手段と、前記推定手段が推定した感情に基づき前記生徒に対して発信する情報を決定する決定手段と、前記決定手段が決定した情報を前記生徒に対し発信する生徒向け発信手段とを備える学習支援システムであって、人間の身体の部位を模した可動部位を有するロボットと、前記ロボットと通信接続されたサーバ装置とを備え、前記生徒向け発信手段は前記ロボットに配置され、前記応答情報取得手段、前記推定手段及び前記決定手段は前記ロボットと前記サーバ装置の両方に配置され、前記ロボットに配置されている前記推定手段は前記サーバ装置に配置されている前記推定手段よりも短時間で前記生徒の現在の感情を推定し、前記ロボットに配置されている前記推定手段が推定した感情に速やかな発信を行うべき変化が見られた場合、前記ロボットに配置されている前記決定手段は前記サーバ装置に配置されている前記決定手段の決定を待たずに前記生徒に発信する情報を決定する学習支援システムを提供する。 Further, the present invention is a response information acquisition means for acquiring the response of the student to the information transmitted to the student, and an estimation means for estimating the current emotion of the student based on the response acquired by the response information acquisition means. A learning support system including a determination means for determining information to be transmitted to the student based on the emotion estimated by the estimation means, and a transmission means for students to transmit the information determined by the determination means to the student. A robot having a movable part imitating a part of a human body and a server device communicatively connected to the robot are provided, and the transmission means for students is arranged in the robot, and the response information acquisition means, The estimation means and the determination means are arranged in both the robot and the server device, and the estimation means arranged in the robot is shorter than that of the estimation means arranged in the server device. When the current emotion is estimated and a change is observed in the emotion estimated by the estimating means arranged in the robot to promptly transmit, the determining means arranged in the robot is sent to the server device. Provided is a learning support system that determines information to be transmitted to the student without waiting for the determination of the arranged determination means .
Claims (6)
取得された前記応答に基づき前記生徒の現在の感情を推定する推定手段と、
推定された前記感情に基づき前記生徒に対して発信する情報の内容を決定する決定手段と、
決定された前記内容の情報を前記生徒に対し発信する発信手段と
を備える学習支援システム。 An acquisition means for acquiring the student's response to the information sent to the student, and
An estimation means for estimating the student's current emotions based on the obtained response, and
A decision-making means for determining the content of information to be transmitted to the student based on the estimated emotion.
A learning support system provided with a transmission means for transmitting the determined information of the content to the student.
前記生徒が発する非言語情報を感知する感知手段と
を備え、
前記取得手段は、受け付けられた前記操作により入力された言語情報と、感知された前記非言語情報とを前記生徒の応答として取得する
請求項１に記載の学習支援システム。 An operation means for accepting an operation for inputting language information by the student,
It is equipped with a sensing means for sensing non-verbal information emitted by the student.
The learning support system according to claim 1, wherein the acquisition means acquires the received linguistic information input by the operation and the sensed non-verbal information as a response of the student.
請求項２に記載の学習支援システム。 The sensing means includes one or more of a camera, a microphone, and an activity meter, and when the camera is provided, the sensing means senses the state of the student recognized from the image taken by the camera as the non-verbal information, and the microphone is used. When equipped, the state of the student recognized from the voice picked up by the microphone is sensed as the non-verbal information, and when equipped with an activity meter, the state of the student recognized from the amount of activity measured by the activity meter is provided. The learning support system according to claim 2, wherein the information is detected as the non-linguistic information.
前記生徒ではない情報元から前記生徒に関する情報を取得する第２取得手段を備え、
前記推定手段は、前記第２取得手段により取得された情報に基づき前記生徒の現在の感情を推定する
請求項１から３のいずれか１項に記載の学習支援システム。 When the acquisition means is used as the first acquisition means,
A second acquisition means for acquiring information about the student from an information source other than the student is provided.
The learning support system according to any one of claims 1 to 3, wherein the estimation means estimates the current emotion of the student based on the information acquired by the second acquisition means.
前記発信手段を第１発信手段とするとき、決定された前記内容の情報を前記関係者に対し発信する第２発信手段を備える
請求項１から４のいずれか１項に記載の学習支援システム。 The determination means determines the content of the information to be transmitted to the person concerned of the student based on the estimated emotion of the student.
The learning support system according to any one of claims 1 to 4, further comprising a second transmission means for transmitting the determined information of the contents to the related parties when the transmission means is used as the first transmission means.
請求項１から５のいずれか１項に記載の学習支援システム。 The learning support system according to any one of claims 1 to 5, wherein the transmission means includes a language transmission means for transmitting linguistic information and a non-language transmission means for transmitting non-verbal information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019239537A JP6712027B1 (en) | 2019-12-27 | 2019-12-27 | Learning support system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019239537A JP6712027B1 (en) | 2019-12-27 | 2019-12-27 | Learning support system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6712027B1 JP6712027B1 (en) | 2020-06-17 |
| JP2021108046A true JP2021108046A (en) | 2021-07-29 |
Family
ID=71079428
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019239537A Active JP6712027B1 (en) | 2019-12-27 | 2019-12-27 | Learning support system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6712027B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102510998B1 (en) * | 2022-02-11 | 2023-03-16 | 주식회사 천재교과서 | Learning induction type chatbot system |
| WO2023175929A1 (en) * | 2022-03-18 | 2023-09-21 | 日本電気株式会社 | Guidance assistance device, guidance assistance method, and computer-readable recording medium |
| WO2024116280A1 (en) * | 2022-11-29 | 2024-06-06 | 日本電気株式会社 | Information processing device, determination method, and storage medium |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005121846A (en) * | 2003-10-15 | 2005-05-12 | Nec Fielding Ltd | Record inquiry system, record inquiry method, and record inquiry program |
| JP2012103524A (en) * | 2010-11-11 | 2012-05-31 | Hitachi Ltd | Learning navigation system |
| JP2015001748A (en) * | 2013-06-12 | 2015-01-05 | 株式会社ベネッセコーポレーション | Learning promotion system, learning promotion method and program, and information storage medium |
| JP2017173547A (en) * | 2016-03-23 | 2017-09-28 | カシオ計算機株式会社 | Robot control device, robot, robot control method, robot control system and program |
| JP2017173546A (en) * | 2016-03-23 | 2017-09-28 | カシオ計算機株式会社 | Learning support device, robot, learning support system, learning support method, and program |
-
2019
- 2019-12-27 JP JP2019239537A patent/JP6712027B1/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005121846A (en) * | 2003-10-15 | 2005-05-12 | Nec Fielding Ltd | Record inquiry system, record inquiry method, and record inquiry program |
| JP2012103524A (en) * | 2010-11-11 | 2012-05-31 | Hitachi Ltd | Learning navigation system |
| JP2015001748A (en) * | 2013-06-12 | 2015-01-05 | 株式会社ベネッセコーポレーション | Learning promotion system, learning promotion method and program, and information storage medium |
| JP2017173547A (en) * | 2016-03-23 | 2017-09-28 | カシオ計算機株式会社 | Robot control device, robot, robot control method, robot control system and program |
| JP2017173546A (en) * | 2016-03-23 | 2017-09-28 | カシオ計算機株式会社 | Learning support device, robot, learning support system, learning support method, and program |
Non-Patent Citations (3)
| Title |
|---|
| 松居 辰則: ""新技術に基づくメディア／デバイスを活用した学習支援環境 生体情報を用いた学習者の心的状態推定と学習支", 「教育システム情報学会誌 VOL.36,NO.2 2019」, vol. 第36巻，第2号, JPN6020011489, 1 April 2019 (2019-04-01), JP, pages 76 - 83, ISSN: 0004240981 * |
| 野須 潔、外3名: ""話題の追跡 表情画像を用いて即時に感情推定するヒューマンインターフェースの検討 ｅ−Ｌｅａｒｎｉｎｇ", 「月刊自動認識 2009.3」, vol. 第22巻，第3号, JPN6020004866, 10 March 2009 (2009-03-10), JP, pages 51 - 54, ISSN: 0004210656 * |
| 須藤 優介、外1名: ""表情・動作情報とタッチパネル操作情報の統合による学習状態の推定"", 「第５回データ工学と情報マネジメントに関するフォーラム（第１１回日本データベース学会年次大会）」, JPN6020004868, 31 May 2013 (2013-05-31), JP, pages 2 - 4, ISSN: 0004210657 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102510998B1 (en) * | 2022-02-11 | 2023-03-16 | 주식회사 천재교과서 | Learning induction type chatbot system |
| WO2023175929A1 (en) * | 2022-03-18 | 2023-09-21 | 日本電気株式会社 | Guidance assistance device, guidance assistance method, and computer-readable recording medium |
| WO2024116280A1 (en) * | 2022-11-29 | 2024-06-06 | 日本電気株式会社 | Information processing device, determination method, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6712027B1 (en) | 2020-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3384437B1 (en) | Systems, computer medium and methods for management training systems | |
| JP6816925B2 (en) | Data processing method and equipment for childcare robots | |
| US11744495B2 (en) | Method for objectively tracking and analyzing the social and emotional activity of a patient | |
| Fager et al. | Access to augmentative and alternative communication: New technologies and clinical decision-making | |
| Hansberger et al. | Dispelling the gorilla arm syndrome: the viability of prolonged gesture interactions | |
| JP6712027B1 (en) | Learning support system | |
| US20190130788A1 (en) | Virtual Reality Microsimulation Platform | |
| CN110890140A (en) | Virtual reality-based autism rehabilitation training and capability assessment system and method | |
| KR102165590B1 (en) | Social Virtual Reality System for the Treatment of Mild Cognitive Impairment and Social Virtual Reality Providing Method | |
| KR20220043562A (en) | System for providing treatment and skill simulation using virtual reality | |
| JP6040745B2 (en) | Information processing apparatus, information processing method, information processing program, and content providing system | |
| Vermun et al. | Gesture-based affective and cognitive states recognition using kinect for effective feedback during e-learning | |
| Ascari et al. | Mobile interaction for augmentative and alternative communication: a systematic mapping | |
| Pise et al. | Estimation of learning affects experienced by learners: an approach using relational reasoning and adaptive mapping | |
| Sun et al. | A survey of technologies facilitating home and community-based stroke rehabilitation | |
| Faltaous et al. | Understanding challenges and opportunities of technology-supported sign language learning | |
| US20230252910A1 (en) | Methods and systems for enhanced training of a user | |
| JP2022032362A (en) | System, method, and information processing device | |
| KR101311297B1 (en) | Method and apparatus for providing remote education using telepresence robot and system using the same | |
| JP6990472B1 (en) | A system for communicating with people and a program for that purpose | |
| US20220327956A1 (en) | Language teaching machine | |
| Shingjergji et al. | Sense the classroom: AI-supported synchronous online education for a resilient new normal. | |
| US20230230293A1 (en) | Method and system for virtual intelligence user interaction | |
| WO2022124014A1 (en) | Information processing device, data generation method, grouped model generation method, grouped model learning method, emotion estimation model generation method, and method for generating user information for grouping | |
| Pise et al. | Research Article Estimation of Learning Affects Experienced by Learners: An Approach Using Relational Reasoning and Adaptive Mapping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200121 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200121 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200313 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200331 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200427 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6712027 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |