WO2024062935A1

WO2024062935A1 - 情報処理装置、システム、情報処理方法、およびプログラム

Info

Publication number: WO2024062935A1
Application number: PCT/JP2023/032650
Authority: WO
Inventors: 裕貴前田; 綾乃三大寺; 悠加風間; 靖子石川
Original assignee: 日本電気株式会社
Priority date: 2022-09-21
Filing date: 2023-09-07
Publication date: 2024-03-28

Abstract

情報処理装置（１０）は、取得部（１１０）、分析部（１３０）、および出力部（１５０）を備える。取得部（１１０）は、対象者の学習中の、脳波およびバイタルの少なくとも一方を示す測定情報と、対象者の属性情報とを取得する。分析部（１３０）は、測定情報および属性情報を用いて、対象者の状態に関する状態情報を生成する。出力部（１５０）は、状態情報を出力する。

Description

情報処理装置、システム、情報処理方法、およびプログラム

　本発明は、情報処理装置、システム、情報処理方法、およびプログラムに関する。

　学習や教育の現場では、学習者の状態を推定してよりよい学習につなげる試みが検討されている。

　特許文献１には、バイタルセンサで得られた対象者のバイタルデータの変化を解析することによって、対象者の集中度を推定することが記載されている。

　特許文献２には、学習者の耳に装着されるウェアラブル型のセンサを用いて、学習者の心拍を検出し、得られた心拍情報に基づいて、学習者が意識を集中しているか否かを判定することが記載されている。

　特許文献３には、学習者の筆記データに基づきその筆記活動を解析することによって、学習者の理解度や集中度を評価することが記載されている。

特開２０２１－２３４９２号公報特開２０２２－７７３００号公報国際公開第２０１４／１４１４１４号

　しかしながら、上述した特許文献１から特許文献３の技術においては、学習者の属性を加味した解析が行われないため、それぞれ特性の異なる学習者の状態を正しく推定することが難しいという問題点があった。

　本発明の目的の一例は、上述した課題を鑑み、対象者の属性を加味してより正確な状態推定を行える情報処理装置、システム、情報処理方法、およびプログラムを提供することにある。

　本発明の一態様によれば、
　対象者の学習中の、脳波およびバイタルの少なくとも一方を示す測定情報と、前記対象者の属性情報とを取得する取得手段と、
　前記測定情報および前記属性情報を用いて、前記対象者の状態に関する状態情報を生成する分析手段と、
　前記状態情報を出力する出力手段とを備える
情報処理装置が提供される。

　本発明の一態様によれば、
　上記の情報処理装置と、
　前記対象者の脳波およびバイタルの少なくとも一方を測定する測定装置と、
　前記出力手段が前記状態情報を出力する端末とを備える
システムが提供される。

　本発明の一態様によれば、
　一以上のコンピュータが、
　　対象者の学習中の、脳波およびバイタルの少なくとも一方を示す測定情報と、前記対象者の属性情報とを取得し、
　　前記測定情報および前記属性情報を用いて、前記対象者の状態に関する状態情報を生成し、
　　前記状態情報を出力する
情報処理方法が提供される。

　本発明の一態様によれば、
　コンピュータを、
　　対象者の学習中の、脳波およびバイタルの少なくとも一方を示す測定情報と、前記対象者の属性情報とを取得する取得手段、
　　前記測定情報および前記属性情報を用いて、前記対象者の状態に関する状態情報を生成する分析手段、および
　　前記状態情報を出力する出力手段として機能させる
プログラムが提供される。

　本発明の一態様によれば、対象者の属性を加味してより正確な状態推定を行える情報処理装置、システム、情報処理方法、およびプログラムを提供できる。

第１の実施形態に係る情報処理装置の概要を示す図である。第１の実施形態に係るシステムの概要を例示する図である。第１の実施形態に係るシステムの機能構成を例示するブロック図である。対象者情報の構成を例示する図である。端末による状態情報の表示を例示する図である。情報処理装置を実現するための計算機を例示する図である。第１の実施形態に係る情報処理方法の概要を示す図である。第２の実施形態に係るシステムの機能構成を例示する図である。第２の実施形態に係る端末に表示される画像を例示する図である。第２の実施形態に係る端末に表示される画像の他の例を示す図である。第３例に係る分析部が実行する処理の流れを例示するフローチャートである。第３例に係る分析部が実行する処理の流れの他の例を示すフローチャートである。

　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

（第１の実施形態）
　図１は、第１の実施形態に係る情報処理装置１０の概要を示す図である。情報処理装置１０は、取得部１１０、分析部１３０、および出力部１５０を備える。取得部１１０は、対象者の学習中の、脳波およびバイタルの少なくとも一方を示す測定情報と、対象者の属性情報とを取得する。分析部１３０は、測定情報および属性情報を用いて、対象者の状態に関する状態情報を生成する。出力部１５０は、状態情報を出力する。

　この情報処理装置１０によれば、対象者の属性を加味してより正確な状態推定を行える。

　以下、情報処理装置１０の詳細例について説明する。

　たとえば学校等の教育現場では、教師が複数の生徒や児童を指導している。指導を受ける生徒や児童には様々な特性の子供が含まれる。子供達の中には、特別な支援を必要とする子もいる。そのような状態で教師が子供達それぞれに対して適した指導を行うことは容易ではない。その教師が特別な支援を必要とする子の指導について、充分に知識を有していないこともある。教師が各子供の状態を容易に把握し、それぞれに適した指導を行えれば、教師と指導を受ける子供達の双方にとって利益がある。すなわち、教師にとっては、指導がうまくいかないことによる苦労が低減する。子供達にとっては、適した指導を受けられないことにより、指導効果が上がらないといったことが避けられる。

　本実施形態において、対象者は学習者であり、たとえば、生徒（中高生）、児童（小学生）、および大学や大学院、専門学校等の学生の少なくともいずれかである。対象者の年齢は特に限定されず、大人であってもよいし、子供（たとえば１８歳以下）であってもよい。情報処理装置１０は、様々な子供達に対して教育を行う小学校、中学校、高校、特別支援学校等での、生徒や児童を対象者とすることに特に適する。

　対象者が行う学習は、教科や科目の学習、趣味、資格、または技能に関する学習等が含まれる。対象者は、教師や講師等の指導者の指導を受けて学習を行える。対象者が学習を行う場所は特に限定されない。対象者はたとえば、学校等の教室、自宅、その他の学習室等で学習を行う。「学習中」の例には、たとえば授業中、講義中、対象者が指導を受けているとき、および対象者が自習しているときが含まれる。

　指導者は、教室等において対面で対象者を指導してもよいし、オンラインによる遠隔で対象者を指導してもよい。その他、指導者は、メタバース等の仮想空間で対象者を指導してもよい。指導者は、マンツーマンで対象者を指導してもよいし、複数の対象者を同時に指導してもよい。指導者が複数の対象者を同時に指導する場合に、各対象者の状態を細かく把握することが特に困難になるため、本実施形態に係る情報処理装置１０により状態情報を得ることが特に好ましい。

　図２は、本実施形態に係るシステム５０の概要を例示する図である。本実施形態に係るシステム５０は、情報処理装置１０、測定装置２０、および端末３０を備える。測定装置２０は、対象者の脳波およびバイタルの少なくとも一方を測定する。情報処理装置１０の出力部１５０は端末３０に状態情報を出力する。

　システム５０は、指導支援システムまたは学習支援システムであると言える。情報処理装置１０は測定装置２０と、有線通信または無線通信することができる。情報処理装置１０は端末３０と、有線通信または無線通信することができる。情報処理装置１０は、測定装置２０および端末３０の少なくとも一方と、通信ネットワークを介して接続されていても良い。

　上述した通り、測定装置２０は、対象者の脳波およびバイタルの少なくとも一方を測定する。本実施形態において、バイタルは、たとえば、脈拍、心拍、呼吸、血圧、表面温度、体温のうち一以上である。測定装置２０は対象者が身につけたり、学習中に触れたりすることで、脳波およびバイタルの少なくとも一方を測定する測定装置である。測定装置２０は、接触式の測定装置であり得る。

　測定装置２０の例には、イヤホン、ペンシル型デバイス、ヘッドマウント式デバイス、ネックレス型デバイス、指輪型デバイス、リストウォッチ、およびリストバンド型デバイスが含まれる。システム５０は、複数の測定装置２０を含むことができる。また、一人の対象者に対して、複数の測定装置２０が設けられていてもよい。システム５０は、複数種類の測定装置２０を含んでもよい。

　学習中の対象者は一以上の測定装置２０を身につけている、または使用している。測定装置２０は、その測定装置２０を身につけている、または使用している対象者の脳波およびバイタルの少なくとも一方を測定する。測定装置２０は、その測定装置２０が測定対象とする対象者に関連付けられている。具体的には、各対象者には、固有の識別情報（以後、「個人ＩＤ」とも呼ぶ）が付与されている。複数の対象者が存在する場合、個人ＩＤによって、各対象者を識別可能である。そして、測定装置２０には、その測定装置２０の測定対象である対象者の、個人ＩＤが予め関連付けられている。

　測定装置２０は、その測定装置２０を身につけている、または使用している対象者の脳波およびバイタルの少なくとも一方を測定し、脳波およびバイタルの少なくとも一方を示す測定情報を生成して出力する。測定情報は、ある時点での測定結果でもよいし、所定の時間の測定結果の統計値（平均値、最大値、最小値等）でもよいし、所定の時間分の時系列の測定データでもよい。このとき測定装置２０は、その測定装置２０に関連付けられた個人ＩＤを測定情報に関連付けて出力する。そうすることで、各測定情報がどの対象者の情報であるか識別できる。情報処理装置１０の取得部１１０は、測定装置２０から出力された測定情報および個人ＩＤを取得する。

　なお、測定装置２０は、個人ＩＤを出力する代わりに、測定装置２０に付与された識別情報（以後、「測定装置ＩＤ」とも呼ぶ）を測定情報に関連付けて出力してもよい。測定装置ＩＤは、各測定装置２０に固有の識別情報であり、システム５０が複数の測定装置２０を含む場合、測定装置ＩＤによって、各測定装置２０を識別可能である。測定装置ＩＤを取得した取得部１１０は、測定装置ＩＤと個人ＩＤとを関連付けたＩＤ参照情報を用いて、測定装置ＩＤに対応する個人ＩＤを特定する。そして、取得部１１０は特定した個人ＩＤをその測定情報に関連付ける。ＩＤ参照情報は、取得部１１０からアクセス可能な記憶装置（たとえば後述する対象者記憶部１２０）に予め保持させておき、取得部１１０がそれを読み出して用いることができる。なお、この記憶装置は情報処理装置１０の内部に設けられていてもよいし、情報処理装置１０の外部に設けられていてもよい。

　たとえば測定装置２０は、所定の周期で繰り返し測定情報を情報処理装置１０に出力する。その他、状態情報の出力をリクエストするための所定の操作（以下、「リクエスト操作」とも呼ぶ）が端末３０に対して行われたことに起因して、測定装置２０で測定が行われ、測定情報が出力されてもよい。リクエスト操作の例には、端末３０において、状態情報を表示させるための操作、および所望の対象者を選択する操作が含まれる。

　図３は、本実施形態に係るシステム５０の機能構成を例示するブロック図である。本実施形態に係る情報処理装置１０は、対象者記憶部１２０、分析記憶部１４０、および状態情報記憶部１６０をさらに備える。ただし、対象者記憶部１２０、分析記憶部１４０、および状態情報記憶部１６０の少なくとも一方は、情報処理装置１０の外部に設けられていてもよい。対象者記憶部１２０は、取得部１１０からアクセス可能であり、対象者情報を予め保持している。対象者情報は複数の対象者の個人ＩＤのそれぞれに、属性情報を関連付けた情報である。分析記憶部１４０は、分析部１３０からアクセス可能であり、状態情報の生成に必要な分析情報を予め保持している。状態情報記憶部１６０は、生成された状態情報を記憶する。図３の例において、システム５０は複数の測定装置２０、および撮像装置４０を備える。撮像装置４０によれば、対象者を撮像することができる。撮像装置４０の例には、固定カメラ、ウェアブルカメラ、およびＶＲカメラが含まれる。撮像装置４０がウェアブルカメラである場合、ウェアブルカメラはたとえば指導者が身に付ける。

　図４は、対象者情報の構成を例示する図である。属性情報には、一以上の属性が示されている。各個人ＩＤには、一以上の属性が関連付けられている。対象者の個人ＩＤに関連付けられた一以上の属性のまとまりを、その対象者の属性情報と呼ぶ。属性情報は、属性として、年齢、性別、性格に関する属性、支援が必要である要因に関する属性、趣味に関する属性、および嗜好に関する属性のうち一以上が含まれうる。

　中でも属性情報は、支援が必要である要因に関する属性を含むことが好ましい。支援が必要である要因に関する属性の例には、対象者の障害に関する情報、対象者の言語に関する情報、出席状況に関する情報、および、支援要因がない旨の情報が含まれる。なかでも、属性情報は、属性として、対象者の障害（difficulty）に関する情報および対象者の言語に関する情報の少なくとも一方を含むことが好ましい。

　対象者の障害に関する情報の例には、視覚障害、聴覚障害、知的障害、肢体不自由、病弱、身体虚弱、言語障害、自閉症、情緒障害、学習障害、および注意欠陥多動性障害が含まれる。属性情報が対象者の障害に関する情報を含むことにより、障害を持たない児童や生徒と同じ基準では判断が難しい、障害を持つ対象者の状態の変化を汲み取り、指導者が指導に活かすことができる。対象者の言語に関する情報の例には、指導に用いられる言語が対象者の第１言語でない旨の情報、および指導に用いられる言語についての対象者の理解度が含まれる。属性情報が対象者の言語に関する情報を含むことにより、留学生や外国人である対象者の状態を汲み取り、指導者が指導に活かすことができる。

　各対象者の属性情報は事前のアンケート、テスト、調査等の結果に基づいて定めることができる。

　図３に戻り、取得部１１０は、上述したように測定情報を取得すると、その測定情報に関連付けられた個人ＩＤについて、属性情報を取得する。具体的には、取得部１１０は、対象者記憶部１２０に保持された対象者情報において、対象者の個人ＩＤに関連付けられた属性情報を取得する。そうすることで、取得部１１０は、各対象者の測定情報と、属性情報を取得することができる。取得部１１０は、複数の対象者の測定情報と属性情報をまとめて取得しても良いし、順に取得しても良い。

　取得部１１０が測定情報および属性情報を取得すると、分析部１３０は、測定情報および属性情報を用いて、対象者の状態に関する状態情報を生成する。状態情報は、測定情報が得られた測定時点の対象者の状態、および測定時点より後の対象者の状態の少なくとも一方に関する情報であり得る。状態情報は、たとえば対象者の感情、集中度、および理解度のうち少なくとも一つを示す。本実施形態では、状態情報が、測定情報が得られた測定時点の対象者の状態に関する例について、以下に説明する。

　分析部１３０は、分析記憶部１４０に保持された分析情報を読み出して測定情報の分析に用いることで、状態情報を生成する。分析記憶部１４０には、一の属性または二以上の属性の組み合わせにそれぞれが関連付けられた複数の分析情報が保持されている。すなわち、属性情報の内容に対応する分析情報が予め準備されて、分析記憶部１４０に保持されている。分析部１３０は、対象者の属性情報に基づいて、複数の分析情報から使用すべき分析情報を選択し、選択した分析情報を状態情報の生成に用いる。具体的には、分析部１３０は、対象者の属性情報に示された一以上の属性と、状態情報の生成に用いる分析情報に関連付けられた一以上の属性とが一致するように、分析情報を選択する。そうすることで、属性情報に応じて異なる分析情報を用いた分析が行われ、対象者の属性に適した分析が行える。

　ただし、分析記憶部１４０には、必ずしも属性の全ての組み合わせについて、分析情報が保持されている必要はない。少なくとも使用する可能性のある属性、および属性の組み合わせについて、分析情報が保持されていればよい。属性情報に完全に一致する属性の組み合わせの分析情報が分析記憶部１４０に保持されていない場合には、分析部１３０は、属性情報に最も類似度が高い属性の組み合わせの分析情報を用いてもよい。分析部１３０が、測定情報および属性情報を用いて、対象者の状態に関する状態情報を生成する方法については、詳しく後述する。

　出力部１５０は、分析部１３０により生成された状態情報を端末３０に出力する。端末３０は、たとえば指導者が用いる端末である。端末３０の例には、コンピュータ、スマートフォン、タブレット、スマートグラス、およびイヤホンが含まれる。

　出力部１５０はたとえば、測定情報が得られた測定時点において対象者を指導している指導者が用いる端末に対し、リアルタイムで状態情報を出力することができる。具体的には、出力部１５０は、分析部１３０で状態情報が生成され次第、その状態情報を出力する。測定情報の測定から表示までのタイムラグはたとえば１分以内である。その他、測定時点が授業中である場合、出力部１５０は、遅くともその授業中に測定情報を出力する。リアルタイムで状態情報が出力されることで、指導者が対象者の状態を把握し、適切な対応を行うことができる。

　また、出力部１５０は、状態情報が予め定められた条件を満たす場合に、端末３０に報知情報をさらに出力してもよい。たとえば、分析部１３０は、状態情報が落ち着き度合いを示す場合、落ち着き度合いが予め定められた閾値以下であるか否かを判定する。落ち着き度合いが予め定められた閾値以下である場合に、分析部１３０は報知情報を生成する。また出力部１５０は、端末３０に報知情報をさらに出力する。一方、落ち着き度合いが予め定められた閾値超過である場合、分析部１３０は報知情報を生成しない。また、出力部１５０は端末３０に報知情報を出力しない。そうすることで、指導者は、感情が高ぶっている対象者がいる場合にアラートを受け、その対象者に対して必要な対応を行うことができる。なお、ここで用いる閾値は、分析情報に含まれてもよい。その場合、属性情報に応じて異なる閾値での判定が行われる。

　端末３０は、出力部１５０から状態情報を取得すると、その状態情報を、端末３０の使用者が認識可能に出力する。たとえば端末３０は、状態情報を音声および表示の少なくとも一方により出力する。端末３０は、ＡＲ（Augmented Reality）技術を用いて状態情報を出力してもよい。端末３０の使用者は特に限定されないが、たとえば対象者を指導している指導者、対象者の学習状況または指導者の指導状況を監督する監督者、医師、および研究者の少なくともいずれかである。端末３０は、対象者と同じ空間、たとえば同じ教室で使用されてもよいし、対象者とは異なる場所、たとえば別室で使用されてもよい。

　たとえば端末３０がスマートグラスである場合、端末３０の使用者は、スマートグラスに備えられた透光性の表示部材を介して対象者を見る。スマートグラスでは、ＡＲ技術によって、状態情報が対象者に重なるように表示される。

　図５は、端末３０による状態情報の表示を例示する図である。図５の例では、教師が端末３０であるスマートグラスを装着して授業をしている。端末３０には、教師の目の動きを検出するセンサが備えられている。教師が、授業を受けている複数の児童（対象者）のうち、特定の児童に所定の時間以上視線を向けると、その児童の状態がリアルタイムで表示される。たとえば本図では、その児童の顔が丸で囲われ、主な状況（「ＳＴＡＴＵＳ」）、リラックス度合いとストレス度合いのバランス、および各心情の度合いを示す図が表示されている。特定の児童に所定の時間以上視線を向けることは、上述したリクエスト操作に相当しうる。

　また、混乱状態など、注意が必要な児童に対し、アラートを示す記号（「ＡＴＴＥＮＴＩＯＮ」）等が表示されている。さらに、クラス全体の集中度合いの平均（「クラス集中Ｌｖ」）が表示されている。

　端末３０が、ＡＲ技術を用いて状態情報を出力する場合、情報処理装置１０の取得部１１０は撮像装置４０から対象者が含まれる画像を取得し、分析部１３０は取得した画像を用いて対象者の位置を特定する。撮像装置４０はたとえばＶＲ（Virtual Reality）カメラ等のカメラである。撮像装置４０は複数の方向から対象者を撮像してもよい。また、撮像装置４０の撮像領域は固定されていてもよいし、可変であってもよい。撮像装置４０は、端末３０の使用者が身につけていてもよいし、端末３０に備えられていてもよい。

　また、対象者記憶部１２０の対象者情報において、各個人ＩＤにはさらに、顔認識処理のための特徴量が関連付けられている。情報処理装置１０の分析部１３０は、対象者記憶部１２０から、対象者の特徴量を取得すると、その特徴量を用い、撮像装置４０で生成された画像に対し顔認識処理を行う。そうすることで、画像中の対象者の位置が特定される。また、画像中の対象者の位置、撮像装置４０の位置、および撮像装置４０と撮像領域との関係を用いて、実空間での対象者の位置を特定できる。対象者の位置が特定されると、出力部１５０は、その対象者の位置を、状態情報に対応付けて端末３０に出力する。端末３０は、対象者の位置、端末３０の位置、および端末３０の向きに基づき、端末３０において状態情報を表示する位置等を特定することができる。なお、上述した対象者の位置の特定は、端末３０で行われてもよい。

　その他の例として、端末３０がコンピュータ、スマートフォン、またはタブレットである場合、端末３０のディスプレイに、対象者を含む画像が、状態情報とともに表示される。この対象者を含む画像は、たとえば撮像装置４０で撮像される。上述した通り、撮像装置４０は端末３０に備えられていてもよい。そして、対象者を含む画像に対し、上述したように顔認識処理を行うことで、各対象者の画像中の位置を認識し、その位置に基づいて、各対象者の状態情報の表示位置が決定されてもよい。顔認識処理、および、表示位置の決定は、情報処理装置１０で行われてもよいし、端末３０で行われてもよい。

　分析部１３０が、測定情報および属性情報を用いて、対象者の状態に関する状態情報を生成する方法について、以下に詳しく説明する。

　分析部１３０は、状態情報の生成を、所定のルールベースで行っても良いし、機械学習によって生成されたモデルを用いて行っても良い。各例について、以下に説明する。

＜第１例＞
　第１例では、分析部１３０は、状態情報の生成を、所定のルールベースで行う。この場合、分析部１３０が分析記憶部１４０から読み出して用いる分析情報は、測定情報に基づいて状態情報を生成するためのルールを示す情報である。分析情報には、たとえば数式、条件、および閾値のうち一以上が含まれる。各属性情報に対応する分析情報は、その属性を有する学習者の脳波やバイタルと、その脳波やバイタルを測定した時のその学習者の状態との関係を示すデータを収集し、解析することで予め準備することができる。

＜＜脳波＞＞
　測定情報が脳波を含む場合、分析部１３０はラッセル円環モデル等、既存の手法を用いて対象者の状態を推定できる。たとえば分析部１３０は脳波波形からノイズを除去する処理を行った上で、アルファー波、ガンマ波、ベータ波、シータ波、デルタ波の各成分を抽出する。分析部１３０は、これらの成分を所定の数式に当てはめることで、活性度および快適度をそれぞれ算出する。そして、算出された活性度および快適度を、縦軸を活性度、横軸を快適度とした二軸平面に配置した場合の位置に基づいて、分析部１３０は対象者の感情を推定できる。ここで、分析情報は、たとえば脳波の各成分から活性度および快適度をそれぞれ算出するための数式を含む。

　その他の例として、分析部１３０は、アルファー波とベータ波の比（β／α）および、脳波の波形のうち、所定の周波数以下の成分の変動（ＬＦ揺らぎ）を算出する。そして、算出されたβ／αおよびＬＦ揺らぎを、縦軸をβ／α、横軸をＬＦ揺らぎとした二軸平面に配置した場合の位置に基づいて、分析部１３０は感情を推定できる。ここで、各感情に割り当てる二軸平面における領域の取り方が分析情報であり得る。

＜＜バイタル＞＞
　分析部１３０は、脈拍、心拍、呼吸、血圧、表面温度、および体温等の一以上のバイタルの値を用いて、対象者の状態を推定できる。たとえば、脈拍が低いほど、対象者が落ち着いていると言える。また、理解度が下がると焦りや動揺により、脈拍、体温、血圧等が上がると言える。たとえば、分析部１３０は、各状態について準備された数式に、一以上のバイタルの値を代入することで、対象者がその状態である確からしさを示すスコアを得る。具体的には、「理解度の高さ」を求めるための数式に、脈拍、体温、血圧の値を代入することで、理解度の高さを示すスコアを得ることができる。その他、脈拍の変動が小さいほど対象者が集中していると言うことができる。したがって、分析部１３０は、「集中度の高さ」を求めるための数式に、脈拍または心拍の変動率を代入することで、集中度の高さを示すスコアを得ることができる。なおこの場合、測定情報は脈拍または心拍の時系列の測定データを含むとする。分析情報は、このような数式を含みうる。たとえば、分析情報は喜び、怒り、不安、落ち着き等の感情ごとの数式を含んでも良い。

　また、分析部１３０は上述したような複数の方法を組み合わせて状態情報を生成してもよい。たとえば分析部１３０は、複数の方法のそれぞれで、ある状態（「理解度が高い」、「喜んでいる」、「怒っている」、「不安」、または「落ち着いている」等）の確からしさ、または度合いを示す状態スコアを得る。そして、分析部１３０は、得られた複数の状態スコアの平均、和、または重み付け和を算出することにより、その状態に関する総合状態スコアを得る。総合状態スコアが高いほど、対象者がその状態である可能性が高いことを示す。なお、重み付け和の各重みがさらに分析情報に含まれてもよい。分析部１３０は、同様にして複数の状態のそれぞれについて総合状態スコアを得てもよい。

　分析部１３０で生成される状態情報は、特定された所定の状態を示す情報であってもよいし、複数の状態のそれぞれについての確からしさを示すスコア（状態スコアまたは総合状態スコア）であってもよい。その他、分析部１３０は、ある状態について算出したスコア（状態スコアまたは総合状態スコア）が予め定められた所定の基準値以上である場合に、対象者がその状態であると推定し、その状態を示す情報を状態情報に含めてもよい。この基準値がさらに分析情報に含まれてもよい。

＜第２例＞
　第２例では、分析部１３０は、機械学習によって生成されたモデルを用いて状態情報を生成する。この場合、分析情報は、モデルである。すなわち、分析記憶部１４０には、一の属性または二以上の属性の組み合わせにそれぞれが関連付けられた複数のモデルが保持されている。そして分析部１３０は、対象者の属性情報に基づいて、複数のモデルから使用すべきモデルを選択し、選択したモデルを状態情報の生成に用いる。

　各属性情報に対応するモデルは、その属性を有する学習者の脳波やバイタルと、その脳波やバイタルを測定した時のその学習者の状態との関係を示すデータを教師データとして、機械学習を行うことで、予め準備することができる。

　本例に係るモデルの入力は測定情報であり、モデルの出力は一以上の状態の各尤度である。尤度が高いほど、対象者がその状態である可能性が高いことを示す。分析部１３０は分析記憶部１４０から読み出したモデルに測定情報を入力することで、一以上の状態の各尤度を得る。状態情報は、一以上の状態それぞれについての尤度であってよい。その他、分析部１３０は、ある状態について算出した尤度が予め定められた所定の基準値以上である場合に、対象者がその状態であると特定し、その状態を示す情報を状態情報に含めてもよい。この基準値がさらに分析情報に含まれてもよい。

　また、分析部１３０は、学習中の対象者の画像をさらに用いて状態情報を生成してもよい。この場合、モデルの入力は、さらに学習中の対象者の画像を含む。各属性情報に対応するこのようなモデルは、その属性を有する学習者の学習中の画像をさらに教師データとして、機械学習を行うことで、予め準備することができる。

　取得部１１０は撮像装置４０から学習中の対象者の画像を取得する。分析部１３０は、取得部１１０が取得した画像を、測定情報と合わせてモデルに入力することで、各状態の尤度を得る。

　なお、分析部１３０が状態情報を生成する方法は上述した例に限定されず、様々な方法が採用され得る。

　分析部１３０は、生成した状態情報が、どの対象者の状態情報であるか識別できるよう、状態情報に個人ＩＤを関連付ける。または、分析部１３０は、状態情報に対象者の位置を示す情報を関連付けてもよい。位置を示す情報は、上述したように、撮像装置４０により得られた画像に基づいて生成できる。出力部１５０は、状態情報に関連付けられた個人ＩＤまたは位置を示す情報をさらに出力する。端末３０は、状態情報に関連付けられた個人ＩＤまたは位置を示す情報を取得する。端末３０は、各状態情報の表示位置および表示形式の少なくとも一方を、個人ＩＤまたは位置を示す情報に基づいて決定することができる。

　複数の対象者が同時に学習している場面において、分析部１３０は、各対象者の状態情報を生成する。そして、分析部１３０はさらに、複数の対象者の状態情報の平均を算出してもよい。すなわち、状態情報に含まれるスコアまたは尤度の、平均値を状態ごとに算出する。そして、出力部１５０は、算出された平均値をさらに出力することができる。たとえば指導者は授業中にこのような平均値を確認することにより、教室全体の状況（雰囲気など）を把握することができる。

　情報処理装置１０のハードウエア構成について以下に説明する。情報処理装置１０の各機能構成部（取得部１１０、分析部１３０、および出力部１５０）は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置１０の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

　図６は、情報処理装置１０を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、SoC（System On Chip）、Personal Computer（PC）、サーバマシン、タブレット端末、またはスマートフォンなどである。計算機１０００は、情報処理装置１０を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。また、情報処理装置１０は、一つの計算機１０００で実現されても良いし、複数の計算機１０００の組み合わせにより実現されても良い。

　計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、およびネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、およびネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、または FPGA（Field-Programmable Gate Array）などの種々のプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、または ROM（Read Only Memory）などを用いて実現される補助記憶装置である。

　入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイなどの出力装置が接続される。入出力インタフェース１１００が入力装置や出力装置に接続する方法は、無線接続であってもよいし、有線接続であってもよい。

　ネットワークインタフェース１１２０は、計算機１０００をネットワークに接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。

　本実施形態に係る計算機１０００は、入出力インタフェース１１００またはネットワークインタフェース１１２０を介して測定装置２０と接続されうる。また、本実施形態に係る計算機１０００は、入出力インタフェース１１００またはネットワークインタフェース１１２０を介して端末３０と接続されうる。

　ストレージデバイス１０８０は、情報処理装置１０の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。

　また、対象者記憶部１２０、分析記憶部１４０、および状態情報記憶部１６０がそれぞれ情報処理装置１０の内部に設けられる場合、例えば対象者記憶部１２０、分析記憶部１４０、および状態情報記憶部１６０のそれぞれは、ストレージデバイス１０８０を用いて実現される。

　図７は、本実施形態に係る情報処理方法の概要を示す図である。本実施形態に係る情報処理方法は、一以上のコンピュータによって実行される。本情報処理方法は、取得ステップＳ１０、分析ステップＳ２０、および出力ステップＳ３０を含む。取得ステップＳ１０では、対象者の学習中の、脳波およびバイタルの少なくとも一方を示す測定情報と、対象者の属性情報とが取得される。分析ステップＳ２０では、測定情報および属性情報を用いて、対象者の状態に関する状態情報が生成される。出力ステップＳ３０では、状態情報が出力される。

　本実施形態に係る情報処理方法は、情報処理装置１０によって実行され得る。

　本実施形態において情報処理装置１０の処理を開始する操作が行われると、取得ステップＳ１０から出力ステップＳ３０が繰り返し行われる。または、出力部１５０から端末３０への状態情報の出力は、リクエスト操作が行われたことに起因して行われても良い。その場合、取得ステップＳ１０および分析ステップＳ２０は、リクエスト操作が行われたときにのみ行われてもよいし、それ以外の期間にさらに行われてもよい。分析部１３０が生成した状態情報は、出力部１５０から端末３０へ状態情報が出力されるか否かにかかわらず、出力部１５０からアクセス可能な記憶装置に保持されることが好ましい。すなわち、出力部１５０は、状態情報を状態情報記憶部１６０に対して出力してもよい。そうすれば、事後的に情報を確認できるからである。また、取得部１１０が取得した測定情報がさらに分析記憶部１４０に保持されてもよい。

　状態情報に複数種類の情報が含まれる場合、一部の種類の情報（たとえば複数の対象者に関する平均値）が常に出力部１５０から出力され、他の種類の情報（たとえば特定の対象者の状態情報）が、リクエスト操作に応じて出力部１５０から出力されてもよい。そうすることで、端末３０による情報の出力が雑多にならず、使用者が内容を把握しやすくなる。

　以上、本実施形態によれば、分析部１３０は、測定情報および属性情報を用いて、対象者の状態に関する状態情報を生成する。したがって、対象者の属性を加味してより正確な状態推定を行える。

（第２の実施形態）
　図８は、第２の実施形態に係るシステム５０の機能構成を例示する図である。本実施形態に係るシステム５０は、以下に説明する点を除いて第１の実施形態に係るシステム５０と同じである。

　第１の実施形態では、状態情報が、測定情報が得られた測定時点の対象者の状態である例について説明したが、本実施形態では、状態情報が、測定情報が得られた測定時点より後の対象者の状態に関する例について説明する。ただし、本実施形態に係る情報処理装置１０の分析部１３０は、測定情報が得られた測定時点の対象者の状態に関する状態情報と、測定情報が得られた測定時点より後の対象者の状態に関する状態情報との両方を生成してもよい。測定情報が得られた測定時点の対象者の状態に関する状態情報を、以後、第１状態情報とも呼ぶ。測定情報が得られた測定時点より後の対象者の状態に関する状態情報を、以後、第２状態情報とも呼ぶ。

　本実施形態に係る情報処理装置１０の分析部１３０は、測定情報の測定時点の学習内容を少なくとも示す学習情報をさらに用いて、測定時点より後の対象者の学習状態に関する状態情報を生成する。また、分析部１３０は、蓄積記憶部１４５に保持された蓄積情報またはモデルを用いて状態情報を生成する。図８の例において、蓄積記憶部１４５は情報処理装置１０の内部に設けられているが、蓄積記憶部１４５は、情報処理装置１０の外部に設けられていてもよい。蓄積記憶部１４５が情報処理装置１０の内部に設けられる場合、例えば蓄積記憶部１４５は、ストレージデバイス１０８０を用いて実現される。

　学習情報には、少なくとも学習内容が含まれる。学習内容の例には、教科、単元、およびテキスト等のページ番号が含まれる。学習内容は、学習の開始時に端末３０に対して入力される。たとえば使用者は、授業の開始時に、端末３０に対してその授業の教科、単元等を入力する。情報処理装置１０の取得部１１０は、端末３０から、学習情報を取得することができる。

　学習状態には、たとえば達成度、理解度、集中度、およびテスト結果のうち一以上が含まれる。

　本実施形態に係る情報処理装置１０によれば、分析部１３０が測定時点より後の対象者の学習状態に関する状態情報を生成することで、対象者の状態遷移を予め把握し、必要に応じた対応を検討することができる。

　図９は、本実施形態に係る端末３０に表示される画像を例示する図である。本画像では、クラス全体の情報を俯瞰することができる。教師等、端末３０の利用者は、授業後等にこのような表示内容を確認して、クラスの現状を把握し、その後の指導をより良くすることができる。本画像の「ＴＯＰＩＣＳ」欄には、クラスの複数のメンバー（対象者）の状態を示すメッセージが表示されている。各対象者の状態を示すメッセージは状態情報に基づいて生成される。このようなメッセージを確認することで、指導者はケアすべき生徒を把握することができる。なお、状態情報が所定の条件を満たす場合にのみ、メッセージが表示されてもよい。

　また、図９の例では、クラスの全メンバーの感情の平均に基づく「クラスの雰囲気」が表示されている。この感情の平均はたとえば、直近の授業中の状態情報の平均、または直近の所定の期間（たとえば一週間）中の状態情報の平均である。

　さらに、図９の例では、クラスの複数のメンバーの状態がリスト表示されている。各メンバーの情報としては、メンバーの顔写真、感情を示す記号、氏名、および属性が表示されている。各メンバーの状態は、たとえば、直近の授業中の状態情報の平均、または直近の所定の期間（たとえば一週間）中の状態情報の平均である。

　図１０は、本実施形態に係る端末３０に表示される画像の他の例を示す図である。図１０は、個別の対象者の情報を表示する画像である。たとえば図９のメンバーリストにおいていずれかのメンバーを選択することで、図１０の画像に遷移することができる。

　図１０の例では、一人の対象者の顔写真、氏名、クラス、属性、が表示されている。また、その後の状態の予測結果に基づくアドバイスがさらに表示されている。加えて、図１０の左下部分には授業への興味関心（感情の一例）の時系列データを示す折れ線グラフが表示されている。このグラフには、この画像で表示対象である対象者の状態（「個人」）のほか、複数の対象者の状態情報に基づく全体平均（「全体」）、各属性を有する対象者の平均（「ＡＤＨＤ」、「自閉症スペクトラム障害」、「限局性学習症」、「うつ病」）、および、表示対象である対象者と同じ属性の組み合わせを有する対象者の平均（「同じ障害」）を、それぞれ選択して表示できる。したがって、使用者は同様の特徴を持つ学習者の平均的な状態の推移を確認することができる。図１０の例では、「個人」、「全体」、「自閉症スペクトラム障害」、および「同じ障害」が選択され、それらのデータが表示されている。なお、このグラフには、過去の情報と未来の情報が含まれうる。

　また、このグラフは、教科を切り替えて表示可能である。このように、端末３０は、複数の教科間または複数の単元間で、比較可能な状態で状態情報を出力することができる。さらに、表示させる状態の種類を、たとえば「授業への興味関心」から「理解度」等へ変更できてもよい。

　また、図１０の右下部分には、感情に動きがあったシーンを確認するための情報が表示されている。具体的には、感情に動きがあった時点の日時がリスト表示されている。感情に動きがあった時点はたとえば、分析部１３０で生成された状態情報に示されるいずれかの感情の尤度またはスコアが、所定の変化率以上に変化した時点である。そして、リスト表示された日時のうち、選択された日時の対象者の状態がレーダーチャートで表示されている。

　本実施形態に係る情報処理装置１０によれば、対象者の情報と、同一または類似の特性を持つ児童や生徒の蓄積データとの比較結果に基づき、今後の予測コメント、つまずきやすい教科および単元などの情報、および予測理解度等を出力できる。したがって、指導者は、対象者に支援が必要になる予兆を検知できる。

　端末３０は、他の例として、対象者の学習中の状況を周囲の環境も含めて再現する三次元モデル映像をさらに出力してもよい。たとえば、上述した感情に動きがあった時点の前後の状況を再現して確認することにより、その原因を特定しやすくなる。三次元モデル映像を生成するための画像は、たとえば撮像装置４０により撮像される。

　図８の例において、情報処理装置１０は測定記憶部１００を備える。測定記憶部１００が情報処理装置１０の内部に設けられる場合、例えば測定記憶部１００は、ストレージデバイス１０８０を用いて実現される。本実施形態において、取得部１１０は、測定装置２０から取得した測定情報を個人ＩＤと関連付けて測定記憶部１００に蓄積することができる。本実施形態において、分析部１３０は状態情報をリアルタイムで生成する必要はない。分析部１３０は、測定記憶部１００に保持された測定情報を事後的に処理して、状態情報を生成することができる。また、分析部１３０は、測定情報の時系列データを用いて状態情報を生成してもよい。

　本実施形態において出力部１５０は、分析部１３０が生成した状態情報を、状態情報記憶部１６０に保持させる。たとえば、出力部１５０は、端末３０からの要求に応じて、状態情報記憶部１６０から状態情報を読み出し、端末３０に状態情報を出力する。したがって、３０の使用者は、事後的に所望のタイミングで状態情報を確認できる。

　本実施形態に係る分析部１３０が、測定情報の測定時点より後の、対象者の学習状態に関する状態情報を生成する方法の例を、第３例、第４例として以下に説明する。

＜第３例＞
　第３例において、蓄積記憶部１４５にはたとえば、過去の複数の学習者の蓄積情報が保持されている。各蓄積情報は測定情報および第１状態情報のうち少なくとも１つの時系列データである。この第１状態情報はたとえば、測定情報に基づいて、第１の実施形態で説明した方法で予め生成された情報である。また、各蓄積情報には一の属性または二以上の属性の組み合わせが関連付けられている。さらに、各蓄積情報において、時系列データの各時点のデータには、学習ログが関連付けられている。各学習ログには少なくとも学習内容が含まれる。また、各学習ログには、学習状態が含まれる。

　分析部１３０は、対象者の測定情報および第１状態情報の少なくとも一方と、蓄積記憶部１４５に保持された蓄積情報とを比較することで、対象者のその後の状態を予測する。

　図１１は、本例に係る分析部１３０が実行する処理の流れを例示するフローチャートである。ステップＳ１１０において、分析部１３０は、蓄積記憶部１４５に保持された複数の蓄積情報の中から、対象者の属性情報に対応する一以上の属性が関連付けられた一以上の蓄積情報を抽出する。すなわち、分析部１３０は、対象者の属性情報に示された一以上の属性と、抽出される蓄積情報に関連付けられた一以上の属性とが一致するように、一以上の蓄積情報を抽出する。

　ステップＳ１２０において、分析部１３０は、抽出された各蓄積情報の時系列の測定情報の中から、取得部１１０が取得した学習情報に示された学習内容と同一の学習内容に関連付けられた測定情報を特定する。そうすることで、同一の学習内容における情報同士を比較できる。

　ステップＳ１３０において分析部１３０は、抽出された一以上の蓄積情報のそれぞれにおいて特定された測定情報と、取得部１１０が取得した対象者の測定情報とを比較する。その結果、分析部１３０は、一以上の蓄積情報の中で、特定された測定情報が、対象者の測定情報に最も類似する蓄積情報を、類似の蓄積情報として特定する。なお、蓄積情報の測定情報と、対象者の測定情報との比較は、測定情報に含まれるいずれか一つの指標で行われても良いし、複数の指標（たとえば脳波と脈拍）で行われてもよい。後者の場合、分析部１３０は、各指標について対象者の測定情報と、蓄積情報の測定情報との差を算出し、得られた複数の差の合計または平均が最も小さい蓄積情報を類似の蓄積情報として特定できる。

　また、蓄積情報の測定情報と、対象者の測定情報との比較は、それぞれの時系列データの比較であってもよい。この場合、時系列データの類似度を既存の手法を用いて算出し、類似度が最も高い蓄積情報を、類似の蓄積情報とする。

　対象者がその後学習する内容についての学習状態は、特定された類似の蓄積情報の学習ログに示された学習状態と類似することが推定される。そこで、ステップＳ１４０において分析部１３０は、特定した蓄積情報に示された学習ログに基づいて、対象者の第２状態情報を生成する。すなわち、分析部１３０は、特定した類似の蓄積情報に含まれる学習ログに示される学習状態を、第２状態情報とする。第２状態情報には、学習内容を示す情報が関連付けられる。また、分析部１３０は、第２状態情報に、対象者の個人ＩＤを関連付ける。

　第２状態情報によればたとえば、対象者が今後苦手とする学習内容が予想できる。

　図１２は、分析部１３０が実行する処理の流れの他の例を示すフローチャートである。本例では、蓄積情報の第１状態情報と、対象者の第１状態情報とを比較することで、類似の蓄積情報を特定する。

　ステップＳ２１０は、図１１のステップＳ１１０と同じである。ついで、ステップＳ２２０において、分析部１３０は、取得部１１０が取得した対象者の測定情報に基づいて、第１状態情報を生成する。第１状態情報の生成は、第１の実施形態で説明したのと同様の方法で行える。

　ステップＳ２３０において、分析部１３０は、ステップＳ２１０で抽出された各蓄積情報の時系列の第１状態情報の中から、取得部１１０が取得した学習情報に示された学習内容と同一の学習内容に関連付けられた第１状態情報を特定する。

　ステップＳ２４０において分析部１３０は、抽出された一以上の蓄積情報のそれぞれにおいて特定された第１状態情報と、ステップＳ２２０で生成された対象者の第１状態情報とを比較する。その結果、分析部１３０は、一以上の蓄積情報の中で、特定された第１状態情報が、対象者の第１状態情報に最も類似する蓄積情報を、類似の蓄積情報として特定する。なお、蓄積情報の第１状態情報と、対象者の第１状態情報との比較は、第１状態情報に含まれるいずれか一つの指標で行われても良いし、複数の指標（たとえば落ち着き度合いと理解度）で行われてもよい。後者の場合の具体例は測定情報について上述したのと同様である。また、蓄積情報の第１状態情報と、対象者の第１状態情報との比較は、それぞれの時系列データの比較であってもよい。この場合、時系列データの類似度を既存の手法を用いて算出し、類似度が最も高い蓄積情報を、類似の蓄積情報とする。

　ステップＳ２５０は、図１１のステップＳ１４０と同じである。

　なお、分析部１３０は、測定情報と第１状態情報の組み合わせにより、類似の蓄積情報を特定してもよい。

　第３例において、取得部１１０が取得した測定情報および、分析部１３０が生成した状態情報は、蓄積情報の少なくとも一部として蓄積記憶部１４５に保持されてもよい。

＜第４例＞
　第４例において、蓄積記憶部１４５には、機械学習によって生成された複数のモデルが保持されている。複数のモデルのそれぞれは、一の属性または二以上の属性の組み合わせに関連付けられている。分析部１３０は、第１の実施形態で説明したのと同様にして、対象者の属性情報に基づいて、複数のモデルから使用すべきモデルを選択し、選択したモデルを読み出して状態情報の生成に用いる。

　本例に係るモデルの入力は対象者の測定情報、および学習情報である。ただし、モデルに入力する測定情報は、測定情報の時系列データであってもよい。そして、本例に係るモデルの出力は各学習内容における学習状態を示す情報である。このようなモデルは、たとえば第３例で説明した複数の蓄積情報を教師データとして用いた機械学習により、生成できる。

　分析部１３０は、蓄積記憶部１４５から読み出したモデルに、取得部１１０が取得した測定情報および学習情報を入力する。そして、モデルの出力として、各学習内容における学習状態を示す情報を取得する。そして、分析部１３０は、取得した学習状態を示す情報を第２状態情報とする。分析部１３０は、第２状態情報に、学習内容および対象者の個人ＩＤを関連付ける。

　上述した第３例および第４例によれば、複数の学習内容に対する第２状態情報が生成される。すなわち、分析部１３０は、教科または単元ごとの状態情報を生成する。そこで分析部１３０はさらに、生成した複数の第２状態情報から、対象者が未学習である学習内容に関連付けられた第２状態情報を抽出しても良い。たとえば、分析部１３０がアクセス可能な記憶装置に、対象者が学習済みの学習内容を示す情報が保持されており、分析部１３０がそれを読み出して用いることができる。

　また、分析部１３０は、状態情報に、対象者への指導に関するアドバイス情報を含めてもよい。分析部１３０は、予め準備された複数のアドバイス情報の中から、予測される学習状態に応じたアドバイス情報を選択して状態情報に含めることができる。

　次に、本実施形態の作用および効果について説明する。本実施形態においては第１の実施形態と同様の作用および効果が得られる。加えて、本実施形態に係る情報処理装置１０の分析部１３０は、測定情報の測定時点の学習内容を少なくとも示す学習情報をさらに用いて、測定時点より後の対象者の学習状態に関する状態情報を生成する。したがって、対象者の状態遷移を予め把握し、必要に応じた予防策を検討することができる。

（変形例）
　本実施形態に係るシステム５０は、以下に説明する点を除いて第１または第２の実施形態に係るシステム５０と同じである。

　本変形例において、システム５０は測定装置２０として、サーモグラフィカメラ等、対象者から離れた位置から対象者を撮像してバイタルを測定する、撮像装置を含む。測定装置２０が撮像装置である場合、測定装置２０は画像を出力する。測定装置２０がサーモグラフィカメラである場合、測定装置２０からは撮像範囲内の各位置の温度を示す画像が出力される。測定装置２０の撮像領域は固定されていてもよいし、可変であってもよい。

　測定装置２０が撮像装置である場合、情報処理装置１０の取得部１１０は、学習中の対象者の画像を処理することにより、測定情報を得る。すなわち、測定装置２０は学習中の対象者を撮像して画像を生成する。そして、測定装置２０は生成した画像を出力する。取得部１１０は、測定装置２０から出力された画像を取得する。

　ここで、測定装置２０が、特定の対象者を主に撮像するように設けられる場合、測定装置２０は、その測定装置２０が測定対象とする対象者に関連付けられている。そして、上述した接触式の測定装置２０の例と同様、測定情報に個人ＩＤが関連付けられる。

　一方、測定装置２０が複数の対象者を撮像する場合、たとえば、取得部１１０は以下のような処理を行うことで、各対象者の測定情報と個人ＩＤとを関連付けることができる。

　本変形例に係る対象者記憶部１２０に保持された対象者情報では、あらかじめ、複数の個人ＩＤのそれぞれに対し、画像内での位置を示す位置情報が関連付けられている。位置情報は、たとえば教室内で各対象者に定められた座席位置等に基づいて、準備できる。取得部１１０は、位置情報を用いて各個人ＩＤに対応する位置を特定する。そして取得部１１０は、測定装置２０から取得した画像から、各個人ＩＤに対応する位置の情報を抽出する。たとえば測定装置２０で得られる画像がサーモグラフィ画像である場合、取得部１１０は、位置情報を用いて、ある個人ＩＤに対応する、画像中の座標を特定する。そして、取得部１１０は、サーモグラフィ画像中のその座標における温度を、その個人ＩＤに関連付ける。なお、各個人ＩＤには、画像中の領域を示す情報が対応付けられていてもよい。その場合、取得部１１０はサーモグラフィ画像における領域内の温度の平均を算出して個人ＩＤに関連付ければよい。

　その他、各対象者の位置は、撮像装置４０で得られる画像を用いて検出されてもよい。この場合、対象者記憶部１２０の対象者情報において、各個人ＩＤにはさらに、顔認識処理のための特徴量が関連付けられている。情報処理装置１０の取得部１１０は、対象者記憶部１２０から、対象者の特徴量を取得すると、その特徴量を用い、撮像装置４０で生成された画像に対し顔認識処理を行う。そうすることで、画像中の対象者の位置が特定される。また、画像中の対象者の位置、撮像装置４０の位置、および撮像装置４０と撮像装置４０の撮像領域との関係を用いて、実空間での対象者の位置を特定できる。さらに、測定装置２０の位置、および測定装置２０と測定装置２０の撮像領域との関係を用いて、取得部１１０は、測定装置２０の撮像画像中での対象者の位置を特定できる。

　本実施形態においても、第１または第２の実施形態と同様の作用および効果が得られる。

　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

　また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１－１．　対象者の学習中の、脳波およびバイタルの少なくとも一方を示す測定情報と、前記対象者の属性情報とを取得する取得手段と、
　前記測定情報および前記属性情報を用いて、前記対象者の状態に関する状態情報を生成する分析手段と、
　前記状態情報を出力する出力手段とを備える
情報処理装置。
１－２．　１－１．に記載の情報処理装置において、
　前記状態情報は、前記測定情報が得られた測定時点の前記対象者の状態、および前記測定時点より後の前記対象者の状態の少なくとも一方に関する
情報処理装置。
１－３．　１－１．または１－２．に記載の情報処理装置において、
　前記状態情報は、前記対象者の感情、集中度、および理解度のうち少なくとも一つを示す
情報処理装置。
１－４．　１－１．から１－３．のいずれか一つに記載の情報処理装置において、
　前記出力手段は、前記測定時点において前記対象者を指導している指導者が用いる端末に対し、リアルタイムで前記状態情報を出力する
情報処理装置。
１－５．　１－１．から１－４．のいずれか一つに記載の情報処理装置において、
　前記出力手段は、前記状態情報が予め定められた条件を満たす場合に、前記端末に報知情報をさらに出力する
情報処理装置。
１－６．　１－２．に記載の情報処理装置において、
　前記分析手段は、前記測定時点の学習内容を少なくとも示す学習情報をさらに用いて、前記測定時点より後の前記対象者の学習状態に関する前記状態情報を生成する
情報処理装置。
１－７．　１－６．に記載の情報処理装置において、
　前記状態情報は、前記対象者への指導に関するアドバイス情報を含む
情報処理装置。
１－８．　１－６．または１－７．に記載の情報処理装置において、
　前記分析手段は、教科または単元ごとの前記状態情報を生成する
情報処理装置。
１－９．　１－８．に記載の情報処理装置において、
　前記出力手段は、端末に前記状態情報を出力し、
　前記端末は、複数の教科間または複数の単元間で、比較可能な状態で前記状態情報を出力する
情報処理装置。
１－１０．　１－１．から１－９．のいずれか一つに記載の情報処理装置において、
　前記属性情報は、支援が必要である要因に関する属性を含む
情報処理装置。
１－１１．　１－１０．に記載の情報処理装置において、
　前記属性情報は、前記対象者の障害に関する情報および前記対象者の言語に関する情報の少なくとも一方を含む
情報処理装置。
１－１２．　１－１．から１－１１．のいずれか一つに記載の情報処理装置において、
　前記分析手段は、機械学習によって生成されたモデルを用いて前記状態情報を生成する
情報処理装置。
１－１３．　１－１２．に記載の情報処理装置において、
　前記属性情報には、一以上の属性が示されており、
　分析記憶手段には、一の属性または二以上の属性の組み合わせにそれぞれが関連付けられた複数の前記モデルが保持されており、
　前記分析手段は、前記対象者の前記属性情報に基づいて、前記複数のモデルから使用すべき前記モデルを選択し、選択した前記モデルを前記状態情報の生成に用いる
情報処理装置。
１－１４．　１－１．から１－１３．のいずれか一つに記載の情報処理装置において、
　前記取得手段は、学習中の前記対象者の画像を処理することにより、前記測定情報を得る
情報処理装置。
１－１５．　１－１．から１－１４．のいずれか一つに記載の情報処理装置において、
　前記分析手段は、学習中の前記対象者の画像をさらに用いて前記状態情報を生成する
情報処理装置。
２－１．　１－１．から１－１５．のいずれか一つに記載の情報処理装置と、
　前記対象者の脳波およびバイタルの少なくとも一方を測定する測定装置と、
　前記出力手段が前記状態情報を出力する端末とを備える
システム。
３－１．　一以上のコンピュータが、
　対象者の学習中の、脳波およびバイタルの少なくとも一方を示す測定情報と、前記対象者の属性情報とを取得し、
　前記測定情報および前記属性情報を用いて、前記対象者の状態に関する状態情報を生成し、
　前記状態情報を出力する
情報処理方法。
３－２．　３－１．に記載の情報処理方法において、
　前記状態情報は、前記測定情報が得られた測定時点の前記対象者の状態、および前記測定時点より後の前記対象者の状態の少なくとも一方に関する
情報処理方法。
３－３．　３－１．または３－２．に記載の情報処理方法において、
　前記状態情報は、前記対象者の感情、集中度、および理解度のうち少なくとも一つを示す
情報処理方法。
３－４．　３－１．から３－３．のいずれか一つに記載の情報処理方法において、
　前記出力手段は、前記測定時点において前記対象者を指導している指導者が用いる端末に対し、リアルタイムで前記状態情報を出力する
情報処理方法。
３－５．　３－１．から３－４．のいずれか一つに記載の情報処理方法において、
　前記一以上のコンピュータは、前記状態情報が予め定められた条件を満たす場合に、前記端末に報知情報をさらに出力する
情報処理方法。
３－６．　３－２．に記載の情報処理方法において、
　前記一以上のコンピュータは、前記測定時点の学習内容を少なくとも示す学習情報をさらに用いて、前記測定時点より後の前記対象者の学習状態に関する前記状態情報を生成する
情報処理方法。
３－７．　３－６．に記載の情報処理方法において、
　前記状態情報は、前記対象者への指導に関するアドバイス情報を含む
情報処理方法。
３－８．　３－６．または３－７．に記載の情報処理方法において、
　前記一以上のコンピュータは、教科または単元ごとの前記状態情報を生成する
情報処理方法。
３－９．　３－８．に記載の情報処理方法において、
　前記一以上のコンピュータは、端末に前記状態情報を出力し、
　前記端末は、複数の教科間または複数の単元間で、比較可能な状態で前記状態情報を出力する
情報処理方法。
３－１０．　３－１．から３－９．のいずれか一つに記載の情報処理方法において、
　前記属性情報は、支援が必要である要因に関する属性を含む
情報処理方法。
３－１１．　３－１０．に記載の情報処理方法において、
　前記属性情報は、前記対象者の障害に関する情報および前記対象者の言語に関する情報の少なくとも一方を含む
情報処理方法。
３－１２．　３－１．から３－１１．のいずれか一つに記載の情報処理方法において、
　前記一以上のコンピュータは、機械学習によって生成されたモデルを用いて前記状態情報を生成する
情報処理方法。
３－１３．　３－１２．に記載の情報処理方法において、
　前記属性情報には、一以上の属性が示されており、
　分析記憶手段には、一の属性または二以上の属性の組み合わせにそれぞれが関連付けられた複数の前記モデルが保持されており、
　前記一以上のコンピュータは、前記対象者の前記属性情報に基づいて、前記複数のモデルから使用すべき前記モデルを選択し、選択した前記モデルを前記状態情報の生成に用いる
情報処理方法。
３－１４．　３－１．から３－１３．のいずれか一つに記載の情報処理方法において、
　前記一以上のコンピュータは、学習中の前記対象者の画像を処理することにより、前記測定情報を得る
情報処理方法。
３－１５．　３－１．から３－１４．のいずれか一つに記載の情報処理方法において、
　前記一以上のコンピュータは、学習中の前記対象者の画像をさらに用いて前記状態情報を生成する
情報処理方法。
４－１．　コンピュータを、
　対象者の学習中の、脳波およびバイタルの少なくとも一方を示す測定情報と、前記対象者の属性情報とを取得する取得手段、
　前記測定情報および前記属性情報を用いて、前記対象者の状態に関する状態情報を生成する分析手段、および
　前記状態情報を出力する出力手段として機能させる
プログラム。
４－２．　４－１．に記載のプログラムにおいて、
　前記状態情報は、前記測定情報が得られた測定時点の前記対象者の状態、および前記測定時点より後の前記対象者の状態の少なくとも一方に関する
プログラム。
４－３．　４－１．または４－２．に記載のプログラムにおいて、
　前記状態情報は、前記対象者の感情、集中度、および理解度のうち少なくとも一つを示す
プログラム。
４－４．　４－１．から４－３．のいずれか一つに記載のプログラムにおいて、
　前記出力手段は、前記測定時点において前記対象者を指導している指導者が用いる端末に対し、リアルタイムで前記状態情報を出力する
プログラム。
４－５．　４－１．から４－４．のいずれか一つに記載のプログラムにおいて、
　前記出力手段は、前記状態情報が予め定められた条件を満たす場合に、前記端末に報知情報をさらに出力する
プログラム。
４－６．　４－２．に記載のプログラムにおいて、
　前記分析手段は、前記測定時点の学習内容を少なくとも示す学習情報をさらに用いて、前記測定時点より後の前記対象者の学習状態に関する前記状態情報を生成する
プログラム。
４－７．　４－６．に記載のプログラムにおいて、
　前記状態情報は、前記対象者への指導に関するアドバイス情報を含む
プログラム。
４－８．　４－６．または４－７．に記載のプログラムにおいて、
　前記分析手段は、教科または単元ごとの前記状態情報を生成する
プログラム。
４－９．　４－８．に記載のプログラムにおいて、
　前記出力手段は、端末に前記状態情報を出力し、
　前記端末は、複数の教科間または複数の単元間で、比較可能な状態で前記状態情報を出力する
プログラム。
４－１０．　４－１．から４－９．のいずれか一つに記載のプログラムにおいて、
　前記属性情報は、支援が必要である要因に関する属性を含む
プログラム。
４－１１．　４－１０．に記載のプログラムにおいて、
　前記属性情報は、前記対象者の障害に関する情報および前記対象者の言語に関する情報の少なくとも一方を含む
プログラム。
４－１２．　４－１．から４－１１．のいずれか一つに記載のプログラムにおいて、
　前記分析手段は、機械学習によって生成されたモデルを用いて前記状態情報を生成する
プログラム。
４－１３．　４－１２．に記載のプログラムにおいて、
　前記属性情報には、一以上の属性が示されており、
　分析記憶手段には、一の属性または二以上の属性の組み合わせにそれぞれが関連付けられた複数の前記モデルが保持されており、
　前記分析手段は、前記対象者の前記属性情報に基づいて、前記複数のモデルから使用すべき前記モデルを選択し、選択した前記モデルを前記状態情報の生成に用いる
プログラム。
４－１４．　４－１．から４－１３．のいずれか一つに記載のプログラムにおいて、
　前記取得手段は、学習中の前記対象者の画像を処理することにより、前記測定情報を得る
プログラム。
４－１５．　４－１．から４－１４．のいずれか一つに記載のプログラムにおいて、
　前記分析手段は、学習中の前記対象者の画像をさらに用いて前記状態情報を生成する
プログラム。
５－１．プログラムを記録しているコンピュータ読み取り可能な記録媒体であって、
　前記プログラムは、コンピュータを、
　　対象者の学習中の、脳波およびバイタルの少なくとも一方を示す測定情報と、前記対象者の属性情報とを取得する取得手段、
　　前記測定情報および前記属性情報を用いて、前記対象者の状態に関する状態情報を生成する分析手段、および
　　前記状態情報を出力する出力手段として機能させる
記録媒体。
５－２．　５－１．に記載の記録媒体において、
　前記状態情報は、前記測定情報が得られた測定時点の前記対象者の状態、および前記測定時点より後の前記対象者の状態の少なくとも一方に関する
記録媒体。
５－３．　５－１．または５－２．に記載の記録媒体において、
　前記状態情報は、前記対象者の感情、集中度、および理解度のうち少なくとも一つを示す
記録媒体。
５－４．　５－１．から５－３．のいずれか一つに記載の記録媒体において、
　前記出力手段は、前記測定時点において前記対象者を指導している指導者が用いる端末に対し、リアルタイムで前記状態情報を出力する
記録媒体。
５－５．　５－１．から５－４．のいずれか一つに記載の記録媒体において、
　前記出力手段は、前記状態情報が予め定められた条件を満たす場合に、前記端末に報知情報をさらに出力する
記録媒体。
５－６．　５－２．に記載の記録媒体において、
　前記分析手段は、前記測定時点の学習内容を少なくとも示す学習情報をさらに用いて、前記測定時点より後の前記対象者の学習状態に関する前記状態情報を生成する
記録媒体。
５－７．　５－６．に記載の記録媒体において、
　前記状態情報は、前記対象者への指導に関するアドバイス情報を含む
記録媒体。
５－８．　５－６．または５－７．に記載の記録媒体において、
　前記分析手段は、教科または単元ごとの前記状態情報を生成する
記録媒体。
５－９．　５－８．に記載の記録媒体において、
　前記出力手段は、端末に前記状態情報を出力し、
　前記端末は、複数の教科間または複数の単元間で、比較可能な状態で前記状態情報を出力する
記録媒体。
５－１０．　５－１．から５－９．のいずれか一つに記載の記録媒体において、
　前記属性情報は、支援が必要である要因に関する属性を含む
記録媒体。
５－１１．　５－１０．に記載の記録媒体において、
　前記属性情報は、前記対象者の障害に関する情報および前記対象者の言語に関する情報の少なくとも一方を含む
記録媒体。
５－１２．　５－１．から５－１１．のいずれか一つに記載の記録媒体において、
　前記分析手段は、機械学習によって生成されたモデルを用いて前記状態情報を生成する
記録媒体。
５－１３．　５－１２．に記載の記録媒体において、
　前記属性情報には、一以上の属性が示されており、
　分析記憶手段には、一の属性または二以上の属性の組み合わせにそれぞれが関連付けられた複数の前記モデルが保持されており、
　前記分析手段は、前記対象者の前記属性情報に基づいて、前記複数のモデルから使用すべき前記モデルを選択し、選択した前記モデルを前記状態情報の生成に用いる
記録媒体。
５－１４．　５－１．から５－１３．のいずれか一つに記載の記録媒体において、
　前記取得手段は、学習中の前記対象者の画像を処理することにより、前記測定情報を得る
記録媒体。
５－１５．　５－１．から５－１４．のいずれか一つに記載の記録媒体において、
　前記分析手段は、学習中の前記対象者の画像をさらに用いて前記状態情報を生成する
記録媒体。

　この出願は、２０２２年９月２１日に出願された日本出願特願２０２２－１５０２１４号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０　情報処理装置
２０　測定装置
３０　端末
４０　撮像装置
５０　システム
１００　測定記憶部
１１０　取得部
１２０　対象者記憶部
１３０　分析部
１４０　分析記憶部
１４５　蓄積記憶部
１５０　出力部
１６０　状態情報記憶部
１０００　計算機
１０２０　バス
１０４０　プロセッサ
１０６０　メモリ
１０８０　ストレージデバイス
１１００　入出力インタフェース
１１２０　ネットワークインタフェース

Claims

　対象者の学習中の、脳波およびバイタルの少なくとも一方を示す測定情報と、前記対象者の属性情報とを取得する取得手段と、
　前記測定情報および前記属性情報を用いて、前記対象者の状態に関する状態情報を生成する分析手段と、
　前記状態情報を出力する出力手段とを備える
情報処理装置。
　請求項１に記載の情報処理装置において、
　前記状態情報は、前記測定情報が得られた測定時点の前記対象者の状態、および前記測定時点より後の前記対象者の状態の少なくとも一方に関する
情報処理装置。
　請求項１または２に記載の情報処理装置において、
　前記状態情報は、前記対象者の感情、集中度、および理解度のうち少なくとも一つを示す
情報処理装置。
　請求項１から３のいずれか一項に記載の情報処理装置において、
　前記出力手段は、前記測定情報が得られた測定時点において前記対象者を指導している指導者が用いる端末に対し、リアルタイムで前記状態情報を出力する
情報処理装置。
　請求項４に記載の情報処理装置において、
　前記出力手段は、前記状態情報が予め定められた条件を満たす場合に、前記端末に報知情報をさらに出力する
情報処理装置。
　請求項２に記載の情報処理装置において、
　前記分析手段は、前記測定時点の学習内容を少なくとも示す学習情報をさらに用いて、前記測定時点より後の前記対象者の学習状態に関する前記状態情報を生成する
情報処理装置。
　請求項６に記載の情報処理装置において、
　前記状態情報は、前記対象者への指導に関するアドバイス情報を含む
情報処理装置。
　請求項６または７に記載の情報処理装置において、
　前記分析手段は、教科または単元ごとの前記状態情報を生成する
情報処理装置。
　請求項８に記載の情報処理装置において、
　前記出力手段は、端末に前記状態情報を出力し、
　前記端末は、複数の教科間または複数の単元間で、比較可能な状態で前記状態情報を出力する
情報処理装置。
　請求項１から９のいずれか一項に記載の情報処理装置において、
　前記属性情報は、支援が必要である要因に関する属性を含む
情報処理装置。
　請求項１０に記載の情報処理装置において、
　前記属性情報は、前記対象者の障害に関する情報および前記対象者の言語に関する情報の少なくとも一方を含む
情報処理装置。
　請求項１から１１のいずれか一項に記載の情報処理装置において、
　前記分析手段は、機械学習によって生成されたモデルを用いて前記状態情報を生成する
情報処理装置。
　請求項１２に記載の情報処理装置において、
　前記属性情報には、一以上の属性が示されており、
　分析記憶手段には、一の属性または二以上の属性の組み合わせにそれぞれが関連付けられた複数の前記モデルが保持されており、
　前記分析手段は、前記対象者の前記属性情報に基づいて、前記複数のモデルから使用すべき前記モデルを選択し、選択した前記モデルを前記状態情報の生成に用いる
情報処理装置。
　請求項１から１３のいずれか一項に記載の情報処理装置において、
　前記取得手段は、学習中の前記対象者の画像を処理することにより、前記測定情報を得る
情報処理装置。
　請求項１から１４のいずれか一項に記載の情報処理装置において、
　前記分析手段は、学習中の前記対象者の画像をさらに用いて前記状態情報を生成する
情報処理装置。
　請求項１から１５のいずれか一項に記載の情報処理装置と、
　前記対象者の脳波およびバイタルの少なくとも一方を測定する測定装置と、
　前記出力手段が前記状態情報を出力する端末とを備える
システム。
　一以上のコンピュータが、
　　対象者の学習中の、脳波およびバイタルの少なくとも一方を示す測定情報と、前記対象者の属性情報とを取得し、
　　前記測定情報および前記属性情報を用いて、前記対象者の状態に関する状態情報を生成し、
　　前記状態情報を出力する
情報処理方法。
　コンピュータを、
　　対象者の学習中の、脳波およびバイタルの少なくとも一方を示す測定情報と、前記対象者の属性情報とを取得する取得手段、
　　前記測定情報および前記属性情報を用いて、前記対象者の状態に関する状態情報を生成する分析手段、および
　　前記状態情報を出力する出力手段として機能させる
プログラム。