JP7099377B2 - 情報処理装置及び情報処理方法 - Google Patents

Description

本発明は、情報処理装置及び情報処理方法に関する。

教育機関等において利用される、学習者の学習を支援するシステムが従来技術として知られている。例えば、特許文献１には、学習者の読み返し頻度及び視線停留をモニタリングした結果を他の学習者と比較して、その比較結果を学習者及び指導者に提示する技術が記載されている。

特開２００５－３３８１７３号公報（２００５年１２月８日公開）

しかしながら、特許文献１に記載された技術は、学習者の理解度を評価するものであり、学習者に指導が必要か否かは、評価結果に基づいて学習者又は指導者自身が検討する必要がある。

本発明の一態様は、学習者の学習プロセスを可視化して、当該学習者に対する指導要否を判定することで、指導が必要な学習者をシステムにより抽出する学習支援システムを実現することを目的とする。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、学習者の顔の少なくとも一部の情報を含む顔情報を取得する顔情報取得部と、前記顔情報を参照して、前記学習者が視認している複数の視認対象物を特定する視認対象特定部と、前記視認対象特定部が特定した視認対象物の組み合わせに応じて、前記学習者に対する指導要否又は指導要否レベルを判定する指導判定部とを備えていることを特徴とする。

上記の態様によれば、学習者が視認している視認対象物の組み合わせに応じて、学習者に対する指導要否又は指導要否レベルを判定することができる。

前記一態様に係る情報処理装置において、前記指導判定部は、前記視認対象物を視認した順番に応じて、前記学習者に対する指導要否又は指導要否レベルを判定する。

上記の態様によれば、学習者が視認対象物を視認した順番に応じて、学習者に対する指導要否又は指導要否レベルを判定することができる。

前記一態様に係る情報処理装置において、前記視認対象物には、設問文及び問題文の少なくとも一方が含まれている。

上記の態様によれば、学習者が設問文又は問題文を視認した情報に基づいて、学習者に対する指導要否又は指導要否レベルを判定することができる。

前記一態様に係る情報処理装置において、前記視認対象物には、設問文中及び問題文中の少なくとも一方の特定の部位が含まれている。

上記の態様によれば、学習者が設問文又は問題文中の特定の部位を視認した情報に基づいて、学習者に対する指導要否又は指導要否レベルを判定することができる。

前記一態様に係る情報処理装置において、前記指導判定部は、前記学習者の学習者情報をさらに参照して、当該学習者に対する指導要否又は指導要否レベルを判定する。

上記の態様によれば、学習者の学習者情報を参照することで、より正確に学習者に対する指導要否又は指導要否レベルを判定することができる。

また、前記課題を解決するために、本発明の一態様に係る情報処理方法は、学習者の顔の少なくとも一部の情報を含む顔情報を取得する顔情報取得ステップと、前記顔情報を参照して、前記学習者が視認している複数の視認対象物を特定する視認対象特定ステップと、前記視認対象特定ステップにおいて特定した視認対象物の組み合わせに応じて、前記学習者に対する指導要否又は指導要否レベルを判定する指導判定ステップとを含むことを特徴とする。

上記の態様によれば、学習者が視認している視認対象物の組み合わせに応じて、学習者に対する指導要否又は指導要否レベルを判定することができる。

また、前記課題を解決するために、本発明の一態様に係る情報処理プログラムは、前記いずれかの情報処理装置としてコンピュータを機能させるための情報処理プログラムであって、前記顔情報取得部、前記視認対象特定部、及び前記指導判定部としてコンピュータを機能させる。

上記の態様によれば、学習者が視認している視認対象物の組み合わせに応じて、学習者に対する指導要否又は指導要否レベルを判定することができる。

本発明の一態様によれば、学習者が視認している視認対象物の組み合わせに応じて、学習者に対する指導要否又は指導要否レベルを判定することができる。

本発明の一実施形態に係る情報処理装置の構成要素を示すブロック図である。 本発明の一実施形態に係る情報処理装置が備えた表示部が表示する画面の例を示す図である。 本発明の一実施形態に係る情報処理装置の指導判定部が取得するリファレンスデータの一例を示す図である。 本発明の一実施形態に係る情報処理装置の指導判定部が出力する指導要否データの一例を示す図である。 本発明の一実施形態に係る情報処理装置の処理の流れの一例を示すフローチャートである。 本発明の一実施形態に係る情報処理装置の指導判定部の要部構成を示すブロック図である。 本発明の一実施形態に係る情報処理装置の指導判定部が取得する目標情報の一例を示す図である。 本発明の他の実施形態に係る情報処理装置の構成要素を示すブロック図である。 本発明の他の実施形態に係る情報処理装置の可視化情報生成部が生成する情報の一例を示す図である。

[第１実施形態]
〔情報処理装置〕
以下、本発明の一実施形態について、詳細に説明する。情報処理装置１００は、学習者の学習プロセスを可視化して、当該学習者に対する指導要否を判定することで、指導が必要な学習者をシステムにより抽出する学習支援システムである。図１は、本発明の一実施形態に係る情報処理装置１００の構成要素を示すブロック図である。図１に示すように、情報処理装置１００は、顔情報取得部１、視認対象特定部２、及び指導判定部３を備えている。情報処理装置１００は、状態検出部４、学習者情報取得部５、記憶部６、表示部７、及び画像取得部８を備えていてもよい。ここで、視認対象特定部２、指導判定部３、及び状態検出部４は、情報処理装置１００の制御部９の一構成として実現される。

このような構成により、情報処理装置１００は、学習者の学習プロセスを可視化して、当該学習者に対する指導要否を判定することができる。

情報処理装置１００は、一例として、ローカルネットワーク又はグローバルネットワークに接続可能な端末装置（例えば、スマートフォン、タブレット端末、パソコン、テレビジョン受像機等）に実装される。

（顔情報取得部）
顔情報取得部１は、例えば、カメラ等の撮像部から取得した画像から、学習者の顔情報を取得する。学習者の顔情報とは、顔の特徴量を示す情報である。顔の特徴量とは、例えば、顔の各部位（例えば、目、鼻、口及び眉等）の位置を示す位置情報、形状を示す形状情報及び大きさを示す大きさ情報等を指す。特に、目の情報からは、学習者が注視する対象に対する学習者の興味および関心の度合い等を評価することができるため、特に有用である。目の情報としては、例えば目頭および目尻の端点、虹彩および瞳孔等のエッジ等が挙げられる。また、顔情報取得部１は、撮像部から取得した画像に、ノイズ低減、エッジ強調等の補正処理を適宜行ってもよい。顔情報取得部１は、抽出した顔情報を状態検出部４に送信する。

（状態検出部）
状態検出部４は、顔情報取得部１が抽出した顔情報に基づき、学習者の状態を検出する。状態検出部４は、学習者の状態を検出した後、該検出結果に関する情報を視認対象特定部２へ送信する。状態検出部４が検出する上記学習者の状態は、例えば、学習者の顔の各部位の状態であり、上記学習者の視線、瞳孔の状態、瞬きの回数、眉の動き、頬の動き、瞼の動き、唇の動きおよび顎の動きのうち少なくとも１つである。

状態検出部４は、一例として、顔情報取得部１が取得した顔の特徴量である顔の各部位（例えば、目、鼻、口、頬および眉等）の位置を示す位置情報、形状を示す形状情報および大きさを示す大きさ情報等を参照し、学習者の状態として、例えば、上記学習者の視線、瞳孔の状態、瞬きの回数、眉の動き、頬の動き、瞼の動き、唇の動きおよび顎の動きのうち少なくとも１つを検出してもよい。

このように、状態検出部４を備えることで、情報処理装置１００は、学習者の状態を好適に検出することできる。

視線の検出方法としては、特に限定されないが、例えば、情報処理装置１００に、点光源（不図示）を設け、点光源からの光の角膜反射像を撮像部で所定時間撮影することにより、学習者の視線の移動先を検出する方法が挙げられる。点光源の種類は特に限定されず、可視光、赤外光が挙げられるが、例えば赤外線ＬＥＤを用いることで、学習者に不快感を与えることなく、視線の検出をすることができる。視線の検出において、視線が所定時間以上移動しない場合は、同じ場所を注視しているといえる。

また、瞳孔の状態を検出する方法としては、特に限定されないが、例えば、ハフ変換を利用して、目の画像から円形の瞳孔を検出する方法等が挙げられる。一般的に、人間は、集中している場合に開瞳する傾向にあるため、瞳孔のサイズを検出することで、学習者の集中の度合いを評価することができる。例えば、瞳孔のサイズを所定時間検出し、所定時間内で瞳孔が大きくなっている時間は、学習者がある対象を注視している可能性が高いといえる。瞳孔のサイズに関して、閾値を設定し、瞳孔のサイズが閾値以上である場合は「開」、瞳孔のサイズが閾値未満である場合は「閉」として評価してもよい。

また、瞬きの回数を検出する方法としては、特に限定されないが、例えば、赤外光を学習者の目に対して照射し、開眼時と、閉眼時との赤外光量反射量の差を検出する方法等が挙げられる。一般的に、人間は、集中している場合、低い頻度で安定した間隔で瞬きをする傾向にあるため、瞬きの回数を検出することで、学習者の集中度を評価することができる。例えば、瞬きの回数を所定時間検出し、所定時間内で瞬きが安定した間隔で行われている場合、学習者がある対象を注視している可能性が高いといえる。

状態検出部４は、学習者の視線、瞳孔の状態および瞬きの回数、眉の動き、瞼の動き、頬の動き、鼻の動き、唇の動きおよび顎の動きのうち少なくとも１つを検出すればよいが、これらを組み合わせることが好ましい。このように検出方法を組み合わせることで、状態検出部４は、ある対象物を視認しているときの学習者の集中度を好適に評価することができる。

目の状態以外では、例えば、眉の内側を持ち上げるか、外側を上げるか等の眉の動き、上瞼を上げる、瞼を緊張させる等の瞼の動き、鼻に皺を寄せる等の鼻の動き、上唇を持ち上げる、唇をすぼめる等の唇の動き、頬を持ち上げる等の頬の動き、顎を下げる等の顎の動き等の顔の各部位の状態が挙げられる。学習者の状態として、顔の複数の部位の状態を組み合わせてもよい。

（視認対象特定部）
視認対象特定部２は、状態検出部４から取得した検出結果に基づき、学習者が視認している視認対象物を特定する。視認対象特定部２の具体的な処理について、図２を用いて説明する。図２は、情報処理装置１００が備えた表示部７が表示する画面の例を示す図である。視認対象物には、設問文及び問題文の少なくとも一方が含まれる。また、視認対象物には、設問文中及び問題文中の少なくとも一方の特定の部位が含まれる。ここで特定の部位には、設問文中又は問題文中に付された下線部が含まれる。図２に示す例において、学習者が視認している視認対象物は、問題文、設問文、下線部、及び選択肢である。

図２に示すように、表示部７には、例えば、問題文表示領域１０、設問文表示領域１１、及び選択肢表示領域１２が含まれている。そして、問題文表示領域１０には、下線が表示された下線部領域１３が含まれている。視認対象特定部２は、まず、これらの領域の表示画面上の座標を、後述する画像取得部８から取得する。

視認対象特定部２は、取得した各領域の座標と、状態検出部４から取得した視線情報とを照合して、学習者の視線位置の座標が、どの領域の座標内にあるかを特定する。例えば、図２に示されるように、学習者の視線位置１４の座標が、問題文表示領域１０の下線部領域１３の座標内にあると特定された場合、視認対象特定部２は、学習者の視線位置の座標が、下線部領域１３の座標内に留まっている時間のカウントを開始する。このように、視認対象特定部２は、学習者の視線位置の座標と、表示部７の各領域の座標とを照合することで、学習者がどの視認対象物を視認しているかを特定する。また、視認対象特定部２は、表示画面に一の問題が表示されている間継続して視認対象物の特定を行うことで、学習者がその問題に関して視認した視認対象物の組み合わせを特定することができる。

また、視線の情報に加えて、（状態検出部）で記載したように、瞳孔の状態、瞬きの回数、眉の動き、瞼の動き、頬の動き、鼻の動き、唇の動きおよび顎の動きの検出結果を参照することで、学習者がどの領域を集中して視認しているかをさらに好適に特定することができる。

視認対象特定部２は、特定した視認対象物に関する情報を指導判定部３へ送信する。

（指導判定部）
指導判定部３は、視認対象特定部２が特定した、学習者が視認している視認対象物の組み合わせに応じて、学習者に対する指導要否又は指導要否レベルを判定する。

学習者が図２に示すような問題に解答する場合、問題文を読んだ上で設問文を読んでから解答する方法や、まず設問文を読んでから問題文を読んで解答する方法のように、学習者が解答を得るまでの学習プロセスは様々である。また、学習者は、問題文又は設問文中に下線が付された箇所を重要箇所と認識し、問題文又は設問文の全体を読む前に下線が付された箇所を読む場合もあり、さらに、選択肢を選択して解答する選択式の問題では、選択肢から読むことも考えられる。また、学習者が問題文を読まずに選択肢を選択するような場合も考えられる。

このように、学習者による学習プロセスは様々であるので、例えば、望ましくない学習プロセスであれば指導の必要度が高く、望ましい学習プロセスであれば指導の必要度が低い、というように、指導者は学習プロセスに応じて指導の要否や指導方法を判断する必要がある。情報処理装置１００は、学習者が視認する視認対象物を特定することで学習者の学習プロセスを可視化し、視認対象物の組み合わせに応じて、学習者に対する指導要否又は指導要否レベルを判定する。このように、学習者が視認する視認対象物の組み合わせに応じて指導要否又は指導要否レベルを判定することで、指導が必要な学習者をシステムにより抽出し、学習支援することができる。

指導判定部３は、視認対象特定部２が特定した視認対象物の組み合わせに応じて、学習者に対する指導要否又は指導要否レベルを判定する。一例として、指導判定部３は、情報処理装置１００に予め記憶されたリファレンスデータを参照して、指導要否又は指導要否レベルを判定する。また、指導判定部３は、予め定められたルールに従って指導要否又は指導要否レベルを判定してもよい。

指導判定部３がリファレンスデータを参照して、指導要否又は指導要否レベルを判定する態様について説明する。図３は、指導判定部３が取得するリファレンスデータの一例を示す図である。リファレンスデータは、記憶部６に格納されている。図３において、「科目」は、学習者が学習する科目であり、「レベル」は、学習者の指導要否レベルであり、「性格」は、学習者の性格であり、「順列」は、視認対象物の組み合わせ順を示している。

学習する科目毎に、指導の必要度が高い又は低い学習プロセスは異なり、指導要否レベルも異なることが考えられる。したがって、図３に示すリファレンスデータは、科目毎のデータを含んでいる。同じ学習プロセスについて、科目毎に指導要否レベルが相違しない場合には、リファレンスデータは、科目の項目を含まなくてもよい。

「指導要否レベル」は、学習者の学習プロセスに応じた、学習者に対する指導の必要度を示している。例えば、学習者に対する指導の必要度を５段階で示し、指導要否レベル１が最も指導の必要度が低く、指導要否レベル５が最も指導の必要度が高くなるように設定する。なお、蓄積された指導判定部３の判定結果をフィードバックして、順列に関連付けられた指導要否レベルを更新してもよい。なお、リファレンスデータは、「指導要否レベル」の替わりに、指導要か指導否かの指導要否のみを表し、そのレベル分けをしていない「指導要否」の項目を含んでもよい。

「性格」の項目は、学習者の性格の特徴に応じてグループ分けしたグループを表している。指導判定部３は、学習者の学習者情報をさらに参照して、当該学習者に対する指導要否又は指導要否レベルを判定する。学習者の性格により、望ましい又は望ましくない学習プロセスは異なることが考えられる。したがって、図３に示すリファレンスデータは、学習者の性格毎のデータを含んでいる。例えば、几帳面な性格の学習者のグループＡに属する学習者と、注意力散漫な性格の学習者のグループＢに属する学習者とで、学習プロセスに応じた指導の必要度が異なり得る。

図３を参照してより具体的に説明すれば、設問文－問題文－下線部－選択肢の順に見て学習した場合に、性格Ａの学習者は指導要否レベル１であり、指導の必要度は低いが、性格Ｂの学習者は指導要否レベル３であり、指導の必要度はより高いというように、同じ学習プロセスであっても学習者の性格に応じて指導要否及び指導要否レベルが異なる。なお、指導要否レベルの判定において学習者の性格を考慮しない場合や、指導要否レベルが学習者の性格により影響を受けない場合には、リファレンスデータは、性格の項目を含まなくてもよい。

「順列」は、視認対象物の組み合わせを、視認した順番の違いを区別して並べたデータである。なお、リファレンスデータは、「順列」の替わりに、視認対象物の組み合わせを表し、その視認した順番の違いを区別していない「組み合わせ」の項目を含んでもよい。

視認対象物として、設問文、問題文、下線部、及び選択肢の４つがある場合に、「順列」は、この４つの視認対象物からなるデータのみであってもよいし、視認対象物のいくつかを省略して、視認対象物の一部のみを含むデータであってもよい。例えば、「順列」は、設問文、問題文、及び選択肢のみを見て、下線部は見ない場合のように、下線部が省略された順列であってもよい。また、「順列」は、視認対象物のいくつかが重複したデータであってもよい。例えば、「順列」は、問題文を見た後に設問文を見て、さらにもう一度問題文を見る場合のように、問題文が重複した順列であってもよい。

次に、リファレンスデータを参照した指導判定部３の判定について説明する。図４は、指導判定部３が出力する指導要否データの一例を示す図である。図４において、「科目」は、学習者が学習した科目であり、「問題」は、学習者が学習した問題であり、「ＩＤ」は、学習者を識別するための情報であり、「性格」は、学習者の性格であり、「順列」は、視認対象特定部２が特定した視認対象物の順列であり、「指導要否レベル」は、指導判定部３が判定した指導要否レベルを示している。

指導判定部３は、問題毎に各学習者の指導要否レベルを判定する。例えば、図４に示す指導要否データには、問題０００１に対して、学習者０００１、０００２、及び０００３それぞれについて、指導要否レベルを判定した結果が示されている。

図４に示す指導要否データの「性格」及び「順列」の項目は、図３に示すリファレンスデータの「性格」及び「順列」の項目に紐付いている。すなわち、指導判定部３は、学習者情報取得部５から取得した学習者情報から、学習者０００１の性格（Ａ）を特定し、視認対象特定部２から取得した視認対象物に関する情報から、学習者０００１が問題０００１を学習したときの順列（下線部－選択肢－問題文－設問文）を特定し、記憶部６から取得したリファレンスデータを参照し、特定した性格及び順列が紐付いているデータを抽出して、指導要否レベルを５と判定する。

指導判定部３は、同様に、学習者０００２について、性格（Ｂ）及び順列（問題文－設問文－下線部－選択肢）を特定し、リファレンスデータを参照して、指導要否レベルを２と判定する。また、指導判定部３は、学習者０００３について、性格（Ａ）及び順列（設問文－問題文－下線部－選択肢）を特定し、リファレンスデータを参照して、指導要否レベルを１と判定する。

このように、指導判定部３は、リファレンスデータを参照し、視認対象物を視認した順番に応じて、指導要否又は指導要否レベルを判定する。

次に、予め定められたルールに従った指導判定部３の判定について説明する。予め定められたルールは、例えば、最初に下線部を見た場合は－１０点、問題文を最初に見た場合は－５点のような、減点方式又は加点方式のルールである。そして、このルールでは、点数が－１０点以上であれば、指導要否レベルが５で最も指導の必要度が高く、点数が０点であれば、指導要否レベルが１で指導の必要度が最も低いことも予め定められている。

したがって、指導判定部３は、学習者情報取得部５が特定した学習者について、視認対象特定部２が特定した視認対象物の順列に対して、記憶部６から取得した予め定められたルールを適用して採点し、採点結果に基づいて指導要否レベルを判定する。例えば、指導判定部３は、学習者０００１について、下線部を最初に見ているので点数を－１０点とし、指導要否レベル５と判定する。

指導判定部３は、例えば、以下の事項をさらに判定して、指導要否又は指導要否レベルを判定してもよい。

問題文及び解答の選択肢の文全体を一読するのに最低限必要であるとされる閾値の時間より短い時間で解答した場合は、そもそも学習者が問題文及び選択肢の文を読まずに解答した可能性が高く、指導の必要度がより高いと言える。この場合、指導判定部３は、指導要否レベルを上げる等の処理を行ってもよい。

（記憶部）
記憶部６には、制御部９を動作させるためのプログラム、及び、指導判定部３が参照するリファレンスデータや他の各種データが格納されている。

（学習者情報取得部）
学習者情報取得部５は、例えば、データベース等に予め登録されている特定の学習者の学習者情報を取得し、取得した学習者情報を指導判定部３に送信する。一例として、学習者情報には、学習者の属性を示す属性情報と、他の学習者と対象学習者とを識別するための学習者識別情報が含まれる。学習者の属性情報とは、例えば、学習者の年齢、性別、性格（几帳面、注意力散漫等）等である。また、学習者識別情報とは、例えば、学習者のＩＤ、学習者のメールアドレス等である。

このように、学習者情報に、学習者識別情報が含まれることで、他の学習者と対象学習者とを識別することができ、学習者の指導要否又は指導要否レベルの判定結果と、学習者情報とを紐づけることができる。

（表示部）
表示部７は、学習者が視認する視認対象物を表示する。また、表示部７は、指導判定部３による指導要否又は指導要否レベルの判定結果を表示してもよい。本実施形態においては、情報処理装置１００が表示部７を備える構成を例として説明したが、情報処理装置１００とは別体に表示部を構成してもよい。

表示部７が、指導判定部３による指導要否又は指導要否レベルの判定結果を表示する場合、図４に示すような、指導判定部３が出力した指導要否データをそのまま表示してもよいし、指導要否データを可視化したオブジェクトを含む表示データを表示してもよい。表示データの一例として、グラフが挙げられる。表示データは、１人の学習者の指導要否レベルを示していてもよいし、複数の学習者の平均の指導要否レベル等を併せて表示してもよい。これにより、学習者の指導要否レベルを一目で把握することができ、学習者の指導要否レベルを可視化することができる。

また、表示部７は、指導判定部３による指導要否又は指導要否レベルと共に、指導要否又は指導要否レベルに基づく提案情報を表示してもよい。提案情報とは、例えば、指導要否レベルが高い問題について、指導を促す情報や、指導方法を提案する情報である。提案情報は、具体的には、「英文法の関係代名詞についての指導が必要です。」、「教科書８ページから１０ページについて再度説明してください。」等のメッセージであってもよい。

（画像取得部）
情報処理装置１００は、カメラなどの撮像装置から、学習者の視野を含む撮像画像を取得する画像取得部８をさらに備えてもよい。ここで、撮像装置は、学習者の状態を検出できるものであれば特に限定されないが、例えば、メガネ型のウェアラブルデバイスに搭載されたカメラ、ヘッドマウントデバイスに搭載されたカメラ等が挙げられる。これらのデバイスの種類としては、透過型でもよいし、非透過型でもよい。非透過型の場合、一例として、カメラ（撮像装置）と、学習者が視認している先のディスプレイ（表示部）とが同じ装置に備えられる構成であってもよい。

学習者の視野を含む撮像画像とは、例えば、学習者が見ている先の景色およびディスプレイ（表示部）等を撮影した画像である。

視認対象特定部２は、画像取得部８が取得した撮像画像と、上記状態検出部４が検出した結果と、を参照して、学習者が視認している視認対象物を特定してもよい。具体的には、視認対象特定部２は、撮像画像領域の座標と、状態検出部４が検出した学習者の視線情報とを照合し、学習者の視線位置の座標が、撮像画像中のどの座標に対応するかを判定する。視認対象特定部２は、画像取得部８が取得した撮像画像に含まれる対象物を、例えば、機械学習を用いて認識させる構成としてもよい。

これにより、学習者が視認している視認対象物を好適に特定することができる。

（制御部）
制御部９は、情報処理装置１００の各部を統括的に制御するものである。制御部９は、視認対象特定部２、指導判定部３、及び状態検出部４を含むものである。制御部９の各機能、及び情報処理装置１００に含まれる全ての機能は、例えば記憶部６等に記憶されたプログラムを、ＣＰＵが実行することによって実現されてもよい。

〔情報処理装置の処理例〕
次に、図５のフローチャートに基づき、情報処理装置１００の処理について説明する。

まず情報処理装置１００の使用を開始し、処理を開始する（ステップＳ２０）。ステップＳ（以下、「ステップ」は省略する）２１に進む。

Ｓ２１では、学習者情報取得部５が、学習者情報を取得する。処理の詳細は、（学習者情報取得部）に記載の通りである。学習者情報取得部５は、学習者情報を指導判定部３に送信し、Ｓ２２に進む。

Ｓ２２では、顔情報取得部１が、学習者の顔画像を撮像部から取得し、顔画像から学習者の顔情報を取得する（顔情報取得ステップ）。処理の詳細は、（顔情報取得部）に記載の通りである。顔情報取得部１は、取得した顔情報を状態検出部４に送信し、Ｓ２３に進む。

Ｓ２３では、状態検出部４が、顔情報取得部１が抽出した顔情報に基づき、学習者の視線、瞬き、瞳孔の状態、および顔の各部位の状態を検出する。処理の詳細は（状態検出部）に記載の通りである。検出結果を視認対象特定部２に送信し、Ｓ２４に進む。

Ｓ２４では、視認対象特定部２が、状態検出部４から取得した検出結果に基づき、学習者が視認している視認対象物を特定する（視認対象特定ステップ）。処理の詳細は、（視認対象特定部）に記載の通りである。視認対象特定部２は、特定した視認対象物に関する情報を、指導判定部３に送信し、Ｓ２５に進む。

Ｓ２５では、指導判定部３は、記憶部６からリファレンスデータを取得し、Ｓ２６に進む。

Ｓ２６では、指導判定部３が、視認対象特定部２から取得した視認対象物に関する情報と、記憶部６から取得したリファレンスデータとを参照し、学習者に対する指導要否又は指導要否レベルを判定する（指導判定ステップ）。処理の詳細は、（指導判定部）に記載の通りである。制御部９は、指導判定部３が判定した指導要否又は指導要否レベルを記憶部６に格納してもよい。指導判定部３は、判定した指導要否又は指導要否レベルを表示部７に送信し、Ｓ２７に進む。

Ｓ２７では、表示部７が、指導判定部３から取得した指導要否又は指導要否レベルを表示してＳ２８に進み、処理を終了する。

〔指導判定部３の具体的構成〕
図６及び７を参照して、指導判定部３の具体的構成について説明する。図６は、本発明の一実施形態に係る情報処理装置１００の指導判定部３の要部構成を示すブロック図であり、図７は、本発明の一実施形態に係る情報処理装置１００の指導判定部３が取得する目標情報の一例を示す図である。指導判定部３は、特徴量変換部３１、推定結果算出部３２、及び指導方法分類部３３を備えている。

（特徴量変換部）

特徴量変換部３１は、視認対象物を視認した順番、及び、学習者の学習者情報を参照して、学習者に関する特徴量を算出する。特徴量変換部３１は、学習者の問題への注意の分布を特徴量として算出する。視認対象物を視認した順番は、図３及び４に示す「順列」に対応している。学習者の学習者情報には、図３及び４に示す「性格」が含まれる。特徴量変換部３１が算出する特徴量は、図３に示す「レベル」に対応している。

特徴量変換部３１は、視認対象物を視認した順番、及び、学習者の学習者情報を含むセンシングデータを参照して特徴量を算出してもよい。センシングデータには、学習者の視線、学習者の性格、学習者の教育履歴、指導者による学習者のラベリング（評価）等が含まれる。センシングデータは、模擬テスト中のビデオ画像や、学習者の視線位置の座標データ等から得られる。

特徴量変換部３１が算出する特徴量は、学習者の理解度や意欲を表している。特徴量変換部３１が特徴量を算出することで、例えば、学習者の理解度の低いポイント等が抽出及び記録される。特徴量変換部３１は、例えば、学習者の問題中の各視認対象物への視線停滞時間に基づき、学習者の問題中の各視認対象物に対する注意の分布を特徴量として算出する。特徴量変換部３１は、例えば、問題文よりも選択肢の方が視線停滞時間が長い場合には、この問題に対する学習者の理解度が低いと判定し、その判定結果を表す特徴量を算出する。特徴量は、例えば、理解度が最も高い場合をレベル１とし、理解度が最も低い場合をレベル５とする５段階評価であってもよい。

視認対象物を視認した順番は、視認対象特定部２により特定され、特徴量変換部３１に送られる。学習者情報は、学習者情報取得部５から特徴量変換部３１に送られる。特徴量変換部３１は、さらに、記憶部６に格納されたデータを取得して、特徴量の算出に使用してもよい。特徴量変換部３１は、算出した特徴量及びセンシングデータを、推定結果算出部３２に送ると共に、記憶部６にも送ってもよい。

（推定結果算出部）
推定結果算出部３２は、特徴量変換部３１により算出された特徴量を参照して、推定結果を算出する。推定結果算出部３２は、特徴量と共に、センシングデータを参照して推定結果を算出してもよい。推定結果算出部３２が算出する推定結果は、次回のテストにおける学習者の成績、今後の授業における学習者の意欲、退塾確率、テストを受ける生徒数等の予測である。

推定結果算出部３２は、例えば、特徴量がレベル１であれば、次回のテストにおける学習者の成績が良いと推定し、特徴量がレベル５であれば、次回のテストにおける学習者の成績が悪いと推定する。推定結果算出部３２は、推定結果を、指導方法分類部３３に送ると共に、記憶部６にも送ってもよい。

（指導方法分類部）
指導方法分類部３３は、推定結果算出部３２により算出された推定結果と、目標情報とを参照して、学習者に対する指導要否又は指導要否レベルを判定する。指導方法分類部３３は、推定結果及び目標情報と共に、センシングデータを参照して、学習者に対する指導要否又は指導要否レベルを判定してもよい。指導方法分類部３３は、指導要否又は指導要否レベルの判定結果を、表示部７に送ると共に、記憶部６にも送ってもよい。なお、図１に指導判定部３から表示部７への情報の送信について図示しているため、図６には表示部７を示していない。

指導方法分類部３３が判定する指導要否又は指導要否レベルは、図４に示す「指導要否レベル」に対応している。指導要否レベルは、より厳しい指導を要する、指導者を変える、特定の科目を集中的に指導する等の判定結果を表している。指導要否レベルは、目標情報に応じて変更される。

目標情報は、記憶部６に予め記憶された目標情報データに含まれる。目標情報データの一例を図７に示す。目標情報データには、学習者が設定した目標毎の、各教科の目標とする成績が含まれる。例えば、目標１が「○○大学合格」である場合に、「○○大学合格」を達成するために必要な「国語」の目標点数が１００点、「数学」の点数が目標２００点、「英語」の点数が目標１５０点である。

指導方法分類部３３は、センシングデータに含まれる学習者の目標と、学習者の推定結果とを参照し、推定結果の点数と目標点数との差が大きければ指導要否レベルを高くし、推定結果の点数と目標点数との差が小さければ指導要否レベルを低くするように判定してもよい。

例えば、学習者の推定結果の点数が「国語」５０点、「数学」８０点、「英語」１００点であり、学習者の目標が「目標１」である場合、特に数学の目標点数との差が大きい。したがって、指導方法分類部３３は、数学の成績を集中的に上げるような指導方法や、数学の指導に優れた指導者の選択を判定する。また、英語の推定結果の点数と目標点数との差が小さいので、国語及び数学の成績を上げることは諦めて英語の成績を上げるほうが効率的あると判断し、英語の成績を集中的に上げるような指導方法の選択を判定してもよい。

〔ソフトウェアによる実現例〕
情報処理装置１００の制御ブロック（特に状態検出部４、視認対象特定部２、及び指導判定部３）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、情報処理装置１００は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

[第２実施形態]
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

〔情報処理装置（その２）〕
図８は、本実施形態に係る情報処理装置の構成要素を示すブロック図である。図８に示すように、情報処理装置１０１は、制御部９０が可視化情報生成部９１を備えている点において、第１実施形態の情報処理装置１００と異なっている。

情報処理装置１０１は、学習者の顔の少なくとも一部の情報を含む顔情報を取得する顔情報取得部１と、顔情報を参照して、学習者が視認している複数の視認対象物を特定する視認対象特定部２と、視認対象特定部が特定した視認対象物を示す可視化された情報を生成する可視化情報生成部９１とを備えている。可視化情報生成部９１は、視認対象特定部２が視認対象物を特定した結果を時系列に取得する。可視化情報生成部９１は、生成した可視化情報を表示部７に送るとともに、記憶部６に送る。

可視化情報生成部９１が生成する可視化された情報には、各時刻においていずれの視認対象物が視認されているかを示す情報が含まれてもよい。また、可視化情報生成部９１が生成する可視化された情報には、所定時間内において、各視認対象物が視認された時間に関する情報が含まれてもよい。

図９は、可視化情報生成部９１が生成する可視化された情報の一例を示す図である。可視化された情報は、例えば、図９中（ａ）に示すように、時刻を横軸とし、各時刻においてテスト（問題Ｑ１～Ｑ５）中のどの問題を視認していたのかを示す経時的な情報をグラフ化したものである。図９中（ａ）は、時刻ｔ_１～ｔ_２に問題Ｑ１を視認し、時刻ｔ_３～ｔ_４に問題Ｑ２を視認し、時刻ｔ_５～ｔ_６に問題Ｑ３を視認し、時刻ｔ_７～ｔ_８に問題Ｑ４を視認し、時刻ｔ_９～ｔ_１０に問題Ｑ５を視認していたことを示している。

また、可視化された情報は、例えば、図９中（ｂ）に示すように、テストの総解答時間中に、テスト中の各問題をどの程度の時間視認していたかを示す情報である。図９中（ｂ）は、テストの総解答時間中に、各問題を視認していた時間の割合を円グラフで示している。

また、可視化された情報は、１つの問題を解いている間の各時刻に、問題文、設問文、下線部、及び選択肢のどの視認対象物を見ていたのかを示す経時的な情報や、１つの問題の総解答時間中に、問題文、設問文、下線部、及び選択肢のそれぞれを視認していた時間の割合を示す情報であってもよい。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 顔情報取得部
２ 視認対象特定部
３ 指導判定部
３１ 特徴量変換部
３２ 推定結果算出部
３３ 指導方法分類部
９１ 可視化情報生成部
１００、１０１ 情報処理装置

Claims (11)

1. 学習者の顔の少なくとも一部の情報を含む顔情報を取得する顔情報取得部と、
   前記顔情報を参照して、前記学習者が視認している複数の視認対象物を特定する視認対象特定部と、
   前記視認対象特定部が特定した視認対象物の組み合わせに応じて、前記学習者に対する指導要否又は指導要否レベルを判定する指導判定部と
   を備え、
   前記指導判定部は、前記視認対象物を視認した順番の違いを区別して並べたデータである順列に応じて、前記学習者に対する指導要否又は指導要否レベルを判定する
   ことを特徴とする情報処理装置。
2. 前記視認対象物には、設問文及び問題文の少なくとも一方が含まれる
   請求項１に記載の情報処理装置。
3. 前記視認対象物には、設問文中及び問題文中の少なくとも一方の特定の部位が含まれる請求項１又は２に記載の情報処理装置。
4. 前記指導判定部は、前記学習者の学習者情報をさらに参照して、当該学習者に対する指導要否又は指導要否レベルを判定する
   ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記指導判定部は、
   前記順列、及び、前記学習者の学習者情報を参照して、前記学習者に関する特徴量を算出する特徴量変換部と、
   前記特徴量を参照して、推定結果を算出する推定結果算出部と、
   前記推定結果と、目標情報とを参照して、前記学習者に対する指導要否又は指導要否レベルを判定する指導方法分類部と
   を備えていることを特徴とする請求項１に記載の情報処理装置。
6. 学習者の顔の少なくとも一部の情報を含む顔情報を取得する顔情報取得ステップと、
   前記顔情報を参照して、前記学習者が視認している複数の視認対象物を特定する視認対象特定ステップと、
   前記視認対象特定ステップにおいて特定した視認対象物の組み合わせに応じて、前記学習者に対する指導要否又は指導要否レベルを判定する指導判定ステップと
   を含み、
   前記指導判定ステップにおいては、前記視認対象物を視認した順番の違いを区別して並べたデータである順列に応じて、前記学習者に対する指導要否又は指導要否レベルを判定する
   ことを特徴とする
   情報処理方法。
7. 請求項１から５のいずれか１項に記載の情報処理装置としてコンピュータを機能させるための情報処理プログラムであって、前記顔情報取得部、前記視認対象特定部、及び前記指導判定部としてコンピュータを機能させるための情報処理プログラム。
8. 前記視認対象特定部が特定した視認対象物を示す可視化された情報を生成する可視化情報生成部
   をさらに備えていることを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
9. 前記可視化された情報には、各時刻において何れの視認対象物が視認されているかを示す情報が含まれる
   ことを特徴とする請求項８に記載の情報処理装置。
10. 前記可視化された情報には、所定時間内において、各視認対象物が視認された時間に関する情報が含まれる
    ことを特徴とする請求項８又は９に記載の情報処理装置。
11. 学習者の顔の少なくとも一部の情報を含む顔情報を取得する顔情報取得部と、
    前記顔情報を参照して、前記学習者が視認している複数の視認対象物を特定する視認対象特定部と、
    前記視認対象特定部が特定した視認対象物の組み合わせに応じて、前記学習者に対する指導要否又は指導要否レベルを判定する指導判定部と
    を備え、
    前記指導判定部は、
    前記視認対象物を視認した順番、及び、前記学習者の学習者情報を参照して、前記学習者に関する特徴量を算出する特徴量変換部と、
    前記特徴量を参照して、推定結果を算出する推定結果算出部と、
    前記推定結果と、目標情報とを参照して、前記学習者に対する指導要否又は指導要否レベルを判定する指導方法分類部と
    を備えていることを特徴とする情報処理装置。

Images