JP7116696B2 - 学習支援システム及びプログラム - Google Patents

Description

本発明は、技術を学習する際に使用される学習支援システム、学習支援装置及びプログラムに関する。

従来、様々な技術分野における技術の伝承は、指導者の指導のもとで技術の学習者が実際に訓練や作業を行うことで行われてきた。

高度な技術を学習者に伝えるには、言葉では表現しにくいコツを伝えることが必要な場合があるが、指導者にとって、そのコツを効率よく学習者に伝えることは容易ではない。近年、指導者が取得した技術を、学習者に効率よく伝えるために、指導者の技術をデータ化して保存し、保存した技術データを学習者に表示する装置や方法が提案されている（例えば特許文献１）。

特許文献１には、様々な環境下において、指導者の手の位置、移動量、移動速度など、指導者の動きを抽出して保存する方法が開示されている。この方法では、環境を変えながら指導者に毎度同じ作業を行ってもらい、指導者の動作をその都度モーションキャプチャ等により測定することで、環境の変化と動作の変化とを関連付けて保存している。

また、測定した指導者の動作情報を画像化し、その画像を、メガネ型のウエアラブルデバイス（スマートグラス）などを用いた拡張現実（AR）技術により現実の作業風景に重ねて表示する技術も提案されている（例えば特許文献２）。

例えば特許文献２の作業支援装置では、情報処理部が、撮像部により測定された作業対象となる物体の表面形状と、予め保存されている物体の表面形状とを比較し、作業対象物体の各点において熱変形させるべき量を算出した後、その変形量を得るために加熱する位置と加熱量を算出し、加熱する位置を示す画像を作業対象物体の映像上に重ね合わせてヘッドマウントディスプレイに表示している。

特開２００３－２８１２８７号公報 特開２００９－６９９５４号公報

特許文献２など、データ化された指導者の技術を学習者に表示する従来の学習支援システムは、習熟度の異なる学習者に対しても、利き手など特徴の異なる学習者に対しても、一様に技術を表示する。このようなシステムでは、習熟度や特徴の異なる学習者が効率よく学習できない場合がある。

本発明は、学習者が、技術を効率よく習得できる学習支援システムを提供することを目的とする。

上記課題を解決するため、本発明は、学習者に装着される表示部と、学習者に装着されて学習者の視野映像を撮像する撮像部と、学習者の動作のお手本となる指導者の作業動作の動画であるお手本動画を格納する格納部と、演算部とを備えている。演算部は、お手本動画を、撮像部が撮像した視野映像上に重ね合わせて表示部に表示させるとともに、視野映像に含まれる学習者の作業動作の特徴に応じて、動的にお手本動画の表示内容を変化させる。

本発明によれば、表示されるお手本動画が学習者の作業動作に合わせて動的に変化するため、学習者は、それぞれにあったペースで技術を習得する訓練を行うことができる。これにより学習者は、技術を効率よく習得できる。

第１実施形態の学習支援システムの構成を示す説明図。 第１実施形態の学習支援システムの制御システム１０１の構成を示すブロック図。 第１実施形態の学習訓練の流れを示すフローチャート。 表示部１９に位置の差分が表示される場合の画面例。 表示部１９に位置の差分が表示される場合の画面例。 位置の差分の表示例。 位置の差分の表示例。 位置の差分の表示例。 学習者と指導者との動作要素の差分を示す表示例。 学習者と指導者との圧力の差分を示す表示例。 メガネ型デバイス２０１の構成の詳細を示すブロック図。 差分が減った動作要素の表示変更例。 学習支援システムの制御システム１０１の構成例を示すブロック図。 第１実施形態の学習支援システム全体の流れを示すフローチャート。 制御システム１０１、メガネ型デバイス２０１およびセンシングデバイス２０４の入出力シーケンスを示す図。 （ａ）、（ｂ）基本情報と訓練の種類を入力する際に表示部に表示されるUI例。 差分判定と習熟度評価と振り返りの説明図。 情報格納部１７に格納されるログの例。 レベル判定モード中の流れを示すフローチャート。 第２実施形態の学習支援システムの構成を示す説明図。 指導者が装着するメガネ型デバイスの構成を示すブロック図。 第２実施形態の学習支援システムの制御システム１０１の構成を示すブロック図。 第２実施形態の学習支援システムの動作の流れを示すフローチャート。 第３実施形態の学習支援システムの構成を示すブロック図。 第３実施形態の学習支援システムの動作の流れを示すフローチャート。 第３実施形態の変形例の学習支援システムの動作の流れを示すフローチャート。 第４実施形態の学習支援システムの構成を示す説明図。 第４実施形態の学習支援システムの表示部１９の表示例。

以下、本発明の実施の形態にかかる学習支援システムについて説明する。

＜＜第１実施形態の学習支援システム＞＞
第１実施形態の学習支援システムとしては、学習者が超音波撮像装置におけるプローブの操作方法を学習するメガネ型デバイス用のシステムの例について説明する。この学習支援システムは、図１に示すように、学習者１０２に装着されるメガネ型デバイス２０１と、メガネ型デバイス２０１にネットワーク（一例として無線ＬＡＮ(Local Area Network)）３０を介して接続されメガネ型デバイス２０１の機能を制御する制御システム１０１とを備えている。メガネ型デバイス２０１は、表示部１９と、学習者１０２の視野映像を撮像する撮像部（カメラ）１５と、を備えている。

制御システム１０１は、図２に示すように、メガネ型デバイス２０１から受け取った情報に基づいてこの学習支援システムにおける各種演算を行う演算部１６と、各種情報を格納している情報格納部１７と、を備えている。演算部１６は、学習者１０２の作業動作のお手本となる指導者の作業動作の動画であるお手本動画（例えば図４参照）を、カメラ１５が撮像した視野映像上に重ね合わせて表示部１９に表示させるとともに、視野映像に含まれる学習者１０２の作業動作の特徴に応じて、動的にお手本動画の表示内容を変化させる。情報格納部１７には、後で詳しく説明するが、お手本動画や指導者の手の位置情報などを含むお手本データが、少なくとも格納されている。

演算部１６は情報格納部１７に予め格納された学習支援プログラムを実行することにより種々の演算を実行する。具体的には演算部１６は、カメラ１５から学習者１０２の視野映像を取り込む映像取り込み部１６１と、学習者１０２の視野映像に、お手本動画を重畳し、重畳した処理画像を表示部１９に出力する重畳表示部１６２と、お手本動画に含まれる指導者の作業動作と視野映像に含まれる学習者１０２の作業動作との差分を算出する差分算出部１６３と、差分算出部１６３により求められた差分が所定の閾値以上か否かを判定する差分判定部１６Ａと、差分算出部１６３が算出した差分に基づいて表示するお手本動画の表示内容を変更する表示調整部１６Ｃとを備えている。

第１実施形態の学習支援システムによる訓練動作の流れを図３を参照して説明する。このフローでは、学習者１０２がプローブ２０２を手に持った状態で訓練を行う場合の作業動作について説明する。

図３のフローの訓練動作は、制御システム１０１により制御され実行される。まずカメラ１５が学習者１０２の視野映像を撮像する。映像取り込み部１６１は、ネットワーク３０を介してカメラ１５により撮像された学習者の視野映像を取り込む（ステップＳ４１）。次に重畳表示部１６２は、情報格納部１７に格納されているお手本画像を読み出して、学習者の視野映像に含まれる学習者の手とプローブ２０２の像に、お手本動画に含まれる指導者の手とプローブの予め定めた基準点が重なるように位置を調整し、位置を調整したお手本動画を表示部１９に表示させる（ステップＳ４２）。次に差分算出部１６３が、図４に示すように、学習者が持つプローブ２０２の位置と、指導者が持つプローブの位置の差分を算出する。具体的には、まず差分算出部１６３は、学習者の視野映像から、学習者が持つプローブ２０２の検査対象の表面に触れる面の中心２０２ｂの位置を算出する。また差分算出部１６３は、情報格納部１７に格納されているお手本データから、指導者が持つプローブが検査対象に触れる面の中心２０２ｃの位置を読み出す。そして差分算出部１６３は、指導者の持つプローブの中心２０２ｃの位置と学習者の持つプローブ２０２の中心２０２ｂの位置の差分を算出する（ステップＳ４３）。

次に差分判定部１６Aは、ステップＳ４３で差分算出部１６３が求めた差分が、所定の閾値以上であるか否かを判定し、差分が閾値以上の場合、その結果（差分判定結果）を表示調整部１６Ｃに出力する（ステップＳ４４）。表示調整部１６Ｃは、お手本動画のプローブの中心２０２ｂの位置を、学習者のもつプローブ２０２の中心２０２ｃの位置にずらす画像処理を行い、処理したお手本動画を、ネットワーク３０を介してメガネ型デバイス２０１に出力する。メガネ型デバイス２０１が受け取ったお手本動画は、表示部１９に表示される（ステップＳ４５）。

これにより、学習者は、指導者と学習者のプローブの位置が重なった映像を見ることができるため、手やプローブの向きや角度を指導者の手やプローブの向きや角度に合わせることができ、効率よく手やプローブの動かし方を学習することができる。

ステップＳ４５で処理したお手本動画が学習者に表示されたら、フローはステップＳ４１に戻る。学習支援システムは以上のフローを学習者の訓練が終了するまで繰り返す。また、ステップＳ４４で差分算出部１６３が算出した差分が閾値未満の場合、フローはステップＳ４１に戻る。

なお、表示調整部１６Ｃは、学習者のプローブ２０２の中心２０２ｂと、指導者のプローブの中心２０２ｃとを基準点として、学習者の視野映像の手の位置にお手本動画の手の位置を揃えたが、他の基準点を用いてもよい。例えば表示調整部１６Ｃは、学習者１０２の指先の位置とお手本動画の指導者の指先の位置を揃えるなど、学習者の身体の一部の位置を検出してお手本動画の表示位置の調整を行ってもよい。

［位置の差分を学習者に知らせる表示］
以下、差分判定部１６Ａが算出した学習者と指導者との位置の差分が閾値以上である場合に、表示調整部１６Ｃが行う別の表示調整例について説明する。

表示調整部１６Ｃは、学習者の持つプローブ２０２の中心２０２ｂと、指導者の持つプローブの中心２０２ｃとの位置の差分を図４に示すように、矢印１０２ｄにより表示することができる。学習者は、矢印１０２ｄの大きさや傾きを見て、自分の動作がお手本からどれだけずれているかを認識することができる。また学習者は、矢印１０２ｄを見ながら、自分が持つプローブ２０２の位置を指導者が持つプローブの位置に容易に近づけることができる。

また、指導者のヒジの位置がお手本動画に含まれ、ヒジの位置情報が情報格納部１７に格納されている構成としてもよい。この場合、差分算出部１６３は、学習者の視野映像から学習者のヒジの位置を検出し、学習者のヒジの位置と指導者のヒジの位置の差分を算出することができる。学習者のヒジの位置と指導者のヒジの位置との差分が閾値以上である場合、表示調整部１６Ｃは、図５に示すように、「もっとヒジを持ち上げて！」など、学習者がどのように身体を動かしたらよいかを具体的に文章で表示することができる。また表示調整部１６Ｃは、動かすべき身体の部位に矢印１９ｂなどのサインを表示してヒントを表示してもよい。

また、情報格納部１７に指導者の手１０２ｂの骨と関節の位置を示す骨格図１９ｃを格納しておく構成としてもよい。この場合、図６に示すように、表示調整部１６Ｃは、指導者の手１０２ｂの映像に骨格図１９ｃを重ねて表示することができる。骨格図１９ｃを表示することにより、学習者は、表示された指導者の手１０２ｂの関節の位置を見ながら自分の手の位置を容易に修正することができる。

さらに情報格納部１７に、図７に示すように、作業する手や腕の形をしていて、作業の各時点で手の部位ごとに加えるべき力の大きさを色で示した色分布図１９ｄを格納しておく構成としてもよい。この場合、差分算出部１６３が学習者の視野映像から学習者の手や腕の位置や形状を検出し、表示調整部１６Ｃは、色分布図１９ｄを学習者の手１０２ｃに重ねて表示することができる。例えばサーモグラフィのように、学習者が筋肉に大きく力を加えるべき身体の部位には暖色系の色を重ね、少しだけ力を加えるべき身体の部位には寒色系の色を重ねて表示する等により、学習者に力の入れ具合を認識させることができる。

また、表示調整部１６Ｃは、図８に示すように、指導者のプローブと学習者が持つプローブ２０２の位置が重なっている領域と位置がずれている領域を検出し、重なっている領域を白色に表示し、位置ずれが生じている領域については、指導者のプローブとプローブ２０２とを異なる色に着色して表示することもできる。このように学習者と指導者との位置がずれている領域を、学習者と指導者とで色を変えて表示することができるため、学習者と指導者との位置の差分が強調される。よって学習者は、自分の手を動かすべき方向を容易に認識できる。

また、表示調整部１６Ｃは、学習者の持つプローブ２０２の位置が指導者の持つプローブの位置からずれた場合、位置ずれが始まったタイミングまでお手本動画を巻き戻し、再生する構成としてもよい。このとき再び流すお手本動画を短い時間のセグメントに分けて、セグメント毎にお手本動画を繰り返し再生してもよい。これにより、学習者が苦手な作業動作を何回も練習できるため、学習効果を高めることができる。

なお、メガネ型デバイス２０１には振動センサが備えられていてもよい。その場合、学習者の持つプローブ２０２の位置と指導者の持つプローブの位置がずれたタイミングで、メガネ型デバイス２０１に搭載された振動センサにより振動や衝撃などのフォースフィードバックを学習者に与えるようにしてもよい。

以上のように表示内容を変化させることで、位置ずれを学習者に知らせることができるため、学習者は正しいプローブや手の位置を把握しやすく、かつ位置ずれを修正しやすくなる。

［表示調整の種類］
＜位置以外の動作要素について＞
以上の説明では、差分算出部１６３が学習者と指導者のプローブまたは手の位置の差分（動作要素）を算出する例について説明したが、差分算出部１６３は、学習者と指導者との作業動作の差分を算出する動作要素として、「位置」以外にも「スピード、圧力、動作軌跡、注視点、音」など１以上の動作要素を検出してもよい。指導者のこれらの動作要素は、お手本データに含まれ、情報格納部１７に格納されている。各動作要素における学習者と指導者との差分の算出方法と、その差分の表示方法について、図９を参照して説明する。

・スピード
カメラ１５が撮像した映像から、差分算出部１６３は、学習者が手を動かすスピードを算出し、算出した学習者の手のスピードと、情報格納部１７に格納されている指導者の手の動くスピードとの差分を学習者と指導者の手の位置の差から算出する。差分判定部１６Ａが学習者のスピードと指導者のスピードとの差分が所定値以上であると判定した場合、表示調整部１６Ｃは、お手本動画の再生スピードを学習者のスピードに合わせるように調整する。例えば学習者１０２の作業動作が所定値以上に指導者の作業動作よりも遅い場合、表示調整部１６Ｃは、学習者１０２のスピードに合うように、お手本動画の再生スピードを遅くする。学習者と指導者のスピードはそれぞれ、表示する画像の色温度の違いで表示したり、バロメータや数値などによって表示したりして、学習者に自分のスピードと指導者のスピードの差分を認識させるようにしてもよい。

・圧力
指導者が検査対象にプローブを押し当てる際の圧力（以下、指導者の圧力という）情報を、情報格納部１７に予め格納しておく。重畳表示部１６２は情報格納部１７から指導者の圧力情報を読み出し、その圧力の大きさを径の大きさで示す円１０３ｂ２を、図９に示すように、学習者の視野映像に重畳表示させる。また差分算出部１６３は、学習者が検査対象にプローブ２０２を押し当てる際の手、指先、または爪の色の変化から、学習者が検査対象にプローブ２０２を押し当てている圧力を算出する。差分判定部１６Ａが、学習者のプローブ２０２を押し当てる圧力と指導者の圧力との差分が所定値以上であると判定した場合、表示調整部１６Ｃは、指導者の圧力と学習者の圧力の差分を例えば円の大きさ、円の色の違いなどにより表示する。指導者の圧力と学習者の圧力の差は、例えば図１０に示すように学習者１０２による圧力を示す円１０３ｂ１と、指導者による圧力を示す円１０３ｂ２とで囲まれた領域を塗りつぶすことにより強調表示することができる。学習者は、この円の塗りつぶされた領域を小さくするようにプローブを動かすことで、指導者の圧力に近い圧力で検査対象を押し当てる訓練を行うことができる。

・動作軌跡
指導者がプローブを動かす経路（動作軌跡）の情報を情報格納部１７に予め格納しておく。重畳表示部１６２は、情報格納部１７から動作軌跡の情報を読み出し、その動作軌跡を示す動線を、学習者の視野映像に重畳表示させる。その際、指導者の動作軌跡の色を図９に示すように、学習者のプローブ２０２の今ある位置よりも過去の軌跡（過去の動作軌跡）１０３ｃか、未来の軌跡（将来の動作軌跡）１０３ｄかで異なる色にして表示してもよい。また差分算出部１６３は、カメラ１５により撮像された学習者の視野映像から、学習者のプローブ２０２の動作軌跡を算出し、学習者のプローブ２０２の動作軌跡と指導者のプローブの動作軌跡との差分を求める。差分判定部１６Ａが、差分が所定値以上であると判定した場合、表示調整部１６Ｃは、すでに表示されている指導者のプローブの動作軌跡１０３ｃ、１０３ｄに、学習者のプローブ２０２の動作軌跡を示す動線を重畳表示させることで指導者の動作軌跡と学習者の動作軌跡の差分を、学習者に認識させてもよい。

・注視点
作業中に指導者が注目している点（注視点）の情報を情報格納部１７に予め格納しておく。重畳表示部１６２は、情報格納部１７から注視点情報を読み出し、その注視点を示す点１０３ａを、学習者の視野映像に重畳表示させる。メガネ型デバイス２０１は後述する図１１のように視線センサ２０を備えている。視線センサ２０は学習者の注視点を検出する。差分算出部１６３は、学習者の注視点と、情報格納部１７に格納されている指導者の注視点１０３ａとの差分を算出する。差分判定部１６Ａが、学習者と指導者の注視点１０３ａとの差分が閾値以上であると判定した場合、表示調整部１６Ｃは、指導者の注視点１０３ａを点滅などにより強調して表示させる。表示調整部１６Ｃは指導者の注視点１０３ａ以外にも、視線センサ２０により検出された学習者の注視点を、十字記号などを用いて表示部１９に表示させてもよい。

・音
メガネ型デバイス２０１に、作業音を録音する録音機器が備えられていてもよい。この場合、録音機器は、学習者の作業音をその録音機器が取得し、差分算出部１６３が録音した学習者の作業音と、情報格納部１７に格納されているお手本動画の作業音との差分を算出する。差分判定部１６Ａが学習者と指導者の作業音の差分が閾値以上であると判定した場合、表示調整部１６Ｃは波形、色、文字などにより音がずれていることを表示させる。

なお、各動作要素について、統計的に起こりやすいずれ方やその原因が、情報格納部１７に予め格納されていてもよい。その場合、差分算出部１６３は、学習者の作業動作と指導者の作業動作とでずれの生じた動作要素について、学習者の作業動作と指導者の作業動作の違いの原因を求める構成としてもよい。また、表示調整部１６Ｃは、各動作要素の統計的に起こりやすいずれ方やその原因を表示部１９に表示させてもよい。

［メガネ型デバイス２０１］
ここで、メガネ型デバイス２０１の構成について具体的に説明する。メガネ型デバイス２０１は、図１１に示すように、眼鏡と、眼鏡の一部に搭載された、カメラ１５、表示部１９、無線通信デバイス１３、ＣＰＵ１２、メモリ１８、および視線センサ２０を備えて構成される。

カメラ１５は、ユーザの視線の方向等の所定の方向の映像を撮像し、またユーザの作業動作を計測する。

表示部１９は、演算部１６およびＣＰＵ１２の制御下で表示調整部１６Ｃが調整したお手本動画をユーザの視野内に投影する。

なお、表示部１９としては、ユーザの網膜に映像を投影する構造のものを用いることも可能である。また眼鏡の代わりにウエアラブルなディスプレイを用いてもよい。この場合、カメラ１５が撮像したユーザの視野映像と、表示調整部１６Ｃが調整したお手本動画とが重畳されて、ウエアラブルなディスプレイに表示される。

無線通信デバイス１３は、ＣＰＵ１２と、制御システム１０１との間の通信を行う。

ＣＰＵ１２は、制御システム１０１の演算部１６から受け取った情報に基づいてメガネ型デバイス２０１の各部の動作の制御を行う。具体的には、カメラ１５で撮像した映像データを、映像取り込み部１６１に送信するように無線通信デバイス１３に指示を送ったり、重畳表示部１６２や表示調整部１６Ｃから受け取った情報を表示部１９に送信して表示する映像に反映させたりする。

メモリ１８には、カメラ１５の撮像した映像やＣＰＵ１２の演算結果が必要に応じて格納される。また、メモリ１８には、表示部１９に表示する映像を格納することもできる。

視線センサ２０は、ユーザの注視点がどこにあるかを検出するセンサである。視線センサ２０は、検出した注視点のデータをＣＰＵ１２に送信する。

［訓練モード］
以上の説明では、表示調整部１６Ｃが、随時、指導者の持つプローブの位置を学習者の持つプローブ２０２の位置に合わせるものとして説明した。情報格納部１７には、随時指導者の手の位置合わせを行い学習者のペースに合わせた訓練を可能とした基礎訓練用のビギナーモードと、差分が所定値を超えたときだけ指導者の手の位置が修正されるノーマルモードなど、複数の訓練モード（表１）が格納されていてもよい。ここで、情報格納部１７に格納される訓練モードについて説明する。

ビギナーモードでは、お手本動画の再生中、お手本動画が学習者１０２の作業動作に追随し、お手本動画の重畳位置や動作スピードが動的に変更される。このモードでは、お手本動画が学習者の動作ペースに合わせて調整されるため、学習者は、指導者の作業をつぶさに観察し、正しい作業の型を覚えることができる。

ノーマルモードは、指導者の作業のスピード感を重視してお手本動画を再生し、学習者がそれに慣れながら作業の質を向上できるようにした訓練モードである。このモードでは、基本的にはお手本動画は指導者の作業スピードで再生され、学習者１０２の作業動作が一定以上遅れた場合のみ、お手本動画の重畳位置や再生スピードが学習者１０２に合うようにコントロールされる。

各訓練モードにおける処理は図３で示したフローの通りであり、各訓練モードで表示調整部１６Ｃは、差分判定部１６Ａによる差分判定結果に応じて、お手本動画の表示内容を、学習者１０２の作業動作に合わせて動的に変化させる。具体的には、表示調整部１６Ｃは、差分判定結果に基づいて、差分が所定値以上の動作要素を、差分が所定値に満たない動作要素よりも学習者１０２に認知しやすい形で表示させるように、お手本動画の各動作要素の透過率を動的に変更したり、表示の有無を動的に切り替えたりする。

具体的には、例えば図１２（ａ）に示すように指導者の圧力を示す円１０３ｂ２、指導者の注視点１０３ａ、動作軌跡１０３ｃ、１０３ｄが表示されており、学習者の圧力と注視点が指導者の圧力と注視点に対して差分が少なくなるように変化していった場合、学習者が適切な圧力や注視点で作業を行っているということであり、表示調整部１６Ｃは、図１２（ａ）～（ｃ）に示すように、表示していた指導者の圧力１０３ｂ２と注視点１０３ａの表示の透明度を高める透明度制御を行う。反対に、学習者の作業動作で指導者の作業動作との差分が大きくなるように変化していく動作要素について、表示調整部１６Ｃは、透明度を低く、より強調して表示するようにする。

このような透明度制御により、学習者の苦手な動作要素（ここでは、正しい軌跡を描いてプローブを動かすこと）の表示が強調されるため、学習者は苦手な動作要素に注目しながら訓練を行うことができる。

［プログラム構成・訓練全体の流れ］
以下、本実施形態の学習支援システムが実行する、技術訓練のプログラムの構成の例と、訓練全体の流れについて説明する。情報格納部１７には、学習支援プログラムとして、例えば表１に示すように複数のモードが格納されている。具体的には、先述のビギナーモード、ノーマルモードに加えて、レベル判定モード、ガイダンスモード、および振り返りモードが情報格納部１７に格納されている。

これらのモードを実行する場合、制御システム１０１の演算部１６は、図１３に示すように、映像取り込み部１６１、重畳表示部１６２、差分算出部１６３、差分判定部１６Ａ、表示調整部１６Ｃに加えて、差分判定部１６Ａによる差分判定結果から学習者１０２の技術レベルを評価するレベル評価部１６Ｂと、学習者１０２のスキルデータを統計演算する統計演算部１６Ｄとを備えている。

重畳表示部１６２が学習者の視野映像とお手本動画の位置を揃えて重ねる方法には、公知の方法を用いることができる。例えば重畳表示部１６２は、学習者１０２の身体（手など）や超音波検査の対象物、学習者が持つプローブなど、技術習得中に学習者１０２の視界に入るもの、あるいはその周囲に取り付けられた印を基準マーカーとして用い、お手本動画の表示位置を決定する。

演算部１６は、ＣＰＵ或いはＧＰＵに搭載されるソフトウェアとしてその機能が実現される。また演算部１６の一部または全部の機能は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのハードウェアで実現することも可能である。

情報格納部１７には、技術習得のための訓練モードを含む学習支援プログラムに加え、学習者１０２の基本情報（例えば年齢、利き手、くせ、視力、握力などの個々人の身体能力の違い）、訓練の種類に応じて指導者が行う作業動作に関するお手本データ、学習者１０２の技術データのログ、学習者１０２の弱点リスト等を含む学習者１０２のデータテーブルが格納されている。情報格納部１７に格納されているお手本データには、お手本動画、指導者の作業動作の複数の動作要素（位置、スピード、圧力、動作軌跡、注視点、及び音）、お手本動画の基本情報（例えば利き手、お手本動画で超音波検査を行う検査部位、検査内容、患者の体型）、各動作要素について指導者と学習者の動作に差分が生じた場合の差分の表示方法等が含まれている。また情報格納部１７には、カメラ１５で撮像した映像や演算部１６の演算結果が必要に応じて格納される。さらに情報格納部１７は、表示部１９に表示する映像を格納することもできる。

以下、学習支援システムによる訓練全体のフローについて図１４、１５を参照して説明する。このフローでは、学習者の作業動作と指導者の作業動作との差分を判断する動作要素として、位置、スピード、圧力、動作軌跡、注視点および音の６つの動作要素を用いる場合について説明する。

また、このフローではプローブ２０２の代わりに、学習者がセンシングデバイス２０４（図１参照）を持って訓練を行う場合について説明する。センシングデバイス２０４を用いて訓練を行う場合、メガネ型デバイス２０１のほかに、センシングデバイス２０４がネットワーク３０を介して制御システム１０１に接続される。センシングデバイス２０４は、圧力センサ、傾きセンサ、温度センサ、湿度センサ、光センサ、学習者１０２に触覚フィードバックを与える触覚デバイス（例えばバイブレータ）などを備えることができる。センシングデバイス２０４が制御システム１０１に接続されている場合、センシングデバイス２０４が取得した情報は、演算部１６による演算に利用することができる。また重重畳表示部１６２は、センシングデバイス２０４により検出された圧力や傾きなどの情報を、表示部１９に表示可能な画像に変換し、学習者１０２の視野映像に重畳表示させることができる。センシングデバイス２０４に、カメラ１５からは取得できない温度、湿度、光度などの情報を取得するセンサが備えられている場合、センサが取得した情報は表示調整部１６Ｃによるお手本動画の表示制御に用いることができる。カメラ１５から取得可能な情報であっても、センシングデバイス２０４を用いることにより、カメラ１５よりも高精度にその情報を取得できる場合がある。なお、センシングデバイス２０４には訓練する作業に使用する道具（例えば超音波撮像装置のプローブ）と同様の形状をしているものを用いることが好ましい。

［ステップＳ１］
まず、制御システム１０１は、学習者から訓練を行うために必要な基本条件の入力を受け付ける。具体的には、制御システム１０１は、図１６のようなＵＩ画面を表示部１９に表示させる。学習者は、表示されたUI画面に学習者の基本情報と訓練の種類を入力する。入力された情報はネットワーク３０を介して制御システム１０１に送られ、情報格納部１７に格納される。これにより訓練プログラムを実行するコンテンツが起動して、メガネ型デバイス２０１に配信される。

［ステップＳ２］
次に、制御システム１０１がメガネ型デバイス２０１にガイダンスモードのコンテンツを配信し、ガイダンスモードが実施される。ガイダンスモードでは、表示部１９に表示されるガイドに従って学習者が作業動作を行うことにより、後に実行される訓練モードで学習者１０２が行うべき作業動作や、表示される内容の確認、訓練への動機づけ等、コンテンツの使用方法を学ぶことができる。このモードでは、学習者１０２の技術レベルと、学習者の作業動作と指導者の作業動作との差や、習熟度判定がどのように表示されるか、あるいは各訓練モードの違い等が学習者１０２に表示される。例えば、訓練モード中に学習者の作業動作が指導者の作業動作と乖離した場合、その情報がどのように表示されるかなどを、学習者１０２が体験して学べる。なお、このガイダンスモードは、レベル判定モードの後に実施されてもよく、学習者がコンテンツの使用方法を体得するまで繰り返し実施されてもよい。

［ステップＳ３］
次に、制御システム１０１がメガネ型デバイス２０１にレベル判定モードのコンテンツを配信してレベル判定モードが実施される。このモードの具体的なフローは後で説明するが、このモードでは、お手本動画は再生されない状態で学習者が作業を行う。差分判定部１６Ａとレベル評価部１６Ｂは、学習者１０２の現在の習熟度の評価を行い、習熟度の評価に応じて次の訓練モード（ビギナーモードやノーマルモードなど）の難易度の設定を行う。習熟度の評価方法は各訓練モードにおけるレベル評価方法と同じである。

［ステップＳ４］
次にレベル判定モードで設定された訓練モードで訓練が行われる。訓練モードにおける具体的なフローは図３で説明した通りであり、差分算出部１６３は、カメラ１５やセンシングデバイス２０２から得られた学習者１０２の視野映像に基づき、各動作要素（位置、スピード、圧力、動作軌跡、注視点、音）について、学習者１０２の動作とお手本動画に含まれる指導者の動作との差分を求める。このとき、差分算出部１６３は、図１７に示すように、６つの動作要素を単位時間ごとに割り当て、単位時間毎に分けられた動作要素それぞれの差分を求める。差分判定部１６Ａは、図１７のスパイダーチャートに示すように差分算出部１６３により各動作要素についてそれぞれ算出された差分が、それぞれの動作要素について予め定められた許容可能な差分の大きさ（閾値）１１６以上であるか否かを判定する。表示調整部１６Ｃは、学習者と指導者の差分が閾値以上の場合、お手本動画の表示内容を調整する。なお、差分が閾値１１６以下となった動作要素（この図では音以外の５つの動作要素）は、訓練中、学習者が上手にできていた動作要素であり、差分が閾値１１６を超えた動作要素（この図では音）は、学習者が上手くできなかった動作要素である。

［ステップＳ５］
訓練モードが終了すると、制御システム１０１が、習熟度を判定するコンテンツを起動し、レベル評価部１６Ｂが、訓練中の学習者の技術習熟度を判定する。具体的にはレベル評価部１６Ｂは、差分判定部１６Ａによる差分判定結果を用いて、図１７のスパイダーチャートに示すように、６つの動作要素のうち差分が閾値１１６以下となった動作要素がいくつあるかに応じて学習者の習熟度を評価する。

閾値１１６以下になった動作要素の数と、習熟度との関係は任意に設定可能である。例えば６つの動作要素のうち、閾値１１６以下となった動作要素の数とレベル数を揃えてもよく、この図のように閾値１１６以下となった動作要素の数が５動作要素の場合、レベル評価部１６Ｂはこの学習者の習熟度を「レベル５」と判定してもよい。

また判定された習熟度に応じて、次に同じ学習者１０２が行う学習において、学習モードや重点的に学習する内容を変更することができる。また例えばビギナーモードでの訓練結果で、全動作要素の差分が閾値１１６以下になった等、学習者のレベルがある一定レベルを超えた場合、次の訓練時には次のレベルのノーマルモードに進めるようにしてもよい。

［ステップＳ６］
次に、ステップＳ５で判定された習熟度がメガネ型デバイス２０１により学習者に表示され、習熟度に応じて、振り返りモードが実行される。振り返りモードでは、学習者１０２に対して、ステップＳ４の訓練モードでの学習者の作業動作が再生され、学習者に現在の技術レベルを客観的に把握させる。このステップでは、ステップＳ３で判定された初期の習熟度よりも、どれだけ習熟度が向上したかを学習者に表示することが好ましい。

例えば訓練モード中にカメラ１５により学習者の撮像された視野映像が情報格納部１７に格納されていた場合、このモードで重畳表示部１６２は、格納された学習者の視野映像を読み出し、読み出した視野映像にお手本動画を重畳させた振り返り動画を表示する。特に、差分が閾値１１６以上になった（学習者が上手にできなかった）動作要素の原因となる学習者１０２の作業動作を呼び出して再生してもよい。これにより、学習者は、現在の自分の技術がお手本技術に対してどれだけ違うか、あるいは自分の弱点がどこにあるかを客観的に把握することができる。

この振り返りモードで統計演算部１６Ｄは、差分判定部１６Ａが判定した各動作要素の差分判定結果に基づいて、統計グラフ（ヒストグラムや図１７のようなレーダーチャートなど）を生成し、統計グラフで学習者の技術レベルを表示してもよい。また統計グラフの代わりに、例えば図１８に示すようなスキルデータや弱点のリストが表示部１９に表示されることで学習者に表示されてもよい。統計グラフやリストが表示されることにより、学習者１０２は自分の得意または不得意な動作要素を確認しやすい。このリストや統計グラフは、情報格納部１７に格納される。

振り返りモードは、レベル判定モードの後に実行されてもよく、各訓練モードの後に、毎回実行されることが好ましい。振り返りモードをレベル判定モードや訓練モードの実施後に都度実施することにより、学習者１０２は自分の現在の技術レベルを認識しながら、次の訓練を行うことができる。
以上の工程により、学習者１０２が技術を習得する訓練が実施される。

ここで、ステップＳ３のレベル判定モードの具体的なフローについて図１５および図１９を参照して説明する。

［ステップＳ３１］
レベル判定モードが始まると、メガネ型デバイス２０１の表示部１９にはレベル判定モードのコンテンツが表示され、カメラ１５が学習者１０２の視野映像から学習者１０２の視野映像を撮像する。カメラ１５から得られた視野映像は、制御システム１０１に送信される。またセンシングデバイス２０２は、学習者１０２の作業動作を各センサで計測し、計測したデータを制御システム１０１に送信する。

レベル判定モードでは、後に学習者が行う訓練モードと同じ作業でレベル判定を行ってもよいし、訓練モードよりも簡単な基礎作業でレベル判定を行ってもよい。訓練モードと同じ作業でレベル判定を行う場合、情報格納部１７に格納するモードを少なくできる。一方、訓練モードで行う作業よりも簡単な基礎作業でレベル判定を行う場合、情報格納部１７に格納するモードは増えるが、学習者１０２のレベルが基礎レベルに到達しているか否かを判断することができる。

［ステップＳ３２］
カメラ１５から得られた情報に基づき、差分算出部１６３は、６つの動作要素について学習者１０２の作業動作と、お手本（このモードでは表示されない）の作業動作との差分を算出する。

［ステップＳ３３］
差分判定部１６Ａは、各動作要素において、学習者１０２の手との差分が、それぞれ閾値以上であるか否かを判定し、判定した差分判定結果をレベル評価部１６Ｂに送信する。

［ステップＳ３４］
レベル評価部１６Ｂは、差分判定結果に応じて学習者の習熟度を判定し、ノーマルモードで訓練を行うか、あるいはビギナーモードで訓練を行うかを判断する。

レベル評価部１６Ｂは、学習者のレベルが所定レベル以上の場合、ノーマルモードで訓練を行うことを決定し、学習者のレベルが所定レベル以下の場合、ビギナーモードで訓練を行うことを決定する。

［ステップＳ３５］
レベル評価部１６Ｂが、ステップＳ３４で決定したレベル判定結果をメガネ型デバイス２０１に送信し、学習者のレベルが表示される。また、訓練モードの実行後に行われる振り返りモードと同様に、レベル判定モードにおける学習者の作業動作を振り返るコンテンツを実行することが好ましい。

［ステップＳ３６］
表示調整部１６Ｃは、ステップＳ３４で決定されたモードに応じて訓練用のコンテンツを構築し、メガネ型デバイス２０１に訓練用コンテンツを配信する。訓練用コンテンツを配信した後、学習支援システムによる訓練フローは図１４のステップＳ４に戻り、訓練モードが実行される。表示調整部１６Ｃは、構築する訓練モードに応じて、お手本動画の再生スピードを変えたり、お手本動画の再生スピード以外にも、その他の方法で表示を調整したりしてもよい。

［その他の表示調整例］
以上で説明した以外の手法を用い、各モードや各動作要素に応じてお手本動画の表示を調整する例を以下に示す。
例えば差分判定部１６Ａの差分判定結果により、学習者１０２の注視点と指導者の注視点との差分が大きく、閾値よりずれていることがわかった場合、表示調整部１６Ｃは、表示部１９に正しい注視点を長時間表示させたり強調表示させたりするなどして、学習者１０２に正しい注視点を身につけさせることができる。

またビギナーモードでは、学習者の動作スピードに合わせて指導者の動作スピードを落とす調整を行うという説明をしたが、学習者の作業動作に指導者の作業動作が追従する方法には、再生スピードを落とす以外の方法もある。例えば表示調整部１６Ｃは、学習者の動作が一定以上遅れた場合、お手本動画を一時停止し、ひとつ前の工程からやり直すように巻き戻して再生するコンテンツを構築してもよい。またノーマルモードは指導者の動作スピードに合わせて学習者が訓練するモードであると説明したが、ノーマルモードにおいても、学習者の作業動作が一定以上遅れた場合、表示調整部１６Ｃは、お手本動画の再生を一時停止するなどして学習者の作業をお手本動画に追いつかせるようにしてもよい。

表示調整部１６Ｃは、学習者の作業動作の各動作要素がそれぞれ指導者の動作要素と一致した際に、一致したことを学習者に表示するようにコンテンツを構築してもよい。その表示方法としては、表示、音、あるいは振動によるフィードバックを用いることができる。一致したことを表示する手法が各動作要素で共通だと、学習者は、一致した動作要素について、お手本通りに作業できたことを認識しやすい。

表示調整部１６Ｃは、一定期間みられた学習者の動作要素と指導者の動作要素とのずれが所定値以上改善された場合（学習者１０２の技術に一定以上の上達がみられた場合）や、ある一連の作業動作をクリアした場合、学習者１０２には、上達を実感させるフィードバックを与えるようにコンテンツを構築してもよい。例えば、表示調整部１６Ｃは、表示、音、振動などのフィードバック、あるいは上達した動作要素を強調表示するなどにより、レベルアップしたことを学習者に表示することができる。

なお、表示調整部１６Ｃは、学習者１０２に、表示、音による視覚的、聴覚的フィードバックに加え、センシングデバイス２０２により、振動や衝撃など触覚によるフィードバックを学習者に与えるコンテンツを構築し、学習者に実際に作業をしている感覚をもたせるようにしてもよい。

以上のように、第１実施形態の学習支援システムでは、学習者の作業動作に合わせてお手本動画の表示を動的に変化させることができる。そのため、レベルの異なる学習者、あるいは特徴の異なる学習者など、学習者それぞれが、それぞれに合った学習ペースで技術を訓練することができ、熟練した技術をより習得しやすくなる。

また、第１実施形態の学習支援システムでは、技術の習得の際に必要な、言葉などで表現しにくい微妙なコツを動作要素として抽出し、動作要素ごとに指導者と学習者の技術の差分求めて差分判定結果を表示するため、学習者は、技術の高度で細かなコツと、自分がそのコツをどれだけつかめているかを、動作要素ごとに把握することができる。差分判定結果は学習者が直感的に学べるような表示方法で表示されるため、学習者は、直感的な動作により技術を習得することができる。

また第１実施形態の学習支援システムでは、圧力や視線など、本来は見た目だけではわかりにくい情報が学習者の視野映像に重畳表示されるため、指導者から直接技術を教わるときには学びにくいコツであっても、学習者は確認しながら学習することができる。

なお、第１実施形態の学習支援システムでは、１人の学習者が制御システム１０１に格納されている学習支援プログラムを用いて訓練を行う例を示したが、複数の学習者が制御システムにネットワークを介して接続されているメガネ型デバイスをそれぞれ用いることにより、同時にあるいは異なるタイミングで訓練することができる。そのため、第１実施形態の学習支援システムでは、指導者が取得した高度な技術を、多くの学習者に効率よく伝達することができる。

また、この実施形態では、ビギナーモードとノーマルモードの２つの訓練モードで技術の習熟を図るものとしたが、訓練モードは１モードであってもよいし、３つ以上のモードであってもよい。さらに、情報格納部１７は、上述のモード以外にも学習者の技術習得に有効なモードを格納していてもよい。

また、制御システム１０１の内部構成（演算部１６と情報格納部１７）は、ネットワーク３０を介してメガネ型デバイス２０１に接続されたクラウドに格納されていてもよい。

＜＜第２実施形態の学習支援システム＞＞
以下、第２実施形態の学習支援システムについて、第１実施形態の学習支援システムと異なる点を説明する。第２実施形態の学習支援システムは、第１実施形態の学習支援システムと同様に、メガネ型デバイス２０１と、メガネ型デバイス２０１にネットワークを介して接続された制御システム１０１とを備えている。但し、第１実施形態の学習支援システムでは、制御システム１０１の情報格納部１７にすでに格納されている指導者のお手本データを用いて表示されるお手本動画の表示調整を行うが、第２実施形態の学習支援システムでは、情報格納部１７に現状では格納されていない指導者のお手本動画から新たなお手本データを生成し、新たに生成したお手本データを表示調整に用いる。この点で、第２実施形態の学習支援システムは第１実施形態の学習支援システムとは異なっている。

第２実施形態の学習支援システムは、図２０に示すように、学習者１０２が装着可能なメガネ型デバイス２０１と、学習者とは離れた場所にいる指導者１０３が装着可能なデバイス（例えばメガネ型デバイス）２０３と、メガネ型デバイス２０１およびメガネ型デバイス２０３にネットワーク３０を介して接続された制御システム１０１とを備えている。

メガネ型デバイス２０３は、メガネ型デバイス２０１と同様の構成であり図２１に示すように、指導者１０３の視野映像を撮像するカメラ１５Ｂ、無線通信デバイス１３、ＣＰＵ１２、メモリ１８、および学習者の動作映像が表示される表示部１９Ｂを備えている。またメガネ型デバイス２０３は、必要に応じて作業音を録音する機器、指導者の作業音を再生するスピーカーなどを備えていてもよい。

第２実施形態において、制御システム１０１は、第１実施形態における制御システム１０１と同様の構成であり、メガネ型デバイス２０１およびメガネ型デバイス２０３から受け取った情報を処理する演算部１６と、お手本データを格納している情報格納部１７とを備えている。

また第２実施形態において、演算部１６は、図２２に示すように、学習者１０２の視野映像と指導者１０３の視野映像を取り込む映像取り込み部１６１と、重畳表示部１６２と、差分算出部１６３と、差分判定部１６Ａと、表示調整部１６Ｃと、指導者の視野映像からお手本データを生成するお手本生成部１６４とを少なくとも備えている。

以下、第２実施形態の学習支援システムの訓練動作の流れについて、第１実施形態の学習支援システムの訓練動作の流れと異なる点を、図２３を参照して説明する。まず学習者が訓練のための作業を行う。カメラ１５が学習者１０２の視野映像を撮像する（ステップＳ４１）。映像取り込み部１６１はカメラ１５が撮像した視野映像を受け付け、学習者の視野映像を、指導者１０３のメガネ型デバイス２０３の表示部１９Ｂに出力する（ステップＳ４１Ｂ１）。指導者は、表示部１９Ｂに表示された学習者の訓練動作を見て、学習者の作業動作の特徴を把握し、学習者の作業動作の特徴に合うようなスタイルでお手本となる作業を行う。カメラ１５Ｂは、指導者１０３がお手本となる作業を行っている間、指導者１０３の視野映像を撮像する。（ステップＳ４１Ｂ２）。映像取り込み部１６１は、カメラ１５Ｂが撮像した視野映像を受け付けるお手本生成部１６４は、指導者１０３の視野映像からお手本動画を生成するとともに、指導者１０３のお手本動画からお手本データを生成する（ステップＳ４１Ｂ３）。指導者１０３のお手本動画から新たに生成されたお手本データは情報格納部１７に格納され、表示調整部１６Ｃが学習者の作業動作に合わせて表示内容を調整する際に用いられる。第２実施形態において、表示調整部１６Ｃがお手本動画と学習者の視野映像を重畳表示するステップＳ４２以降（ステップＳ４２～Ｓ４５）は、第１実施形態と同じである。

第２実施形態の学習支援システムでは、第１実施形態の学習支援システムで得られる効果に加えて、情報格納部に格納されていない指導者の技術を、学習者の学習支援に活用することができるという効果が得られる。また第２の実施形態の学習支援システムでは、学習者と離れた場所にいる指導者の技術を、学習者に学ばせることができる。

なお、第２実施形態の学習支援システムでは、情報格納部に格納されていない指導者の作業動画を録画してお手本動画を作成し、作成したお手本動画を学習者の学習支援に活用するものとしたが、学習者が離れたところにいる指導者から訓練のサポートを受けられるようにする例は、上述の例に限られない。

例えば、指導者側のメガネ型デバイスと学習者側のメガネ型デバイスに互いの映像や音声を送るようにしてもよい。具体的には、指導者側のメガネ型デバイスには、学習者がメガネ型デバイスを使用して訓練動作をしている映像を表示し、指導者が学習者の訓練動作の様子を見ながら、作業のコツなどを動作や声がけにより学習者にアドバイスする。指導者による動作映像のデータや声がけの音声データが学習者側のメガネ型デバイスに送られて、学習者側のメガネ型デバイスに指導者の動作映像が表示されたり、指導者の音声が再生されたりする。このように、学習者とは離れたところにいる指導者によるアドバイスを訓練中の学習者に伝えることにより、学習者はより効率よく技術を習得できる。

＜＜第３実施形態の学習支援システム＞＞
以下、第３実施形態の学習支援システムについて、第１実施形態の学習支援システムと異なる点を説明する。第３実施形態の学習支援システムでは、複数の指導者の技術を学習した人工知能（AI）により、学習者の作業動作が進むにつれて学習者の作業動作の特徴に最も近いお手本動画が選択されて、表示されるお手本動画が時間ごとに変更される。

第３実施形態の学習支援システムは、第１実施形態の学習支援システムと同様に、メガネ型デバイス２０１と、メガネ型デバイス２０１にネットワークを介して接続された制御システム１０１とを備えている。

第３実施形態において、制御システム１０１は、第１実施形態における制御システム１０１と同様の構成であり、図２４に示すように、演算部１６と、情報格納部１７とを備えている。また第３実施形態における演算部１６の構成は第１実施形態における演算部１６と同様の構成であり、映像取り込み部１６１と、重畳表示部１６２と、差分算出部１６３と、差分判定部１６Ａと、表示調整部１６Ｃとを少なくとも備えている。

第３実施形態における情報格納部１７は、学習者の基本情報、スキルデータ、および弱点リストを含む格納部１７１と、複数の指導者の技術の特徴を用いてお手本動画の表示を変更する人工知能部１７２とを有している。人工知能部１７２には、学習者の作業動作の特徴に最も近い特徴をもつ組み合わせデータを選択する学習済モデル１７２Ａと、学習済モデル１７２Ａにより選択された組み合わせデータから表示するお手本動画を選択する結果表示部１７２Ｂとを備えている。

学習済モデル１７２Ａは、お手本動画に加え、学習者の特徴と指導者の特徴との組み合わせデータが多数学習されているモデルである。学習済モデル１７２Ａは例えばニューラル・ネットワークにより構成されている。学習済モデル１７２Ａが学習した学習者の特徴および指導者の特徴の組み合わせとしては、作業動作の６つの動作要素（位置、スピード、圧力、動作軌跡、注視点、及び音）、基本情報（例えば利き手、超音波検査の訓練を行う検査部位、検査内容、患者の体型）等がそれぞれ含まれている。

以下、第３実施形態の学習支援システムの動作の流れについて、図２５を参照して説明する。

まずカメラ１５が学習者１０２の視野映像を撮像する。次に、映像取り込み部１６１は、ネットワーク３０を介してカメラ１５により撮像された学習者の視野映像を取り込む。（ステップＳ４１）。次に学習済モデル１７２Ａは、学習者の視野映像から学習者の作業動作の特徴を抽出し、学習者の動作の特徴と、学習済モデル１７２Ａに学習されている多数の組み合わせデータとを比較することにより、学習者の特徴に最も近い特徴をもつ組み合わせデータを選択する（ステップＳ４１１）。結果表示部１７２Ｂは、学習モデル１７２Ａにより選択された組み合わせデータから、最も学習者の特徴に近い特徴をもつお手本動画を選択し、重畳表示部１６２に受け渡す。重畳表示部１６２は、受け取ったお手本動画を学習者の視野映像に重畳表示させる（ステップＳ４２）。最も学習者の作業動作の特徴に近いお手本動画を表示したら、動作のフローはステップＳ４１に戻り、このフローは単位時間毎に繰り返される。

このように第３実施形態の学習支援システムでは、学習者の作業動作の特徴に最も近いお手本動画が随時変更されて表示されるため、時間ごとに最も学習者の指導に適したお手本動画が表示される。これにより訓練中どのタイミングであっても学習者の特徴に合う訓練コンテンツを提供することができ、学習者はより、効率よく技術を学ぶことができるようになる。

＜＜第３実施形態の変形例＞＞
複数の指導者の技術を学習した人工知能（AI）を用いてお手本動画の調整を行う他の例について、図２６を用いて説明する。この変形例では、人工知能部は、学習者と指導者の作業動作で差分が閾値より大きい動作要素について、各動作要素の差分の大きさに応じて、差分を表示する手法を随時変更する。

変形例の学習支援システムは、第３実施形態の学習支援システムと同じ構成であるが、学習済モデル１７２Ａに学習されている組み合わせデータの内容が異なる。変形例の学習支援システムにおいて、学習済モデル１７２Ａには、動作要素ごとの差分の大きさと、差分の大きさを表示する手法として最適な手法との組み合わせが多数含まれている。例えば学習者と指導者のヒジの位置の差分について、差分が所定値以下のときは図５のように「もっとヒジを持ち上げて！」と文字で表示し、差分が所定値より大きいときは矢印１９ｂのようなサインで示し、さらに差分が大きいときは図６に示すような骨格図１９ｃをお手本動画の指導者の手に重畳させるなど、差分の大きさと最適な表示の手法との組み合わせが学習済モデル１７２Ａに学習されている。

また学習済モデル１７２Ａには、お手本動画、学習者の特徴と指導者の特徴なども含まれている。学習者の特徴および指導者の特徴としては、作業動作の６つの動作要素（位置、スピード、圧力、動作軌跡、注視点、及び音）、基本情報（例えば利き手、超音波検査の訓練を行う検査部位、検査内容、患者の体型）等がそれぞれ含まれている。

以下、第３実施形態の変形例の学習支援システムの動作の流れについて説明する。

変形例の学習支援システムのフローにおいて、カメラ１５が学習者１０２の視野映像を撮像してから、お手本動画が視野映像に重畳されるまでのステップＳ４１、ステップＳ４２は、第１実施形態におけるフロー（図３）と同じである。お手本動画が学習者の視野映像に重畳されたら、差分算出部１６３は、学習者の視野映像から学習者の６つの動作要素をそれぞれ抽出し、モデル１７２Ａから指導者の６つの動作要素をそれぞれ読み出す。次に差分算出部１６３は、動作要素ごとに学習者と指導者の動作の差分を算出する。（ステップＳ４３Ｃ）。

次に差分判定部１６Aは、各動作要素について、差分算出部１６３が求めた差分が閾値以上であるか否かをそれぞれ判定し、判定結果を人工知能部１７２に通知する（ステップＳ４４Ｃ）。

次に学習済モデル１７２Ａは、学習者の視野映像を取り込み、差分が閾値以上になった動作要素と、その差分の大きさを抽出する。学習済モデル１７２Ａは抽出した動作要素およびその差分の大きさと、学習済モデル１７２Ａに学習されている組み合わせデータとを比較することにより、動作要素毎に差分の最適な表示の手法を含む組み合わせデータを選択する（ステップＳ４５Ｃ１）。結果表示部１７２Ｂは、学習モデル１７２Ａにより選択された組み合わせデータから、各動作要素の差分を表示する手法として最も学習者の訓練に効果的な手法を決定し、その手法を用いて表示調整を行うように表示調整部１６Ｃに指示を送る（ステップＳ４５Ｃ２）。表示調整部１６Ｃは、結果表示部１７２Ｂから受け取った指示に従い、お手本動画の表示方法を調整して表示部１９に表示させる（ステップＳ４５）。ステップＳ４５で処理したお手本動画が学習者に表示されたら、フローはステップＳ４１に戻る。

このように第３実施形態の変形例の学習支援システムでは、学習者の動作と指導者の動作の差分が、動作要素ごとに最適な表示方法により表示されるため、学習者は、表示された差分を見て、どのように自分の動作を変更するべきかを容易に理解することができる。

＜＜第４実施形態の学習支援システム＞＞
以下、第４実施形態の学習支援システムについて、第１実施形態の学習支援システムと異なる点を説明する。第３実施形態の学習支援システムは、図２７に示すように、メガネ型デバイス２０１と、メガネ型デバイス２０１にネットワーク３０を介して接続された制御システム１０１を備え、ネットワーク３０には、さらに超音波撮像装置１０４が接続されている。

超音波撮像装置１０４は、従来の超音波撮像装置と同様の構成であってよい。超音波撮像装置で取得された撮影画像は、メガネ型デバイス２０１の表示部１９に、例えば図２８に示すように、学習者１０２の作業動画とお手本動画が表示されている横に並列して表示することが好ましい。

超音波撮像装置の利用時、ユーザの視点は、プローブを持つ手元ではなく、撮影画像が表示されている画面にあることが想定される。ユーザは手元の動作と撮影画像を同時に見ることができないため、プローブ操作しながら画面をみることは、技術に不慣れな学習者にとって難しく、習熟を困難にする原因の一つとなっている。

第４実施形態では、超音波撮像装置による撮影画像をメガネ型デバイス２０１により学習者の手元の画像周辺に表示することにより、学習者１０２の視点の移動が最小限になるため、学習者は、手元の動きとそれによる撮影画像の変化とをより直感的に把握しながら習熟することができる。

なお、第２～第４実施形態において、第１実施形態で説明したセンシングデバイス２０４が制御システム１０１に接続されていてもよく、学習者１０２は訓練の際にセンシングデバイス２０４を用いてもよい。また、第４実施形態において、超音波撮像装置１０４のプローブに、センシングデバイス２０４に含まれるセンサと同様のセンサを組み込み、学習者１０２が実物のプローブを用いながら、プローブを扱う技術を学べるようにしてもよい。

＜＜学習支援装置＞＞
以上の実施形態では、制御システム１０１を、メガネ型デバイス２０１に対してネットワーク３０を介して接続する例を説明したが、制御システム１０１の構成は以上の例に限られない。制御システム１０１はメガネ型デバイス２０１内のメモリ１８内に搭載されていてもよい。また制御システム１０１は、メガネ型デバイス２０１に外付け可能なメモリ内に搭載されてもよい。

本実施形態では、学習支援装置として、メガネ型デバイス２０１を用いたが、学習支援装置は、少なくともカメラと表示部を備えていればよく、例えばカメラが備えられたヘルメットやヘアバンドと、ユーザの近くに配置されたディスプレイまたは持ち運び可能なディスプレイの組み合わせでもよい。

また本実施形態では、学習者の学習する技術が超音波撮像装置のプローブ操作の場合について例示したが、本発明はあらゆる技術分野の学習に適用可能である。例えば、手術方法やリハビリ、あるいはスポーツ、伝統芸能における身体の動かし方、介護の方法を学習する際に用いられてもよいし、料理の方法や楽器の演奏方法、文字の書き方の練習等に用いられてもよい。さらに本発明は、配線作業や溶接作業など産業分野における技術学習に用いられてもよい。

１２…ＣＰＵ、１３…無線通信デバイス、１４…モーションセンサ、１５…カメラ、１６…演算部、１６Ａ…差分判定部、１６Ｂ…レベル評価部、１６Ｃ…表示調整部、１６Ｄ…統計演算部、１７…情報格納部、１８…メモリ、１９…表示部、２０…視線センサ、３０…ネットワーク、１０１…制御システム、２０１、２０３…メガネ型デバイス、２０４…センシングデバイス

Claims (11)

1. 学習者に装着される表示部と、学習者に装着されて学習者の視野映像を撮像する撮像部と、学習者の作業動作のお手本となる指導者の作業動作の動画であるお手本動画を格納する格納部と、演算部とを備え、
   前記演算部は、レベル判定モードと、前記レベル判定モードの判定結果に従って前記お手本動画を前記撮像部が撮像した前記視野映像上に重ね合わせて前記表示部に表示させる訓練モードを実行するものであり、
   前記演算部は、前記お手本動画に含まれる指導者の作業動作と前記視野映像に含まれる学習者の作業動作との差分を随時算出する差分算出部と、当該差分に応じて前記お手本動画の表示内容を変更する表示調整部とを含み、
   前記演算部は、前記レベル判定モードにおいて、前記差分が閾値以上であるか否かにより、ビギナーモードで前記訓練モードを行うか、ノーマルモードで前記訓練モードを行うかを判定し、前記ビギナーモードで前記訓練モードを行う場合、前記お手本動画の前記指導者の作業動作のスピードが前記学習者の作業動作のスピードに追随するように、前記表示調整部が前記お手本動画の再生スピードを変更し、前記ノーマルモードで前記訓練モードを行う場合、前記お手本動画を前記指導者の作業動作のスピードで再生し、前記学習者の作業動作が前記お手本動画の前記指導者の作業動作よりも一定以上遅れ、前記差分算出部が随時算出する前記差分が閾値以上になった場合のみ、前記お手本動作の前記指導者の作業動作のスピードが前記学習者の作業動作のスピードに合うように前記お手本動画の再生スピードをコントロールする
   ことを特徴とする学習支援システム。
2. 前記差分算出部は、前記差分を予め定めた複数の動作要素ごとに算出し、
   前記表示調整部は、前記動作要素ごとの前記差分に応じて、前記お手本動画の表示内容を変化させることを特徴とする請求項１に記載の学習支援システム。
3. 前記差分算出部は、前記差分を予め定めた複数の動作要素ごとに算出し、
   前記表示調整部は、前記複数の動作要素のうち、算出した前記差分が所定値を超えた動作要素を、前記差分が所定値以下の動作要素よりも強調するように前記お手本動画の表示内容を変更することを特徴とする請求項１に記載の学習支援システム。
4. 前記差分算出部は、前記差分を予め定めた複数の動作要素ごとに算出し、
   前記表示調整部は、前記複数の動作要素のうち、前記差分が所定値よりも小さく動作要素について、前記表示部に表示される前記お手本動画の透過率を高くすることを特徴とする請求項１に記載の学習支援システム。
5. 前記格納部には、前記撮像部により撮像された学習者の視野映像が格納され、
   前記演算部は、前記格納部に格納された学習者の視野映像に、お手本動画が重畳された振り返り動画を再生することを特徴とする請求項１に記載の学習支援システム。
6. メガネ型デバイスと、前記メガネ型デバイスにネットワークを介して接続された制御システムとをさらに有し、
   前記表示部および前記撮像部は、学習者により装着されるメガネ型デバイスに備えられ、
   前記演算部および前記格納部は、前記制御システム内に備えられていることを特徴とする請求項１に記載の学習支援システム。
7. 前記制御システムにネットワークを介して接続されたセンシングデバイスを更に備え、
   前記演算部は、前記センシングデバイスにより検出された情報に基づいて、前記お手本動画の表示内容を動的に変化させることを特徴とする請求項６に記載の学習支援システム。
8. 前記制御システムにネットワークを介して接続された、指導者の視野映像を撮像するデバイスを更に備え、
   前記演算部は、前記デバイスが撮像した指導者の視野映像から前記お手本動画を生成することを特徴とする請求項６に記載の学習支援システム。
9. 前記格納部には、学習者の作業動作の特徴と指導者の作業動作の特徴とを複数学習した人工知能部が格納されており、
   前記人工知能部は、学習者の作業動作の特徴に近い特徴をもつ指導者の作業動作のお手本動画を随時選択し、前記視野映像上に重ね合わせるお手本動画を随時変更することを特徴とする請求項１に記載の学習支援システム。
10. 前記ネットワークには、超音波撮像装置が更に接続されており、
    前記演算部は、前記超音波撮像装置により取得された超音波画像を、前記表示部に表示させることを特徴とする請求項６に記載の学習支援システム。
11. コンピュータを、
    学習者の動作のお手本となる指導者の作業動作の動画であるお手本動画を、学習者に装着されて学習者の視野映像を撮像する撮像部が撮像した前記視野映像上に重ね合わせて、学習者に装着される表示部に表示させるとともに、前記視野映像に含まれる学習者の作業動作の特徴に応じて、動的に前記お手本動画の表示内容を変化させる演算手段として機能させるプログラムであって、
    前記演算手段は、前記お手本動画に含まれる指導者の作業動作と前記視野映像に含まれる学習者の作業動作との差分を随時算出する差分算出手段と、当該差分に応じて前記お手本動画の表示内容を変更する表示調整手段とを含み、
    前記演算手段は、レベル判定モードと、前記レベル判定モードの判定結果に従って前記お手本動画を前記撮像部が撮像した前記視野映像上に重ね合わせて前記表示部に表示させる訓練モードを実行し、
    前記演算手段は、前記レベル判定モードにおいて、前記差分が閾値以上であるか否かにより、ビギナーモードで前記訓練モードを行うか、ノーマルモードで前記訓練モードを行うかを判定し、前記ビギナーモードで前記訓練モードを行う場合、前記お手本動画の前記指導者の作業動作のスピードが前記学習者の作業動作のスピードに追随するように、前記表示調整部が前記お手本動画の再生スピードを変更し、前記ノーマルモードで前記訓練モードを行う場合、前記お手本動画を前記指導者の作業動作のスピードで再生し、前記学習者の作業動作が前記お手本動画の前記指導者の作業動作よりも一定以上遅れ、前記差分算出部が随時算出する前記差分が閾値以上になった場合のみ、前記お手本動作の前記指導者の作業動作のスピードが前記学習者の作業動作のスピードに合うように前記お手本動画の再生スピードをコントロールする、
    プログラム。

Images