JP6733461B2 - 情報処理装置および情報処理方法 - Google Patents

Description

本発明は、情報処理装置および情報処理方法に関する。

現在、ユーザは、銀行またはコンビニエンスストアなどに設置されている現金自動預け払い機（ＡＴＭ）または駅に設置されている乗車券発券機などの情報処理装置を用いて複数の異なる手続きを行うことができる。しかし、これらの情報処理装置における手続の中には難解な操作を行う手続がある。そのため、これらのＡＴＭまたは乗車券発券機においては、音声によるまたは画像表示によるガイダンスが行われる場合がある。

このようなガイダンスを行うシステムに関して下記の特許文献１が開示されている。特許文献１に開示されている音声ガイダンスシステムでは、ユーザの操作回数または前回の操作日から今回の操作日までの間隔日数などに基づいてガイダンスレベルが設定されることが記載されている。

特開平９−１６０７５１号公報

上述した特許文献１に開示されている音声ガイダンスシステムでは、ユーザの操作回数またはユーザが操作を行った日の間隔に基づいてガイダンスレベルが設定されるため、初めて情報処理装置を操作するユーザに対して適切なガイダンスが提供されない。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザの初回操作においてもユーザに応じたガイダンス映像を提供することが可能な、新規かつ改良された情報処理装置および情報処理方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、撮影部から入力されたユーザの映像から目領域を検出する目検出部と、前記目検出部によって検出された目領域の分析により、ガイダンス映像が表示された表示部のいずれの領域に視線が向いているかを検出する視線検出部と、前記ガイダンス映像に関して事前に設定された設定領域での視線の滞在がなかったことに基づき、前記ガイダンス映像に関する表示制御を行う制御部と、前記ユーザの映像からユーザの表情を検出する表情検出部と、を備え、前記制御部は、前記表情検出部により検出された前記ユーザの表情にさらに基づいて前記表示部の表示を制御する、情報処理装置が提供される。

前記制御部は、ある時間区間内に前記設定領域での視線の滞在があったことに基づき、前記時間区間の後区間において前記ガイダンス映像を非表示に制御し、前記時間区間内に前記設定領域での視線の滞在がなかったことに基づき、前記後区間においても前記ガイダンス映像を前記表示部に表示させてもよい。

前記制御部は、間隔を有する複数の時間区間において同一のガイダンス映像または異なるガイダンス情報を前記表示部に表示させ、一の時間区間で前記設定領域での視線の滞在がなかったことに基づき、前記一の時間区間と次の時間区間との間隔区間でも前記一の時間区間に表示された前記ガイダンス映像を前記表示部に表示させてもよい。

前記制御部は、前記設定領域での視線の滞在が無かったことに基づき、前記設定領域の表示を強調してもよい。

前記制御部は、前記後区間における前記ガイダンス映像の表示が、何回目の前記ガイダンス映像の表示であるかに基づき、前記設定領域の表示を強調するか否かを制御してもよい。

前記制御部は、前記ユーザの表情が所定の基準を満たす場合、前記ガイダンス映像の表示の後に、前記ガイダンス映像を補足する補足映像を前記表示部に表示させてもよい。

前記制御部は、前記ユーザの表情の困惑度に応じて異なる補足映像を前記表示部に表示させてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、撮影部から入力されたユーザの映像から目領域を検出することと、検出された目領域の分析により、ガイダンス映像が表示された表示部のいずれの領域に視線が向いているかを検出することと、前記ガイダンス映像に関して事前に設定された設定領域での視線の滞在がなかったことに基づき、前記ガイダンス映像に関する表示制御を行うことと、前記ユーザの映像からユーザの表情を検出することと、を含み、前記ガイダンス映像に関する表示制御を行うことは、検出された前記ユーザの表情にさらに基づいて前記ガイダンス映像に関する表示制御を行うことを含む、情報処理方法が提供される。

以上説明したように本発明によれば、ユーザの初回操作においてもユーザに応じたガイダンス映像を提供することが可能である。

本発明の実施形態に係るガイダンス装置の外観の一例を示す図である。 ガイダンス表示画面の具体例を示す説明図である。 ガイダンス映像の表示例を示す説明図である。 本発明の実施形態によるガイダンス装置の内部構成を示す説明図である。 表示部の領域分割の具体例を示す説明図である。 ユーザの顔画像から得られる複数の特徴点の例を示す図である。 ニュートラルな表情と困惑の表情の関係を説明するための図である。 各特徴点の位置の管理例を示す説明図である。 設定テーブルの具体例を示す説明図である。 補足映像の具体例を示す説明図である。 第１のガイダンス制御例を示すフローチャートである。 フラグ設定の具体例を示す説明図である。 ガイダンス映像の表示例を示す説明図である。 第２のガイダンス制御例を示すフローチャートである。 第３のガイダンス制御例を示すフローチャートである。 第４のガイダンス制御例を示すフローチャートである。 困惑度と表示される映像の関係の一例を示す説明図である。 第５のガイダンス制御例を示すフローチャートである。

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜１．ガイダンス装置の概要＞
図１は、本発明の実施形態に係るガイダンス装置１００の外観の一例を示す図である。本発明の実施形態に係るガイダンス装置１００は、現金自動預け払い機（ＡＴＭ）または乗車券発券機のようなガイダンス情報をユーザに提供する情報処理装置である。ガイダンス装置１００は、複数の異なる機能を有しており、ユーザはガイダンス装置１００を操作することによって、複数の手続きを行うことができる。

ここで、例えばガイダンス装置１００がＡＴＭである場合、ガイダンス装置１００が有する複数の異なる機能には、「現金の預け入れ」、「現金の引き出し」、「通帳記入」、「残高照会」、「振り込み」、「振り替え」、「暗証番号の変更」などが該当する。また例えばガイダンス装置１００が乗車券発券機である場合、ガイダンス装置１００が有する複数の異なる機能には、「乗車券の購入」、「回数券の購入」、「定期券の購入」、「指定席の変更」、「電子マネーのチャージ」などが該当する。

また、ガイダンス装置１００は、図１に示したように、表示部１０２と、撮影部１０６と、スピーカ１０８とを備える。表示部１０２は、ユーザに操作を案内する映像、または現在行われているキャンペーンを案内する映像などのガイダンス映像を含むガイダンス表示画面を表示する。ここで、図２を参照し、表示部１０２に表示されるガイダンス表示画面の具体例を説明する。

図２は、「振り込み」の操作を案内するガイダンス表示画面の具体例を示す説明図である。図２に示したように、ガイダンス表示画面は、簡略メッセージ映像４０、およびガイダンス映像５０を含む。簡略メッセージ映像４０は、ユーザによる操作を案内する簡略なメッセージを示す。例えば、「振り込み」の機能における金融機関の選択フェーズにおいては、図２に示したように、「振込先の金融機関を選んで下さい。」というメッセージを含む簡略メッセージ映像４０が表示される。

ガイダンス映像５０は、ユーザが実行しようとしている機能、および当該機能の実行のための操作のフェーズに応じて表示（再生）される映像である。例えば、「振り込み」の機能における金融機関の選択フェーズにおいて表示されるガイダンス映像５０は、図２に示したように、「振込先の金融機関名のボタンが有る場合には、そのボタンを選択して下さい。」、「無い場合には、５０音検索またはフリーワード検索を選択して下さい。」のように、金融機関の選択フェーズにおける操作方法を具体的に案内する表示を含む。当該ガイダンス映像５０は、静止画であってもよいし、動画であってもよい。

撮影部１０６は、ガイダンス装置１００を操作するユーザを撮影する。後述するように撮影部１０６は、ユーザの視線および表情を検出するために用いられる画像を撮影する。例えば、撮影部１０６は、ＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）カメラであってもよい。スピーカ１０８は、ガイダンス表示画面に対応する音声ガイダンスを出力する。

（背景）
上述したガイダンス表示画面において、ガイダンス映像は、例えば図３に示すように所定の間隔で表示される。所定の間隔で表示される複数のガイダンス映像は、同一のガイダンス映像であってもよいし、異なるガイダンス映像であってもよい。この所定の間隔で表示されるガイダンス映像は、基本ガイダンス情報とも呼ばれる。

しかし、どのユーザにも同一のガイダンス表示画面を同一の区間で提供する方法では、ユーザによる操作を効果的に誘導することが困難である。例えば、ガイダンス表示画面の内容を理解できずに困惑しているユーザにはより丁寧な情報が提供されることが望まれる。また、ガイダンス表示画面における重要部分を未だ見ていないユーザにはガイダンス表示画面の表示の継続が望まれる。

そこで、上記事情を一着眼点にして本発明の実施形態を創作するに至った。本発明の実施形態によれば、ユーザの視線および表情の検出に基づき、ユーザに効果的なガイダンス映像を提供することが可能である。以下、このような本発明の実施形態によるガイダンス装置１００の構成および動作を順次詳細に説明する。

＜２．ガイダンス装置の構成＞
図４は、本発明の実施形態によるガイダンス装置１００の内部構成を示す説明図である。図４に示したように、本発明の実施形態によるガイダンス装置１００は、図１を参照して説明した表示部１０２、撮影部１０６およびスピーカ１０８に加えて、操作部１０４、処理部１１４、通信部１１０および記憶部１１２と、を有する。処理部１１４は、ガイダンス制御部１１６と、操作処理部１１８と、情報取得部１２０と、画像処理部１２２と、を有する。

（操作部）
操作部１０４は、例えばタッチパネルであってもよく、またはテンキーなどのハードキーであってもよい。通信部１１０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークを通じて外部のデータベースなどとデータの送受信を行うために用いられる。通信部１１０は、有線通信に対応する機能を有してもよいし、また無線通信に対応する機能を有してもよい。

（記憶部）
記憶部１１２には、各種のプログラムおよびデータが記憶されている。記憶部１１２は、半導体メモリまたはハードディスク装置であってもよく、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）および不揮発性メモリなどで構成されていてもよい。ハードディスク装置には、ＯＳ（Ｏｐｅｒａｔｉｏｎ Ｓｙｓｔｅｍ）および各種アプリケーションが記憶されていてもよい。ＲＡＭは、処理部１１４がプログラムに基づいて処理を実行するために用いられる各種のデータを記憶するワークメモリであってもよい。ＲＡＭには、表示部１０２に表示される表示画面、操作部１０４から入力された操作情報、撮影部１０６で撮影されたユーザの顔画像などの各種情報が記憶されてもよい。なお、不揮発性メモリは、電源をオフにしても記憶内容が消去されないメモリ（フラッシュメモリ）であり、各種設定情報が記憶される。

（ガイダンス制御部）
ガイダンス制御部１１６は、表示部１０２によるガイダンス表示画面の表示、およびスピーカ１０８からの音声ガイダンスの出力を制御する制御部の一例である。詳細については後述するように、ガイダンス制御部１１６は、画像処理部１２２により検出されるユーザの視線および表情に応じて、ガイダンス表示画面および音声ガイダンスに関する制御を行う。また、ガイダンス制御部１１６は、他の表示画面を表示部１０２に表示させる表示制御部としての機能を有してもよい。例えば、ガイダンス制御部１１６は、操作部１０４からの指示に基づいて記憶部１１２から表示する情報を読み込み、読み込まれた情報に基づく画面を表示部１０２に表示させてもよい。

（操作処理部）
操作処理部１１８は、操作部１０４から入力された操作情報を取得する。操作処理部１１８は、操作部１０４から入力された操作情報を記憶部１１２に送る。また、操作処理部１１８は、操作部１０４がユーザによって操作された位置に対応する表示部１０２上の表示座標位置を算出する。そして操作処理部１１８は、算出された表示位置座標と対応するオブジェクトをユーザが操作したと判定する。

（画像処理部）
画像処理部１２２は、撮影部１０６から入力された画像情報を処理する。画像処理部１２２は、顔検出部１２４と、目検出部１２６と、視線検出部１２８と、表情検出部１３０と、を有する。

/顔検出部/
顔検出部１２４は、ユーザの顔を検出する。顔検出部１２４は、例えばエッジ検出または形状パターン検出によって候補領域を抽出し、抽出された候補領域を小領域に分割し、各領域の特徴点を予め設定された顔領域パターンと照合してもよい。また、顔検出部１２４は、各候補領域の濃度が所定の閾値に対応する値である場合に胴体候補領域を抽出し、顔および胴体候補領域の濃度または彩度のコントラストを用いて顔領域を抽出してもよい。

/目検出部/
目検出部１２６は、ユーザの目を検出するために用いられる。目検出部１２６は、例えば顔検出部１２４によって検出された顔領域の中から、目の白目部分を角膜反射の候補として検出し、また目の黒目部分を瞳孔の候補として検出する。

/視線検出部/
視線検出部１２８は、ユーザの視線が表示部１０２のいずれの領域に視線が向いているかを検出するために用いられる。視線検出部１２８による視線の検出は、例えば、目検出部１２６により検出された目頭の位置に対して、視点となる虹彩がどの位置にあるのかを判定することによって行われる。具体的には、左目の虹彩が目頭から離れていればユーザが表示部１０２の左側を見ていると判定し、左目の目頭と虹彩が近ければユーザが表示部１０２の右側を見ていると判定する。

図５は、表示部１０２の領域分割の具体例を示す説明図である。図５に示したように、表示部１０２は複数の領域に分割され、視線検出部１２８は、ユーザの視線が表示部１０２のいずれの領域に向いているかを検出する。図５に示した例では、領域Ｅ１〜Ｅ３が図２に示した簡略メッセージ映像４０の表示領域に対応し、領域Ｅ４〜Ｅ１５が図２に示したガイダンス映像５０の表示領域に対応する。

なお、表示部１０２が１７インチディスプレイであり、表示部１０２の表示ドット数が１２８０×１０２４ドットである場合、図５で示される領域Ｅ１〜Ｅ１５の各々の大きさは、おおよそ４２３×２０８ドットである。

視線検出部１２８は、さらに、特定された視線位置に対して視線が留まっていた時間を測定する。例えば、視線検出部１２８は、ある視線位置から７５ドットの範囲内に視線が留まっていた時間を、上記視線位置に対して視線が留まっていた時間として測定してもよい。

７５ドットという値は、上述した大きさおよびドット数を有する表示部１０２をユーザが６０ｃｍの離れたところから見ていると想定した場合の中心視の大きさを考慮して算出される値である。中心視は、人が一点を凝視しているときに色や形を正確に捉えることができる領域であり、上述した表示部１０２において当該領域の径は２ｃｍである。そして、上述した大きさとドット数を有する表示部１０２においては、２ｃｍは７５ドットに相当する。なお、上述した視線を判定するために用いられるドット数は、表示部１０２が有するドット数に応じて変更されてもよい。

/表情検出部/
表情検出部１３０は、ユーザが表示部１０２を見ているときの表情を検出するために用いられる。表情検出部１３０は、顔検出部１２４で検出された顔領域の中で目や口の動きの変化を測定し、測定された変化と、あらかじめ設定された表情推定用データを照合して表情を検出する。

図６は、ユーザ３００の顔画像から得られる複数の特徴点の例を示す図である。図６に示すように、顔検出部１２４によって、ユーザ３００の顔画像から特徴点として、左眉Ｐ１〜Ｐ３、右眉Ｐ４〜Ｐ６、左目Ｐ７〜Ｐ１０、右目Ｐ１１〜Ｐ１４、口Ｐ１５〜Ｐ１８が検出される。

以下では、具体的な例として、ニュートラルな表情と比較した困惑の表情の特徴について説明する。しかし、他の表情も困惑の表情と同様に固有の特徴を有している。したがって、それぞれの表情は、固有の特徴に基づいて認識され得る。

図７は、ニュートラルな表情と困惑の表情の関係を説明するための図である。画像Ｆ１は、ユーザ３００の表情がニュートラルな表情である場合に撮像された左眉毛画像（Ｐ１〜Ｐ３）と左目画像（Ｐ７〜Ｐ１０）である。一方、画像Ｆ２は、ユーザ３００の表情が困惑の表情である場合に撮像された左眉毛画像（Ｐ１〜Ｐ３）と左目画像（Ｐ７〜Ｐ１０）である。画像Ｆ１に写るニュートラルな表情と比較すると、画像Ｆ２に写る困惑の表情においては、眉毛と目の距離が短くなり（特に、眉毛の特徴点Ｐ１〜Ｐ３と目の上部の特徴点Ｐ７〜Ｐ９が変化しており）、目の開きが細くなっている（特に、目の特徴点Ｐ８とＰ１０が変化している）。

図８は、各特徴点の位置の管理例を示す説明図である。図８に示したように、ニュートラルな表情における各特徴点の位置（ニュートラル位置）、および各特徴点の現在位置が管理される。表情検出部１３０は、各特徴点のニュートラル位置と現在位置との差分の傾向を、表情推定用データと照合することにより、ユーザの表情を推定する。図８には、検出結果として、ユーザの表情が困惑の表情であり、困惑度がＬ１である例を示している。なお、表情検出部１３０は、ユーザがガイダンス装置１００の操作を開始した時のユーザの表情をニュートラルな表情として扱ってもよい。

上述した視線検出部１２８および表情検出部１３０により得られる検出情報は、記憶部１１２に記憶され、ガイダンス制御部１１６によるガイダンスの制御に用いられる。

＜３．ガイダンスの制御例＞
以上、本発明の実施形態によるガイダンス装置１００の構成を説明した。続いて、ガイダンス制御部１１６によるガイダンス映像の表示制御についてより詳細に説明する。

ガイダンス映像は複数の領域から構成され、各領域が有する情報の重要性（有用性）は異なり得る。相対的に重要な情報を有する領域はユーザに視認されることが望まれる。このため、ガイダンス情報ごとに、相対的に重要な情報を有する領域（以下、設定領域と称する。）が設定される。また、ガイダンス映像の内容を理解できずに困惑しているユーザにはより丁寧な情報が提供されることが望まれる。このため、ガイダンス情報ごとに、当該ガイダンス情報を補足する補足映像が設定される。以下、図９を参照し、ガイダンス情報ごとの設定を示す設定テーブルの具体例を説明する。

図９は、設定テーブルの具体例を示す説明図である。図９に示したように、設定テーブルにおいては、各ガイダンス映像に、設定領域および補足映像が関連付けられる。図９に示した例では、ガイダンス映像１には、設定領域として領域Ｅ８、Ｅ９、Ｅ１１およびＥ１２が関連付けられ、補足映像として補足映像１が関連付けられる。当該設定テーブルは記憶部１１２に記憶され、ガイダンス制御部１１６により参照される。なお、例えば図２に示したガイダンス映像に関連付けられる補足映像としては、例えば図１０に示したように、５０音検索の説明を補足する情報を含む映像が挙げられる。

ガイダンス制御部１１６は、上述した設定テーブルに基づき、ガイダンス映像に関する表示制御を行う。以下、ガイダンス制御部１１６が行い得る幾つかのガイダンス制御を順次説明する。

（３−１．第１のガイダンス制御例）
図１１は、第１のガイダンス制御例を示すフローチャートである。まず、ガイダンス装置１００が人体センサなどによってユーザを検出すると、撮影部１０６が起動して撮像を開始し、表示部１０２が、記憶部１１２に記憶されたガイダンス映像（基本ガイダンス映像）を含むガイダンス表示画面の表示を開始する（Ｓ３０２）。なお、本フローは、ユーザの検出でなく、表示部１０２の画面遷移に連動して開始してもよい。また、Ｓ３０２において、スピーカ１０８も、ガイダンス制御部１１６による制御に基づいて、記憶部１１２に記憶された音声ガイダンスの出力を開始してもよい。

そして、顔検出部１２４が撮影部１０６から入力されるユーザの映像からユーザの顔を検出し（Ｓ３０４）、目検出部１２６がユーザの顔から目領域を検出する（Ｓ３０６）。さらに、視線検出部１２８が、ユーザの目領域の分析により、ユーザの視線がガイダンス映像のいずれの領域に向いているかを検出する（Ｓ３０８）。例えば、視線検出部１２８が、図５に示した領域Ｅ１〜Ｅ１５のいずれの領域にユーザの視線が向いているかを検出し、例えば図１２に示すように１００ｍｓなどの単位時間ごとに検出結果を記憶部１１２に記録する。

その後、ガイダンス制御部１１６が、図９に示した設定テーブルに基づき、全ての設定領域での視線の滞在が認められたか、すなわち、全ての設定領域をユーザが見たかを判断する（Ｓ３１２）。ここで、ガイダンス制御部１１６は、視線がある領域に所定時間以上に渡って留まっていた場合に、当該領域に視線が滞在していたと判断する。所定時間は、例えば２００ｍｓであってもよい。２００ｍｓという時間は、一般的な視線のサッケードの時間（人が物体を見ようとして注視点を変えるときに要する時間）を考慮した時間である。

Ｓ３１２において全ての設定領域での視線の滞在が認められなかった場合（Ｓ３１２／ｎｏ）、ガイダンス制御部１１６は、ガイダンス映像の再表示フラグをセットする（Ｓ３１４）。一方、Ｓ３１２において全ての設定領域での視線の滞在が認められた場合（Ｓ３１２／ｙｅｓ）、ガイダンス制御部１１６は、ガイダンス映像の再表示フラグをクリアする（Ｓ３２０）。例えば、ガイダンス制御部１１６は、図１２に示したように、全ての設定領域での視線の滞在が認められない間は再表示フラグを「１」にセットし、全ての設定領域での視線の滞在が認められた後は再表示フラグを「０」にクリアする。

また、表情検出部１３０が、ユーザの顔の映像から、ユーザの表情を検出する（Ｓ３２２）。そして、ガイダンス制御部１１６は、ユーザの表情が困惑の表情である場合（Ｓ３２４／ｙｅｓ）、図１２に示すように困惑フラグをセットする（Ｓ３２６）。上述したＳ３０４〜Ｓ３２６の処理が、ガイダンス映像の表示の時間区間が終了するまで繰り返される。

その後、ユーザによる操作が開始されると、ガイダンス制御が終了する（Ｓ３３２／ｙｅｓ）。ユーザによる操作が開始されない場合（Ｓ３３２／ｎｏ）、ガイダンス制御部１１６は、困惑フラグがセットされた頻度、すなわち、ガイダンス映像の表示時間に対して困惑フラグがセットされた時間の割合を確認する（Ｓ３３４）。

そして、ガイダンス制御部１１６は、ガイダンス映像の表示が終了した時点での再表示フラグが「１」にセットされている場合（Ｓ３３６／ｙｅｓ）、ガイダンス映像を表示部１０２に再度表示させる（Ｓ３３８）。一方、ガイダンス制御部１１６は、ガイダンス映像の表示が終了した時点での再表示フラグが「０」にクリアされている場合（Ｓ３３６／ｎｏ）、困惑フラグの頻度に応じて表示を制御する。具体的には、困惑フラグの頻度が所定値（例えば、３０％）より低い場合（Ｓ３４０／ｙｅｓ）、ガイダンス制御部１１６はガイダンス映像を表示部１０２に再度表示させる（Ｓ３３８）。一方、困惑フラグの頻度が所定値（例えば、３０％）以上である場合（Ｓ３４０／ｎｏ）、ガイダンス制御部１１６は、設定テーブルを参照し、表示されていたガイダンス映像に関連付けられた補足映像を表示部１０２に表示させる（Ｓ３４２）。

要すると、Ｓ３０２においてガイダンス映像１が表示され、Ｓ３３８の処理が行われる場合、図１３に示したようにガイダンス映像１が繰り返して表示される。一方、Ｓ３４２の処理が行われる場合、図１３に示したようにガイダンス映像１の補足映像が表示される。当該補足映像が表示された後、ガイダンス映像が非表示となり、次にガイダンス映像１と異なるガイダンス映像２の表示が開始され、Ｓ３０２からの処理が繰り返されてもよい。

以上説明したように、第１のガイダンス制御例によれば、ユーザの視線および表情の検出に基づき、ユーザに適切なガイダンス映像を提供することが可能である。例えば、ガイダンス映像の内容を理解できずに困惑しているユーザにはより丁寧な情報を提供し、ガイダンス映像における設定領域を未だ見ていないユーザにはガイダンス映像の表示を継続することが可能である。

（３−２．第２のガイダンス制御例）
続いて、第２のガイダンス制御例を説明する。図１４は、第２のガイダンス制御例を示すフローチャートである。図１４に示したフローチャートのＳ３０２〜Ｓ３３６およびＳ３４０〜Ｓ３４２の処理は、図１１に示した第１のガイダンス制御例におけるＳ３０２〜Ｓ３３６およびＳ３４０〜Ｓ３４２の処理と実質的に同一である。

第２のガイダンス制御例は、第１のガイダンス制御例との主な差異として、Ｓ３３９の処理を有する。具体的には、ガイダンス制御部１１６は、ガイダンス映像の表示が終了した時点での再表示フラグが「１」にセットされている場合（Ｓ３３６／ｙｅｓ）、設定領域が強調されるように、ガイダンス映像を表示部１０２に再度表示させる（Ｓ３３９）。強調の方法は、設定領域を囲う枠を表示することであってもよいし、設定領域と他の領域の表示態様を異ならせること（例えば、設定領域の輝度を相対的に上げる、設定領域はカラー表示で他の領域は白黒表示とする、など）であってもよい。

かかる構成により、設定領域を未だ見ていないユーザが、再度のガイダンス映像の表示の際に設定領域に視線を向ける可能性を高めることが可能である。

（３−３．第３のガイダンス制御例）
続いて、第３のガイダンス制御例を説明する。図１５は、第３のガイダンス制御例を示すフローチャートである。図１５に示したフローチャートのＳ３０２〜Ｓ３３２およびＳ３４０〜Ｓ３４２の処理は、図１４に示した第２のガイダンス制御例におけるＳ３０２〜Ｓ３３２およびＳ３４０〜Ｓ３４２の処理と実質的に同一である。

第３のガイダンス制御例は、第２のガイダンス制御例との主な差異として、Ｓ３０３、Ｓ３３５、およびＳ３４４〜Ｓ３４８の処理を有する。すなわち、ガイダンス制御部１１６は、Ｓ３０２でのガイダンス映像の表示に基づき、再生回数カウンタを「０」にセットする（Ｓ３０３）。そして、Ｓ３０２〜Ｓ３３６の後、ガイダンス制御部１１６は再生回数カウンタをインクリメントする（Ｓ３３５）。

その後、ガイダンス制御部１１６は、ガイダンス映像の表示が終了した時点での再表示フラグがセットされている場合（Ｓ３３６／ｙｅｓ）、再生回数カウンタの値に応じて異なる制御を行う。具体的には、ガイダンス制御部１１６は、再生回数カウンタが「ｎ（例えば、ｎ＝１）」を上回る場合には、設定領域が強調されるように、ガイダンス映像を表示部１０２に再度表示させる（Ｓ３４８）。一方、ガイダンス制御部１１６は、再生回数カウンタが「ｎ」以下である場合には、強調無しにガイダンス映像を表示部１０２に再度表示させる（Ｓ３４６）。Ｓ３４６およびＳ３４８の後は、Ｓ３０４からの処理が繰り返される。

以上説明した第３のガイダンス制御例によれば、ガイダンス映像の「ｎ＋１」回目以降の表示において、設定領域を強調することが可能である。

（３−４．第４のガイダンス制御例）
次に、第４のガイダンス制御例を説明する。図１６は、第４のガイダンス制御例を示すフローチャートである。図１６に示したフローチャートのＳ３０２〜Ｓ３４８の処理は、図１５に示した第３のガイダンス制御例におけるＳ３０２〜Ｓ３４８の処理と実質的に同一である。

第４のガイダンス制御例は、第３のガイダンス制御例との主な差異として、Ｓ３５０〜Ｓ３５４の処理を有する。すなわち、第４のガイダンス制御例においては、１つのガイダンス映像に対して詳細度が異なる複数の補足映像が関連付けられており、ガイダンス制御部１１６は、困惑フラグの頻度が第１の閾値以上（Ｓ３４０／ｎｏ）、第２の閾値未満である場合（Ｓ３５０／ｎｏ）、簡易な補足映像を表示部１０２に表示させる（Ｓ３５４）。一方、ガイダンス制御部１１６は、第２の閾値以上である場合（Ｓ３５０／ｙｅｓ）、詳細な補足映像を表示部１０２に表示させる（Ｓ３５２）。

例えば、第１の閾値が３０％であり、第２の閾値が７０％である場合、当該第４のガイダンス制御例は、図１７に示すように整理される。具体的には、困惑度が３０％未満である場合にはガイダンス映像が再表示され、困惑度が３０％以上７０％未満である場合には簡易な補足映像が表示され、困惑度が７０％以上である場合には詳細な補足映像が表示される。

以上説明したように、第４のガイダンス制御例によれば、ユーザの困惑度に応じてよりきめ細かな対応をすることが可能となる。

（３−５．第５のガイダンス制御例）
続いて、第５のガイダンス制御例を説明する。第１〜第４のガイダンス制御例では、ユーザの視線および表情の双方が用いられたが、ユーザの視線または表情の一方に基づくガイダンス制御も可能である。以下では、ユーザの表情は用いず、ユーザの視線を用いる第５のガイダンス制御例を説明する。

図１８は、第５のガイダンス制御例を示すフローチャートである。まず、ガイダンス装置１００が人体センサなどによってユーザを検出すると、撮影部１０６が起動して撮像を開始し、表示部１０２が、記憶部１１２に記憶されたガイダンス映像（基本ガイダンス映像）を含むガイダンス表示画面の表示を開始する（Ｓ３０２）。

そして、顔検出部１２４が撮影部１０６から入力されるユーザの映像からユーザの顔を検出し（Ｓ３０４）、目検出部１２６がユーザの顔から目領域を検出する（Ｓ３０６）。さらに、視線検出部１２８が、ユーザの目領域の分析により、ユーザの視線がガイダンス映像のいずれの領域に向いているかを検出する（Ｓ３０８）。

その後、ガイダンス制御部１１６が、図９に示した設定テーブルに基づき、全ての設定領域での視線の滞在が認められたか、すなわち、全ての設定領域をユーザが見たかを判断する（Ｓ３１２）。

Ｓ３１２において全ての設定領域での視線の滞在が認められなかった場合（Ｓ３１２／ｎｏ）、ガイダンス制御部１１６は、ガイダンス映像の再表示フラグをセットする（Ｓ３１４）。一方、Ｓ３１２において全ての設定領域での視線の滞在が認められた場合（Ｓ３１２／ｙｅｓ）、ガイダンス制御部１１６は、ガイダンス映像の再表示フラグをクリアする（Ｓ３２０）。例えば、ガイダンス制御部１１６は、図１２に示したように、全ての設定領域での視線の滞在が認められない間は再表示フラグを「１」にセットし、全ての設定領域での視線の滞在が認められた後は再表示フラグを「０」にクリアする。上述したＳ３０４〜Ｓ３２０の処理が、ガイダンス映像の表示の時間区間が終了するまで繰り返される。

その後、ユーザによる操作が開始されると、ガイダンス制御が終了する（Ｓ３３２／ｙｅｓ）。ユーザによる操作が開始されない場合（Ｓ３３２／ｎｏ）、ガイダンス制御部１１６は、かつ、ガイダンス映像の表示が終了した時点での再表示フラグが「１」にセットされている場合（Ｓ３３６／ｙｅｓ）、後区間においてガイダンス映像を表示部１０２に再度表示させる（Ｓ３３８）。一方、ガイダンス制御部１１６は、ガイダンス映像の表示が終了した時点での再表示フラグが「０」にクリアされている場合（Ｓ３３６／ｎｏ）、後区間においてガイダンス映像の再表示を行わず、ガイダンス映像の非表示とする（Ｓ３５８）。

上述した第５のガイダンス制御例のように、設定領域を見たユーザにはガイダンス映像を再表示しない制御も実現可能である。

＜４．むすび＞
以上説明したように、本発明の実施形態によれば、ユーザの視線または表情の検出に基づき、ユーザに適切なガイダンス映像を提供することが可能である。例えば、ガイダンス映像の内容を理解できずに困惑しているユーザにはより丁寧な情報を提供し、ガイダンス映像における設定領域を未だ見ていないユーザにはガイダンス映像の表示を継続することが可能である。

なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記ではＡＴＭまたは乗車券発券機のようなガイダンス装置１００に本発明の実施形態が適用される例を主に説明したが、本発明の実施形態は他の情報処理システムにも適用可能である。他の情報処理システムとしては、教育支援システムが挙げられる。例えば、教育支援システムに本発明の実施形態を適用することにより、説明画面におけるポイント部分にユーザが視線を向けていない場合には当該説明画面を繰り返し表示することや、ユーザが説明内容を理解できずに困惑している場合には当該説明画面の補足画面を表示することが可能である。

また、上記実施形態では、ＣＣＤカメラのような撮影部１０６により得られた映像が視線検出に用いられる例を説明したが、ガイダンス装置１００は他の映像を用いて視線検出を行ってもよい。例えば、ガイダンス装置１００は、赤外線ＬＥＤおよび赤外線カメラにより得られる赤外線映像における角膜反射や瞳孔の位置から視線を検出してもよい。さらに、スマートグラスのようなウェアラブル端末が撮影部１０６として使用されてもよい。

また、上記実施形態では、表情検出のための特徴点として、左眉および右眉の各々について３つの特徴点を説明し、左目、右目および口の各々について４つの特徴点を説明したが、特徴点の数および配置は上述した例に限定されない。例えば、口の特徴点は上唇の特徴点および下唇の特徴点に分けられてもよい。その他、視線検出および表情検出の方法は、実施形態として説明した方法に限定されない。

また、ガイダンス制御部１１６は、ユーザの視線および表情を組み合わせてガイダンス制御を行ってもよい。例えば、ガイダンス制御部１１６は、ユーザが困惑の表情をしている場合、ユーザがいずれの領域に視線を向けているかに応じて、異なる補足映像を表示部１０２に表示させてもよい。例えば、ガイダンス制御部１１６は、図２に示した５０音検索の領域に視線が向けられている時にユーザが困惑の表情をしている場合、５０音検索についての補足画面を表示部１０２に表示させ、図２に示したフリーワード検索の領域に視線が向けられている時にユーザが困惑の表情をしている場合、フリーワード検索についての補足画面を表示部１０２に表示させてもよい。かかる構成により、よりユーザに合ったガイダンスを提供することが可能となる。

また、本明細書のガイダンス装置１００の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、ガイダンス装置１００処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、ガイダンス装置１００に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述したガイダンス装置１００の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

１００ ガイダンス装置
１０２ 表示部
１０４ 操作部
１０６ 撮影部
１０８ スピーカ
１１０ 通信部
１１２ 記憶部
１１４ 処理部
１１６ ガイダンス制御部
１１８ 操作処理部
１２０ 情報取得部
１２２ 画像処理部
１２４ 顔検出部
１２６ 目検出部
１２８ 視線検出部
１３０ 表情検出部

Claims (8)

1. 撮影部から入力されたユーザの映像から目領域を検出する目検出部と、
   前記目検出部によって検出された目領域の分析により、ガイダンス映像が表示された表示部のいずれの領域に視線が向いているかを検出する視線検出部と、
   前記ガイダンス映像に関して事前に設定された設定領域での視線の滞在がなかったことに基づき、前記ガイダンス映像に関する表示制御を行う制御部と、
   前記ユーザの映像からユーザの表情を検出する表情検出部と、
   を備え、
   前記制御部は、前記表情検出部により検出された前記ユーザの表情にさらに基づいて前記表示部の表示を制御する、情報処理装置。
2. 前記制御部は、
   ある時間区間内に前記設定領域での視線の滞在があったことに基づき、前記時間区間の後区間において前記ガイダンス映像を非表示に制御し、
   前記時間区間内に前記設定領域での視線の滞在がなかったことに基づき、前記後区間においても前記ガイダンス映像を前記表示部に表示させる、請求項１に記載の情報処理装置。
3. 前記制御部は、間隔を有する複数の時間区間において同一のガイダンス映像または異なるガイダンス情報を前記表示部に表示させ、一の時間区間で前記設定領域での視線の滞在がなかったことに基づき、前記一の時間区間と次の時間区間との間隔区間でも前記一の時間区間に表示された前記ガイダンス映像を前記表示部に表示させる、請求項１または２に記載の情報処理装置。
4. 前記制御部は、前記設定領域での視線の滞在が無かったことに基づき、前記設定領域の表示を強調する、請求項１〜３のいずれか一項に記載の情報処理装置。
5. 前記制御部は、前記後区間における前記ガイダンス映像の表示が、何回目の前記ガイダンス映像の表示であるかに基づき、前記設定領域の表示を強調するか否かを制御する、請求項２に記載の情報処理装置。
6. 前記制御部は、前記ユーザの表情が所定の基準を満たす場合、前記ガイダンス映像の表示の後に、前記ガイダンス映像を補足する補足映像を前記表示部に表示させる、請求項１に記載の情報処理装置。
7. 前記制御部は、前記ユーザの表情の困惑度に応じて異なる補足映像を前記表示部に表示させる、請求項６に記載の情報処理装置。
8. 撮影部から入力されたユーザの映像から目領域を検出することと、
   検出された目領域の分析により、ガイダンス映像が表示された表示部のいずれの領域に視線が向いているかを検出することと、
   前記ガイダンス映像に関して事前に設定された設定領域での視線の滞在がなかったことに基づき、前記ガイダンス映像に関する表示制御を行うことと、
   前記ユーザの映像からユーザの表情を検出することと、
   を含み、
   前記ガイダンス映像に関する表示制御を行うことは、検出された前記ユーザの表情にさらに基づいて前記ガイダンス映像に関する表示制御を行うことを含む、情報処理方法。
   

Images