JP6597429B2 - 情報処理装置、情報処理方法、情報処理システム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、情報処理システムに関する。

現在、ユーザは、銀行またはコンビニエンスストアなどに設置されている現金自動預け払い機（ＡＴＭ）または駅に設置されている乗車券発券機などの情報処理装置を用いて複数の異なる手続きを行うことができる。しかし、これらの情報処理装置における手続の中には難解な操作を行う手続がある。そのため、これらのＡＴＭまたは乗車券発券機においては、音声によるまたは画像表示によるガイダンスが行われる場合がある。

このようなガイダンスを行うシステムに関して下記の特許文献１が開示されている。特許文献１に開示されている音声ガイダンスシステムでは、ユーザの操作回数または前回の操作日から今回の操作日までの間隔日数などに基づいてガイダンスレベルが設定されることが記載されている。

特開平９−１６０７５１号公報

上述した特許文献１に開示されている音声ガイダンスシステムでは、ユーザの操作回数またはユーザが操作を行った日の間隔に基づいてガイダンスレベルが設定されるため、初めて情報処理装置を操作するユーザに対して適切なガイダンスが提供されない。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザの瞬目に基づいてユーザに適切なガイダンス情報を提供する、新規かつ改良された情報処理装置、情報処理方法、情報処理システムを提供する。

上記課題を解決するために、本発明のある観点によれば、ガイダンス情報を記憶する記憶部と、撮像部から入力された映像情報を処理して目を検出する目検出部と、前記目検出部によって検出された目の瞬目を判定する瞬目判定部と、前記瞬目判定部で判定された瞬目の回数に基づいてユーザに提供するガイダンス情報を前記記憶部から取得する情報取得部と、を備え、前記ガイダンス情報は、補助情報を含み、基本情報が再生されている間に、前記瞬目の回数が所定の回数以上であると判定された場合には、前記基本情報の再生が終了した後に補助情報を再生する再生部、を備える、情報処理装置が提供される。

また、前記情報処理装置は、視線を検出する視線検出部をさらに備え、前記情報取得部は、前記視線検出部が検出した視線に応じた前記ガイダンス情報を前記記憶部から取得してもよい。

また、前記情報処理装置は、表示部をさらに備え、前記表示部は表示される内容に応じて複数の領域に分割され、前記情報取得部は、前記視線検出部が検出するユーザの視線が前記領域に停滞している場合に、前記領域に表示される内容に関連する前記ガイダンス情報を取得してもよい。

また、前記情報取得部は、前記瞬目判定部によって判定される所定時間における瞬目の回数に応じた前記ガイダンス情報を前記記憶部から取得してもよい。

また、前記情報処理装置は、表示部をさらに備え、前記所定時間は、前記表示部に表示される画面が切り替わった時点を開始時点として計測が開始されてもよい。

また、前記所定時間における瞬目の回数を基準回数とし、前記基準回数と等しいまたは前記基準回数よりも大きい第１の閾値が前記所定の回数として設定され、前記第１の閾値よりも大きい第２の閾値が設定され、前記第１の閾値を上回る瞬目の回数が検出された場合、前記情報取得部は前記補助情報として前記ガイダンス情報の簡易情報を取得し、前記第２の閾値を上回る瞬目の回数が検出された場合、前記情報取得部は前記補助情報として前記ガイダンス情報の詳細情報を取得してもよい。

また、前記基準回数よりも小さい第３の閾値が設定され、前記第３の閾値を下回る瞬目の回数が検出された場合、前記情報取得部は前記ガイダンス情報の追加情報を取得してもよい。

また、前記ガイダンス情報は、音声ガイダンス情報であってもよい。

また、前記基本情報は複数のパートを含み、前記補助情報は、前記基本情報のパートの間に再生されてもよい。

また、前記情報処理装置は、顔を検出する顔検出部をさらに備え、前記顔検出部による顔の検出の後に、前記目検出部による目の検出が行われてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、撮像部から入力された映像情報を処理して目を検出することと、前記検出された目の瞬目を判定することと、前記判定された瞬目の回数に基づいてユーザに提供するガイダンス情報を取得することと、を含み、前記ガイダンス情報は、補助情報を含み、基本情報が再生されている間に、前記瞬目の回数が所定の回数以上であると判定された場合には、前記基本情報の再生が終了した後に補助情報を再生することを含む、情報処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、ガイダンス情報を記憶する記憶部と、撮像部から入力された映像情報を処理して目を検出する目検出部と、前記目検出部によって検出された目の瞬目を判定する瞬目判定部と、前記瞬目判定部で判定された瞬目の回数に基づいてユーザに提供するガイダンス情報を前記記憶部から取得する情報取得部と、を備え、前記ガイダンス情報は、補助情報を含み、基本情報が再生されている間に、前記瞬目の回数が所定の回数以上であると判定された場合には、前記基本情報の再生が終了した後に補助情報を再生する再生部、を備える、情報処理システムが提供される。

以上説明したように本発明によれば、ユーザの瞬目に基づいてユーザに適切なガイダンス情報を提供できる。

図１は、本発明のガイダンス装置の外観を示す図である。 図２は、ガイダンス装置の表示部に表示される画面の一例を示す図である。 図３は、ガイダンス装置が再生する音声ガイダンスの内容の一例を示す図である。 図４は、ガイダンス装置の内部構成の一例を示すブロック図である。 図５は、ガイダンス装置における処理の一例を示すフロー図である。 図６は、ガイダンス装置の記憶部に記憶される音声ガイダンスの管理テーブルの一例を示す図である。 図７は、ガイダンス装置が再生する音声ガイダンスの内容の他の一例を示す図である。 図８は、ガイダンス装置の内部構成の一例を示すブロック図である。 図９は、ガイダンス装置の表示部に対して設定される視線検知領域の一例を示す図である。 図１０は、ガイダンス装置における処理の他の一例を示すフロー図である。 図１１は、ガイダンス装置の記憶部に記憶される音声ガイダンスの管理テーブルの他の一例を示す図である。 図１２は、ガイダンス装置が再生する音声ガイダンスの内容の他の一例を示す図である。 図１３は、ガイダンス装置における処理の他の一例を示すフロー図である。 図１４は、ガイダンス装置の記憶部に記憶される音声ガイダンスの管理テーブルの他の一例を示す図である。 図１５は、ガイダンス装置が再生する音声ガイダンスの内容の他の一例を示す図である。 図１６は、ガイダンス装置が再生する音声ガイダンスの内容の他の一例を示す図である。 図１７は、ガイダンス装置の記憶部に記憶される音声ガイダンスの管理テーブルの他の一例を示す図である。 図１８は、ガイダンス装置が再生する音声ガイダンスの内容の他の一例を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜１．第１の実施形態＞
＜１−１．ガイダンス装置の構成＞
図１は、本発明の実施形態に係るガイダンス装置１００の外観の一例を示す図である。本発明の実施形態に係るガイダンス装置１００は、現金自動預け払い機（ＡＴＭ）または乗車券発券機のようなガイダンス情報をユーザに提供する情報処理装置である。ガイダンス装置１００は、複数の異なる機能を有しており、ユーザはガイダンス装置１００を操作することによって、複数の手続きを行うことができる。また、ガイダンス装置１００は、後述するようにユーザの瞬目の履歴に基づいてユーザに適切なガイダンス情報を提供する。これは一般的に、ユーザの心理状況（例えば集中しているまたは緊張しているまたはストレスを受けている）に応じて、瞬目回数が変化することに起因する。

ここで、例えばガイダンス装置１００がＡＴＭである場合、ガイダンス装置１００が有する複数の異なる機能とは、「現金の預け入れ」、「現金の引き出し」、「通帳記入」、「残高照会」、「振り込み」、「振り替え」、「暗証番号の変更」などである。また例えばガイダンス装置１００が乗車券発券機である場合、ガイダンス装置１００が有する複数の異なる機能とは、「乗車券の購入」、「回数券の購入」、「定期券の購入」、「指定席の変更」、「電子マネーのチャージ」などである。

また、ガイダンス装置１００は、表示部１０２と、撮影部１０６と、スピーカ１０８とを備える。表示部１０２には、図２に示されるような表示画面が表示される。図２において、ガイダンス表示部には、その画面に関するガイダンスが表示される。ガイダンス表示部に表示される内容は、例えば各操作ボタンの簡略な説明に関する情報であってもよく、また現在行われているキャンペーンに関するガイダンスなどであってもよい。

撮影部１０６は、ガイダンス装置１００を操作するユーザを撮影する。後述するように撮影部１０６は、ユーザの瞬目を判定するために用いられる画像を撮影する。例えば、撮影部１０６は、ＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）カメラであてもよい。スピーカ１０８は、ガイダンス装置１００が記憶している音声ガイダンスを出力するために用いられる。スピーカ１０８から発せられる音声ガイダンスは、例えば図３に示されるように再生されてもよい。

図３において示される基本ガイダンスとは、例えば表示部１０２に表示される内容に応じて再生されるガイダンスである。基本ガイダンスは、後述されるユーザの瞬目等の履歴に基づいて再生される補助情報または追加情報とは異なり、ユーザの瞬目の履歴に関わらず再生される。図３に示されるように、基本ガイダンスは所定の時間を空けて（図３において「ガイダンスなし」で示される）、異なる基本ガイダンスが再生されてもよいし、同じ基本ガイダンスが繰り返し再生されてもよい。なお、基本ガイダンスはガイダンス情報の一例であり、基本情報の一例である。

図４は、ガイダンス装置１００の内部構成の一例を示すブロック図である。ガイダンス装置１００はさらに、操作部１０４と、処理部１１４と、通信部１１０と、記憶部１１２と、を有する。操作部１０４は、例えばタッチパネルであってもよく、またはテンキーなどのハードキーであってもよい。通信部１１０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークを通じて外部のデータベースなどとデータの送受信を行うために用いられる。通信部１１０は、有線であってもよく、また無線であってもよい。

記憶部１１２には、各種のプログラムおよびデータが記憶されている。記憶部１１２は、半導体メモリまたはハードディスク装置であってもよく、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）および不揮発性メモリなどで構成されていてもよい。ハードディスク装置には、ＯＳ（Ｏｐｅｒａｔｉｏｎ Ｓｙｓｔｅｍ）および各種アプリケーションが記憶されていてもよい。ＲＡＭは、処理部１１４がプログラムに基づいて処理を実行するために用いられる各種のデータを記憶するワークメモリであってもよい。ＲＡＭには、表示部１０２に表示する画面情報、操作部１０４から入力された操作情報、撮影部１０６で撮影されたユーザの顔画像などの各種情報が記憶されてもよい。なお、不揮発性メモリは、電源をオフにしても記憶内容が消去されないメモリ（フラッシュメモリ）であり、各種設定情報が記憶される。

処理部１１４は、表示処理部１１６と、操作処理部１１８と、情報取得部１２０と、画像処理部１２２と、音声ガイダンス発生部１３０と、を有する。表示処理部１１６は、表示部１０２の表示を制御するために用いられる。具体的には表示処理部１１６は、操作部１０４からの指示に基づいて記憶部１１２から表示する情報を読み込み、読み込まれた情報に基づく画面を表示部１０２に表示する。

操作処理部１１８は、操作部１０４から入力された操作情報を取得する。操作処理部１１８は、操作部１０４から入力された操作情報を記憶部１１２に送る。また、操作処理部１１８は、操作部１０４がユーザによって操作された位置に対応する表示部１０２上の表示座標位置を算出する。そして操作処理部１１８は、算出された表示位置座標と対応するオブジェクトをユーザが操作したと判定する。音声ガイダンス発生部１３０は、記憶部１１２に予め記憶された音声ガイダンスの再生を行う。

画像処理部１２２は、撮影部１０６から入力された画像情報を処理する。画像処理部１２２は、顔検出部１２４と、目検出部１２６と、瞬目判定部１２８と、を有する。顔検出部１２４は、ユーザの顔を検出する。顔検出部１２４は、例えばエッジ検出または形状パターン検出によって候補領域を抽出し、抽出された候補領域を小領域に分割し、各領域の特徴点を予め設定された顔領域パターンと照合してもよい。また、顔検出部１２４は、各候補領域の濃度が所定の閾値に対応する値である場合に胴体候補領域を抽出し、顔および胴体候補領域の濃度または彩度のコントラストを用いて顔領域を抽出してもよい。

また、目検出部１２６は、ユーザの目を検出するために用いられる。目検出部１２６は、例えば顔検出部１２４によって検出された顔領域の中から、目の白目部分を角膜反射の候補として検出し、また目の黒目部分を瞳孔の候補として検出する。

瞬目判定部１２８は、ユーザの瞬目を判定するために用いられる。瞬目判定部１２８は、目検出部１２６によって検出された目の位置における瞬目の発生を判定する。瞬目判定部１２８は、例えば、目検出部１２６によって検出された目の付近の小領域を切り出して、その画像から上下のまぶたの間隔を画像処理によって算出する。瞬目判定部１２８は、算出されたまぶたの間隔が所定の値より小さくなると瞬目が発生したと判定する。

情報取得部１２０は、瞬目判定部１２８で判定されたユーザの瞬目の履歴に基づいてユーザに提供するガイダンス情報を記憶部１１２から取得する。情報取得部１２０がガイダンス情報を取得する処理については以下に詳細に説明される。

＜１−２．ガイダンス装置における処理＞
以上では、ガイダンス装置１００の構成について説明された。以下では、本発明のガイダンス装置１００の処理例が説明される。図５は、ガイダンス装置１００における処理の一例を示すフロー図である。

最初にＳ１００において、人体センサ等によってガイダンス装置１００がユーザを検出すると、処理が開始される。このとき、ガイダンス装置１００は、撮影部１０６を起動して撮影を開始する。なお、処理の開始は、表示部１０２の画面遷移に連動してもよい。次にＳ１０２において、処理部１１４の音声ガイダンス発生部１３０は、記憶部１１２に記憶された基本ガイダンスの情報に基づいて基本ガイダンスを再生する。

次にＳ１０４において、顔検出部１２４は、撮影部１０６によって撮影された画像データからユーザの顔を検出する。次にＳ１０６において目検出部１２６は、ユーザの目の検出を行う。次にＳ１０８において瞬目判定部１２８は、瞬目の検出を行う。

次にＳ１１０において、瞬目判定部１２８は、所定時間における瞬目の回数を測定する。ここで瞬目判定部１２８が瞬目を測定する時間は特に限定されない。例えば所定時間は１０秒であってもよく、３０秒であってもよく、１分であってもよい。また時間の測定を開始する時点は、上述したようにガイダンス装置１００がユーザを検知した時点または表示部１０２に表示される画面が遷移した時点であってもよい。

また、Ｓ１１０において瞬目判定部１２８は、所定の時間における瞬目の回数が所定の回数以上であるか否かを判定する。ここで判定される所定の時間における瞬目の回数は、特に限定されない。例えば、所定の時間は１０秒間であってもよく、判定される瞬目の回数は３回であってもよい。また、所定の時間は３０秒であってもよく、判定される瞬目の回数は１０回であってもよい。また、所定の時間は１分であってもよく、判定される瞬目の回数は２０回であってもよい。なお、Ｓ１１０において判定される所定時間における所定の瞬目の回数は、瞬目の履歴の一例である。

上述したようにＳ１１０において判断の基準となる時間および瞬目の回数は限定されない。しかし一般的に、通常の心理状態（集中も緊張もなく、ストレスも受けていない）である人間の瞬目の回数は、１分間に約２０回である。よってこの瞬目の回数を基準とすることによって、ユーザの心理状態に応じたガイダンス情報をユーザに提供することができる。以下では、Ｓ１１０における判断の基準となる瞬目の回数が１分間に２０回である例が説明される。

よってＳ１１０において所定の回数以上の瞬目（１分間に２０回以上の瞬目）が検出されると、処理部１１４はユーザがガイダンス装置１００の操作に関して困惑していると判断し、Ｓ１１２においてガイダンス装置１００の操作を説明する補助情報を記憶部１１２における管理テーブルに登録する。なお、補助情報は、ガイダンス情報の一例である。

図６は、図５のＳ１１２において補助情報が登録されたときの記憶部１１２における管理テーブルを示す図である。図６に示されているように基本ガイダンス番号１の音声ガイダンスが再生されている間にユーザの瞬目回数が２５回／分となり、Ｓ１１０における基準である２０回／分を超えると、補助情報１が管理テーブルに登録される。なお、図６において基本ガイダンス２について示されるように、瞬目回数が所定の回数（２０回／分）を超えない場合、補助情報は登録されない。

図５の処理の説明に戻ると、図５のＳ１１４において、処理部１１４は、基本ガイダンスの再生が終了したか否かを判定する。ここで、基本ガイダンスの再生が終了していない場合、処理はＳ１０４に戻る。Ｓ１１４において処理部１１４が基本ガイダンスの再生が終了したと判断すると、次にＳ１１６において情報取得部１２０は、記憶部１１２の管理テーブルに登録された補助情報があるか否かを判定する。ここで登録された補助情報がある場合、処理はＳ１１８に進み、情報取得部１２０は管理テーブルに従って補助情報を記憶部１１２から取得し、音声ガイダンス発生部１３０は、情報取得部１２０が取得した補助情報を再生する。

図７は、管理テーブルが図６の状態である場合に、再生される音声ガイダンスの再生順序を示す図である。図７で示されるように、基本ガイダンス１が再生されている間にユーザが２０回／分以上の瞬目をした場合、基本ガイダンス１の再生が終了した後に補助情報１が再生される。そして補助情報１が再生された後に、一定時間音声ガイダンスが再生されない時間があり、次に基本ガイダンス１とは異なる基本ガイダンス２が再生される。ここで基本ガイダンス２が再生されている間に、図５のＳ１０４からＳ１１４までの処理が再度行われてもよい。図７に示されるように、基本ガイダンスの再生が終了した直後に補助情報が再生されることによって、迅速に補助情報をユーザに提供することができる。

以上、第１の実施形態によれば、ユーザの瞬目回数によってユーザの心理状態に応じた補助情報がユーザに提供される。これによってユーザがガイダンス装置１００の操作方法について困惑している場合に、操作を説明する補助情報が提供される。

＜２．第２の実施形態＞
以上では本発明の第１の実施形態に係るガイダンス装置１００について説明された。以下では、本発明の第１の実施形態に係るガイダンス装置１００について説明される。第２の実施形態に係るガイダンス装置１００は、図８に示されるようにさらにユーザの視線を検出する視線検出部１３２をさらに備える。

図９は、ユーザの視線を検出するために設定される、表示部１０２の分割された領域を示す図である。図９の分割された領域は、図２で示された表示画面と対応づけられている。つまり、図９の分割領域Ａ〜Ｆにおいて示される点線の領域は、図２のガイダンス表示部に対応している。また、図９の分割領域Ｇ〜Ｌにおいて示される点線の領域はそれぞれ、図２の操作ボタン１〜６に対応している。このように、本実施形態の表示部１０２は、表示される内容に応じて複数の領域に分割される。

なお、表示部１０２が１７インチディスプレイであり、表示部１０２の表示ドット数が１２８０×１０２４ドットである場合、図９で示されるそれぞれの分割領域Ａ〜Ｆの大きさは、おおよそ４２３×２０８ドットとなる。また分割領域Ｇ〜Ｌにおいて点線で示される操作ボタン１〜６に対応する領域は、おおよそ３７９×１７０ドットとなる。

視線検出部１３２によるユーザの視線の検出は、例えば目検出部１２６が検出した目の位置において視線検出部１３２が、基準点となる目頭の位置に対して視点となる虹彩がどの位置にあるのかを判定することによって行われる。例えば、視線検出部１３２は、左目の虹彩が目頭から離れていればユーザは表示部１０２の左側を見ていると判定し、左目の目頭と虹彩が近ければ表示部１０２の右側をユーザが見ていると判定する。

また、視線検出部１３２は、特定された視線位置に対して視線の停滞があった時間を停滞時間として測定する。また視線検出部１３２は、上述したような大きさとドット数を有する表示部１０２の場合、例えば視線が７５ドットの範囲内に２００ｍｓ以上停滞していれば、その領域を視線の停滞領域と判定する。

上述した７５ドットという値は、上述した大きさおよびドット数を有する表示部１０２をユーザが６０ｃｍの離れたところから見ていると想定した場合の中心視の大きさを考慮した値である。中心視は、人が一点を凝視しているときに色や形を正確に捉えることができる領域であり、上述した表示部１０２においてその大きさは２ｃｍである。そして、上述した大きさとドット数を有する表示部１０２の場合、２ｃｍは７５ドットに相当する。また、視線が停滞していると判定するための２００ｍｓという時間は、一般的な視線のサッケードの時間（人が物体を見ようとして注視点を変えるときに要する時間）を考慮した時間である。なお、上述した視線を判定するために用いられるドット数は、表示部１０２が有するドット数に応じて変更されてもよい。

以上では、第２の実施形態において視線を検出するための構成について説明された。以下では、第２の実施形態に係る処理が説明される。図１０は、第２の実施形態に係るガイダンス装置１００の処理を示すフロー図である。図１０において、Ｓ２００〜Ｓ２０６は、図５のＳ１００〜Ｓ１０６に対応するので、説明は省略される。

第２の実施形態に係るガイダンス装置１００では、Ｓ２０８において、視線検出部１３２は、ユーザの視線の検出を行う。また、Ｓ２０８において、視線検出部１３２は、視線の停滞時間も計測する。次にＳ２１０において、瞬目判定部１２８は、瞬目の検出を行う。

次にＳ２１２において、瞬目判定部１２８は、所定時間における瞬目の回数を測定する。上述したように、ここで瞬目判定部１２８が瞬目を測定する時間は特に限定されない。また、瞬目判定部１２８が瞬目を測定する回数も特に限定されない。上述したように、通常の心理状態である人間の瞬目の回数は１分間に約２０回であることから、Ｓ２１２における基準となる瞬目の回数は２０回／分として以下は説明される。

Ｓ２１２において所定の回数以上の瞬目（１分間に２０回以上の瞬目）が検出されると、Ｓ２１４においてガイダンス装置１００の操作を説明する補助情報が記憶部１１２内の管理テーブルに登録される。

図１１は、図１０のＳ２１４において補助情報が登録されたときの記憶部１１２における管理テーブルを示す図である。図１１に示されているように基本ガイダンス番号１の音声ガイダンスが再生されている間にユーザの瞬目回数が２５回／分となっている。また、そのとき視線検出部１３２は、ユーザの視線が操作ボタン２の位置（つまり図８の分割領域Ｇの点線で囲まれた領域）に０．３秒停滞していたと判定している。よって操作ボタン２の操作を説明する補助情報２が管理テーブルに登録される。

そして図１０のＳ２１６において、処理部１１４は、基本ガイダンスの再生が終了したか否かを判定する。次にＳ２１８において情報取得部１２０は、記憶部１１２の管理テーブルに登録された補助情報があるか否かを判定する。ここで登録された補助情報がある場合、処理はＳ２２０に進み、情報取得部１２０は管理テーブルに従って補助情報を記憶部１１２から取得し、音声ガイダンス発生部１３０は、情報取得部１２０が取得した補助情報を再生する。

図１２は、管理テーブルが図１１の状態である場合に、再生される音声ガイダンスの再生順序を示す図である。図１２で示されるように、基本ガイダンス１の再生が終了した後に補助情報が再生される。ここで再生される補助情報は、ユーザの視線が操作ボタン２に停滞したことに基づいて選択されたガイダンスである。

そして補助情報が再生された後に、一定時間音声ガイダンスが再生されない時間があり、次に基本ガイダンス１とは異なる基本ガイダンス２が再生される。ここで基本ガイダンス２が再生されている間に、図１０のＳ２０４からＳ２１６までの処理が再度行われてもよい。

以上のように第２の実施形態によれば、ユーザの視線位置および停滞時間によって、ユーザがどの情報に注意を向けているかが判定される。そしてユーザが見ている操作画面の位置に応じた補助情報がユーザに提供される。また、ユーザが基本ガイダンスが読み上げている位置とは異なる位置を見ている場合であっても、ユーザが見ている位置に関する情報が適切にユーザに提供される。

＜３．第３の実施形態＞
以上では、ユーザの視線位置および視線の停滞時間に基づいて提供される補助情報が判定される実施形態について説明された。以下では、瞬目回数に関して複数の判断基準を有する第３の実施形態について説明される。

第１および第２の実施形態では、瞬目回数が所定の回数を上回った時に補助情報がユーザに提供された。第３の実施形態では瞬目回数に関して、通常の心理状態（集中も緊張もなく、ストレスも受けていない）である人間の瞬目の回数が基準回数とされる。そして基準回数と同じであるかそれよりも大きい第１の閾値を上回ったときに補助情報の簡易情報がユーザに提供される。また、第１の閾値よりも大きい第２の閾値を上回る瞬目回数が検出された場合、補助情報の詳細情報がユーザに提供される。

また、基準回数よりも小さい第３の閾値を下回る瞬目回数が検出された場合、ユーザの操作を補助する補助情報とは異なるキャンペーンまたは特典情報などの追加情報（例えば広告情報）がユーザに提供される。一般的に人が集中すると瞬目回数は減少するので、基準回数よりも少ない瞬目回数が検出されたときに追加情報が提供される。また、人は困惑すると瞬目回数が増える傾向にあることから、瞬目回数が多くなると、より詳細な情報がユーザに提供される。

図１３は、第３の実施形態に係るガイダンス装置１００の処理を示すフロー図である。図１３において、Ｓ３００〜Ｓ３１０は、図１０のＳ２００〜Ｓ２１０に対応するので説明は省略される。

第３の実施形態に係るガイダンス装置１００では、Ｓ３１４、Ｓ３１８、Ｓ３２２において、瞬目回数に関する異なる閾値に基づいて異なる情報が管理テーブルに登録される。ここで通常の心理状態（集中も緊張もなく、ストレスも受けていない）である人間の瞬目の回数（２０回／分）が基準回数として設定される。そして基準回数と同じであるかそれよりも大きい第１の閾値を上回ったときに補助情報の簡易情報がユーザに提供される（Ｓ３１６、Ｓ３１８）。また、第１の閾値よりも大きい第２の閾値を上回る瞬目回数が検出された場合、補助情報の詳細情報がユーザに提供される（Ｓ３２０、Ｓ３２２）。また、基準回数よりも小さい第３の閾値を下回る瞬目回数が検出された場合、追加情報がユーザに提供される（Ｓ３１２、Ｓ３１４）。

よって図１３で説明される処理において、例えば基準回数となる瞬目回数が２０回／分と設定された場合、Ｓ３１２において、例えば基準回数の１／２以下の瞬目の回数（第３の閾値）が瞬目判定部１２８によって検出されると、Ｓ３１４において追加情報が管理テーブルに登録される。

また、Ｓ３１６において、例えば基準回数の２倍以上（４０回／分）の瞬目の回数（第１の閾値）が瞬目判定部１２８によって検出されると、Ｓ３１８において補助情報の簡易情報が管理テーブルに登録される。また、Ｓ３２０において、例えば基準回数の３倍以上（６０回／分）の瞬目の回数（第２の閾値）が瞬目判定部１２８によって検出されると、Ｓ３２２において補助情報の詳細情報が管理テーブルに登録される。

図１４は、図１３のＳ３１４、Ｓ３１８、Ｓ３２２において補助情報または追加情報が登録されたときの記憶部１１２における管理テーブルを示す図である。図１４に示されているようにユーザの視線位置が操作ボタン２で停滞しているときに瞬目回数が第３の閾値（１０回／分）を下回ると、操作ボタン２に関する追加情報が管理テーブルに登録される。また、ユーザの視線位置が操作ボタン３で停滞しているときに瞬目回数が第１の閾値（４０回／分）を上回ると、操作ボタン３に関する補助情報の簡易情報が管理テーブルに登録される。また、ユーザの視線位置が操作ボタン５で停滞しているときに瞬目回数が第２の閾値（６０回／分）を上回ると、操作ボタン５に関する補助情報の詳細情報が管理テーブルに登録される。

そして図１３のＳ３２４において、処理部１１４は、基本ガイダンスの再生が終了したか否かを判定する。次にＳ３２６において情報取得部１２０は、記憶部１１２の管理テーブルに登録された補助情報があるか否かを判定する。ここで登録された補助情報がある場合、処理はＳ３２８に進み、情報取得部１２０は管理テーブルに従って補助情報を記憶部１１２から取得し、音声ガイダンス発生部１３０は、情報取得部１２０が取得した補助情報を再生する。

図１５は、管理テーブルが図１４の状態である場合に、再生される音声ガイダンスの再生順序を示す図である。図１５で示されるように、基本ガイダンス１の再生が終了した後に操作ボタン２に関する追加情報が再生される。次に、操作ボタン３に関する補助情報の簡易情報が再生され、その後に操作ボタン５に関する補助情報の詳細情報が再生される。なお、再生される順番は上述した順序に限られない。例えば、操作ボタン３に関する補助情報の簡易情報が再生され、その後に操作ボタン５に関する補助情報の詳細情報が再生され、最後に操作ボタン２に関する追加情報が再生されてもよい。

以上のように第３の実施形態によれば、ユーザの心理状態に応じてより適切な情報をユーザに提供することができる。例えば、ユーザがガイダンス装置１００の操作に関して困惑しているときに、その困惑の度合いに応じて簡易情報または詳細情報がユーザに提供される。また、ユーザが興味を持っている情報に関して、追加情報が提供される。なお、上述した例では、第１の閾値が基準回数の２倍であり、第２の閾値が基準回数の３倍であり、第３の閾値が基準回数の１／２であったが、瞬目の回数はこれに限定されない。

＜４．第４の実施形態＞
以上では、判定される瞬目回数に応じて追加情報または補助情報の簡易情報または補助情報の詳細情報が提供される実施形態が説明された。以下では、基本ガイダンスが複数のパートに細分化されている実施形態について説明される。基本ガイダンスは、一般的に表示部１０２に表示される内容に関して再生されるガイダンスであり、基本ガイダンスでは表示部１０２に表示されている内容の多くに関する説明が行われる。よって基本ガイダンスは一般的に長時間再生される。そのため、ユーザが知りたい情報である追加情報または補助情報が基本ガイダンスの後に再生されると、ユーザは長時間操作を待たなければならない。

よって以下では、基本ガイダンスが複数のパートに分割され、上述した補助情報または追加情報が基本ガイダンスのパートの間で再生される実施形態について説明される。基本ガイダンスが分割される複数のパートは、一文単位で分割されてもよく、またガイダンス装置１００の各機能の説明に分割されてもよい。例えばガイダンス装置１００が現金自動預け払い機である場合、基本ガイダンスは、「現金の預け入れ」、「現金の引き出し」、「通帳記入」、「残高照会」、「振り込み」、「振り替え」および「暗証番号の変更」の機能ごとのパートに分割されてもよい。

図１６は、分割された基本ガイダンスの再生順序が示された図である。図１６に示されるように、基本ガイダンス１は、「基本ガイダンス１−１」、「基本ガイダンス１−２」および「基本ガイダンス１−３」の３つのパートに分割されている。そして所定時間ガイダンスが再生されない時間があり、また基本ガイダンス１が繰り返し再生される。なお、基本ガイダンスが分割される数は、３つに限定されない。

図１７は、本実施形態において説明される管理テーブルの状態の一例が示される図である。図１７に示される管理テーブルでは、基本ガイダンス１−２が再生されている間に瞬目回数が所定の回数（２０回／分）を上回っていることが検出され、操作ボタン３の補助情報が登録されている。

図１８は、管理テーブルが図１７の状態である場合に、再生される音声ガイダンスの再生順序が示される図である。図１８で示されるように、基本ガイダンス１−２のパートの再生が終了した後に操作ボタン３に関する補助情報が再生される。そして、次に基本ガイダンス１−３のパートに関するガイダンスが再生される。なお、上述した実施例において基本ガイダンスの再生時間が短い場合、１回目の基本ガイダンスが再生される間は瞬目が行われる回数を判定する処理のみが行われ、補助情報の登録は行われなくてもよい。そして繰り返して２回目の基本ガイダンスの再生が終了した後に補助情報が再生されてもよい。

以上のように第４の実施形態では、基本ガイダンスが複数のパートに分割される。また、補助情報または追加情報は、基本ガイダンスのパートの間で再生される。これによって、ユーザはより迅速にユーザが知りたい情報を得ることができる。

＜５．補足＞
なお、上述した実施形態では、瞬目の履歴の一例として所定の時間における瞬目の回数が用いられ、所定の時間における瞬目の回数に基づいて補助情報または追加情報が提供されるか否かの判定が行われた。しかし、補助情報または追加情報の提供が判断される瞬目の履歴の基準はこれに限らない。例えば、ユーザの瞬目が行われる時間間隔に基づいて補助情報または追加情報の提供が判定されてもよい。また、瞬目の頻度に基づいて補助情報の提供が判定されてもよい。また瞬目が行われる分散に基づいて補助情報または追加情報の提供が判断されてもよい。瞬目が行われる時間間隔に基づいて補助情報または追加情報の提供が判定される場合、例えばその時間間隔は、５秒間であってもよく、１０秒間であってもよい。

また、上述した実施形態では、基本ガイダンスが最初に再生され、基本ガイダンスの再生が終わった後に補助情報または追加情報の再生が行われる処理が説明された。しかし、基本ガイダンスは再生されなくてもよい。つまり、瞬目判定部１２８が瞬目の履歴に基づいて補助情報または追加情報の提供を判定した場合に、音声ガイダンスが再生されてもよい。この場合、再生される音声ガイダンスは、上述した基本ガイダンスに相当するガイダンスでもよく、また補助情報に相当するガイダンスでもよい。

また、上述した実施形態では、音声ガイダンスが行われる場合について説明された。しかしガイダンス情報の提供は音声による提供に限られない。例えば、ガイダンス情報の提供は、画像または映像または文字によってなされてもよい。このとき、基本ガイダンスの画像または映像または文字が表示されている間にユーザの瞬目回数が所定回数以上と判定されると、補助情報が画像または映像または文字で表示されてもよい。

また上述した実施形態では、ユーザの顔検出が行われた後に目の検出が行われた。しかし本発明の実施形態に係る技術において、顔の検出は行われなくてもよい。例えば、撮影部１０６が目の近辺を撮影するように予め撮影部１０６の位置が設定されている場合、顔の検出は行われなくてもよい。なお、顔の検出が行われる場合は、顔の検出によってユーザの性別が判定されてもよい。この場合、瞬目の回数または頻度は男女によって異なるため、図５のＳ１１０で行われる判定の基準となる瞬目の回数または頻度などは、検出された性別に応じて変更されてもよい。例えばユーザは男性であることが判定された場合、上述した瞬目の回数は２０回／分に設定され、ユーザが女性であると判定された場合、上述した瞬目の回数は１５回／分に設定される。このようにガイダンス装置１００が構成されることによって、男女の性別に応じて補助情報がより適切に提供される。

また、上述した実施例では視線検出のためにＣＣＤカメラが用いられた。しかし視線検出は、赤外線ＬＥＤと赤外線カメラが用いられ、赤外線の角膜反射と瞳孔の位置から視線が検出されてもよい。また、撮影部１０６としてスマートグラスのようなウェアラブル端末が使用されてもよい。

なお、本明細書において説明した一連の処理は、処理部１１４に上述した処理を行わせるように構成されたプログラムによって実現されてもよい。プログラムは、例えば、装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

本発明は、情報処理装置、情報処理システムに適用可能である。

１００ ガイダンス装置
１０２ 表示部
１０４ 操作部
１０６ 撮影部
１０８ スピーカ
１１０ 通信部
１１２ 記憶部
１１４ 処理部
１１６ 表示処理部
１１８ 操作処理部
１２０ 情報取得部
１２２ 画像処理部
１２４ 顔検出部
１２６ 目検出部
１２８ 瞬目判定部
１３０ 音声ガイダンス発生部
１３２ 視線検出部

Claims (12)

1. ガイダンス情報を記憶する記憶部と、
   撮像部から入力された映像情報を処理して目を検出する目検出部と、
   前記目検出部によって検出された目の瞬目を判定する瞬目判定部と、
   前記瞬目判定部で判定された瞬目の回数に基づいてユーザに提供するガイダンス情報を前記記憶部から取得する情報取得部と、を備え、
   前記ガイダンス情報は、補助情報を含み、
   基本情報が再生されている間に、前記瞬目の回数が所定の回数以上であると判定された場合には、前記基本情報の再生が終了した後に補助情報を再生する再生部、
   を備える、情報処理装置。
2. 視線を検出する視線検出部をさらに備え、
   前記情報取得部は、前記視線検出部が検出した視線に応じた前記ガイダンス情報を前記記憶部から取得する、請求項１に記載の情報処理装置。
3. 表示部をさらに備え、
   前記表示部は表示される内容に応じて複数の領域に分割され、
   前記情報取得部は、前記視線検出部が検出するユーザの視線が前記領域に停滞している場合に、前記領域に表示される内容に関連する前記ガイダンス情報を取得する、請求項２に記載の情報処理装置。
4. 前記情報取得部は、前記瞬目判定部によって判定される所定時間における瞬目の回数に応じた前記ガイダンス情報を前記記憶部から取得する、請求項１または２に記載の情報処理装置。
5. 表示部をさらに備え、
   前記所定時間は、前記表示部に表示される画面が切り替わった時点を開始時点として計測が開始される、請求項４に記載の情報処理装置。
6. 前記所定時間における瞬目の回数を基準回数とし、前記基準回数と等しいまたは前記基準回数よりも大きい第１の閾値が前記所定の回数として設定され、前記第１の閾値よりも大きい第２の閾値が設定され、
   前記第１の閾値を上回る瞬目の回数が検出された場合、前記情報取得部は前記補助情報として前記ガイダンス情報の簡易情報を取得し、
   前記第２の閾値を上回る瞬目の回数が検出された場合、前記情報取得部は前記補助情報として前記ガイダンス情報の詳細情報を取得する、請求項４または５に記載の情報処理装置。
7. 前記基準回数よりも小さい第３の閾値が設定され、
   前記第３の閾値を下回る瞬目の回数が検出された場合、前記情報取得部は前記ガイダンス情報の追加情報を取得する、請求項６に記載の情報処理装置。
8. 前記ガイダンス情報は、音声ガイダンス情報である、請求項１から７のいずれか１項に記載の情報処理装置。
9. 前記基本情報は複数のパートを含み、
   前記補助情報は、前記基本情報のパートの間に再生される、請求項１から８のいずれか１項に記載の情報処理装置。
10. 顔を検出する顔検出部をさらに備え、
    前記顔検出部による顔の検出の後に、前記目検出部による目の検出が行われる、請求項１から９のいずれか１項に記載の情報処理装置。
11. 撮像部から入力された映像情報を処理して目を検出することと、
    前記検出された目の瞬目を判定することと、
    前記判定された瞬目の回数に基づいてユーザに提供するガイダンス情報を取得することと、を含み、
    前記ガイダンス情報は、補助情報を含み、
    基本情報が再生されている間に、前記瞬目の回数が所定の回数以上であると判定された場合には、前記基本情報の再生が終了した後に補助情報を再生することを含む、
    情報処理方法。
12. ガイダンス情報を記憶する記憶部と、
    撮像部から入力された映像情報を処理して目を検出する目検出部と、
    前記目検出部によって検出された目の瞬目を判定する瞬目判定部と、
    前記瞬目判定部で判定された瞬目の回数に基づいてユーザに提供するガイダンス情報を前記記憶部から取得する情報取得部と、を備え、
    前記ガイダンス情報は、補助情報を含み、
    基本情報が再生されている間に、前記瞬目の回数が所定の回数以上であると判定された場合には、前記基本情報の再生が終了した後に補助情報を再生する再生部、
    を備える、情報処理システム。
    

Images