JP5779641B2 - 情報処理装置、方法およびプログラム - Google Patents

Description

本発明は、視認する方向に応じてユーザに視認させる内容を異ならせることが可能な表示装置に接続される情報処理装置、視認する方向に応じてユーザに視認させる内容を異ならせることが可能な表示装置に接続されるコンピュータによって実行される方法、およびプログラムに関する。

従来、複数の視点を得られるレンズと、レンズの一端に対向して配置された第１の液晶素子および第２の液晶素子と、第１の液晶素子に画像信号を供給する第１の画像信号出力手段と、第２の液晶素子に画像信号を供給する第２の画像信号出力手段とを具備する、多重映像表示装置がある（特許文献１を参照）。

また、ディスプレイに２つの異なる画像を時分割させて表示し、眼鏡毎に異なる画像を時分割で認識させることで、眼鏡を掛けた人毎に異なる画像を見せる表示装置がある（特許文献２を参照）。

また、異なる方向において異なる観察者に異なる画像を表示するように構成されたマルチビューディスプレイパネルを有し、観察者を監視し、監視情報に基づいてディスプレイ出力を多様化させるディスプレイシステムがある（特許文献３を参照）。

特開２００３−７６２８９号公報 特開平９−１０１７４９号公報 米国特許出願公開第２０１０／０００２０７９号明細書

従来、複数のユーザによって操作される情報処理装置は存在していたが、複数のユーザの夫々に対して個別のマンマシンインターフェース（ＭＭＩ）を提供するためには、ユーザ毎に個別の表示領域を割り当て、割り当てられた領域に、対応するユーザへのインターフェースを提供する必要があった。しかし、このような方法では、ユーザ同士が離れた場所で独立したヒューマンインターフェース装置（ＨＩＤ：Ｈｕｍａｎ Ｉｎｔｅｒｆａｃｅ Ｄｅｖｉｃｅ）を用いている場合にはよいが、ユーザ同士が互いに近傍に居るような場合には、ユーザは、自己に割り当てられた表示領域が何れであるかを意識する必要があった。

本発明は、上記した問題に鑑み、複数のユーザによって操作される場合に、自己に割り当てられた領域をユーザに意識させること無く操作可能な情報処理装置を提供することを課題とする。

本発明では、上記課題を解決するために、以下の手段を採用した。即ち、本発明は、視認する方向に応じてユーザに視認させる内容を異ならせることが可能な表示装置に接続される情報処理装置であって、前記表示装置を視認可能な範囲に居る複数のユーザの位置を示す位置情報を取得する位置情報取得手段と、前記複数のユーザに含まれる第一のユーザによる第一の操作と、該複数のユーザに含まれる、前記第一のユーザとは異なる第二のユーザによる第二の操作と、を検出するユーザ操作検出手段と、前記操作が検出されたことをユーザに通知するための応答を取得する応答取得手段と、前記表示装置に、前記応答取得手段によって取得された、前記第一の操作に対する応答を、前記第一のユーザの位置情報が示す位置から視認可能に表示させ、前記応答取得手段によって取得された、前記第二の操作に対する応答を、前記第二のユーザの位置情報が示す位置から視認可能に表示させる、表示制御手段と、を備える情報処理装置である。

即ち、本発明に係る情報処理装置は、ユーザによる操作が行われた場合、これを、異なるユーザによる異なる操作として検出する。そして、情報処理装置は、検出された操作毎に、操作に対する応答を表示させる。ここで、表示に用いられる表示装置は、視認する方向に応じてユーザに視認させる内容を異ならせることが可能な表示装置であり、情報処理装置は、操作に対応する応答を、操作を行ったユーザの位置から視認可能なように表示させる。なお、表示装置は、視認する方向に応じてユーザに視認させる内容を異ならせることが可能なものであればよく、具体的な方式にはどのような技術が採用されていてもよい。

本発明によれば、複数のユーザによって操作される場合に、自己に割り当てられた領域をユーザに意識させること無く操作可能な情報処理装置を提供することが可能となる。

また、情報処理装置は、前記表示装置を視認可能な範囲を撮像することで画像情報を取得する画像情報取得手段を更に備え、前記ユーザ操作検出手段は、前記画像情報から、ユーザによる操作に対応する所定の動作を検出することで、ユーザによる操作を検出してもよい。

ここで、所定の動作とは、例えば、ユーザによるジェスチャや発声等である。ジェスチャには、身振り、手振りの他、視線の移動等も含まれてよい。また、所定の動作は、ユーザによって意識的に行われる動作であってもよいし、ユーザによって無意識的に行われる動作であってもよい。但し、操作はユーザによる動作でなくてもよい。ユーザによる操作は、例えば、コントローラや携帯端末装置等の、ユーザが操作する装置を用いて行われてもよい。

また、前記ユーザ操作検出手段は、前記所定の動作として、所定の処理の実行命令を示す命令動作を検出し、前記命令動作に応じた所定の処理を実行させるための指示を行う処理実行指示手段を更に備えてもよい。

所定の動作として命令動作を検出し、命令動作に応じた所定の処理の実行指示を行うことで、ユーザに対して、ジェスチャ等の動作によって命令を入力させ、その入力に対する応答を得させることが出来る。

また、前記ユーザ操作検出手段は、ユーザが前記命令動作を行う前段階にあることを示す開始動作を更に検出し、前記ユーザ操作検出手段による前記命令動作の検出は、前記ユーザ操作検出手段によって前記開始動作が検出された後に行われてもよい。

所定の動作として開始動作を検出し、命令動作の検出を、開始動作の検出後とすることで、命令動作の誤検出を防ぐことが出来る。

また、前記ユーザ操作検出手段は、前記所定の処理の実行可否を示す確認動作を更に検出し、前記処理実行指示手段は、前記ユーザ操作検出手段によって前記所定の処理の実行が可であることを示す前記確認動作が検出された場合に、前記命令動作に応じた前記所定の処理を実行させてもよい。

所定の動作として確認動作を検出し、命令動作に応じた処理の実行指示の可否を判断することで、誤操作（誤入力）に係る命令をキャンセルすることが出来る。

また、前記位置情報取得手段は、前記画像情報に基づいて前記位置情報を取得してもよい。

この場合、ユーザの位置情報は、撮像装置によって撮像された画像情報に基づいて取得される。但し、ユーザの位置情報は、画像情報に基づいて取得されなくともよい。例えば、センサーマットや、音波を用いた位置検出、等を用いて取得されてもよい。

また、情報処理装置は、前記位置情報取得手段によって取得されたユーザの位置情報を含むユーザ情報を保持するユーザ情報保持手段と、前記位置情報取得手段によって取得された位置情報に係るユーザ情報が、前記ユーザ情報保持手段に保持されていない場合に、該位置情報を含むユーザ情報を前記ユーザ情報保持手段に保持させるユーザ情報登録手段と、前記位置情報取得手段によって取得された位置情報が、前記ユーザ情報保持手段に保持されている場合に、該位置情報を用いて該ユーザ情報を更新するユーザ情報更新手段と、を更に備えてもよい。

ユーザ情報保持手段、ユーザ情報登録手段、およびユーザ情報更新手段を備えることで、ユーザ情報は最新の情報に更新され、情報処理装置は、最新のユーザ位置から視認可能なように、表示装置による表示を行うことが出来る。即ち、本発明によれば、ユーザ位置情報を更新することでユーザを追尾し、最新のユーザ位置に表示方向を追従させることが出来る。なお、ここで「表示方向」とは、本発明に係る表示装置において、視認する方向に応じてユーザに視認させる内容を異ならせるような表示を行う場合に、表示装置の表示部から見て、当該内容を視認できるユーザが居る方向である。

また、情報処理装置は、前記ユーザ情報保持手段によって保持されている位置情報が更新されない場合に、該位置情報に係るユーザ情報を削除するユーザ情報削除手段を更に備えてもよい。

このようなユーザ情報削除手段を備えることによって、例えば、撮像装置によって撮像される範囲から居なくなったことで位置情報が取得されなくなったユーザのユーザ情報を削除することが出来る。

また、本発明は、コンピュータによって実行される方法、またはコンピュータに実行させるプログラムとしても把握することが可能である。また、本発明は、そのようなプログラムをコンピュータその他の装置、機械等が読み取り可能な記録媒体に記録したものでもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。

本発明によれば、複数のユーザによって操作される場合に、自己に割り当てられた領域をユーザに意識させること無く操作可能な情報処理装置を提供することが可能となる。

実施形態に係る情報処理装置のハードウェア構成の概略を示す図である。 実施形態において指向性表示装置を視認するユーザの位置によって、視認される内容が異なる様子を示す図である。 実施形態において、単眼カメラを含むセンサユニットが用いられる場合の、センサユニットの配置の例を示す図である。 実施形態において、ステレオカメラを含むセンサユニットが用いられる場合の、センサユニットの配置の例を示す図である。 実施形態において、赤外構造化光照射装置とカメラとの組み合わせを含むセンサユニットが用いられる場合の、センサユニットの配置の例を示す図である。 実施形態に係る情報処理装置の機能構成の概略を示す図である。 実施形態において用いられるユーザ情報テーブルの構成を示す図である。 実施形態に係るユーザ情報管理処理の流れを示すフローチャートである。 実施形態に係るユーザ操作認識処理の流れを示すフローチャートである。

以下、本発明に係る情報処理装置の実施の形態について、図面に基づいて説明する。なお、以下に説明する実施の形態は、本発明を実施する一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明を実施するにあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。本実施形態において、本発明に係る情報処理装置は、エレベータ、カーナビゲーション装置、オーディオ装置、情報ＫＩＯＳＫ端末、セルフレジ端末、家電、等の操作対象について設けられるヒューマンインターフェース装置として実施される。但し、本発明の適用対象は、多人数によって同時に使用され得る操作対象についてのヒューマンインターフェース装置であればよく、本発明の適用対象は、以下に説明する例に限定されない。

＜装置の構成＞
図１は、本実施形態に係る情報処理装置１のハードウェア構成の概略を示す図である。情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３と、補助記憶装置１９と、指向性表示装置１４と、スピーカ１５と、ネットワークインターフェース１６と、センサユニット２０と、が電気的に接続された情報処理装置である。また、情報処理装置１は、ネットワークインターフェース１６を介して、操作対象（エレベータ等）の制御装置に接続される。

但し、本発明の実施にあたって、本発明に係る装置は、上記した構成を全て備える必要はない。装置の具体的なハードウェア構成に関しては、実施の形態に応じて適宜構成要素の省略や置換、追加が可能である。

ＣＰＵ１１は、中央処理装置であり、ＲＡＭ１２およびＲＯＭ１３等に展開された命令及びデータを処理することで、ＲＡＭ１２、補助記憶装置１９、入出力装置等の、情報処理装置１に備えられた各構成を制御する。また、ＲＡＭ１２は、主記憶装置であり、ＣＰＵ１１によって制御され、各種命令やデータが書き込まれ、読み出される。即ち、ＣＰＵ１１、ＲＡＭ１２、およびＲＯＭ１３は、情報処理装置１の制御部を構成する。

補助記憶装置１９は、不揮発性の記憶装置であり、主に情報処理装置１の電源を落としても保持したい情報、例えば、ＲＡＭ１２にロードされる情報処理装置１のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、図８以降のフローチャートに示された処理を実行するための各種プログラムの他、情報処理装置１によって使用される各種データが書き込まれ、読み出される。補助記憶装置１９としては、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等を用いることが出来る。

指向性表示装置１４は、多視点を得られるレンズ（レンチキュラーレンズ、フライアイレンズ等）や、視差バリア等の技術を用いて、表示部を視認する方向によって視認させる画素を異ならせることで、一軸方向（例えば、水平方向）または二軸方向（例えば、水平方向および鉛直方向）における指向性表示を可能とした指向性表示装置（以下、「一軸指向性表示装置」または「二軸指向性表示装置」と称する）である。但し、指向性表示装置１４として用いられる表示装置は、その他の手法によって指向性を持たせたものであってもよい。

図２は、本実施形態において指向性表示装置１４を視認するユーザの位置によって、視認される内容が異なる様子を示す図である。

本実施形態に係る情報処理装置１では、入出力装置として、主に指向性表示装置１４やスピーカ１５、センサユニット２０等が用いられ、ＣＰＵ１１によって制御され、データを出力し、ユーザによる操作を受け付けることで、ユーザの五感を通じて情報を提供し、ユーザによるジェスチャ操作を介してユーザによる入力を受け付ける。入出力装置から入力された内容はＲＡＭ１２に記録され、ＣＰＵ１１によって処理される。インターフェースとしては、センサユニット２０を介した入力、および指向性表示装置１４を介した出力の他、マイク（図示は省略する）およびスピーカ１５を用いた音響による入出力を用いることが出来る。

センサユニット２０は、ユーザを認識し、また、ユーザによるジェスチャを検出するための情報を取得する。センサユニット２０は、１または複数のセンサを含み、複数のユーザの存在および位置を同時に認識し、また、複数のユーザによるジェスチャを同時に検出可能な構成が用いられる。以下に、センサユニット２０の具体的な構成の例を示す。

（１）可視光（ＲＧＢ）および赤外線の少なくとも一方を撮像する単眼カメラ
図３は、本実施形態において、可視光（ＲＧＢ）および赤外線の少なくとも一方を撮像する単眼カメラを含むセンサユニット２０が用いられる場合の、センサユニット２０の配置の例を示す図である。情報処理装置１は、単眼カメラから取得された画像情報に基づいて、顔認識技術を含む画像解析技術や視線認識技術を用いたユーザ位置情報の取得、動画像解析技術を用いたジェスチャ検出、等を行うことが出来る。

（２）可視光および赤外線の少なくとも一方を撮像するステレオカメラ
図４は、本実施形態において、可視光および赤外線の少なくとも一方を撮像するステレオカメラを含むセンサユニット２０が用いられる場合の、センサユニット２０の配置の例を示す図である。このようなセンサユニット２０は、単眼カメラと同様の機能を備える他、ステレオカメラで撮像された画像を比較し、視差に基づいて対象までの距離を算出する方法（受動ステレオ法）によって、所謂深度センサとして用いることが可能である。深度センサを用いた場合、深度情報を得ることが出来る。なお、深度情報は、撮像された対象までの距離（深度）を含む情報であり、受動ステレオ法、構造化光投影法、往復伝搬時間法、等を用いることによって、取得することが出来る。

（３）赤外構造化光照射装置と、赤外線カメラとの組み合わせ
図５は、本実施形態において、赤外構造化光照射装置（または、赤外線エミッター）と、赤外線カメラとの組み合わせを含むセンサユニット２０が用いられる場合の、センサユニット２０の配置の例を示す図である。このようなセンサユニット２０は、単眼カメラと同様の機能を備える他、赤外構造化光照射装置から照射された赤外構造化光の反射光を赤外線カメラによって撮像する方法（構造化光投影法）や、赤外線エミッターから照射された赤外線パルスの反射光を赤外線カメラによって撮像し、照射された赤外線パルスのＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ：飛行時間）を計測する方法（往復伝搬時間法）によって、所謂深度センサとして用いることが可能である。また、照射された赤外線の、ユーザの眼球からの反射光をカメラによって撮像し、この撮像結果に基づいてユーザの視線がカメラの撮像視点を向いているか否かを判定することで、視線認識を行うことも可能である。

但し、赤外構造化光照射装置を用いる場合であっても、センサユニット２０は、可視光カメラを更に含んでもよいし、赤外線パルスの反射光撮像用のカメラとして、赤外線に加えて可視光も撮像可能なカメラが採用されてもよい。これは、位置情報の取得やジェスチャ検出は、赤外線カメラによって撮像された画像に基づいても可能であるが、可視光カメラを更に備えることで、より精度の高い顔認識が可能となるからである。

図６は、本実施形態に係る情報処理装置１の機能構成の概略を示す図である。本実施形態に係る情報処理装置１は、ＣＰＵ１１が、ＲＡＭ１２に展開された各種プログラムを解釈および実行することで、画像情報取得部３１と、ユーザ情報取得部３２と、ユーザ情報保持部３３と、ユーザ情報登録部３４と、ユーザ情報更新部３５と、ユーザ情報削除部３６と、ユーザ操作検出部３７と、応答取得部３８と、表示制御部３９と、処理実行指示部４０と、を備える情報処理装置１として機能する。これらの各機能部は、本発明に係る情報処理装置が備える各手段に相当する機能を実行する。また、本実施形態では、これらの機能がいずれも汎用のＣＰＵ１１によって実行される例について説明しているが、これらの機能は、その一部または全部が、１または複数の専用のプロセッサによって実現されてもよい。

画像情報取得部３１は、センサユニット２０を用いて、指向性表示装置１４を視認可能な範囲の撮像画像を含む画像情報を取得する。また、画像情報には、深度を測定可能なセンサユニット２０を用いて取得された深度情報が含まれてもよい。

ユーザ情報取得部３２は、画像情報を解析することによって、指向性表示装置１４を視認可能な範囲に居る複数のユーザの位置を示すユーザ位置情報を取得する。例えば、ユーザ位置情報は、画像情報に含まれる深度情報を参照することによって取得されてもよい。ユーザ位置情報の取得に深度情報を用いることで、ユーザ同士の奥行方向の前後関係を容易に把握することが出来る。なお、本実施形態では、ユーザ位置情報は画像情報の解析によって取得することとしているが、ユーザ位置情報の取得にはその他の方法が採用されてもよい。ユーザ位置情報は、例えば、指向性表示装置１４を視認可能な範囲に設置されたセンサーマットや、音波を用いた位置検出、等を用いて取得されてもよい。

ユーザ情報保持部３３は、ユーザ情報取得部３２によって取得されたユーザ位置情報を含むユーザ情報を、ＲＡＭ１２または補助記憶装置１９上のユーザ情報テーブルに保持する。

図７は、本実施形態において用いられるユーザ情報テーブルの構成を示す図である。ユーザ情報は、情報処理装置１によって認識されている、指向性表示装置１４を視認可能な範囲に存在するユーザを管理するための情報であり、ユーザ情報テーブルに記憶される。ユーザ情報は、ユーザ識別情報（ユーザＩＤ）、ユーザ位置情報、ユーザ領域マップ、および非発見カウンタを含む。

ユーザ情報登録部３４は、ユーザ情報取得部３２によって取得されたユーザ位置情報に係るユーザ情報が、ユーザ情報保持部３３に保持されていない場合に、当該ユーザ位置情報を含むユーザ情報を登録し、ユーザ情報保持部３３に保持させる。

ユーザ情報更新部３５は、ユーザ情報取得部３２によって取得されたユーザ位置情報が、ユーザ情報保持部３３に保持されている場合に、当該ユーザ位置情報を用いて当該ユーザ情報を更新する。本実施形態に係る情報処理装置１によれば、ユーザ位置情報を更新することでユーザを追尾し、最新のユーザ位置に表示方向を追従させることが出来る。

ユーザ情報削除部３６は、ユーザ情報保持部３３によって保持されているユーザ位置情報が更新されない場合に、当該ユーザ位置情報に係るユーザ情報を削除する。

ユーザ操作検出部３７は、画像情報から、ユーザ毎に、ユーザによる操作に対応する所定のジェスチャ（動作）を検出することで、ユーザによる操作を検出する。換言すれば、ユーザ操作検出部３７は、複数のユーザに含まれる第一のユーザによる第一の操作（ジェスチャ）と、当該複数のユーザに含まれる、第一のユーザとは異なる第二のユーザによる第二の操作（ジェスチャ）と、を検出する。但し、本実施形態では、ユーザによる操作をジェスチャによって行う場合について説明しているが、ユーザによる操作はジェスチャでなくてもよい。ユーザによる操作は、例えば、コントローラや携帯端末装置等の、ユーザが操作する装置を用いて行われてもよい。

本実施形態では、ユーザによる操作に対応する所定のジェスチャとして、ユーザがコマンドジェスチャを行う前段階にあることを示す開始ジェスチャ、所定の処理の実行命令を示すコマンドジェスチャ、および所定の処理の実行可否を示す確認ジェスチャ、が検出される。また、ユーザ操作検出部３７によるコマンドジェスチャの検出は、ユーザ操作検出部３７によって開始ジェスチャが検出された後に行われる。

ＲＡＭ１２または補助記憶装置１９には、ジェスチャ検出に用いられるジェスチャパターンが、当該ジェスチャパターンに係るジェスチャによって行われる操作の内容と関連付けられて記憶されている。採用されるジェスチャパターンは、情報処理装置１を用いる主なユーザの属性や情報処理装置１が設置される地域の文化等に応じて適宜設定されることが好ましい。ここで、ジェスチャによって行われる操作の内容とは、開始ジェスチャであれば、セッションの開始であり、コマンドジェスチャであれば、夫々のコマンドジェスチャに関連付けられたコマンドの内容であり、確認ジェスチャであれば、確定またはキャンセルである。また、ＲＡＭ１２または補助記憶装置１９には、ジェスチャパターンに応じたフィードバックの内容が記憶されている。

（１）開始ジェスチャ
開始ジェスチャとは、情報処理装置１が、ユーザが所望のコマンドを入力する前段階にあることを把握するために検出されることで、セッションの開始を示すジェスチャである。このため、開始ジェスチャには、ユーザがコマンドの入力の前段階にある場合に自然に行うことができるジェスチャパターンが採用されてよい。例えば、情報処理装置１が、ユーザに対して、ユーザがコマンドジェスチャを見せるべき方向（例えば、センサユニット２０による撮像視点の位置）をユーザに対して明らかにしている場合、ユーザはコマンドジェスチャを行う前にセンサユニット２０による撮像視点の位置を見ることが多いであろう。このため、開始ジェスチャを、「ユーザが視線をセンサユニット２０による撮像視点の位置に合わせること（アイコンタクト）」とすることで、ユーザに開始ジェスチャを意識させることなく、情報処理装置１は、開始ジェスチャを検出し、ユーザがコマンドの入力の前段階にあることを把握することが出来る。

但し、開始ジェスチャには、ユーザが意識的にしなければ行わないような動作が採用されてもよい。このような動作としては、例えば、「ユーザがセンサユニット２０による撮像視点の方に向かって手を挙げる」等のジェスチャを採用することが出来る。この場合、ユーザにコマンドを行う意思がないのに開始ジェスチャを検出し、情報処理装置１がコマンド受付状態に入ってしまうことを抑制することが出来る。

なお、開始ジェスチャとして複数のジェスチャパターンを記憶しておき、その何れが検出された場合にも、ユーザによる開始の操作が行われたと判断することとしてもよい。複数のジェスチャパターンを検出の対象とすることで、コマンド入力の前段階となるジェスチャの入力に柔軟性を持たせることが出来る。

（２）コマンドジェスチャ
コマンドジェスチャとは、情報処理装置１に対して与えられるコマンド（命令）、または、情報処理装置１を介して操作対象（エレベータ等）の制御装置に対して与えられるコマンド、を示すジェスチャである。通常の情報処理装置１では、入力可能なコマンドは複数種類用意されているため、コマンドジェスチャは、開始ジェスチャと異なり、コマンド毎に異なるジェスチャパターンが定義される。例えば、情報処理装置１がエレベータの制御装置に接続されており、コマンドの種類として「行先階の指定」がある場合、ジェスチャパターンは、ユーザが「行先階に対応する本数の指を立てる」ジェスチャとしてよいし、コマンドの種類として「扉を締める」がある場合、ジェスチャパターンは、ユーザが「両手を合わせる」ジェスチャとしてよい。なお、同一種類のコマンドに対応するジェスチャパターンが複数あってもよいことは、開始ジェスチャと同様である。

（３）確認ジェスチャ
確認ジェスチャとは、コマンドジェスチャに係るコマンドに応じた処理の実行の可否を示すジェスチャである。一般的には、確認の内容には、コマンドの確定、およびコマンドのキャンセルがある。例えば、コマンドの確定（ＯＫ）を内容とするジェスチャパターンには、ユーザが頷くジェスチャや、サムアップのジェスチャ、指や腕で丸を作るジェスチャ、等を用いることが出来る。また、コマンドのキャンセルを内容とするジェスチャパターンには、ユーザが首を横に振るジェスチャや、手を横に振るジェスチャ、サムダウンのジェスチャ、指や腕で×を作るジェスチャ、等を用いることが出来る。

応答取得部３８は、ジェスチャを用いた操作が検出されたことをユーザに通知するためのフィードバック（応答）を取得する。ここで、フィードバックとは、ユーザによる操作が検出されたことをユーザに通知すること、またはその通知の内容である。

表示制御部３９は、指向性表示装置１４に、応答取得部３８によって取得された操作に対するフィードバックを、操作毎に、操作に係るユーザのユーザ位置情報が示す位置から視認可能に表示させる。換言すると、表示制御部３９は、指向性表示装置１４に、応答取得部３８によって取得された、第一の操作に対するフィードバックを、第一のユーザ位置情報が示す位置から視認可能に表示させ、応答取得部３８によって取得された、第二の操作に対するフィードバックを、第二のユーザ位置情報が示す位置から視認可能に表示させる。

処理実行指示部４０は、ユーザ操作検出部３７によって所定の処理の実行が可であることを示す確認ジェスチャが検出された場合に、コマンドジェスチャに応じた所定の処理を実行させるための指示を行う。

＜処理の流れ＞
以下、図８および図９に示すフローチャートを用いて、本実施形態に係る処理の流れを説明する。なお、本実施形態においてフローチャートを用いて説明される処理の具体的な内容および順序等は、本発明を実施する上での一例である。具体的な処理内容および順序等は、実施の形態に応じて適宜選択されることが好ましい。

図８は、本実施形態に係るユーザ情報管理処理の流れを示すフローチャートである。本フローチャートに示された処理は、情報処理装置１の起動中に、継続的または定期的に実行される。

ステップＳ１０１では、画像情報が取得される。画像情報取得部３１は、センサユニット２０を用いて撮像された画像情報を取得する。ここで取得される画像情報は、撮像された動画像から所定の時間分切り出された動画像であってもよいし、撮像された動画像から１コマ分切り出された静止画像であってもよい。取得する画像情報を動画像とするか静止画像とするかは、ステップＳ１０２からステップＳ１０４での処理において採用される、画像認識技術の方式に従って決定されることが好ましい。例えば、画像内で動いているものをユーザとして検出する方式が採用される場合には、動画像を含む画像情報が取得される。また、ここで取得される画像情報には、撮像画像における画素毎のセンサユニット２０の撮像視点からの距離（深度）を示す深度情報が含まれてもよい。その後、処理はステップＳ１０２へ進む。

ステップＳ１０２では、ユーザ頭部が検出される。ユーザ情報取得部３２は、ステップＳ１０１において取得された画像情報に基づいて、画像情報に含まれる画像の中から、ユーザの頭部を検出する。ユーザ頭部の検出には、一般的に用いられている、顔認識技術を含む画像解析技術を用いることが可能であり、またどのような方式の画像解析技術が用いられてもよい。このため、ユーザ頭部の検出の詳細については説明を省略する。例えば、ユーザ情報取得部３２は、目と口の位置関係等を予め保持しておき、画像内からこの位置関係にある特徴を抽出することで、ユーザ頭部を検出することが出来る。

また、画像情報に深度情報が含まれている場合には、ユーザ頭部の検出に深度情報が用いられてもよい。深度情報を参照することで、撮像画像における画素毎のセンサユニット２０の撮像視点からの距離が把握可能である。このため、ユーザ情報取得部３２は、ユーザのシルエット部分を容易に抽出し、ユーザのシルエット部分から、頭部に相当する部分を特定することで、ユーザの頭部を検出することが出来る。

ユーザ頭部が検出されると、処理はステップＳ１０３へ進む。なお、本実施形態では、ユーザ頭部を検出し、これをユーザ位置管理の基準としているが、画像情報からの検出対象は、ユーザの位置を示す際の規準となる体の部位であればよく、ユーザの頭部に限定されない。また、ユーザ頭部の検出には、視線認識技術が用いられてもよい。

ステップＳ１０３では、ユーザ位置情報が取得される。ユーザ情報取得部３２は、ステップＳ１０２において検出された全てのユーザ領域についてユーザの頭部の位置を取得し、これをユーザ位置情報とする。ここで取得されるユーザ位置情報は、画像内における位置を示す情報であってもよいが、好ましくはユーザが存在する空間における、指向性表示装置１４の表示部からみた相対位置を示す情報である。これは、ここで取得されるユーザ位置情報が、後述するユーザ操作認識処理において、指向性表示装置１４によるフィードバックの表示方向を決定する際に用いられるためである。その後、処理はステップＳ１０４へ進む。

ステップＳ１０４では、ユーザ領域が取得される。ユーザ情報取得部３２は、ステップＳ１０１において取得された画像情報に基づいて、撮像画像における、ユーザが撮像されている領域（換言すれば、撮像画像中のユーザのシルエット部分）を取得する。ユーザ領域の取得には、一般的に用いられている画像解析技術を用いることが可能であり、またどのような方式の画像解析技術が用いられてもよい。このため、ユーザ領域の取得の詳細については説明を省略する。例えば、ユーザ情報取得部３２は、人型のシルエットを予め保持しておき、画像内からこのシルエットに近似するエッジを抽出することで、ユーザ領域を取得することができる。ユーザ情報取得部３２は、取得されたユーザ領域を、撮像画像に対応する情報にマッピングすることで、ユーザ領域マップを生成する。例えば、ユーザ領域マップは、撮像画像と同サイズの２値画像において、ユーザが撮像されている画素を１、ユーザが撮像されていない画素を０でマッピングした情報である。

また、画像情報に深度情報が含まれている場合には、ユーザ領域の取得に深度情報が用いられてもよい。深度情報を参照することで、撮像画像における画素毎のセンサユニット２０の撮像視点からの距離が把握可能である。このため、深度情報によれば、ユーザのシルエット部分を容易に抽出し、ユーザ領域とすることが可能である。ユーザ領域が取得されると、処理はステップＳ１０５へ進む。

ステップＳ１０５では、取得されたユーザ位置情報およびユーザ領域マップに係るユーザ情報が登録済みであるか否かが判定される。情報処理装置１は、ステップＳ１０３において取得されたユーザ位置情報、およびステップＳ１０４において取得されたユーザ領域マップを含むユーザ情報が、既にユーザ情報テーブルに登録済みであるか否かを判定する。取得されたユーザ情報が登録済みであるか否は、取得されたユーザ情報と登録済みのユーザ情報とを比較することで、判定することが出来る。より具体的には、取得されたユーザ情報と登録済みのユーザ情報との差分を算出し、差分が所定の閾値以下である場合に登録済みと判定し、差分が所定の閾値を超えている場合に未登録と判定することが出来る。取得されたユーザ情報が登録済みであると判定された場合、処理はステップＳ１０６へ進む。一方、取得されたユーザ情報が登録済みでないと判定された場合、処理はステップＳ１０７へ進む。

ステップＳ１０６では、ユーザ情報が更新される。ユーザ情報更新部３５は、ステップＳ１０３およびステップＳ１０４において取得されたユーザ情報を用いて、当該ユーザに係るユーザ情報を更新する。先述の通り、本フローチャートに示された処理は、情報処理装置１の起動中に、継続的または定期的に実行される。このため、本ステップにおいてユーザ情報に含まれるユーザ位置情報およびユーザ領域マップは最新の情報に更新され、後述するユーザ操作認識処理では、ユーザ情報に含まれるユーザ位置情報およびユーザ領域マップを参照することで、最新のユーザ領域からジェスチャが検出され、また、最新のユーザ位置から視認可能なように、指向性表示装置１４による表示を行うことが出来る。その後、処理はステップＳ１０８へ進む。

ステップＳ１０７では、ユーザ情報が登録される。ユーザ情報登録部３４は、ユーザ情報を新たに生成し、このユーザ情報に、ステップＳ１０３において取得されたユーザ位置情報、およびステップＳ１０４において取得されたユーザ領域マップを含めて、ユーザ情報テーブルに登録する。先述の通り、本フローチャートに示された処理は、情報処理装置１の起動中に、継続的または定期的に実行される。このため、ここで登録されたユーザ情報は、本フローチャートに示された処理が繰り返されることで、ステップＳ１０６において更新される。その後、処理はステップＳ１０８へ進む。

ステップＳ１０８では、取得された全てのユーザ情報について処理が終了したか否かが判定される。情報処理装置１は、ステップＳ１０３およびステップＳ１０４において取得された全てのユーザ情報について、更新または登録が完了したか否かを判定する。取得された全てのユーザ情報について更新または登録が完了している場合、処理はステップＳ１０９へ進む。更新または登録が完了していないユーザ情報がある場合、処理はステップＳ１０５へ進む。即ち、本フローチャートに示された処理によれば、ステップＳ１０３およびステップＳ１０４において取得された全てのユーザ情報について更新または登録が終了するまで、ステップＳ１０５からステップＳ１０８に示された処理が繰り返される。

ステップＳ１０９では、更新されなかった登録済みユーザ情報において、非発見カウンタがインクリメントされる。情報処理装置１は、ユーザ情報テーブルに登録済みのユーザ情報のうち、ステップＳ１０６における更新がされなかったユーザ情報、換言すれば、ユーザ情報テーブルに登録済みであるにも拘らず、画像情報から検出されなかったユーザに係るユーザ情報を特定する。そして、情報処理装置１は、特定されたユーザ情報に含まれる非発見カウンタに１加算する。非発見カウンタは、ユーザ情報が新たに登録された際、およびユーザ情報が更新された際に０（ゼロ）にリセットされる。また、先述の通り、本フローチャートに示された処理は、情報処理装置１の起動中に、継続的または定期的に実行される。即ち、非発見カウンタは、本フローチャートに示すユーザ情報管理処理において画像情報からユーザ情報に係るユーザが連続して検出されなかった回数を示す情報である。更新されなかった全てのユーザ情報について非発見カウンタの更新が完了すると、処理はステップＳ１１０へ進む。

ステップＳ１１０では、非発見カウンタが所定の閾値を超えているユーザ情報が削除される。ユーザ情報削除部３６は、ユーザ情報テーブルに登録済みのユーザ情報のうち、非発見カウンタが所定の閾値（例えば、５回）を超えているユーザ情報を削除する。このようにすることで、所定回数以上検出されなかったユーザに係るユーザ情報を、当該ユーザがセンサユニット２０による撮像範囲から去ったものとみなして、ユーザ情報テーブルから削除することが出来る。その後、本フローチャートに示された処理は終了する。但し、先述の通り、本フローチャートに示された処理は、情報処理装置１の起動中に、継続的または定期的に実行される。このため、情報処理装置１の起動中、画像情報の取得、ユーザ位置の取得、ユーザ情報の更新、登録および削除は、継続的または定期的に実行される。

図９は、本実施形態に係るユーザ操作認識処理の流れを示すフローチャートである。本フローチャートに示された処理は、情報処理装置１の起動中に、継続的または定期的に実行される。

ステップＳ２０１では、開始ジェスチャが検出される。ユーザ操作検出部３７は、センサユニット２０を用いて撮像されて、情報処理装置１に継続的に入力される動画像情報を順次解析することで、開始ジェスチャを検出する。動画像において、ジェスチャの検出対象となるユーザが撮像されている画像上の領域（ジェスチャ検出の対象範囲）は、図８のステップ１０７において登録されたユーザ情報に含まれる、ユーザ領域マップを参照することで特定することが出来る。

ジェスチャは、一般的に用いられている動画像解析技術を用いて検出することが可能であり、またどのような方式のジェスチャ検出技術が用いられてもよい。このため、ジェスチャ検出の詳細については説明を省略する。ジェスチャ検出方法の一例としては、ユーザ領域マップ（ユーザのシルエット部分）に基づいて動画像内におけるユーザの頭および両手の位置を認識し、これらの相対的な位置関係の変化を予め定義されたジェスチャパターンと照合することで、ユーザの手の動きに係るジェスチャ検出を行う方法が挙げられる。ユーザのシルエットや頭、両手の位置認識には、深度情報が用いられてもよい。また、ジェスチャがユーザの手の動きではなく、視線に係るものである場合、先述の視線認識技術を用いることで、「ユーザが視線をセンサユニット２０による撮像視点の位置に合わせること」等のジェスチャを検出することが出来る。ジェスチャが検出されると、処理はステップＳ２０２へ進む。

ステップＳ２０２では、ジェスチャと当該ジェスチャを行ったユーザとが関連付けられる。情報処理装置１は、ステップＳ２０１においてジェスチャの検出対象を特定するために用いられたユーザ位置情報またはユーザ領域マップに係るユーザ情報から、ユーザ識別情報（ユーザＩＤ）を取得することで、ジェスチャを行ったユーザを特定し、検出されたジェスチャと関連付ける。本ステップに示された処理が終了すると、当該ユーザからのコマンドジェスチャの入力が待ち受け状態となる。その後、処理はステップＳ２０３へ進み、以降の処理は、特定されたユーザ毎にマルチスレッド実行される。

ステップＳ２０３では、開始ジェスチャに対応するフィードバックが取得される。応答取得部３８は、ステップＳ２０１において開始ジェスチャの入力が検出されたことをユーザに通知するためのフィードバックの内容を、ＲＡＭ１２または補助記憶装置１９から取得する。ＲＡＭ１２または補助記憶装置１９には、ジェスチャの種類に応じたフィードバックの内容が予め記憶されている。フィードバックは、ユーザによるジェスチャが情報処理装置１によって検出されたことをユーザに把握させるために出力される情報である。

但し、本ステップにおいて取得されるフィードバックは、開始ジェスチャに対するフィードバックであるため、フィードバックは、開始ジェスチャが検出されたことを示すのみならず、ユーザに対してコマンドの入力（コマンドジェスチャ）を促すプロンプトを兼ねてもよい。ここで取得されるフィードバックとしては、例えば、ユーザに対してコマンドの入力を促すメッセージ、アイコン、静止画像、動画像、等が挙げられる。ユーザに対してコマンドの入力を促すメッセージの例としては、「コマンドを入力してください」、「ご用の階を指定してください」等が挙げられる。その後、処理はステップＳ２０４へ進む。

ステップＳ２０４では、開始ジェスチャに対応するフィードバックが出力される。表示制御部３９は、ステップＳ２０１において開始ジェスチャが検出されたことをユーザに通知するために、ステップＳ２０３において取得されたフィードバックの内容を、指向性表示装置１４に表示させる。ここで、情報処理装置１は、開始ジェスチャに係るユーザのユーザ情報から、ユーザ位置情報を取得する。そして、表示制御部３９は、取得されたユーザ位置情報に示されているユーザ位置から視認可能なように、指向性表示装置１４にフィードバックを表示させる。

具体的には、表示制御部３９は、指向性表示装置１４の表示部と、ユーザ位置情報に示されたユーザ位置との相対的な位置関係に基づいて、指向性表示装置１４の表示部の表示面に対して、ユーザがどの方向（角度）に居るかを算出する。そして、表示制御部３９は、算出された方向を表示方向として、当該ユーザに対するフィードバックを出力する。その後、処理はステップＳ２０５へ進む。

ステップＳ２０５では、コマンドジェスチャが検出される。ユーザ操作検出部３７は、センサユニット２０を用いて撮像された画像情報を解析することで、コマンドジェスチャを検出する。ユーザ操作検出部３７は、画像内におけるユーザの動作と、複数種類のコマンドに対応する複数のジェスチャパターンとを照合することで、動画像内におけるユーザの動作が、何れのコマンドに係るジェスチャであるかを特定する。具体的なジェスチャの検出方法は、ステップＳ２０１において説明した検出方法と概略同様であるため、説明を省略する。ジェスチャが検出されると、処理はステップＳ２０６へ進む。

ステップＳ２０６では、コマンドジェスチャに対応するフィードバックが取得される。応答取得部３８は、ステップＳ２０５においてコマンドジェスチャの入力が検出されたことをユーザに通知するためのフィードバックの内容を、ＲＡＭ１２または補助記憶装置１９から取得する。ＲＡＭ１２または補助記憶装置１９には、ジェスチャの種類に応じたフィードバックの内容が予め記憶されている。ここでは、コマンドジェスチャに対するフィードバックとなるため、フィードバックの内容は、ユーザに対してコマンドが受け付けられたことを通知するメッセージ、アイコン、画像、動画像、等であってよい。ユーザに対してコマンドが受け付けられたことを通知するメッセージの例としては、「コマンドを受け付けました」、「３階へ参ります」等が挙げられる。

但し、何れのコマンドに対しても一律のフィードバックを取得する場合には、予めＲＡＭ１２または補助記憶装置１９に記憶された一のフィードバックを取得すればよいが、取得されたコマンドの内容に応じて異なるフィードバックを取得する場合には、応答取得部３８は、Ｓ２０５において検出されたコマンドジェスチャが、何れのコマンドに係るジェスチャであるかを判定する。具体的には、応答取得部３８は、ステップＳ２０５においてコマンドジェスチャが検出された際に合致または近似したジェスチャパターンが、何れのコマンドに係るジェスチャパターンであるかを判定することで、コマンドの内容を判定することが出来る。

また、本ステップにおいて取得されるフィードバックは、開始ジェスチャに対するフィードバックであるため、フィードバックは、コマンドジェスチャが検出されたことを示すのみならず、ユーザに対してコマンドの確定を促す確認ダイアログを兼ねてもよい。確認ダイアログを兼ねるメッセージの例としては、「コマンドを受け付けました。実行しても宜しいですか？」、「３階へ参ります。宜しいですか？」等が挙げられる。その後、処理はステップＳ２０７へ進む。

ステップＳ２０７では、コマンドジェスチャに対応するフィードバックが出力される。表示制御部３９は、ステップＳ２０５においてコマンドジェスチャが検出されたことをユーザに通知するために、ステップＳ２０６において取得されたフィードバックの内容を、指向性表示装置１４に表示させる。ここで、情報処理装置１は、ステップＳ２０４における処理と同様、コマンドジェスチャに係るユーザ情報から、ユーザ位置情報を取得する。そして、表示制御部３９は、取得されたユーザ位置情報に示されているユーザ位置から視認可能なように、指向性表示装置１４にフィードバックを表示させる。その後、処理はステップＳ２０８へ進む。

ステップＳ２０８およびステップＳ２０９では、確認ジェスチャが検出され、確認内容が判定される。ユーザ操作検出部３７は、センサユニット２０を用いて撮像された画像情報を解析することで、確認ジェスチャを検出する（ステップＳ２０８）。具体的なジェスチャの検出方法は、ステップＳ２０１において説明した検出方法と概略同様であるため、説明を省略する。但し、確認ジェスチャは、開始ジェスチャと異なり、確認の内容毎に異なるジェスチャパターンが定義される。このため、ユーザ操作検出部３７は、画像内におけるユーザの動作と、複数種類の確認内容に対応する複数のジェスチャパターンとを照合することで、動画像内におけるユーザの動作が、何れのコマンドに係るジェスチャであるかを特定する。

次に、情報処理装置１は、ステップＳ２０８において検出された確認ジェスチャの内容が、コマンドを確定するジェスチャであるか、コマンドをキャンセルするジェスチャであるかを判定する（ステップＳ２０９）。具体的には、情報処理装置１は、ステップＳ２０８において確認ジェスチャが検出された際に合致または近似したジェスチャパターンが、コマンドを確定するジェスチャおよびコマンドをキャンセルするジェスチャの何れのジェスチャパターンであるかを判定することで、確認ジェスチャの内容を判定することが出来る。確認ジェスチャの内容がコマンドを確定するジェスチャであると判定された場合、処理はステップＳ２１０へ進む。一方、確認ジェスチャの内容がコマンドをキャンセルするジェスチャであると判定された場合、処理はステップＳ２１３へ進む。

ステップＳ２１０では、コマンドに応じた処理の実行が指示される。処理実行指示部４０は、ステップＳ２０５で検出されたコマンドジェスチャの内容に応じて、情報処理装置１内の機能実行部、または情報処理装置１にネットワークインターフェース１６を介して接続された操作対象（エレベータ等）の制御装置に対して、コマンドに応じた処理の実行を指示する。ステップＳ２０５において既にコマンド内容が取得されている場合、処理実行指示部４０は、ステップＳ２０５において取得されたコマンド内容に従って、コマンドに応じた処理の実行を指示する。コマンド内容が未取得である場合、処理実行指示部４０は、Ｓ２０５において検出されたコマンドジェスチャが、何れのコマンドに係るコマンドジェスチャであるかを判定し、取得されたコマンド内容に従って、コマンドに応じた処理の実行を指示する。コマンドジェスチャが、何れのコマンドに係るコマンドジェスチャであるかを判定する方法は、ステップＳ２０６において説明した通りである。コマンドに応じた処理の実行指示が完了すると、処理はステップＳ２１１へ進む。

ステップＳ２１１およびステップＳ２１２では、コマンド実行指示の結果が取得され、出力される。応答取得部３８は、ステップＳ２１０において行ったコマンド実行指示の結果を、指示を行った対象（情報処理装置１内の機能実行部または操作対象の制御装置）から取得する（ステップＳ２１１）。そして、表示制御部３９は、ステップＳ２１１において取得されたコマンド実行指示の結果を、ステップＳ２０５で検出されたコマンドジェスチャ、およびステップＳ２０８で検出された確認ジェスチャに対するフィードバックとして、指向性表示装置１４に表示させる（ステップＳ２１２）。ここで、情報処理装置１は、開始ジェスチャに係るユーザのユーザ情報から、ユーザ位置情報を取得する。そして、表示制御部３９は、取得されたユーザ位置情報に示されているユーザ位置から視認可能なように、指向性表示装置１４にフィードバックを表示させる。その後、本フローチャートに示された処理は終了する。

ステップＳ２１３では、コマンドに応じた処理の実行指示がキャンセルされる。情報処理装置１は、ステップＳ２０９において、確認ジェスチャの内容がコマンドをキャンセルするジェスチャであると判定されたことを受けて、ステップＳ２０５で検出されたコマンドに応じた処理の実行指示をキャンセルする。その後、処理はステップＳ２１４へ進む。

ステップＳ２１４では、フィードバックが取得される。応答取得部３８は、ステップＳ２０８においてコマンドのキャンセルを指示する確認ジェスチャの入力が検出されたことをユーザに通知するためのフィードバックの内容を、ＲＡＭ１２または補助記憶装置１９から取得する。なお、本ステップにおいて取得されるフィードバックは、キャンセルジェスチャに対するフィードバックであり、情報処理装置１は続いてコマンドジェスチャの待ち受け状態に移行する。このため、本ステップにおいて取得されるフィードバックは、キャンセルジェスチャが検出されたことを示すのみならず、ユーザに対してコマンドの入力（コマンドジェスチャ）を促すプロンプトを兼ねてもよい。ここで取得されるフィードバックとしては、例えば、ユーザに対してコマンドがキャンセルされたことを通知し、コマンドの入力を促すメッセージ、アイコン、静止画像、動画像、等が挙げられる。ユーザに対してコマンドの入力を促すメッセージの例としては、「コマンドがキャンセルされました。コマンドを入力してください」、「３階は取り消されました。ご用の階を指定してください」等が挙げられる。その後、処理はステップＳ２１５へ進む。

ステップＳ２１５では、キャンセルジェスチャに対応するフィードバックが出力される。表示制御部３９は、ステップＳ２０８においてキャンセルジェスチャが検出されたことをユーザに通知するために、ステップＳ２１４において取得されたフィードバックの内容を、指向性表示装置１４に表示させる。ここで、情報処理装置１は、開始ジェスチャに係るユーザのユーザ情報から、ユーザ位置情報を取得する。そして、表示制御部３９は、取得されたユーザ位置情報に示されているユーザ位置から視認可能なように、指向性表示装置１４にフィードバックを表示させる。その後、本フローチャートに示された処理は終了する。

なお、本実施形態では、確認ジェスチャを用いた確認処理が採用されているが、確認ジェスチャを用いた確認処理については、省略され、コマンドジェスチャの検出後直ちにコマンドに応じた処理の実行が指示されることとしてもよい。

また、情報処理装置１が備えるスピーカ１５は、指向性スピーカであってもよい。情報処理装置１は、指向性スピーカによる音響の出力方向を、指向性表示装置１４によるフィードバックの表示方向と合わせることで、複数のユーザから入力される操作に対して、ユーザ毎に異なるフィードバックを、視覚および聴覚の両方において行うことが出来る。指向性スピーカによる音響の出力方向は、指向性表示装置１４によるフィードバックの表示方向を決定する場合と同様、ユーザ位置情報を参照することによって決定されてよい。

＜情報処理装置の応用例＞
以下、本実施形態に係る情報処理装置１を、様々な用途に適用する際の具体例について説明する。以下に示される応用例は例示であって、本発明の適用対象は、以下に説明する例に限定されない。

（１）エレベータ
本実施形態に係る情報処理装置１が接続される制御装置をエレベータの制御装置とすることで、情報処理装置１を、エレベータでの行先階の指定操作や、扉の開閉操作等を処理するためのヒューマンインターフェース装置とすることが出来る。

一般に、ユーザはエレベータ内において前後左右に分散して搭乗している。このため、指向性表示装置１４は、これらのユーザ全員から視認可能なように、エレベータ内の上部であって、エレベータの搭乗者全員から視認可能な位置に設置されることが好ましい。そして、前後左右（即ち、二軸方向）に分散して搭乗しているユーザの夫々に対して異なるフィードバックを視認させるために、指向性表示装置１４としては、二軸方向における指向性表示を可能とした二軸指向性表示装置が採用されることが好ましい。同様に、センサユニット２０は、エレベータ内において前後左右に分散して搭乗している搭乗者全員を撮像可能なように、エレベータ内の上部からエレベータ内を見下ろすように設置されることが好ましい。

そして、コマンドジェスチャについては、例えば「行先階の指定」の場合、ユーザが「行先階に対応する本数の指を立てる」ジェスチャとしてよいし、「扉を締める」の場合、ユーザが「両手を合わせる」ジェスチャとしてよい。但し、エレベータ内はユーザが近接して搭乗していることが考えられるため、ジェスチャパターンには、比較的動作の小さいものが採用されることが好ましい。例えば、開始ジェスチャについては、「ユーザが視線をセンサユニット２０による撮像視点の位置に合わせること（アイコンタクト）」とし、確認ジェスチャについては「ユーザが頷くジェスチャ」および「ユーザが首を横に振るジェスチャ」としてもよい。

（２）カーナビゲーション装置／オーディオ装置
本実施形態に係る情報処理装置１が接続される制御装置をカーナビゲーション装置／オーディオ装置の制御装置とすることで、情報処理装置１を、カーナビゲーション装置／オーディオ装置での選曲操作や音量操作、ミュート操作、等を処理するためのヒューマンインターフェース装置とすることが出来る。

一般に、カーナビゲーション装置／オーディオ装置のユーザは、車内や室内の空間を平面視した場合には前後左右に分散しているものの、カーナビゲーション装置／オーディオ装置から見て、水平方向（即ち、一軸方向）に並んでいる。このため、指向性表示装置１４としては、一軸方向における指向性表示を可能とした一軸指向性表示装置が採用されてよい。ユーザは一軸方向に並んでいるため、一軸指向性表示装置によっても、ユーザの夫々に対して異なるフィードバックを視認させることが可能である。但し、より柔軟な表示方向の制御を行いたい場合等には、二軸指向性表示装置が採用されてもよい。

コマンドジェスチャについては、「選曲操作」の場合、ユーザが「指で左右のどちらかを指す」ジェスチャや「手を左右のどちらかに払う」ジェスチャとしてよいし、「音量操作」の場合、ユーザが「指で上下のどちらかを指す」ジェスチャや「手を上下のどちらかに払う」ジェスチャとしてよいし、「ミュート操作」の場合、ユーザが「上に立てた人差指を口元に持っていく」ジェスチャとしてよい。

また、情報処理装置１を、カーナビゲーション装置／オーディオ装置のためのヒューマンインターフェース装置とする場合、情報処理装置１は、指向性スピーカを備えてもよい。指向性スピーカを備えることで、ユーザ毎に異なる音響フィードバックを行うことが出来る。例えば、運転席においてカーナビゲーション装置のナビゲーション機能を利用しているユーザに対しては、指向性表示装置１４を用いた地図表示（ナビゲーション機能に係るフィードバック表示を含む）と、指向性スピーカを用いたルート案内に係る音響出力（ナビゲーション機能に係るフィードバック音響を含む）と、を行い、後部座席においてカーナビゲーション装置の映像再生機能を利用しているユーザに対しては、指向性表示装置１４を用いた映像表示（映像再生機能に係るフィードバック表示を含む）と、指向性スピーカを用いた映像表示に係る音響出力（映像再生機能に係るフィードバック音響を含む）と、を行うことが出来る。

（３）情報ＫＩＯＳＫ端末、セルフレジ端末
本実施形態に係る情報処理装置１が接続される制御装置を情報ＫＩＯＳＫ端末やセルフレジ端末の制御装置とすることで、情報処理装置１を、情報ＫＩＯＳＫ端末やセルフレジ端末での操作を処理するためのヒューマンインターフェース装置とすることが出来る。

一般に、情報ＫＩＯＳＫ端末、セルフレジ端末のユーザは、情報ＫＩＯＳＫ端末、セルフレジ端末から見て、水平方向（即ち、一軸方向）に並んでいる。このため、指向性表示装置１４としては、一軸指向性表示装置が採用されてよい。但し、情報ＫＩＯＳＫ端末、セルフレジ端末のユーザには、子供が含まれる可能性もあるため、同時に装置を利用する親子に対して異なるフィードバックを視認させたい場合等には、二軸指向性表示装置が採用されてもよい。

（４）家電
また、本実施形態に係る情報処理装置１が接続される制御装置を家電の制御装置とすることで、情報処理装置１を、家電での操作を処理するためのヒューマンインターフェース装置とすることが出来る。

＜効果＞
従来、ヒューマンインターフェース装置の多くは受動的であり、ユーザが操作を行うための事前動作を必要としていた。例えば、エレベータでボタンの前に移動する、キーボードからマウスに手を伸ばす、情報端末の前に立つ、リモコンを探す、等である。また、ジェスチャ認識カメラや、視線認識装置等、ある程度遠隔から操作可能なヒューマンインターフェース装置も存在するが、このようなヒューマンインターフェース装置であっても、操作対象のユーザを確定するために、事前の動作を必要としていた。例えば、ジェスチャ認識のためにカメラの前に立つ、視線入力装置を覗き込む、等である。更に、ヒューマンインターフェース装置は、一般に１人のユーザを対象としているため、複数のユーザが利用する場合には、エレベータボタンの前に居る他のユーザに移動してもらう、情報端末の前に並ぶ、等の順番待ちが必要であった。

本実施形態に係る情報処理装置１によれば、操作を所望するユーザを遠隔位置から認識し、同時に複数のユーザからの操作を受け付け、これらの複数のユーザに対して並行して異なるフィードバックを行うことで、ユーザが操作を行うための事前動作等の、実際の操作以外の動作を抑制したマンマシンインターフェースが実現される。

また、本実施形態に係る情報処理装置１によれば、操作対象が複数のユーザによって操作される場合に、自己に割り当てられた領域をユーザに意識させること無く操作可能なマンマシンインターフェースを提供することが可能となった。

１ 情報処理装置
１４ 指向性表示装置
２０ センサユニット

Claims (8)

1. 視認する方向に応じてユーザに視認させる内容を異ならせることが可能な表示装置に接続される情報処理装置であって、
   前記表示装置を視認可能な範囲を撮像することで画像情報を取得する画像情報取得手段と、
   前記表示装置を視認可能な範囲に居る複数のユーザの位置を示す位置情報を取得する位置情報取得手段と、
   前記位置情報取得手段によって取得されたユーザの位置情報、および前記画像情報において該ユーザが撮像されている領域であるユーザ領域を含むユーザ情報を保持するユーザ情報保持手段と、
   前記位置情報取得手段によって取得された位置情報が、前記ユーザ情報保持手段に保持されている場合に、該位置情報を用いて該ユーザ情報を更新するユーザ情報更新手段と、
   前記ユーザ情報を参照することで前記画像情報におけるユーザ領域を特定し、前記複数のユーザに含まれる第一のユーザの前記ユーザ領域から、表示方向の制御を除く所定の処理の実行命令を示す命令動作を、所定の動作として検出することで、該第一のユーザによる第一の操作を検出し、該複数のユーザに含まれる、前記第一のユーザとは異なる第二のユーザの前記ユーザ領域から、前記命令動作を前記所定の動作として検出することで、該第二のユーザによる第二の操作を検出する、ユーザ操作検出手段と、
   前記操作が検出されたことをユーザに通知するための応答を取得する応答取得手段と、
   前記ユーザ情報に含まれる前記第一のユーザの位置情報および前記第二のユーザの位置情報に基づいて、前記表示装置の表示部に対する該第一のユーザの方向および該第二のユーザの方向を算出し、前記応答取得手段によって取得された前記第一の操作に対する応答を、前記第一のユーザの方向を表示方向として前記表示装置に出力させることで、前記第一のユーザの位置情報が示す位置から視認可能に表示させ、前記応答取得手段によって取得された前記第二の操作に対する応答を、前記第二のユーザの方向を表示方向として前記表示装置に出力させることで、前記第二のユーザの位置情報が示す位置から視認可能に表示させる、表示制御手段と、
   前記命令動作に応じた前記所定の処理を実行させるための指示を行う処理実行指示手段と、
   を備える情報処理装置。
2. 前記ユーザ操作検出手段は、ユーザが前記命令動作を行う前段階にあることを示す開始動作を更に検出し、
   前記ユーザ操作検出手段による前記命令動作の検出は、前記ユーザ操作検出手段によって前記開始動作が検出された後に行われる、
   請求項１に記載の情報処理装置。
3. 前記ユーザ操作検出手段は、前記所定の処理の実行可否を示す確認動作を更に検出し、
   前記処理実行指示手段は、前記ユーザ操作検出手段によって前記所定の処理の実行が可であることを示す前記確認動作が検出された場合に、前記命令動作に応じた前記所定の処理を実行させる、
   請求項１または２に記載の情報処理装置。
4. 前記位置情報取得手段は、前記画像情報に基づいて前記位置情報を取得する、
   請求項１から３の何れか一項に記載の情報処理装置。
5. 前記位置情報取得手段によって取得された位置情報に係るユーザ情報が、前記ユーザ情報保持手段に保持されていない場合に、該位置情報を含むユーザ情報を前記ユーザ情報保持手段に保持させるユーザ情報登録手段を更に備える、
   請求項１から４の何れか一項に記載の情報処理装置。
6. 前記ユーザ情報保持手段によって保持されている位置情報が更新されない場合に、該位置情報に係るユーザ情報を削除するユーザ情報削除手段を更に備える、
   請求項５に記載の情報処理装置。
7. 視認する方向に応じてユーザに視認させる内容を異ならせることが可能な表示装置に接続されるコンピュータが、
   前記表示装置を視認可能な範囲に居る複数のユーザの位置を示す位置情報を取得する位置情報取得ステップと、
   前記位置情報取得ステップで取得されたユーザの位置情報、および前記表示装置を視認可能な範囲を撮像することで取得された画像情報において該ユーザが撮像されている領域であるユーザ領域を含むユーザ情報を保持するユーザ情報保持ステップと、
   前記位置情報取得ステップで取得された位置情報が、前記ユーザ情報保持ステップで保持されている場合に、該位置情報を用いて該ユーザ情報を更新するユーザ情報更新ステップと、
   前記ユーザ情報を参照することで前記画像情報におけるユーザ領域を特定し、前記複数のユーザに含まれる第一のユーザの前記ユーザ領域から、表示方向の制御を除く所定の処理の実行命令を示す命令動作を、所定の動作として検出することで、該第一のユーザによる第一の操作を検出し、該複数のユーザに含まれる、前記第一のユーザとは異なる第二のユーザの前記ユーザ領域から、前記命令動作を前記所定の動作として検出することで、該第二のユーザによる第二の操作を検出する、ユーザ操作検出ステップと、
   前記操作が検出されたことをユーザに通知するための応答を取得する応答取得ステップと、
   前記ユーザ情報に含まれる前記第一のユーザの位置情報および前記第二のユーザの位置情報に基づいて、前記表示装置の表示部に対する該第一のユーザの方向および該第二のユーザの方向を算出し、前記応答取得ステップにおいて取得された前記第一の操作に対する応答を、前記第一のユーザの方向を表示方向として前記表示装置に出力させることで、前記第一のユーザの位置情報が示す位置から視認可能に表示させ、前記応答取得ステップにおいて取得された前記第二の操作に対する応答を、前記第二のユーザの方向を表示方向として前記表示装置に出力させることで、前記第二のユーザの位置情報が示す位置から視認
   可能に表示させる、表示制御ステップと、
   を実行する方法。
8. 視認する方向に応じてユーザに視認させる内容を異ならせることが可能な表示装置に接続されるコンピュータを、
   前記表示装置を視認可能な範囲に居る複数のユーザの位置を示す位置情報を取得する位置情報取得手段と、
   前記位置情報取得手段によって取得されたユーザの位置情報、および前記表示装置を視認可能な範囲を撮像することで取得された画像情報において該ユーザが撮像されている領域であるユーザ領域を含むユーザ情報を保持するユーザ情報保持手段と、
   前記位置情報取得手段によって取得された位置情報が、前記ユーザ情報保持手段に保持されている場合に、該位置情報を用いて該ユーザ情報を更新するユーザ情報更新手段と、
   前記ユーザ情報を参照することで前記画像情報におけるユーザ領域を特定し、前記複数のユーザに含まれる第一のユーザの前記ユーザ領域から、表示方向の制御を除く所定の処理の実行命令を示す命令動作を、所定の動作として検出することで、該第一のユーザによる第一の操作を検出し、該複数のユーザに含まれる、前記第一のユーザとは異なる第二のユーザの前記ユーザ領域から、前記命令動作を前記所定の動作として検出することで、該第二のユーザによる第二の操作を検出する、ユーザ操作検出手段と、
   前記操作が検出されたことをユーザに通知するための応答を取得する応答取得手段と、
   前記ユーザ情報に含まれる前記第一のユーザの位置情報および前記第二のユーザの位置情報に基づいて、前記表示装置の表示部に対する該第一のユーザの方向および該第二のユーザの方向を算出し、前記応答取得手段によって取得された前記第一の操作に対する応答を、前記第一のユーザの方向を表示方向として前記表示装置に出力させることで、前記第一のユーザの位置情報が示す位置から視認可能に表示させ、前記応答取得手段によって取得された前記第二の操作に対する応答を、前記第二のユーザの方向を表示方向として前記表示装置に出力させることで、前記第二のユーザの位置情報が示す位置から視認可能に表示させる、表示制御手段と、
   として機能させるためのプログラム。

Images