JP7300436B2 - 情報処理装置、システム、情報処理方法および情報処理プログラム - Google Patents

Description

本発明は、情報処理装置、システム、情報処理方法および情報処理プログラムに関する。

入射する光の強度変化を検出したピクセルが時間非同期的に信号を生成する、イベント駆動型のビジョンセンサが知られている。イベント駆動型のビジョンセンサは、所定の周期ごとに全ピクセルをスキャンするフレーム型ビジョンセンサ、具体的にはＣＣＤやＣＭＯＳなどのイメージセンサに比べて、低電力で高速に動作可能である点で有利である。 このようなイベント駆動型のビジョンセンサに関する技術は、例えば特許文献１および特許文献２に記載されている。

特表２０１４－５３５０９８号公報 特開２０１８－８５７２５号公報

しかしながら、イベント駆動型のビジョンセンサについては、上記のような利点は知られているものの、他の装置と組み合わせた利用方法については、まだ十分に提案されているとは言いがたい。

そこで、本発明は、イベント駆動型のビジョンセンサにより生成した画像信号に基づいてトラッキングの有効または無効を制御することによって、レイテンシを抑えつつ、精度良くトラッキングを行うことができる情報処理装置、システム、情報処理方法および情報処理プログラムを提供することを目的とする。

本発明のある観点によれば、第１画像センサにより生成された第１画像信号に基づいて、検出対象を検出する検出部と、検出対象の少なくとも一部が含まれる関心領域を設定する設定部と、画素ごとに入射する光の強度変化を検出したときに非同期的に画像信号を生成するイベント駆動型のビジョンセンサを含む第２画像センサにより生成された第２画像信号に基づいて、関心領域における第２画像信号の分布を算出する算出部と、第１画像信号と第２画像信号との少なくとも一方に基づいて、関心領域における検出対象をトラッキングするトラッキング部と、分布に基づき、関心領域内における検出対象の移動の有無を判定し、トラッキング部によるトラッキングの有効または無効を制御するトラッキング制御部と、トラッキング部によるトラッキングの結果を出力する情報出力部とを備える情報処理装置が提供される。

本発明の別の観点によれば、第１画像信号を生成する第１画像センサと、画素ごとに入射する光の強度変化を検出したときに非同期的に第２画像信号を生成するイベント駆動型のビジョンセンサを含む第２画像センサと、第１画像信号に基づいて、検出対象を検出する検出部と、検出対象の少なくとも一部が含まれる関心領域を設定する設定部と、第２画像信号に基づいて、関心領域における第２画像信号の分布を算出する算出部と、第１画像信号と第２画像信号との少なくとも一方に基づいて、関心領域における検出対象をトラッキングするトラッキング部と、分布に基づき、関心領域内における検出対象の移動の有無を判定し、トラッキング部によるトラッキングの有効または無効を制御するトラッキング制御部と、トラッキング部によるトラッキングの結果を出力する情報出力部と、トラッキングの結果を受信する受信部と、トラッキングの結果に基づいて、外部装置へのフィードバック制御の制御値を算出する制御値算出部とを有する情報処理装置とを備えるシステムが提供される。

本発明のさらに別の観点によれば、第１画像センサが生成した第１画像信号を受信する第１受信ステップと、画素ごとに入射する光の強度変化を検出したときに非同期的に画像信号を生成するイベント駆動型のビジョンセンサを含む第２画像センサが生成した第２画像信号を受信する第２受信ステップと、第１画像信号に基づいて、検出対象を検出する検出ステップと、検出対象の少なくとも一部が含まれる関心領域を設定する設定ステップと、関心領域における第２画像信号の分布を算出する算出ステップと、第１画像信号と第２画像信号との少なくとも一方に基づいて、関心領域における検出対象に対するトラッキングを行うトラッキングステップと、分布に基づき、関心領域内における検出対象の移動の有無を判定し、トラッキングの有効または無効を制御するトラッキング制御ステップと、トラッキングの結果を出力する情報出力ステップとを含む情報処理方法が提供される。

本発明のさらに別の観点によれば、第１画像センサが生成した第１画像信号を受信する機能と、画素ごとに入射する光の強度変化を検出したときに非同期的に画像信号を生成するイベント駆動型のビジョンセンサを含む第２画像センサが生成した第２画像信号を受信する機能と、第１画像信号に基づいて、検出対象を検出する機能と、検出対象の少なくとも一部が含まれる関心領域を設定する機能と、関心領域における第２画像信号の分布を算出する機能と、第１画像信号と第２画像信号との少なくとも一方に基づいて、関心領域における検出対象のトラッキングを行う機能と、分布に基づき、関心領域内における検出対象の移動の有無を判定し、トラッキングの有効または無効を制御する機能と、トラッキングの結果を出力する機能とをコンピュータに実現させる情報処理プログラムが提供される。

上記の構成によれば、イベント駆動型のビジョンセンサにより生成した画像信号に基づいてトラッキングの有効または無効を制御することによって、レイテンシを抑えつつ、精度良くトラッキングを行うことができる。

本発明の一実施形態に係るシステムの全体を示す模式図である。 本発明の一実施形態に係るシステムの概略的な構成を示すブロック図である。 本発明の一実施形態に人物の検出の例について説明するための図である。 本発明の一実施形態における人物の状態の推定の例について説明するための図である。 本発明の一実施形態に係る処理方法の例を示すフローチャートである。 本発明の別の実施形態に係るシステムの概略的な構成を示すブロック図である。

以下、添付図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

図１は、本実施形態に係るシステム１の全体を示す模式図である。
本実施形態に係るシステム１は、図１に示すように、カメラユニット１０と、情報処理装置２０と、コントローラ３０と、表示装置４０とを含むゲームシステムである。情報処理装置２０は、カメラユニット１０、コントローラ３０、および表示装置４０のぞれぞれと有線または無線のネットワークにより接続される。
システム１では、カメラユニット１０およびコントローラ３０から送信される情報に応じて情報処理装置２０がゲームを進行し、表示装置４０が、情報処理装置２０の実行時画面、例えばゲーム画面を表示する。

本実施形態において、カメラユニット１０は、ゲームのプレイヤーであるユーザーを検出対象とし、ユーザーの少なくとも１つの関節をトラッキングしてトラッキングの結果を情報処理装置２０に送信する。ここで、カメラユニット１０は、ユーザーの姿勢、ユーザーの腕の形状、ユーザーの手指の形状、またはユーザーが装着または保持しているコントローラ３０などの外部装置の姿勢の少なくとも１つをトラッキングすることにより、ユーザーの状態を推定することができる。
カメラユニット１０は、ユーザーを検出対象としてトラッキングすることにより、コントローラ３０と同様にユーザー操作を受け付けるための操作装置として機能する。このようなカメラユニット１０は、ユーザーを検出対象としてトラッキングするために、被写界にユーザーが収まる位置、例えばユーザーから１メートル程度の距離に配置される。図１の例では、カメラユニット１０は、表示装置４０の近傍に配置される。カメラユニット１０の最適な配置位置は、目的に応じて異なる。例えば、プレイ対象のゲームの内容に応じて、ユーザーの体全体、上半身、手元等、把握する対象が被写界に収まる位置にカメラユニット１０を配置することが望まれる。
なお、カメラユニット１０の配置に際しては、例えば、情報処理装置２０によって表示装置４０にチュートリアルなどを表示することにより、ユーザーがカメラユニット１０を適切な位置に配置するよう案内するとよい。

以下、システム１の各構成について説明する。
図２は、本発明の一実施形態に係るシステムの概略的な構成を示すブロック図である。
カメラユニット１０は、ＲＧＢカメラ１１と、ＥＤＳ（Event Driven Sensor）１２と、ＩＭＵ（Inertial Measurement Unit）１３と、推定部１４と、算出部１５と、情報出力部１６とを含む。
ＲＧＢカメラ１１は、第１画像センサであるイメージセンサ１１１と、イメージセンサ１１１に接続される処理回路１１２とを含む。イメージセンサ１１１は、例えば所定の周期で、またはユーザー操作に応じた所定のタイミングで全ピクセルを同期的にスキャンすることによってＲＧＢ画像信号１１３を生成する。処理回路１１２は、例えばＲＧＢ画像信号１１３を保存および伝送に適した形式に変換する。また、処理回路１１２は、ＲＧＢ画像信号１１３にタイムスタンプを与える。

ＥＤＳ１２は、センサアレイを構成する第２画像センサであるセンサ１２１と、センサ１２１に接続される処理回路１２２とを含む。センサ１２１は、受光素子を含み、画素ごとに入射する光の強度変化、より具体的には予め定めた所定の値を超える輝度変化を検出したときにイベント信号１２３を生成するイベント駆動型のビジョンセンサである。処理回路１２２を経て出力されるイベント信号１２３は、センサ１２１の識別情報（例えばピクセルの位置）と、輝度変化の極性（上昇または低下）と、タイムスタンプとを含む。また、輝度変化を検出した際に、ＥＤＳ１２は、ＲＧＢ画像信号１１３の生成頻度（ＲＧＢカメラ１１のフレームレート）より大幅に高い頻度でイベント信号１２３を生成することができる。また、ＥＤＳ１２は、ＲＧＢ画像信号１１３の生成頻度（ＲＧＢカメラ１１のフレームレート）より大幅に高い頻度でイベント信号１２３を生成することができる。
なお、本明細書では、当該信号に基づいて画像を構築可能な信号を画像信号という。したがって、ＲＧＢ画像信号１１３およびイベント信号１２３は、画像信号の一例を示す。

本実施形態において、ＲＧＢ画像信号１１３およびイベント信号１２３に与えられるタイムスタンプは同期している。具体的には、例えば、ＥＤＳ１２でタイムスタンプを生成するために用いられる時刻情報をＲＧＢカメラ１１に提供することによって、ＲＧＢ画像信号１１３およびイベント信号１２３に与えられるタイムスタンプを同期させることができる。あるいは、タイムスタンプを生成するための時刻情報がＲＧＢカメラ１１とＥＤＳ１２とでそれぞれ独立している場合、特定のイベント（例えば、画像全体にわたる被写体の変化）が発生した時刻を基準にしてタイムスタンプのオフセット量を算出することによって、事後的にＲＧＢ画像信号１１３およびイベント信号１２３に与えられるタイムスタンプを同期させることができる。

また、本実施形態では、事前に実行されるＲＧＢカメラ１１とＥＤＳ１２とのキャリブレーション手順によって、ＥＤＳ１２のセンサ１２１がＲＧＢ画像信号１１３の１または複数のピクセルに対応付けられ、イベント信号１２３はＲＧＢ画像信号１１３の１または複数のピクセルにおける光の強度変化に応じて生成される。より具体的には、例えば、ＲＧＢカメラ１１とＥＤＳ１２とで共通の校正パターンを撮像し、ＲＧＢカメラ１１およびＥＤＳ１２のぞれぞれの内部パラメータおよび外部パラメータからカメラとセンサとの間の対応パラメータを算出することによって、ＲＧＢ画像信号１１３の１または複数のピクセルにセンサ１２１を対応付けることができる。

ＩＭＵ１３は、カメラユニット１０自体の姿勢を検出するセンサである。ＩＭＵ１３は、所定の周期で、または、所定のタイミングでカメラユニット１０の三次元の姿勢データを取得し、推定部１４に出力する。

推定部１４は、ＲＧＢカメラ１１において生成されたＲＧＢ画像信号１１３からユーザーを検出対象としてトラッキングする。推定部１４は、図２に示すように、検出部１４１と、学習済みモデル１４２と、設定部１４３と、トラッキング部１４４とを含む。
検出部１４１は、第１画像センサであるイメージセンサ１１１より生成されたＲＧＢ画像信号１１３に基づいて、検出対象を検出する。本実施形態においては、検出対象が人物である場合を例に挙げて説明する。検出部１４１は、検出対象である人物の少なくとも１つの関節の座標情報を算出する。
図３は、人物の検出の例について説明するための図である。検出部１４１は、図３に示すように、人物の複数の関節の座標情報を算出する。図３の例では、頭部、肩、ひじ、手首、ひざ、足首、つま先等、１７カ所の関節の座標情報を算出する例を示す。
検出部１４１は、例えば学習済みモデル１４２に基づいて、ＲＧＢ画像信号１１３からユーザーが有する複数の関節の位置を示す座標情報を算出する。学習済みモデル１４２は、例えば、複数の関節を有する人物の画像を入力データとし、人物の複数の関節の位置を示す座標情報を正解データとした教師あり学習を実行することによって予め構築することができる。なお、機械学習の具体的な手法については、公知の各種の技術を利用可能であるため詳細な説明は省略する。また、推定部１４の検出部１４１に関係性学習部を備え、ＲＧＢ画像信号１１３が入力される度に、入力されたＲＧＢ画像信号１１３に基づく画像と関節の位置を示す座標情報との関係性を学習して学習済みモデル１４２を更新する構成としてもよい。

また、検出部１４１による処理の際に、イベント信号１２３を利用してもよい。
例えば、イベント信号１２３にのみに基づいて、検出対象である人物の少なくとも１つの関節の座標情報を算出してもよい。また、例えば、ＲＧＢ画像信号１１３とイベント信号１２３とに基づいて、まずイベント信号１２３において同じ極性のイベントが発生していることが示される連続した画素領域に存在するオブジェクトを人物として検出し、ＲＧＢ画像信号１１３の対応する部分について上述した検出処理を行ってもよい。

推定部１４の設定部１４３は、検出対象の少なくとも一部が含まれる関心領域を設定する。関心領域は、検出対象の少なくとも一部が含まれる領域であり、後述するトラッキングの対象となる注目領域である。設定部１４３は、例えば図３に示すように、検出部１４１により検出された人物の関節ごとに、関節を中心とした所定の大きさの正方形を関心領域Ｒとして設定する。なお、図３の例では、一方の肩の関節にのみ関心領域Ｒを図示しているが、設定部１４３は、検出部１４１により検出された人物のすべての関節についてそれぞれ関心領域Ｒを設定してもよいし、一部の関節のみについて関心領域Ｒを設定してもよい。いずれの関節に関心領域Ｒを設定するかはユーザーにより指定可能としてもよい。

推定部１４のトラッキング部１４４は、ＲＧＢ画像信号１１３に基づいて、設定部１４３により設定された関心領域Ｒにおける検出対象をトラッキングする。トラッキング部１４４は、ＲＧＢ画像信号１１３が生成されるタイミング（ＲＧＢカメラ１１のフレームレート）でトラッキングを行ってもよいし、所定の周期またはタイミングでトラッキングを行っても良い。
なお、設定部１４３により複数の関心領域Ｒが設定されている場合、トラッキング部１４４は、各関心領域についてトラッキングを行う。また、設定部１４３によって一旦関心領域Ｒが設定された後は、設定部１４３による関心領域Ｒの設定をスキップしてトラッキング部１４４によるトラッキングを行ってもよい。この場合、所定のタイミングで設定部１４３による関心領域Ｒの再設定を行うことにより、より実情に即したトラッキングを行うことができる。トラッキング部１４４によるトラッキングの結果は、情報出力部１６に出力される。

また、トラッキング部１４４によるトラッキングの際に、イベント信号１２３を利用してもよい。
例えば、イベント信号１２３にのみに基づいて、関心領域Ｒにおける検出対象のトラッキングを行ってもよい。また、例えば、ＲＧＢ画像信号１１３とイベント信号１２３との両方に基づいてトラッキングを行ってもよいし、検出対象の動き等に応じてＲＧＢ画像信号１１３に基づくトラッキングとイベント信号１２３に基づくトラッキングとを切り替えて、２種類のトラッキングの結果を相補的に利用してもよい。

ここまで説明したように、推定部１４は、ＲＧＢ画像信号１１３に基づいて座標情報を算出してトラッキングすることにより、ユーザーの状態を推定することができる。したがって、カメラユニット１０は、ユーザーの状態を推定することにより、コントローラ３０と同様にユーザー操作を受け付けるための操作装置として機能する。つまり、推定部１４により推定されるユーザーの状態に基づいて、ユーザー操作を識別することができる。

なお、検出部１４１によって座標情報を算出する際に、ＩＭＵ１３により検出したカメラユニット１０の三次元の姿勢データを利用してもよい。例えば、ＲＧＢ画像信号１１３に基づく座標情報の算出と、イベント信号１２３に基づく座標情報の算出と、ＲＧＢ画像信号１１３およびイベント信号１２３に基づく座標情報の算出とのいずれかを行う際に、ＩＭＵ１３により検出した三次元の姿勢データを利用してもよい。
また、トラッキング部１４４によってトラッキングを行う際に、ＩＭＵ１３により検出したカメラユニット１０の三次元の姿勢データを利用してもよい。例えば、ＲＧＢ画像信号１１３に基づくトラッキングと、イベント信号１２３に基づくトラッキングと、ＲＧＢ画像信号１１３およびイベント信号１２３に基づくトラッキングとのいずれかを行う際に、ＩＭＵ１３により検出した三次元の姿勢データを利用してもよい。

推定部１４により推定されるユーザーの状態は、上述したように、ユーザーの姿勢、ユーザーの腕の形状、ユーザーの手指の形状、またはユーザーが装着または保持しているコントローラ３０などの外部装置の姿勢の少なくとも１つを含む。
図４は、ユーザーの状態の推定の例について説明するための図である。ユーザーの姿勢は、例えば、図４Ａに示すようにユーザーが椅子などに着席している状態、図４Ｂに示すようにユーザーが立っている状態、さらに、ユーザーがカメラユニット１０に対して正面を向いている状態、側方を向いている状態等を含む。また、ユーザーの腕の形状は、例えば、図４Ｃに示すように、ユーザーが腕を上げている状態やユーザーが腕を動かして所定のポーズをとっている状態等を含む。また、ユーザーの手指の形状は、例えば、図４Ｄに示すように、ユーザーが手指を動かして２本の指を立てるピースサイン等の所定のポーズをとっている状態等を含む。また、ユーザーが装着または保持しているコントローラ３０などの外部装置の姿勢は、例えば、図４Ｅに示すように、ユーザーがコントローラ３０を把持している状態、および把持しているコントローラ３０自体の姿勢等を含む。

算出部１５は、第２画像センサであるセンサ１２１により生成されたイベント信号１２３に基づいて、設定部１４３により設定された関心領域Ｒにおける検出対象の分布を算出する。ＥＤＳ１２においては、被写界内でユーザーの姿勢や位置が変化した場合などに、輝度変化が発生し、その輝度変化が発生した画素アドレスでセンサ１２１によりイベント信号１２３が生成される。したがって、設定部１４３により設定された関心領域Ｒに対応する領域におけるイベント信号１２３の位置自体が検出対象の座標情報に相当する。
ただし、ＥＤＳ１２により生成されるイベント信号１２３は、周囲の明るさの変化の影響を受ける傾向がある。例えば図３の例では、一方の肩の関節について設定された関心領域Ｒにおいて、関節を中心とした領域Ａ１にイベント信号１２３が生成されているだけでなく、関節から離れた領域Ａ２および領域Ａ３にもイベント信号１２３が生成されている他、ノイズであるイベント信号１２３も生成されている。

そこで、算出部１５は、イベント信号１２３の特性を鑑みて検出対象の分布を算出する。例えば、算出部１５は、関心領域Ｒに含まれるイベント信号１２３の数、および関心領域Ｒの中心からイベント信号１２３までの距離等に基づく重み付け処理を行って検出対象の分布を算出する。このようにして算出される検出対象の分布は、その関心領域Ｒ内における検出対象の動きに対応する。なお、算出部１５は、分布を算出する際に、対数スケールで分布を算出してもよい。このように分布を算出することにより、周囲の明るさの変化の影響を抑えた分布を算出することができる。特に、対数スケールにより分布を算出することにより、ＥＤＳ１２が不得手な暗いシーンであっても正確な分布を算出することができる。

そして、推定部１４は、算出部１５により算出した分布に基づき、関心領域Ｒ内における検出対象の移動の有無を判定し、トラッキング部１４４によるトラッキングの有効または無効を制御する。検出対象の移動がある場合とは、ユーザーが静止していないと判断できる状態である。このような場合には、カメラユニット１０を介して何らかのユーザー操作が行われた可能性があるので、推定部１４はトラッキング部１４４によるトラッキングを有効とする。
一方、検出対象の移動がない場合とは、ユーザーが静止していると判断できる状態である。
上述した推定部１４によるユーザーの状態の推定においては、ユーザーが静止している場合であっても、推定部１４により推定されるユーザーの状態は変化してしまうという揺れが発生する場合がある。これは、ゲームシステムにおいて求められるレイテンシを実現しようとした場合、ＲＧＢ画像信号１１３に基づく推定処理では、畳み込み演算などにより元のＲＧＢ画像信号１１３よりも画像サイズが縮小され、空間解像度が低下すること等に起因する。このような揺れを防ぐためには、推定処理の後段の処理として、フィルタ処理などを行って安定化することが考えられるが、レイテンシの悪化や処理負荷の増大など別の問題が発生する。
そこで、検出対象の移動がなく、ユーザーが静止していると判断できる場合には、推定部１４による推定結果に有意な変化はないと考えられるため、推定部１４はトラッキング部１４４によるトラッキングを無効とする。このように、トラッキング部１４４によるトラッキングが有効と考えられるタイミングに絞ってユーザーの状態の推定を行うことにより、レイテンシを悪化させたり、処理負荷を増大させたりすることなく、精度良くトラッキングを行うことができる。

なお、トラッキング部１４４によるトラッキングの有効または無効の制御は、どのように行ってもよい。例えば、有効の際にはトラッキング部１４４によるトラッキングの処理を実行し、無効の際にはトラッキング部１４４によるトラッキングの処理を停止してもよい。また、例えば、有効の際にはトラッキング部１４４から情報出力部１６へのトラッキング結果の出力を行い、無効の際にはトラッキング部１４４から情報出力部１６へのトラッキング結果の出力を停止してもよい。

情報出力部１６は、推定部１４により推定したユーザーの状態を示す情報を情報処理装置２０に出力する。なお、この情報は、検出部１４１によって算出された座標情報でもよいし、トラッキング部１４４によるトラッキングの結果であってもよいし、トラッキング部１４４によるトラッキングの結果に基づいて推定されたユーザーの状態を示す情報であってもよい。さらに、ユーザーの状態とユーザー操作との関係を予めテーブルなどに定めておくことにより、情報出力部１６は、状態を示す情報としてユーザー操作を示す情報を情報処理装置２０に出力してもよい。

ここまで説明したように、カメラユニット１０は、ＲＧＢ画像信号１１３およびイベント信号１２３の生成から人物の状態の推定までを単体で完結し、情報処理装置２０に対してＲＧＢ画像信号１１３およびイベント信号１２３は出力せずに、推定した状態を示す情報を出力することができる。なお、カメラユニット１０は、独立した電源を有することが好ましい。

再び図２を参照して、情報処理装置２０は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、通信部２１および制御部２２を含む。制御部２２は、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される制御値算出部２２１および画像生成部２２２の各機能を含む。以下、各部の機能についてさらに説明する。

通信部２１は、カメラユニット１０の情報出力部１６から出力された情報を受信する。また、通信部２１は、コントローラ３０と相互に通信可能であるとともに、表示装置４０に表示させる画像を出力する。
制御部２２の制御値算出部２２１は、カメラユニット１０の情報出力部１６から受信した情報とコントローラ３０から受信した情報との少なくとも一方に基づいて、コントローラ３０および表示装置４０を含む外部装置へのフィードバック制御の制御値を算出する。上述したように、カメラユニット１０およびコントローラ３０は、ユーザー操作を受け付けるための操作装置として機能する。そこで、制御値算出部２２１は、カメラユニット１０とコントローラ３０との少なくとも一方を介して行われたユーザー操作に応じて、コントローラ３０および表示装置４０を含む外部装置へのフィードバック制御の制御値を算出する。算出された制御値は、通信部２１を介してコントローラ３０および表示装置４０に出力される。
制御部２２の画像生成部２２２は、制御値算出部２２１により算出した制御値に応じて、表示装置４０に表示する表示画像を生成する。生成された表示画像は、通信部２１を介して表示装置４０に出力される。
なお、制御値の算出、および表示画像の生成の詳細については、後述するコントローラ３０および表示装置４０の構成の説明と関連して説明を行う。

コントローラ３０は、図２に示すように、通信部３１、操作部３２、力覚提示部３３、振動部３４、および音声出力部３５を含む。ユーザーはコントローラ３０を操作することによりゲームに関する各種操作を行うことができる。
通信部３１は、情報処理装置２０の通信部２１から出力された制御値を受信して、力覚提示部３３、振動部３４、および音声出力部３５の各部に出力する。また、通信部３１は、操作部３２により受け付けたユーザー操作に関する情報を、情報処理装置２０に出力する。
操作部３２は、ボタンおよびパッドなどの複数の操作子を備え、操作子に対するユーザーの操作入力を受け付ける。
力覚提示部３３は、操作部３２の少なくとも一部の操作子に設けられ、情報処理装置２０から供給される制御値にしたがい、ユーザー操作に抗する、あるいは連動する力をユーザーに提示する。具体的に、力覚提示部３３は、回転するロータを含むモータやアクチュエータ等で構成できる。力覚提示部３３を構成する力覚提示装置については広く知られたものを採用できるので、ここでの詳しい説明を省略する。

振動部３４は、情報処理装置２０から供給される制御値にしたがい、振動を発生するものであり、例えばモータにより構成できる。振動部３４は、ユーザー操作が行われた場合に振動を発生することにより、ユーザー操作が正しく行われ、情報処理装置２０に認識されたことをユーザーに通知することが可能である。
音声出力部３５は、情報処理装置２０から供給される制御値にしたがい、音声を出力するものであり、例えばスピーカにより構成できる。音声出力部３５は、ユーザー操作が行われた場合に音声を出力することにより、ユーザー操作が正しく行われ、情報処理装置２０に認識されたことをユーザーに通知することが可能である。
なお、上述した力覚提示部３３による力覚の提示と連動して、振動部３４による振動と、音声出力部３５による音声出力との少なくとも一方が行われることにより、ユーザーへのフィードバック制御の多様性を高めることが可能である。

情報処理装置２０の制御値算出部２２１は、上述したように、コントローラ３０へのフィードバック制御の制御値を算出するが、より具体的には、コントローラ３０の力覚提示部３３、振動部３４、および音声出力部３５へのフィードバック制御の制御値を算出する。力覚提示部３３に関して、制御値算出部２２１は、ユーザー操作に応じたフィードバック制御としてどのような力覚を提示させるかを示す制御値を算出する。振動部３４に関して、制御値算出部２２１は、ユーザー操作に応じたフィードバック制御としてどのような振動を発生させるかを提示するかを示す制御値を算出する。音声出力部３５に関して、制御値算出部２２１は、ユーザー操作に応じたフィードバック制御としてどのような音声を出力させるかを示す制御値を算出する。制御値算出部２２１による制御値の算出は、予め定められた計算式やテーブル等にしたがって行うことができる。

なお、ここまで説明したコントローラ３０には公知の様々な構成を適用することが可能である。例えば、両手のそれぞれに把持可能な一対のコントローラにより構成されてもよいし、キーボートのような文字入力が可能なコントローラにより構成されてもよいし、スマートフォンなどのアプリケーションにより構成されてもよい。
また、コントローラ３０に、音声入力部を備え、音声認識技術を適用してもよい。例えば、コントローラ３０にマイクなどの音声入力部と音声認識部とを備え、ユーザーが発声するコマンドや、ユーザーの呼びかけなどを示す情報を、通信部３１を介して情報処理装置２０に供給してもよい。

表示装置４０は、図２に示すように、受信部４１、および表示部４２を含む。
受信部４１は、情報処理装置２０の画像生成部２２２が生成した表示画像を示す情報を、通信部２１を介して受信する。
表示部４２は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬなどのモニタを備え、受信部４１により受信した情報に基づき、表示画像を表示することにより、ユーザーに提示することが可能である。

なお、上述した表示装置４０には公知の様々な構成を適用することが可能である。例えば、図１に示した専用の表示装置により構成されてもよいし、ユーザーの頭部に装着されるＨＭＤなどの表示装置により構成されてもよいし、コンピュータの表示装置により構成されてもよいし、スマートフォンなどの端末装置の表示装置により構成されてもよい。また、表示部４２の表面に接触を検知するタッチパネルを備えてもよい。

情報処理装置２０の制御値算出部２２１は、上述したように、表示装置４０に表示する表示画像へのフィードバック制御の制御値を算出するが、より具体的には、制御値算出部２２１は、ユーザー操作に応じたフィードバック制御として表示画像をどのように変化させるかを示す制御値を算出する。制御値算出部２２１による制御値の算出は、予め定められた計算式やテーブル等にしたがって行うことができる。

情報処理装置２０の画像生成部２２２は、上述したように、制御値算出部２２１により算出した制御値に応じて表示装置４０に表示する表示画像を生成する。より具体的には、画像生成部２２２は、表示画像を変化させるための制御値にしたがって、新たに表示装置４０に表示する表示画像を生成する。なお、表示画像の生成には、カメラユニット１０により推定したユーザーの状態が反映される。そのため、例えば、実際にはユーザーが静止している場合には、生成される表示画像の変化が小さい、あるいは変化がなく、ユーザー操作が行われた場合には、生成される表示画像はユーザー操作に応じて変化した画像となる。このような構成により、表示画像における揺れの発生を抑え、表示装置４０における描画の内容を安定させることができる。

図５は、本発明の一実施形態に係るカメラユニット１０の処理の例を示すフローチャートである。図示された例では、ＲＧＢカメラ１１のイメージセンサ１１１がＲＧＢ画像信号１１３を生成する（ステップＳ１０１）とともに、ＥＤＳ１２のセンサ１２１がイベント信号１２３を生成する（ステップＳ１０２）。
そして、推定部１４の検出部１４１がＲＧＢ画像信号１１３から検出対象を検出し（ステップＳ１０３）、設定部１４３が関心領域Ｒを設定する（ステップＳ１０４）。トラッキング部１４４がＲＧＢ画像信号１１３に基づいて関心領域Ｒにおける検出対象をトラッキングし（ステップＳ１０５）、情報出力部１６がトラッキング結果を出力する（ステップＳ１０６）。

推定部１４は、所定の時間が経過するまでステップＳ１０５およびステップＳ１０６を繰り返し、所定の時間が経過すると（ステップＳ１０７ＹＥＳ）、算出部１５がイベント信号１２３に基づいて分布を算出し（ステップＳ１０８）、算出した分布に基づいてトラッキング部１４４が検出対象の動きの有無を判定し、動きがあると判定した場合（ステップＳ１０９ＹＥＳ）には、ステップＳ１０３に戻り、再び推定部１４がステップＳ１０３以降の処理を実行する（ステップＳ１０１からＳ１０２の処理も繰り返されるが、必ずしもステップＳ１０３以降の処理と同じ周期でなくてもよい）ことにより、トラッキングを継続する。

検出対象の動きがある場合とは、ユーザーが静止していないと判断できる場合であり、また、カメラユニット１０を介して何らかのユーザー操作が行われた可能性があると考えられる場合である。したがって、このような場合には、推定部１４による各処理を行うことによりＲＧＢ画像信号１１３からユーザーの状態を推定することで、ユーザーの最新の状態を把握することが可能である。

一方、検出対象の動きがない場合（ステップＳ１０９ＮＯ）には、トラッキング部１４４がトラッキングを無効化する（ステップＳ１１０）。なお、トラッキングの無効化については、上述したように、トラッキング部１４４によるトラッキングの処理を停止してもよいし、トラッキング部１４４から情報出力部１６へのトラッキング結果の出力を停止してもよい。
検出対象の動きがない場合とは、ユーザーが静止していると判断できる場合であり、また、カメラユニット１０を介してユーザー操作が行われていないと考えられる場合である。したがって、このような場合には、推定部１４による不要な推定を避けることで、ユーザーが静止している場合であっても、推定部１４により推定されるユーザーの状態は変化してしまうという揺れの発生を回避または低減することが可能である。
そして、ステップＳ１０６に戻り、情報出力部１６がユーザーの状態を示す情報を出力する。この時、ユーザーの状態を示す情報とは、前回ステップＳ１０５におけるトラッキングの結果であってもよいし、「ユーザーの状態が変わっていないと推定される」ことを示す情報であってもよい。

以上で説明したような本発明の一実施形態では、イメージセンサ１１１により生成したＲＧＢ画像信号１１３に基づいて、検出部１４１が検出対象を検出し、設定部１４３が検出対象の少なくとも一部が含まれる関心領域を設定する。また、算出部１５がセンサ１２１により生成したイベント信号１２３に基づいて、関心領域におけるイベント信号１２３の分布を算出し、トラッキング部１４４がＲＧＢ画像信号１１３またはイベント信号１２３に基づいて、関心領域における検出対象をトラッキングする。そして、分布に基づき、トラッキング部１４４が関心領域内における検出対象の移動の有無を判定してトラッキング部１４４によるトラッキングの有効または無効を制御し、情報出力部１６がトラッキングの結果を出力する。
したがって、カメラユニット１０を介したユーザー操作が行われた場合にはトラッキングを有効としてユーザーの状態を推定する一方で、ユーザー操作が行われていない場合にはトラッキングを無効とし、処理負荷の大きい推定処理を行ってしまうことを回避することができる。さらに、実際にはユーザーが静止している場合であっても、推定されるユーザーの状態は変化してしまうという揺れの発生を抑え、レイテンシを抑えつつ、人物の状態を推定することができる。上記のような構成によって、例えば、揺れを防ぐための追加のフィルタ処理などを行うことなく、安定的に人物の状態を推定することができる。

また、ＲＧＢ画像信号１１３およびイベント信号１２３の生成から人物の状態の推定までをカメラユニット１０で行い、ＲＧＢ画像信号１１３およびイベント信号１２３は出力せずに、推定した状態を示す情報を出力することにより、通信負荷や通信遅延の問題を低減することができる。さらに、ＲＧＢ画像信号１１３およびイベント信号１２３を出力する必要がないため、プライバシー保護の点でも有用である。
また、本発明の一実施形態では、関心領域に含まれるイベント信号１２３の数、または関心領域中心から各イベント信号１２３までの距離に基づいて、分布を算出する。そのため、検出対象の動きを重視しつつ、検出対象の動きと無関係に周囲の明るさの変化の影響で生成されたイベント信号１２３、およびノイズを除去して正確な分布を算出することができる。

また、本発明の一実施形態のカメラユニット１０は、人物の状態を推定してユーザー操作を受け付けることができるため、従来のポインティングデバイス方式の操作装置のようにカーソル位置を維持するためにユーザーの肉体疲労を引き起こすこともない。また、カメラユニット１０は、従来の姿勢検出方式の操作装置のように認識対象となるマーカーやアタッチメントをユーザーに装着させる必要もない。

また、本発明の一実施形態では、ＥＤＳ１２およびＲＧＢカメラ１１の両方を備え、それ自体が分布に相当し、タイムラグが相対的に小さいイベント信号１２３に基づいて検出対象に動きがあるか否かを把握し、検出対象に動きがある場合には、情報量が相対的に多いＲＧＢ画像信号１１３から人物の状態を詳細に推定する。そのため、ＲＧＢ画像信号１１３およびイベント信号１２３のそれぞれの特性を活かした好適な処理を実現することができる。

また、本発明の一実施形態では、推定部１４により推定される人物の状態は、人物の姿勢、人物の腕の形状、人物の手指の形状、または人物が装着または保持している外部装置の姿勢の少なくとも１つを含む。したがって、特徴的なユーザーの状態を推定し、ユーザー操作の意図や内容を的確に把握することができる。

また、本発明の一実施形態では、推定部１４は、複数の関節を有する人物の画像と、複数の関節の位置を示す座標情報との関係性を学習することによって構築された学習済みモデルに基づいて、ＲＧＢ画像信号１１３に基づく第１画像（ＲＧＢ画像）に含まれる人物の少なくとも１つの関節の座標情報を算出し、座標情報に基づいて状態を推定する。したがって、人物の状態を的確かつ高速に推定することができる。

また、本発明の一実施形態では、状態を示す情報を受信する受信部である通信部２１と、状態を示す情報に基づいて、外部装置へのフィードバック制御の制御値を算出する制御値算出部２２１とを有する情報処理装置２０とを備える。したがって、カメラユニット１０が推定した人物の状態を示す情報に基づいて、コントローラ３０および表示装置４０等の外部装置へのフィードバック制御の制御値を算出することができる。

また、本発明の一実施形態では、コントローラ３０が、力覚を提示する力覚提示装置を備える力覚提示部３３、振動装置を備える振動部３４、音声出力装置を備える音声出力部３５を有し、情報処理装置２０は、コントローラ３０に対して制御値を出力する制御値出力部である通信部２１を備え、制御値算出部２２１は、力覚提示部３３、振動部３４、音声出力部３５に対するフィードバック制御に関する制御値を算出する。したがって、カメラユニット１０が推定した人物の状態を示す情報に応じて、コントローラ３０の各部に関するフィードバック制御を実現することができる。

また、本発明の一実施形態では、制御値算出部２２１は、表示画像に対するフィードバック制御の制御値を算出し、情報処理装置２０は、制御値に応じて表示装置４０に表示する表示画像を生成する画像生成部２２２を備える。したがって、カメラユニット１０が推定した人物の状態を示す情報に応じて、表示装置４０に表示される表示画像を変化させるフィードバック制御を実現することができる。

図６は、本発明の別の実施形態に係るシステムの概略的な構成を示すブロック図である。なお、図６は、図２の情報処理装置２０に代えて、サーバ５０および端末装置６０を備えたシステム２の構成を示すブロック図であり、図６においては、図２と実質的に同一の機能構成を有する構成要素については、同一の符号を付する。

図６の例においては、サーバ５０は、カメラユニット１０および端末装置６０とインターネット通信網や、無線によって通信可能に接続されたサーバ（例えば、クラウドサーバ）である。サーバ５０は、図２で説明した情報処理装置２０と同様の構成を有し、カメラユニット１０により出力された情報に基づく各種処理を行う。また、端末装置６０は、通信部６１を備え、通信部６１は、サーバ５０から出力された情報を受信する。また、通信部６１は、図２で説明した情報処理装置２０の通信部２１と同様に、コントローラ３０と相互に通信可能であるとともに、表示装置４０に表示させる画像を出力する。
このような構成により、ＲＧＢ画像信号１１３およびイベント信号１２３の生成から人物の状態の推定までをカメラユニット１０で行い、サーバ５０には推定した状態を示す情報を出力することにより、クラウドサーバなどのサーバを用いたゲームシステムにおいても同様の効果を得ることができる。

なお、上記の各例で説明されたカメラユニット１０では、算出部１５により算出したイベント信号１２３の分布に基づき、検出対象に動きがある場合にはトラッキングを有効とし、検出対象に動きがない場合にはトラッキングを無効とする例を示したが、この例に限定されない。検出対象の動きの度合いと閾値との比較結果に基づいて、異なる推定処理を行う構成としてもよい。この場合、例えば、検出対象の動きが相対的に小さい場合には、微細な状態の変化を把握するために推定処理の精度を高くし、検出対象の動きが相対的に大きい場合には、状態の変化を大まかに把握するために推定処理の精度を低くすることが考えられる。

また、上記の各例で説明されたカメラユニット１０における推定部１４では、機械学習の手法を用いてＲＧＢ画像信号１１３からユーザーが有する複数の関節の位置を示す座標情報を算出して人物の状態を推定する例を示したが、機械学習に代えて、または機械学習に加えて、他の手法を用いて人物の状態を推定する構成としてもよい。例えば、ブロックマッチング法、勾配法などの公知の手法を用い、ＲＧＢ画像信号１１３から動きベクトルを算出して人物の状態を推定してもよい。
また、人物以外に、例えば、所定の車両、機械、生物などを検出対象としたトラッキング、および所定のマーカーなどを検出対象としたトラッキングにも本発明を同様に適用することができる。

また、上記の各例において、ＲＧＢカメラ１１およびＥＤＳ１２の数は同数であってもよいし、異なる数であってもよい。また、ＲＧＢカメラ１１およびＥＤＳ１２の数は、それぞれ１つであってもよいし、複数であってもよい。例えば、複数のＲＧＢカメラ１１を備える場合には、ＲＧＢ画像信号１１３を生成する被写界のレンジを拡大したり、複数のＲＧＢ画像信号１１３から人物の状態を三次元で推定したりすることができる。また、例えば、複数のＥＤＳ１２を備える場合には、イベント信号１２３を生成する被写界のレンジを拡大したり、複数のイベント信号１２３に基づいて、人物の三次元の移動量を算出したりすることができる。

また、上記の各例で説明されたカメラユニット１０は、単一の装置内で実装されてもよいし、複数の装置に分散して実装されてもよい。例えば、各センサの少なくとも一部を独立に備え、その他の構成をカメラユニット１０本体として実装してもよい。

また、上記の各例で説明されたシステムを、ＨＭＤなどの装着型デバイスに適用してもよい。この場合、少なくともカメラユニット１０をＨＭＤに実装することにより、ユーザーがカメラユニット１０を介して一人称視点での撮影を行う際に、検出対象に動きがある場合にはトラッキングを有効として検出対象の動きおよび状態を推定する一方で、検出対象に動きがない場合にはトラッキングを無効とし、処理負荷の大きい推定処理を行ってしまうことを回避する等、上述した実施形態と同様の効果を得ることができる。
なお、ＨＭＤの表示部は、例えばＬＣＤ（Liquid Crystal Display）、有機ＥＬなどの表示素子と、レンズなどの光学装置とを備え、表示素子は、透過型の表示素子であってもよいし、非透過型の表示素子であってもよい。さらに、ＡＲ（Augmented Reality）グラス、ＭＲ（Mixed Reality）グラスなどの装着型デバイスをＨＭＤとして使用してもよい。

以上、添付図面を参照しながら本発明のいくつかの実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１・２…システム、１０…カメラユニット、１１…ＲＧＢカメラ、１２…ＥＤＳ、１３…ＩＭＵ、１４…推定部、１５…算出部、１６…情報出力部、２０…情報処理装置、２１・３１・６１…通信部、２２…制御部、３２…操作部、３３…力覚提示部、３４…振動部、３５…音声出力部、４０…表示装置、４１…受信部、４２…表示部、５０…サーバ、６０…端末装置、１１１…イメージセンサ、１１２・１２２…処理回路、１１３…ＲＧＢ画像信号、１２１…センサ、１２３…イベント信号、１４１…検出部、１４３…設定部、１４４…トラッキング部、２２１…制御値算出部、２２２…画像生成部。

Claims (13)

1. 第１画像センサにより生成された第１画像信号に基づいて、検出対象を検出する検出部と、
   前記検出対象の少なくとも一部が含まれる関心領域を設定する設定部と、
   画素ごとに入射する光の強度変化を検出したときに非同期的に画像信号を生成するイベント駆動型のビジョンセンサを含む第２画像センサにより生成された第２画像信号に基づいて、前記関心領域における前記第２画像信号の分布を算出する算出部と、
   前記第１画像信号と前記第２画像信号との少なくとも一方に基づいて、前記関心領域における前記検出対象をトラッキングするトラッキング部と、
   前記分布に基づき、前記関心領域内における前記検出対象の移動の有無を判定し、前記トラッキング部によるトラッキングの有効または無効を制御するトラッキング制御部と、
   前記トラッキング部によるトラッキングの結果を出力する情報出力部と
   を備える情報処理装置。
2. 前記トラッキング部は、前記第１画像信号と前記第２画像信号とに基づいて、前記関心領域における前記検出対象をトラッキングする、請求項１に記載の情報処理装置。
3. 前記算出部は、前記関心領域に含まれる前記第２画像信号の数、または前記関心領域の中心から前記第２画像信号までの距離に基づいて、前記分布を算出する、請求項１または請求項２に記載の情報処理装置。
4. 前記検出対象は人物であり、
   前記検出部は、前記人物の少なくとも１つの関節の座標情報を算出し、
   前記設定部は、前記人物の関節ごとに前記関心領域を設定する、請求項１から請求項３のいずれか１項に記載の情報処理装置。
5. 前記トラッキング部は、前記人物の姿勢、前記人物の腕の形状、前記人物の手指の形状、または前記人物が装着または保持している外部装置の姿勢の少なくとも１つをトラッキングする、請求項４に記載の情報処理装置。
6. 前記トラッキング部は、複数の関節を有する人物の画像と、前記複数の関節の位置を示す座標情報との関係性を学習することによって構築された学習済みモデルに基づいて、前記座標情報を算出する、請求項４または請求項５に記載の情報処理装置。
7. 前記トラッキング部によるトラッキングの結果は、前記座標情報を含む、請求項４から請求項６のいずれか１項に記載の情報処理装置。
8. 第１画像信号を生成する第１画像センサと、
   画素ごとに入射する光の強度変化を検出したときに非同期的に第２画像信号を生成するイベント駆動型のビジョンセンサを含む第２画像センサと、
   前記第１画像信号に基づいて、検出対象を検出する検出部と、
   前記検出対象の少なくとも一部が含まれる関心領域を設定する設定部と、
   前記第２画像信号に基づいて、前記関心領域における前記第２画像信号の分布を算出する算出部と、
   前記第１画像信号と前記第２画像信号との少なくとも一方に基づいて、前記関心領域における前記検出対象をトラッキングするトラッキング部と、
   前記分布に基づき、前記関心領域内における前記検出対象の移動の有無を判定し、前記トラッキング部によるトラッキングの有効または無効を制御するトラッキング制御部と、
   前記トラッキング部によるトラッキングの結果を出力する情報出力部と
   前記トラッキングの結果を受信する受信部と、
   前記トラッキングの結果に基づいて、外部装置へのフィードバック制御の制御値を算出する制御値算出部と、
   を有する情報処理装置と
   を備えるシステム。
9. 前記外部装置は、力覚を提示する力覚提示装置、振動装置、音声出力装置の少なくとも１つを有するコントローラであり、
   前記情報処理装置は、前記コントローラに対して前記制御値を出力する制御値出力部を備え、
   前記制御値算出部は、前記力覚提示装置、前記振動装置、前記音声出力装置の少なくとも１つに対するフィードバック制御に関する前記制御値を算出する、請求項８に記載のシステム。
10. 前記外部装置は、表示装置であり、
    前記情報処理装置は、前記制御値に応じて前記表示装置に表示する表示画像を生成する画像生成部を備え、
    前記制御値算出部は、前記表示画像に対するフィードバック制御の前記制御値を算出する、請求項８に記載のシステム。
11. 前記情報処理装置は、サーバである、請求項８から請求項１０のいずれか１項に記載のシステム。
12. 第１画像センサが生成した第１画像信号を受信する第１受信ステップと、
    画素ごとに入射する光の強度変化を検出したときに非同期的に画像信号を生成するイベント駆動型のビジョンセンサを含む第２画像センサが生成した第２画像信号を受信する第２受信ステップと、
    前記第１画像信号に基づいて、検出対象を検出する検出ステップと、
    前記検出対象の少なくとも一部が含まれる関心領域を設定する設定ステップと、
    前記関心領域における前記第２画像信号の分布を算出する算出ステップと、
    前記第１画像信号と前記第２画像信号との少なくとも一方に基づいて、前記関心領域における前記検出対象に対するトラッキングを行うトラッキングステップと、
    前記分布に基づき、前記関心領域内における前記検出対象の移動の有無を判定し、前記トラッキングの有効または無効を制御するトラッキング制御ステップと、
    前記トラッキングの結果を出力する情報出力ステップと
    を含む情報処理方法。
13. 第１画像センサが生成した第１画像信号を受信する機能と、
    画素ごとに入射する光の強度変化を検出したときに非同期的に画像信号を生成するイベント駆動型のビジョンセンサを含む第２画像センサが生成した第２画像信号を受信する機能と、
    前記第１画像信号に基づいて、検出対象を検出する機能と、
    前記検出対象の少なくとも一部が含まれる関心領域を設定する機能と、
    前記関心領域における前記第２画像信号の分布を算出する機能と、
    前記第１画像信号と前記第２画像信号との少なくとも一方に基づいて、前記関心領域における前記検出対象のトラッキングを行う機能と、
    前記分布に基づき、前記関心領域内における前記検出対象の移動の有無を判定し、前記トラッキングの有効または無効を制御する機能と、
    前記トラッキングの結果を出力する機能と
    をコンピュータに実現させる情報処理プログラム。

Images