JP7300436B2 - 情報処理装置、システム、情報処理方法および情報処理プログラム - Google Patents
情報処理装置、システム、情報処理方法および情報処理プログラム Download PDFInfo
- Publication number
- JP7300436B2 JP7300436B2 JP2020191103A JP2020191103A JP7300436B2 JP 7300436 B2 JP7300436 B2 JP 7300436B2 JP 2020191103 A JP2020191103 A JP 2020191103A JP 2020191103 A JP2020191103 A JP 2020191103A JP 7300436 B2 JP7300436 B2 JP 7300436B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- tracking
- image signal
- region
- detection target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 50
- 238000003672 processing method Methods 0.000 title description 4
- 238000001514 detection method Methods 0.000 claims description 96
- 238000004364 calculation method Methods 0.000 claims description 34
- 230000008859 change Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 17
- 238000004891 communication Methods 0.000 description 23
- 238000000034 method Methods 0.000 description 20
- 238000012545 processing Methods 0.000 description 20
- 230000033001 locomotion Effects 0.000 description 19
- 230000036544 posture Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 210000001503 joint Anatomy 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000323 shoulder joint Anatomy 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 238000002149 energy-dispersive X-ray emission spectroscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000007561 response to light intensity Effects 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Description
本発明は、情報処理装置、システム、情報処理方法および情報処理プログラムに関する。
入射する光の強度変化を検出したピクセルが時間非同期的に信号を生成する、イベント駆動型のビジョンセンサが知られている。イベント駆動型のビジョンセンサは、所定の周期ごとに全ピクセルをスキャンするフレーム型ビジョンセンサ、具体的にはCCDやCMOSなどのイメージセンサに比べて、低電力で高速に動作可能である点で有利である。 このようなイベント駆動型のビジョンセンサに関する技術は、例えば特許文献1および特許文献2に記載されている。
しかしながら、イベント駆動型のビジョンセンサについては、上記のような利点は知られているものの、他の装置と組み合わせた利用方法については、まだ十分に提案されているとは言いがたい。
そこで、本発明は、イベント駆動型のビジョンセンサにより生成した画像信号に基づいてトラッキングの有効または無効を制御することによって、レイテンシを抑えつつ、精度良くトラッキングを行うことができる情報処理装置、システム、情報処理方法および情報処理プログラムを提供することを目的とする。
本発明のある観点によれば、第1画像センサにより生成された第1画像信号に基づいて、検出対象を検出する検出部と、検出対象の少なくとも一部が含まれる関心領域を設定する設定部と、画素ごとに入射する光の強度変化を検出したときに非同期的に画像信号を生成するイベント駆動型のビジョンセンサを含む第2画像センサにより生成された第2画像信号に基づいて、関心領域における第2画像信号の分布を算出する算出部と、第1画像信号と第2画像信号との少なくとも一方に基づいて、関心領域における検出対象をトラッキングするトラッキング部と、分布に基づき、関心領域内における検出対象の移動の有無を判定し、トラッキング部によるトラッキングの有効または無効を制御するトラッキング制御部と、トラッキング部によるトラッキングの結果を出力する情報出力部とを備える情報処理装置が提供される。
本発明の別の観点によれば、第1画像信号を生成する第1画像センサと、画素ごとに入射する光の強度変化を検出したときに非同期的に第2画像信号を生成するイベント駆動型のビジョンセンサを含む第2画像センサと、第1画像信号に基づいて、検出対象を検出する検出部と、検出対象の少なくとも一部が含まれる関心領域を設定する設定部と、第2画像信号に基づいて、関心領域における第2画像信号の分布を算出する算出部と、第1画像信号と第2画像信号との少なくとも一方に基づいて、関心領域における検出対象をトラッキングするトラッキング部と、分布に基づき、関心領域内における検出対象の移動の有無を判定し、トラッキング部によるトラッキングの有効または無効を制御するトラッキング制御部と、トラッキング部によるトラッキングの結果を出力する情報出力部と、トラッキングの結果を受信する受信部と、トラッキングの結果に基づいて、外部装置へのフィードバック制御の制御値を算出する制御値算出部とを有する情報処理装置とを備えるシステムが提供される。
本発明のさらに別の観点によれば、第1画像センサが生成した第1画像信号を受信する第1受信ステップと、画素ごとに入射する光の強度変化を検出したときに非同期的に画像信号を生成するイベント駆動型のビジョンセンサを含む第2画像センサが生成した第2画像信号を受信する第2受信ステップと、第1画像信号に基づいて、検出対象を検出する検出ステップと、検出対象の少なくとも一部が含まれる関心領域を設定する設定ステップと、関心領域における第2画像信号の分布を算出する算出ステップと、第1画像信号と第2画像信号との少なくとも一方に基づいて、関心領域における検出対象に対するトラッキングを行うトラッキングステップと、分布に基づき、関心領域内における検出対象の移動の有無を判定し、トラッキングの有効または無効を制御するトラッキング制御ステップと、トラッキングの結果を出力する情報出力ステップとを含む情報処理方法が提供される。
本発明のさらに別の観点によれば、第1画像センサが生成した第1画像信号を受信する機能と、画素ごとに入射する光の強度変化を検出したときに非同期的に画像信号を生成するイベント駆動型のビジョンセンサを含む第2画像センサが生成した第2画像信号を受信する機能と、第1画像信号に基づいて、検出対象を検出する機能と、検出対象の少なくとも一部が含まれる関心領域を設定する機能と、関心領域における第2画像信号の分布を算出する機能と、第1画像信号と第2画像信号との少なくとも一方に基づいて、関心領域における検出対象のトラッキングを行う機能と、分布に基づき、関心領域内における検出対象の移動の有無を判定し、トラッキングの有効または無効を制御する機能と、トラッキングの結果を出力する機能とをコンピュータに実現させる情報処理プログラムが提供される。
上記の構成によれば、イベント駆動型のビジョンセンサにより生成した画像信号に基づいてトラッキングの有効または無効を制御することによって、レイテンシを抑えつつ、精度良くトラッキングを行うことができる。
以下、添付図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
図1は、本実施形態に係るシステム1の全体を示す模式図である。
本実施形態に係るシステム1は、図1に示すように、カメラユニット10と、情報処理装置20と、コントローラ30と、表示装置40とを含むゲームシステムである。情報処理装置20は、カメラユニット10、コントローラ30、および表示装置40のぞれぞれと有線または無線のネットワークにより接続される。
システム1では、カメラユニット10およびコントローラ30から送信される情報に応じて情報処理装置20がゲームを進行し、表示装置40が、情報処理装置20の実行時画面、例えばゲーム画面を表示する。
本実施形態に係るシステム1は、図1に示すように、カメラユニット10と、情報処理装置20と、コントローラ30と、表示装置40とを含むゲームシステムである。情報処理装置20は、カメラユニット10、コントローラ30、および表示装置40のぞれぞれと有線または無線のネットワークにより接続される。
システム1では、カメラユニット10およびコントローラ30から送信される情報に応じて情報処理装置20がゲームを進行し、表示装置40が、情報処理装置20の実行時画面、例えばゲーム画面を表示する。
本実施形態において、カメラユニット10は、ゲームのプレイヤーであるユーザーを検出対象とし、ユーザーの少なくとも1つの関節をトラッキングしてトラッキングの結果を情報処理装置20に送信する。ここで、カメラユニット10は、ユーザーの姿勢、ユーザーの腕の形状、ユーザーの手指の形状、またはユーザーが装着または保持しているコントローラ30などの外部装置の姿勢の少なくとも1つをトラッキングすることにより、ユーザーの状態を推定することができる。
カメラユニット10は、ユーザーを検出対象としてトラッキングすることにより、コントローラ30と同様にユーザー操作を受け付けるための操作装置として機能する。このようなカメラユニット10は、ユーザーを検出対象としてトラッキングするために、被写界にユーザーが収まる位置、例えばユーザーから1メートル程度の距離に配置される。図1の例では、カメラユニット10は、表示装置40の近傍に配置される。カメラユニット10の最適な配置位置は、目的に応じて異なる。例えば、プレイ対象のゲームの内容に応じて、ユーザーの体全体、上半身、手元等、把握する対象が被写界に収まる位置にカメラユニット10を配置することが望まれる。
なお、カメラユニット10の配置に際しては、例えば、情報処理装置20によって表示装置40にチュートリアルなどを表示することにより、ユーザーがカメラユニット10を適切な位置に配置するよう案内するとよい。
カメラユニット10は、ユーザーを検出対象としてトラッキングすることにより、コントローラ30と同様にユーザー操作を受け付けるための操作装置として機能する。このようなカメラユニット10は、ユーザーを検出対象としてトラッキングするために、被写界にユーザーが収まる位置、例えばユーザーから1メートル程度の距離に配置される。図1の例では、カメラユニット10は、表示装置40の近傍に配置される。カメラユニット10の最適な配置位置は、目的に応じて異なる。例えば、プレイ対象のゲームの内容に応じて、ユーザーの体全体、上半身、手元等、把握する対象が被写界に収まる位置にカメラユニット10を配置することが望まれる。
なお、カメラユニット10の配置に際しては、例えば、情報処理装置20によって表示装置40にチュートリアルなどを表示することにより、ユーザーがカメラユニット10を適切な位置に配置するよう案内するとよい。
以下、システム1の各構成について説明する。
図2は、本発明の一実施形態に係るシステムの概略的な構成を示すブロック図である。
カメラユニット10は、RGBカメラ11と、EDS(Event Driven Sensor)12と、IMU(Inertial Measurement Unit)13と、推定部14と、算出部15と、情報出力部16とを含む。
RGBカメラ11は、第1画像センサであるイメージセンサ111と、イメージセンサ111に接続される処理回路112とを含む。イメージセンサ111は、例えば所定の周期で、またはユーザー操作に応じた所定のタイミングで全ピクセルを同期的にスキャンすることによってRGB画像信号113を生成する。処理回路112は、例えばRGB画像信号113を保存および伝送に適した形式に変換する。また、処理回路112は、RGB画像信号113にタイムスタンプを与える。
図2は、本発明の一実施形態に係るシステムの概略的な構成を示すブロック図である。
カメラユニット10は、RGBカメラ11と、EDS(Event Driven Sensor)12と、IMU(Inertial Measurement Unit)13と、推定部14と、算出部15と、情報出力部16とを含む。
RGBカメラ11は、第1画像センサであるイメージセンサ111と、イメージセンサ111に接続される処理回路112とを含む。イメージセンサ111は、例えば所定の周期で、またはユーザー操作に応じた所定のタイミングで全ピクセルを同期的にスキャンすることによってRGB画像信号113を生成する。処理回路112は、例えばRGB画像信号113を保存および伝送に適した形式に変換する。また、処理回路112は、RGB画像信号113にタイムスタンプを与える。
EDS12は、センサアレイを構成する第2画像センサであるセンサ121と、センサ121に接続される処理回路122とを含む。センサ121は、受光素子を含み、画素ごとに入射する光の強度変化、より具体的には予め定めた所定の値を超える輝度変化を検出したときにイベント信号123を生成するイベント駆動型のビジョンセンサである。処理回路122を経て出力されるイベント信号123は、センサ121の識別情報(例えばピクセルの位置)と、輝度変化の極性(上昇または低下)と、タイムスタンプとを含む。また、輝度変化を検出した際に、EDS12は、RGB画像信号113の生成頻度(RGBカメラ11のフレームレート)より大幅に高い頻度でイベント信号123を生成することができる。また、EDS12は、RGB画像信号113の生成頻度(RGBカメラ11のフレームレート)より大幅に高い頻度でイベント信号123を生成することができる。
なお、本明細書では、当該信号に基づいて画像を構築可能な信号を画像信号という。したがって、RGB画像信号113およびイベント信号123は、画像信号の一例を示す。
なお、本明細書では、当該信号に基づいて画像を構築可能な信号を画像信号という。したがって、RGB画像信号113およびイベント信号123は、画像信号の一例を示す。
本実施形態において、RGB画像信号113およびイベント信号123に与えられるタイムスタンプは同期している。具体的には、例えば、EDS12でタイムスタンプを生成するために用いられる時刻情報をRGBカメラ11に提供することによって、RGB画像信号113およびイベント信号123に与えられるタイムスタンプを同期させることができる。あるいは、タイムスタンプを生成するための時刻情報がRGBカメラ11とEDS12とでそれぞれ独立している場合、特定のイベント(例えば、画像全体にわたる被写体の変化)が発生した時刻を基準にしてタイムスタンプのオフセット量を算出することによって、事後的にRGB画像信号113およびイベント信号123に与えられるタイムスタンプを同期させることができる。
また、本実施形態では、事前に実行されるRGBカメラ11とEDS12とのキャリブレーション手順によって、EDS12のセンサ121がRGB画像信号113の1または複数のピクセルに対応付けられ、イベント信号123はRGB画像信号113の1または複数のピクセルにおける光の強度変化に応じて生成される。より具体的には、例えば、RGBカメラ11とEDS12とで共通の校正パターンを撮像し、RGBカメラ11およびEDS12のぞれぞれの内部パラメータおよび外部パラメータからカメラとセンサとの間の対応パラメータを算出することによって、RGB画像信号113の1または複数のピクセルにセンサ121を対応付けることができる。
IMU13は、カメラユニット10自体の姿勢を検出するセンサである。IMU13は、所定の周期で、または、所定のタイミングでカメラユニット10の三次元の姿勢データを取得し、推定部14に出力する。
推定部14は、RGBカメラ11において生成されたRGB画像信号113からユーザーを検出対象としてトラッキングする。推定部14は、図2に示すように、検出部141と、学習済みモデル142と、設定部143と、トラッキング部144とを含む。
検出部141は、第1画像センサであるイメージセンサ111より生成されたRGB画像信号113に基づいて、検出対象を検出する。本実施形態においては、検出対象が人物である場合を例に挙げて説明する。検出部141は、検出対象である人物の少なくとも1つの関節の座標情報を算出する。
図3は、人物の検出の例について説明するための図である。検出部141は、図3に示すように、人物の複数の関節の座標情報を算出する。図3の例では、頭部、肩、ひじ、手首、ひざ、足首、つま先等、17カ所の関節の座標情報を算出する例を示す。
検出部141は、例えば学習済みモデル142に基づいて、RGB画像信号113からユーザーが有する複数の関節の位置を示す座標情報を算出する。学習済みモデル142は、例えば、複数の関節を有する人物の画像を入力データとし、人物の複数の関節の位置を示す座標情報を正解データとした教師あり学習を実行することによって予め構築することができる。なお、機械学習の具体的な手法については、公知の各種の技術を利用可能であるため詳細な説明は省略する。また、推定部14の検出部141に関係性学習部を備え、RGB画像信号113が入力される度に、入力されたRGB画像信号113に基づく画像と関節の位置を示す座標情報との関係性を学習して学習済みモデル142を更新する構成としてもよい。
検出部141は、第1画像センサであるイメージセンサ111より生成されたRGB画像信号113に基づいて、検出対象を検出する。本実施形態においては、検出対象が人物である場合を例に挙げて説明する。検出部141は、検出対象である人物の少なくとも1つの関節の座標情報を算出する。
図3は、人物の検出の例について説明するための図である。検出部141は、図3に示すように、人物の複数の関節の座標情報を算出する。図3の例では、頭部、肩、ひじ、手首、ひざ、足首、つま先等、17カ所の関節の座標情報を算出する例を示す。
検出部141は、例えば学習済みモデル142に基づいて、RGB画像信号113からユーザーが有する複数の関節の位置を示す座標情報を算出する。学習済みモデル142は、例えば、複数の関節を有する人物の画像を入力データとし、人物の複数の関節の位置を示す座標情報を正解データとした教師あり学習を実行することによって予め構築することができる。なお、機械学習の具体的な手法については、公知の各種の技術を利用可能であるため詳細な説明は省略する。また、推定部14の検出部141に関係性学習部を備え、RGB画像信号113が入力される度に、入力されたRGB画像信号113に基づく画像と関節の位置を示す座標情報との関係性を学習して学習済みモデル142を更新する構成としてもよい。
また、検出部141による処理の際に、イベント信号123を利用してもよい。
例えば、イベント信号123にのみに基づいて、検出対象である人物の少なくとも1つの関節の座標情報を算出してもよい。また、例えば、RGB画像信号113とイベント信号123とに基づいて、まずイベント信号123において同じ極性のイベントが発生していることが示される連続した画素領域に存在するオブジェクトを人物として検出し、RGB画像信号113の対応する部分について上述した検出処理を行ってもよい。
例えば、イベント信号123にのみに基づいて、検出対象である人物の少なくとも1つの関節の座標情報を算出してもよい。また、例えば、RGB画像信号113とイベント信号123とに基づいて、まずイベント信号123において同じ極性のイベントが発生していることが示される連続した画素領域に存在するオブジェクトを人物として検出し、RGB画像信号113の対応する部分について上述した検出処理を行ってもよい。
推定部14の設定部143は、検出対象の少なくとも一部が含まれる関心領域を設定する。関心領域は、検出対象の少なくとも一部が含まれる領域であり、後述するトラッキングの対象となる注目領域である。設定部143は、例えば図3に示すように、検出部141により検出された人物の関節ごとに、関節を中心とした所定の大きさの正方形を関心領域Rとして設定する。なお、図3の例では、一方の肩の関節にのみ関心領域Rを図示しているが、設定部143は、検出部141により検出された人物のすべての関節についてそれぞれ関心領域Rを設定してもよいし、一部の関節のみについて関心領域Rを設定してもよい。いずれの関節に関心領域Rを設定するかはユーザーにより指定可能としてもよい。
推定部14のトラッキング部144は、RGB画像信号113に基づいて、設定部143により設定された関心領域Rにおける検出対象をトラッキングする。トラッキング部144は、RGB画像信号113が生成されるタイミング(RGBカメラ11のフレームレート)でトラッキングを行ってもよいし、所定の周期またはタイミングでトラッキングを行っても良い。
なお、設定部143により複数の関心領域Rが設定されている場合、トラッキング部144は、各関心領域についてトラッキングを行う。また、設定部143によって一旦関心領域Rが設定された後は、設定部143による関心領域Rの設定をスキップしてトラッキング部144によるトラッキングを行ってもよい。この場合、所定のタイミングで設定部143による関心領域Rの再設定を行うことにより、より実情に即したトラッキングを行うことができる。トラッキング部144によるトラッキングの結果は、情報出力部16に出力される。
なお、設定部143により複数の関心領域Rが設定されている場合、トラッキング部144は、各関心領域についてトラッキングを行う。また、設定部143によって一旦関心領域Rが設定された後は、設定部143による関心領域Rの設定をスキップしてトラッキング部144によるトラッキングを行ってもよい。この場合、所定のタイミングで設定部143による関心領域Rの再設定を行うことにより、より実情に即したトラッキングを行うことができる。トラッキング部144によるトラッキングの結果は、情報出力部16に出力される。
また、トラッキング部144によるトラッキングの際に、イベント信号123を利用してもよい。
例えば、イベント信号123にのみに基づいて、関心領域Rにおける検出対象のトラッキングを行ってもよい。また、例えば、RGB画像信号113とイベント信号123との両方に基づいてトラッキングを行ってもよいし、検出対象の動き等に応じてRGB画像信号113に基づくトラッキングとイベント信号123に基づくトラッキングとを切り替えて、2種類のトラッキングの結果を相補的に利用してもよい。
例えば、イベント信号123にのみに基づいて、関心領域Rにおける検出対象のトラッキングを行ってもよい。また、例えば、RGB画像信号113とイベント信号123との両方に基づいてトラッキングを行ってもよいし、検出対象の動き等に応じてRGB画像信号113に基づくトラッキングとイベント信号123に基づくトラッキングとを切り替えて、2種類のトラッキングの結果を相補的に利用してもよい。
ここまで説明したように、推定部14は、RGB画像信号113に基づいて座標情報を算出してトラッキングすることにより、ユーザーの状態を推定することができる。したがって、カメラユニット10は、ユーザーの状態を推定することにより、コントローラ30と同様にユーザー操作を受け付けるための操作装置として機能する。つまり、推定部14により推定されるユーザーの状態に基づいて、ユーザー操作を識別することができる。
なお、検出部141によって座標情報を算出する際に、IMU13により検出したカメラユニット10の三次元の姿勢データを利用してもよい。例えば、RGB画像信号113に基づく座標情報の算出と、イベント信号123に基づく座標情報の算出と、RGB画像信号113およびイベント信号123に基づく座標情報の算出とのいずれかを行う際に、IMU13により検出した三次元の姿勢データを利用してもよい。
また、トラッキング部144によってトラッキングを行う際に、IMU13により検出したカメラユニット10の三次元の姿勢データを利用してもよい。例えば、RGB画像信号113に基づくトラッキングと、イベント信号123に基づくトラッキングと、RGB画像信号113およびイベント信号123に基づくトラッキングとのいずれかを行う際に、IMU13により検出した三次元の姿勢データを利用してもよい。
また、トラッキング部144によってトラッキングを行う際に、IMU13により検出したカメラユニット10の三次元の姿勢データを利用してもよい。例えば、RGB画像信号113に基づくトラッキングと、イベント信号123に基づくトラッキングと、RGB画像信号113およびイベント信号123に基づくトラッキングとのいずれかを行う際に、IMU13により検出した三次元の姿勢データを利用してもよい。
推定部14により推定されるユーザーの状態は、上述したように、ユーザーの姿勢、ユーザーの腕の形状、ユーザーの手指の形状、またはユーザーが装着または保持しているコントローラ30などの外部装置の姿勢の少なくとも1つを含む。
図4は、ユーザーの状態の推定の例について説明するための図である。ユーザーの姿勢は、例えば、図4Aに示すようにユーザーが椅子などに着席している状態、図4Bに示すようにユーザーが立っている状態、さらに、ユーザーがカメラユニット10に対して正面を向いている状態、側方を向いている状態等を含む。また、ユーザーの腕の形状は、例えば、図4Cに示すように、ユーザーが腕を上げている状態やユーザーが腕を動かして所定のポーズをとっている状態等を含む。また、ユーザーの手指の形状は、例えば、図4Dに示すように、ユーザーが手指を動かして2本の指を立てるピースサイン等の所定のポーズをとっている状態等を含む。また、ユーザーが装着または保持しているコントローラ30などの外部装置の姿勢は、例えば、図4Eに示すように、ユーザーがコントローラ30を把持している状態、および把持しているコントローラ30自体の姿勢等を含む。
図4は、ユーザーの状態の推定の例について説明するための図である。ユーザーの姿勢は、例えば、図4Aに示すようにユーザーが椅子などに着席している状態、図4Bに示すようにユーザーが立っている状態、さらに、ユーザーがカメラユニット10に対して正面を向いている状態、側方を向いている状態等を含む。また、ユーザーの腕の形状は、例えば、図4Cに示すように、ユーザーが腕を上げている状態やユーザーが腕を動かして所定のポーズをとっている状態等を含む。また、ユーザーの手指の形状は、例えば、図4Dに示すように、ユーザーが手指を動かして2本の指を立てるピースサイン等の所定のポーズをとっている状態等を含む。また、ユーザーが装着または保持しているコントローラ30などの外部装置の姿勢は、例えば、図4Eに示すように、ユーザーがコントローラ30を把持している状態、および把持しているコントローラ30自体の姿勢等を含む。
算出部15は、第2画像センサであるセンサ121により生成されたイベント信号123に基づいて、設定部143により設定された関心領域Rにおける検出対象の分布を算出する。EDS12においては、被写界内でユーザーの姿勢や位置が変化した場合などに、輝度変化が発生し、その輝度変化が発生した画素アドレスでセンサ121によりイベント信号123が生成される。したがって、設定部143により設定された関心領域Rに対応する領域におけるイベント信号123の位置自体が検出対象の座標情報に相当する。
ただし、EDS12により生成されるイベント信号123は、周囲の明るさの変化の影響を受ける傾向がある。例えば図3の例では、一方の肩の関節について設定された関心領域Rにおいて、関節を中心とした領域A1にイベント信号123が生成されているだけでなく、関節から離れた領域A2および領域A3にもイベント信号123が生成されている他、ノイズであるイベント信号123も生成されている。
ただし、EDS12により生成されるイベント信号123は、周囲の明るさの変化の影響を受ける傾向がある。例えば図3の例では、一方の肩の関節について設定された関心領域Rにおいて、関節を中心とした領域A1にイベント信号123が生成されているだけでなく、関節から離れた領域A2および領域A3にもイベント信号123が生成されている他、ノイズであるイベント信号123も生成されている。
そこで、算出部15は、イベント信号123の特性を鑑みて検出対象の分布を算出する。例えば、算出部15は、関心領域Rに含まれるイベント信号123の数、および関心領域Rの中心からイベント信号123までの距離等に基づく重み付け処理を行って検出対象の分布を算出する。このようにして算出される検出対象の分布は、その関心領域R内における検出対象の動きに対応する。なお、算出部15は、分布を算出する際に、対数スケールで分布を算出してもよい。このように分布を算出することにより、周囲の明るさの変化の影響を抑えた分布を算出することができる。特に、対数スケールにより分布を算出することにより、EDS12が不得手な暗いシーンであっても正確な分布を算出することができる。
そして、推定部14は、算出部15により算出した分布に基づき、関心領域R内における検出対象の移動の有無を判定し、トラッキング部144によるトラッキングの有効または無効を制御する。検出対象の移動がある場合とは、ユーザーが静止していないと判断できる状態である。このような場合には、カメラユニット10を介して何らかのユーザー操作が行われた可能性があるので、推定部14はトラッキング部144によるトラッキングを有効とする。
一方、検出対象の移動がない場合とは、ユーザーが静止していると判断できる状態である。
上述した推定部14によるユーザーの状態の推定においては、ユーザーが静止している場合であっても、推定部14により推定されるユーザーの状態は変化してしまうという揺れが発生する場合がある。これは、ゲームシステムにおいて求められるレイテンシを実現しようとした場合、RGB画像信号113に基づく推定処理では、畳み込み演算などにより元のRGB画像信号113よりも画像サイズが縮小され、空間解像度が低下すること等に起因する。このような揺れを防ぐためには、推定処理の後段の処理として、フィルタ処理などを行って安定化することが考えられるが、レイテンシの悪化や処理負荷の増大など別の問題が発生する。
そこで、検出対象の移動がなく、ユーザーが静止していると判断できる場合には、推定部14による推定結果に有意な変化はないと考えられるため、推定部14はトラッキング部144によるトラッキングを無効とする。このように、トラッキング部144によるトラッキングが有効と考えられるタイミングに絞ってユーザーの状態の推定を行うことにより、レイテンシを悪化させたり、処理負荷を増大させたりすることなく、精度良くトラッキングを行うことができる。
一方、検出対象の移動がない場合とは、ユーザーが静止していると判断できる状態である。
上述した推定部14によるユーザーの状態の推定においては、ユーザーが静止している場合であっても、推定部14により推定されるユーザーの状態は変化してしまうという揺れが発生する場合がある。これは、ゲームシステムにおいて求められるレイテンシを実現しようとした場合、RGB画像信号113に基づく推定処理では、畳み込み演算などにより元のRGB画像信号113よりも画像サイズが縮小され、空間解像度が低下すること等に起因する。このような揺れを防ぐためには、推定処理の後段の処理として、フィルタ処理などを行って安定化することが考えられるが、レイテンシの悪化や処理負荷の増大など別の問題が発生する。
そこで、検出対象の移動がなく、ユーザーが静止していると判断できる場合には、推定部14による推定結果に有意な変化はないと考えられるため、推定部14はトラッキング部144によるトラッキングを無効とする。このように、トラッキング部144によるトラッキングが有効と考えられるタイミングに絞ってユーザーの状態の推定を行うことにより、レイテンシを悪化させたり、処理負荷を増大させたりすることなく、精度良くトラッキングを行うことができる。
なお、トラッキング部144によるトラッキングの有効または無効の制御は、どのように行ってもよい。例えば、有効の際にはトラッキング部144によるトラッキングの処理を実行し、無効の際にはトラッキング部144によるトラッキングの処理を停止してもよい。また、例えば、有効の際にはトラッキング部144から情報出力部16へのトラッキング結果の出力を行い、無効の際にはトラッキング部144から情報出力部16へのトラッキング結果の出力を停止してもよい。
情報出力部16は、推定部14により推定したユーザーの状態を示す情報を情報処理装置20に出力する。なお、この情報は、検出部141によって算出された座標情報でもよいし、トラッキング部144によるトラッキングの結果であってもよいし、トラッキング部144によるトラッキングの結果に基づいて推定されたユーザーの状態を示す情報であってもよい。さらに、ユーザーの状態とユーザー操作との関係を予めテーブルなどに定めておくことにより、情報出力部16は、状態を示す情報としてユーザー操作を示す情報を情報処理装置20に出力してもよい。
ここまで説明したように、カメラユニット10は、RGB画像信号113およびイベント信号123の生成から人物の状態の推定までを単体で完結し、情報処理装置20に対してRGB画像信号113およびイベント信号123は出力せずに、推定した状態を示す情報を出力することができる。なお、カメラユニット10は、独立した電源を有することが好ましい。
再び図2を参照して、情報処理装置20は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、通信部21および制御部22を含む。制御部22は、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される制御値算出部221および画像生成部222の各機能を含む。以下、各部の機能についてさらに説明する。
通信部21は、カメラユニット10の情報出力部16から出力された情報を受信する。また、通信部21は、コントローラ30と相互に通信可能であるとともに、表示装置40に表示させる画像を出力する。
制御部22の制御値算出部221は、カメラユニット10の情報出力部16から受信した情報とコントローラ30から受信した情報との少なくとも一方に基づいて、コントローラ30および表示装置40を含む外部装置へのフィードバック制御の制御値を算出する。上述したように、カメラユニット10およびコントローラ30は、ユーザー操作を受け付けるための操作装置として機能する。そこで、制御値算出部221は、カメラユニット10とコントローラ30との少なくとも一方を介して行われたユーザー操作に応じて、コントローラ30および表示装置40を含む外部装置へのフィードバック制御の制御値を算出する。算出された制御値は、通信部21を介してコントローラ30および表示装置40に出力される。
制御部22の画像生成部222は、制御値算出部221により算出した制御値に応じて、表示装置40に表示する表示画像を生成する。生成された表示画像は、通信部21を介して表示装置40に出力される。
なお、制御値の算出、および表示画像の生成の詳細については、後述するコントローラ30および表示装置40の構成の説明と関連して説明を行う。
制御部22の制御値算出部221は、カメラユニット10の情報出力部16から受信した情報とコントローラ30から受信した情報との少なくとも一方に基づいて、コントローラ30および表示装置40を含む外部装置へのフィードバック制御の制御値を算出する。上述したように、カメラユニット10およびコントローラ30は、ユーザー操作を受け付けるための操作装置として機能する。そこで、制御値算出部221は、カメラユニット10とコントローラ30との少なくとも一方を介して行われたユーザー操作に応じて、コントローラ30および表示装置40を含む外部装置へのフィードバック制御の制御値を算出する。算出された制御値は、通信部21を介してコントローラ30および表示装置40に出力される。
制御部22の画像生成部222は、制御値算出部221により算出した制御値に応じて、表示装置40に表示する表示画像を生成する。生成された表示画像は、通信部21を介して表示装置40に出力される。
なお、制御値の算出、および表示画像の生成の詳細については、後述するコントローラ30および表示装置40の構成の説明と関連して説明を行う。
コントローラ30は、図2に示すように、通信部31、操作部32、力覚提示部33、振動部34、および音声出力部35を含む。ユーザーはコントローラ30を操作することによりゲームに関する各種操作を行うことができる。
通信部31は、情報処理装置20の通信部21から出力された制御値を受信して、力覚提示部33、振動部34、および音声出力部35の各部に出力する。また、通信部31は、操作部32により受け付けたユーザー操作に関する情報を、情報処理装置20に出力する。
操作部32は、ボタンおよびパッドなどの複数の操作子を備え、操作子に対するユーザーの操作入力を受け付ける。
力覚提示部33は、操作部32の少なくとも一部の操作子に設けられ、情報処理装置20から供給される制御値にしたがい、ユーザー操作に抗する、あるいは連動する力をユーザーに提示する。具体的に、力覚提示部33は、回転するロータを含むモータやアクチュエータ等で構成できる。力覚提示部33を構成する力覚提示装置については広く知られたものを採用できるので、ここでの詳しい説明を省略する。
通信部31は、情報処理装置20の通信部21から出力された制御値を受信して、力覚提示部33、振動部34、および音声出力部35の各部に出力する。また、通信部31は、操作部32により受け付けたユーザー操作に関する情報を、情報処理装置20に出力する。
操作部32は、ボタンおよびパッドなどの複数の操作子を備え、操作子に対するユーザーの操作入力を受け付ける。
力覚提示部33は、操作部32の少なくとも一部の操作子に設けられ、情報処理装置20から供給される制御値にしたがい、ユーザー操作に抗する、あるいは連動する力をユーザーに提示する。具体的に、力覚提示部33は、回転するロータを含むモータやアクチュエータ等で構成できる。力覚提示部33を構成する力覚提示装置については広く知られたものを採用できるので、ここでの詳しい説明を省略する。
振動部34は、情報処理装置20から供給される制御値にしたがい、振動を発生するものであり、例えばモータにより構成できる。振動部34は、ユーザー操作が行われた場合に振動を発生することにより、ユーザー操作が正しく行われ、情報処理装置20に認識されたことをユーザーに通知することが可能である。
音声出力部35は、情報処理装置20から供給される制御値にしたがい、音声を出力するものであり、例えばスピーカにより構成できる。音声出力部35は、ユーザー操作が行われた場合に音声を出力することにより、ユーザー操作が正しく行われ、情報処理装置20に認識されたことをユーザーに通知することが可能である。
なお、上述した力覚提示部33による力覚の提示と連動して、振動部34による振動と、音声出力部35による音声出力との少なくとも一方が行われることにより、ユーザーへのフィードバック制御の多様性を高めることが可能である。
音声出力部35は、情報処理装置20から供給される制御値にしたがい、音声を出力するものであり、例えばスピーカにより構成できる。音声出力部35は、ユーザー操作が行われた場合に音声を出力することにより、ユーザー操作が正しく行われ、情報処理装置20に認識されたことをユーザーに通知することが可能である。
なお、上述した力覚提示部33による力覚の提示と連動して、振動部34による振動と、音声出力部35による音声出力との少なくとも一方が行われることにより、ユーザーへのフィードバック制御の多様性を高めることが可能である。
情報処理装置20の制御値算出部221は、上述したように、コントローラ30へのフィードバック制御の制御値を算出するが、より具体的には、コントローラ30の力覚提示部33、振動部34、および音声出力部35へのフィードバック制御の制御値を算出する。力覚提示部33に関して、制御値算出部221は、ユーザー操作に応じたフィードバック制御としてどのような力覚を提示させるかを示す制御値を算出する。振動部34に関して、制御値算出部221は、ユーザー操作に応じたフィードバック制御としてどのような振動を発生させるかを提示するかを示す制御値を算出する。音声出力部35に関して、制御値算出部221は、ユーザー操作に応じたフィードバック制御としてどのような音声を出力させるかを示す制御値を算出する。制御値算出部221による制御値の算出は、予め定められた計算式やテーブル等にしたがって行うことができる。
なお、ここまで説明したコントローラ30には公知の様々な構成を適用することが可能である。例えば、両手のそれぞれに把持可能な一対のコントローラにより構成されてもよいし、キーボートのような文字入力が可能なコントローラにより構成されてもよいし、スマートフォンなどのアプリケーションにより構成されてもよい。
また、コントローラ30に、音声入力部を備え、音声認識技術を適用してもよい。例えば、コントローラ30にマイクなどの音声入力部と音声認識部とを備え、ユーザーが発声するコマンドや、ユーザーの呼びかけなどを示す情報を、通信部31を介して情報処理装置20に供給してもよい。
また、コントローラ30に、音声入力部を備え、音声認識技術を適用してもよい。例えば、コントローラ30にマイクなどの音声入力部と音声認識部とを備え、ユーザーが発声するコマンドや、ユーザーの呼びかけなどを示す情報を、通信部31を介して情報処理装置20に供給してもよい。
表示装置40は、図2に示すように、受信部41、および表示部42を含む。
受信部41は、情報処理装置20の画像生成部222が生成した表示画像を示す情報を、通信部21を介して受信する。
表示部42は、例えばLCD(Liquid Crystal Display)や有機ELなどのモニタを備え、受信部41により受信した情報に基づき、表示画像を表示することにより、ユーザーに提示することが可能である。
受信部41は、情報処理装置20の画像生成部222が生成した表示画像を示す情報を、通信部21を介して受信する。
表示部42は、例えばLCD(Liquid Crystal Display)や有機ELなどのモニタを備え、受信部41により受信した情報に基づき、表示画像を表示することにより、ユーザーに提示することが可能である。
なお、上述した表示装置40には公知の様々な構成を適用することが可能である。例えば、図1に示した専用の表示装置により構成されてもよいし、ユーザーの頭部に装着されるHMDなどの表示装置により構成されてもよいし、コンピュータの表示装置により構成されてもよいし、スマートフォンなどの端末装置の表示装置により構成されてもよい。また、表示部42の表面に接触を検知するタッチパネルを備えてもよい。
情報処理装置20の制御値算出部221は、上述したように、表示装置40に表示する表示画像へのフィードバック制御の制御値を算出するが、より具体的には、制御値算出部221は、ユーザー操作に応じたフィードバック制御として表示画像をどのように変化させるかを示す制御値を算出する。制御値算出部221による制御値の算出は、予め定められた計算式やテーブル等にしたがって行うことができる。
情報処理装置20の画像生成部222は、上述したように、制御値算出部221により算出した制御値に応じて表示装置40に表示する表示画像を生成する。より具体的には、画像生成部222は、表示画像を変化させるための制御値にしたがって、新たに表示装置40に表示する表示画像を生成する。なお、表示画像の生成には、カメラユニット10により推定したユーザーの状態が反映される。そのため、例えば、実際にはユーザーが静止している場合には、生成される表示画像の変化が小さい、あるいは変化がなく、ユーザー操作が行われた場合には、生成される表示画像はユーザー操作に応じて変化した画像となる。このような構成により、表示画像における揺れの発生を抑え、表示装置40における描画の内容を安定させることができる。
図5は、本発明の一実施形態に係るカメラユニット10の処理の例を示すフローチャートである。図示された例では、RGBカメラ11のイメージセンサ111がRGB画像信号113を生成する(ステップS101)とともに、EDS12のセンサ121がイベント信号123を生成する(ステップS102)。
そして、推定部14の検出部141がRGB画像信号113から検出対象を検出し(ステップS103)、設定部143が関心領域Rを設定する(ステップS104)。トラッキング部144がRGB画像信号113に基づいて関心領域Rにおける検出対象をトラッキングし(ステップS105)、情報出力部16がトラッキング結果を出力する(ステップS106)。
そして、推定部14の検出部141がRGB画像信号113から検出対象を検出し(ステップS103)、設定部143が関心領域Rを設定する(ステップS104)。トラッキング部144がRGB画像信号113に基づいて関心領域Rにおける検出対象をトラッキングし(ステップS105)、情報出力部16がトラッキング結果を出力する(ステップS106)。
推定部14は、所定の時間が経過するまでステップS105およびステップS106を繰り返し、所定の時間が経過すると(ステップS107YES)、算出部15がイベント信号123に基づいて分布を算出し(ステップS108)、算出した分布に基づいてトラッキング部144が検出対象の動きの有無を判定し、動きがあると判定した場合(ステップS109YES)には、ステップS103に戻り、再び推定部14がステップS103以降の処理を実行する(ステップS101からS102の処理も繰り返されるが、必ずしもステップS103以降の処理と同じ周期でなくてもよい)ことにより、トラッキングを継続する。
検出対象の動きがある場合とは、ユーザーが静止していないと判断できる場合であり、また、カメラユニット10を介して何らかのユーザー操作が行われた可能性があると考えられる場合である。したがって、このような場合には、推定部14による各処理を行うことによりRGB画像信号113からユーザーの状態を推定することで、ユーザーの最新の状態を把握することが可能である。
一方、検出対象の動きがない場合(ステップS109NO)には、トラッキング部144がトラッキングを無効化する(ステップS110)。なお、トラッキングの無効化については、上述したように、トラッキング部144によるトラッキングの処理を停止してもよいし、トラッキング部144から情報出力部16へのトラッキング結果の出力を停止してもよい。
検出対象の動きがない場合とは、ユーザーが静止していると判断できる場合であり、また、カメラユニット10を介してユーザー操作が行われていないと考えられる場合である。したがって、このような場合には、推定部14による不要な推定を避けることで、ユーザーが静止している場合であっても、推定部14により推定されるユーザーの状態は変化してしまうという揺れの発生を回避または低減することが可能である。
そして、ステップS106に戻り、情報出力部16がユーザーの状態を示す情報を出力する。この時、ユーザーの状態を示す情報とは、前回ステップS105におけるトラッキングの結果であってもよいし、「ユーザーの状態が変わっていないと推定される」ことを示す情報であってもよい。
検出対象の動きがない場合とは、ユーザーが静止していると判断できる場合であり、また、カメラユニット10を介してユーザー操作が行われていないと考えられる場合である。したがって、このような場合には、推定部14による不要な推定を避けることで、ユーザーが静止している場合であっても、推定部14により推定されるユーザーの状態は変化してしまうという揺れの発生を回避または低減することが可能である。
そして、ステップS106に戻り、情報出力部16がユーザーの状態を示す情報を出力する。この時、ユーザーの状態を示す情報とは、前回ステップS105におけるトラッキングの結果であってもよいし、「ユーザーの状態が変わっていないと推定される」ことを示す情報であってもよい。
以上で説明したような本発明の一実施形態では、イメージセンサ111により生成したRGB画像信号113に基づいて、検出部141が検出対象を検出し、設定部143が検出対象の少なくとも一部が含まれる関心領域を設定する。また、算出部15がセンサ121により生成したイベント信号123に基づいて、関心領域におけるイベント信号123の分布を算出し、トラッキング部144がRGB画像信号113またはイベント信号123に基づいて、関心領域における検出対象をトラッキングする。そして、分布に基づき、トラッキング部144が関心領域内における検出対象の移動の有無を判定してトラッキング部144によるトラッキングの有効または無効を制御し、情報出力部16がトラッキングの結果を出力する。
したがって、カメラユニット10を介したユーザー操作が行われた場合にはトラッキングを有効としてユーザーの状態を推定する一方で、ユーザー操作が行われていない場合にはトラッキングを無効とし、処理負荷の大きい推定処理を行ってしまうことを回避することができる。さらに、実際にはユーザーが静止している場合であっても、推定されるユーザーの状態は変化してしまうという揺れの発生を抑え、レイテンシを抑えつつ、人物の状態を推定することができる。上記のような構成によって、例えば、揺れを防ぐための追加のフィルタ処理などを行うことなく、安定的に人物の状態を推定することができる。
したがって、カメラユニット10を介したユーザー操作が行われた場合にはトラッキングを有効としてユーザーの状態を推定する一方で、ユーザー操作が行われていない場合にはトラッキングを無効とし、処理負荷の大きい推定処理を行ってしまうことを回避することができる。さらに、実際にはユーザーが静止している場合であっても、推定されるユーザーの状態は変化してしまうという揺れの発生を抑え、レイテンシを抑えつつ、人物の状態を推定することができる。上記のような構成によって、例えば、揺れを防ぐための追加のフィルタ処理などを行うことなく、安定的に人物の状態を推定することができる。
また、RGB画像信号113およびイベント信号123の生成から人物の状態の推定までをカメラユニット10で行い、RGB画像信号113およびイベント信号123は出力せずに、推定した状態を示す情報を出力することにより、通信負荷や通信遅延の問題を低減することができる。さらに、RGB画像信号113およびイベント信号123を出力する必要がないため、プライバシー保護の点でも有用である。
また、本発明の一実施形態では、関心領域に含まれるイベント信号123の数、または関心領域中心から各イベント信号123までの距離に基づいて、分布を算出する。そのため、検出対象の動きを重視しつつ、検出対象の動きと無関係に周囲の明るさの変化の影響で生成されたイベント信号123、およびノイズを除去して正確な分布を算出することができる。
また、本発明の一実施形態では、関心領域に含まれるイベント信号123の数、または関心領域中心から各イベント信号123までの距離に基づいて、分布を算出する。そのため、検出対象の動きを重視しつつ、検出対象の動きと無関係に周囲の明るさの変化の影響で生成されたイベント信号123、およびノイズを除去して正確な分布を算出することができる。
また、本発明の一実施形態のカメラユニット10は、人物の状態を推定してユーザー操作を受け付けることができるため、従来のポインティングデバイス方式の操作装置のようにカーソル位置を維持するためにユーザーの肉体疲労を引き起こすこともない。また、カメラユニット10は、従来の姿勢検出方式の操作装置のように認識対象となるマーカーやアタッチメントをユーザーに装着させる必要もない。
また、本発明の一実施形態では、EDS12およびRGBカメラ11の両方を備え、それ自体が分布に相当し、タイムラグが相対的に小さいイベント信号123に基づいて検出対象に動きがあるか否かを把握し、検出対象に動きがある場合には、情報量が相対的に多いRGB画像信号113から人物の状態を詳細に推定する。そのため、RGB画像信号113およびイベント信号123のそれぞれの特性を活かした好適な処理を実現することができる。
また、本発明の一実施形態では、推定部14により推定される人物の状態は、人物の姿勢、人物の腕の形状、人物の手指の形状、または人物が装着または保持している外部装置の姿勢の少なくとも1つを含む。したがって、特徴的なユーザーの状態を推定し、ユーザー操作の意図や内容を的確に把握することができる。
また、本発明の一実施形態では、推定部14は、複数の関節を有する人物の画像と、複数の関節の位置を示す座標情報との関係性を学習することによって構築された学習済みモデルに基づいて、RGB画像信号113に基づく第1画像(RGB画像)に含まれる人物の少なくとも1つの関節の座標情報を算出し、座標情報に基づいて状態を推定する。したがって、人物の状態を的確かつ高速に推定することができる。
また、本発明の一実施形態では、状態を示す情報を受信する受信部である通信部21と、状態を示す情報に基づいて、外部装置へのフィードバック制御の制御値を算出する制御値算出部221とを有する情報処理装置20とを備える。したがって、カメラユニット10が推定した人物の状態を示す情報に基づいて、コントローラ30および表示装置40等の外部装置へのフィードバック制御の制御値を算出することができる。
また、本発明の一実施形態では、コントローラ30が、力覚を提示する力覚提示装置を備える力覚提示部33、振動装置を備える振動部34、音声出力装置を備える音声出力部35を有し、情報処理装置20は、コントローラ30に対して制御値を出力する制御値出力部である通信部21を備え、制御値算出部221は、力覚提示部33、振動部34、音声出力部35に対するフィードバック制御に関する制御値を算出する。したがって、カメラユニット10が推定した人物の状態を示す情報に応じて、コントローラ30の各部に関するフィードバック制御を実現することができる。
また、本発明の一実施形態では、制御値算出部221は、表示画像に対するフィードバック制御の制御値を算出し、情報処理装置20は、制御値に応じて表示装置40に表示する表示画像を生成する画像生成部222を備える。したがって、カメラユニット10が推定した人物の状態を示す情報に応じて、表示装置40に表示される表示画像を変化させるフィードバック制御を実現することができる。
図6は、本発明の別の実施形態に係るシステムの概略的な構成を示すブロック図である。なお、図6は、図2の情報処理装置20に代えて、サーバ50および端末装置60を備えたシステム2の構成を示すブロック図であり、図6においては、図2と実質的に同一の機能構成を有する構成要素については、同一の符号を付する。
図6の例においては、サーバ50は、カメラユニット10および端末装置60とインターネット通信網や、無線によって通信可能に接続されたサーバ(例えば、クラウドサーバ)である。サーバ50は、図2で説明した情報処理装置20と同様の構成を有し、カメラユニット10により出力された情報に基づく各種処理を行う。また、端末装置60は、通信部61を備え、通信部61は、サーバ50から出力された情報を受信する。また、通信部61は、図2で説明した情報処理装置20の通信部21と同様に、コントローラ30と相互に通信可能であるとともに、表示装置40に表示させる画像を出力する。
このような構成により、RGB画像信号113およびイベント信号123の生成から人物の状態の推定までをカメラユニット10で行い、サーバ50には推定した状態を示す情報を出力することにより、クラウドサーバなどのサーバを用いたゲームシステムにおいても同様の効果を得ることができる。
このような構成により、RGB画像信号113およびイベント信号123の生成から人物の状態の推定までをカメラユニット10で行い、サーバ50には推定した状態を示す情報を出力することにより、クラウドサーバなどのサーバを用いたゲームシステムにおいても同様の効果を得ることができる。
なお、上記の各例で説明されたカメラユニット10では、算出部15により算出したイベント信号123の分布に基づき、検出対象に動きがある場合にはトラッキングを有効とし、検出対象に動きがない場合にはトラッキングを無効とする例を示したが、この例に限定されない。検出対象の動きの度合いと閾値との比較結果に基づいて、異なる推定処理を行う構成としてもよい。この場合、例えば、検出対象の動きが相対的に小さい場合には、微細な状態の変化を把握するために推定処理の精度を高くし、検出対象の動きが相対的に大きい場合には、状態の変化を大まかに把握するために推定処理の精度を低くすることが考えられる。
また、上記の各例で説明されたカメラユニット10における推定部14では、機械学習の手法を用いてRGB画像信号113からユーザーが有する複数の関節の位置を示す座標情報を算出して人物の状態を推定する例を示したが、機械学習に代えて、または機械学習に加えて、他の手法を用いて人物の状態を推定する構成としてもよい。例えば、ブロックマッチング法、勾配法などの公知の手法を用い、RGB画像信号113から動きベクトルを算出して人物の状態を推定してもよい。
また、人物以外に、例えば、所定の車両、機械、生物などを検出対象としたトラッキング、および所定のマーカーなどを検出対象としたトラッキングにも本発明を同様に適用することができる。
また、人物以外に、例えば、所定の車両、機械、生物などを検出対象としたトラッキング、および所定のマーカーなどを検出対象としたトラッキングにも本発明を同様に適用することができる。
また、上記の各例において、RGBカメラ11およびEDS12の数は同数であってもよいし、異なる数であってもよい。また、RGBカメラ11およびEDS12の数は、それぞれ1つであってもよいし、複数であってもよい。例えば、複数のRGBカメラ11を備える場合には、RGB画像信号113を生成する被写界のレンジを拡大したり、複数のRGB画像信号113から人物の状態を三次元で推定したりすることができる。また、例えば、複数のEDS12を備える場合には、イベント信号123を生成する被写界のレンジを拡大したり、複数のイベント信号123に基づいて、人物の三次元の移動量を算出したりすることができる。
また、上記の各例で説明されたカメラユニット10は、単一の装置内で実装されてもよいし、複数の装置に分散して実装されてもよい。例えば、各センサの少なくとも一部を独立に備え、その他の構成をカメラユニット10本体として実装してもよい。
また、上記の各例で説明されたシステムを、HMDなどの装着型デバイスに適用してもよい。この場合、少なくともカメラユニット10をHMDに実装することにより、ユーザーがカメラユニット10を介して一人称視点での撮影を行う際に、検出対象に動きがある場合にはトラッキングを有効として検出対象の動きおよび状態を推定する一方で、検出対象に動きがない場合にはトラッキングを無効とし、処理負荷の大きい推定処理を行ってしまうことを回避する等、上述した実施形態と同様の効果を得ることができる。
なお、HMDの表示部は、例えばLCD(Liquid Crystal Display)、有機ELなどの表示素子と、レンズなどの光学装置とを備え、表示素子は、透過型の表示素子であってもよいし、非透過型の表示素子であってもよい。さらに、AR(Augmented Reality)グラス、MR(Mixed Reality)グラスなどの装着型デバイスをHMDとして使用してもよい。
なお、HMDの表示部は、例えばLCD(Liquid Crystal Display)、有機ELなどの表示素子と、レンズなどの光学装置とを備え、表示素子は、透過型の表示素子であってもよいし、非透過型の表示素子であってもよい。さらに、AR(Augmented Reality)グラス、MR(Mixed Reality)グラスなどの装着型デバイスをHMDとして使用してもよい。
以上、添付図面を参照しながら本発明のいくつかの実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
1・2…システム、10…カメラユニット、11…RGBカメラ、12…EDS、13…IMU、14…推定部、15…算出部、16…情報出力部、20…情報処理装置、21・31・61…通信部、22…制御部、32…操作部、33…力覚提示部、34…振動部、35…音声出力部、40…表示装置、41…受信部、42…表示部、50…サーバ、60…端末装置、111…イメージセンサ、112・122…処理回路、113…RGB画像信号、121…センサ、123…イベント信号、141…検出部、143…設定部、144…トラッキング部、221…制御値算出部、222…画像生成部。
Claims (13)
- 第1画像センサにより生成された第1画像信号に基づいて、検出対象を検出する検出部と、
前記検出対象の少なくとも一部が含まれる関心領域を設定する設定部と、
画素ごとに入射する光の強度変化を検出したときに非同期的に画像信号を生成するイベント駆動型のビジョンセンサを含む第2画像センサにより生成された第2画像信号に基づいて、前記関心領域における前記第2画像信号の分布を算出する算出部と、
前記第1画像信号と前記第2画像信号との少なくとも一方に基づいて、前記関心領域における前記検出対象をトラッキングするトラッキング部と、
前記分布に基づき、前記関心領域内における前記検出対象の移動の有無を判定し、前記トラッキング部によるトラッキングの有効または無効を制御するトラッキング制御部と、
前記トラッキング部によるトラッキングの結果を出力する情報出力部と
を備える情報処理装置。 - 前記トラッキング部は、前記第1画像信号と前記第2画像信号とに基づいて、前記関心領域における前記検出対象をトラッキングする、請求項1に記載の情報処理装置。
- 前記算出部は、前記関心領域に含まれる前記第2画像信号の数、または前記関心領域の中心から前記第2画像信号までの距離に基づいて、前記分布を算出する、請求項1または請求項2に記載の情報処理装置。
- 前記検出対象は人物であり、
前記検出部は、前記人物の少なくとも1つの関節の座標情報を算出し、
前記設定部は、前記人物の関節ごとに前記関心領域を設定する、請求項1から請求項3のいずれか1項に記載の情報処理装置。 - 前記トラッキング部は、前記人物の姿勢、前記人物の腕の形状、前記人物の手指の形状、または前記人物が装着または保持している外部装置の姿勢の少なくとも1つをトラッキングする、請求項4に記載の情報処理装置。
- 前記トラッキング部は、複数の関節を有する人物の画像と、前記複数の関節の位置を示す座標情報との関係性を学習することによって構築された学習済みモデルに基づいて、前記座標情報を算出する、請求項4または請求項5に記載の情報処理装置。
- 前記トラッキング部によるトラッキングの結果は、前記座標情報を含む、請求項4から請求項6のいずれか1項に記載の情報処理装置。
- 第1画像信号を生成する第1画像センサと、
画素ごとに入射する光の強度変化を検出したときに非同期的に第2画像信号を生成するイベント駆動型のビジョンセンサを含む第2画像センサと、
前記第1画像信号に基づいて、検出対象を検出する検出部と、
前記検出対象の少なくとも一部が含まれる関心領域を設定する設定部と、
前記第2画像信号に基づいて、前記関心領域における前記第2画像信号の分布を算出する算出部と、
前記第1画像信号と前記第2画像信号との少なくとも一方に基づいて、前記関心領域における前記検出対象をトラッキングするトラッキング部と、
前記分布に基づき、前記関心領域内における前記検出対象の移動の有無を判定し、前記トラッキング部によるトラッキングの有効または無効を制御するトラッキング制御部と、
前記トラッキング部によるトラッキングの結果を出力する情報出力部と
前記トラッキングの結果を受信する受信部と、
前記トラッキングの結果に基づいて、外部装置へのフィードバック制御の制御値を算出する制御値算出部と、
を有する情報処理装置と
を備えるシステム。 - 前記外部装置は、力覚を提示する力覚提示装置、振動装置、音声出力装置の少なくとも1つを有するコントローラであり、
前記情報処理装置は、前記コントローラに対して前記制御値を出力する制御値出力部を備え、
前記制御値算出部は、前記力覚提示装置、前記振動装置、前記音声出力装置の少なくとも1つに対するフィードバック制御に関する前記制御値を算出する、請求項8に記載のシステム。 - 前記外部装置は、表示装置であり、
前記情報処理装置は、前記制御値に応じて前記表示装置に表示する表示画像を生成する画像生成部を備え、
前記制御値算出部は、前記表示画像に対するフィードバック制御の前記制御値を算出する、請求項8に記載のシステム。 - 前記情報処理装置は、サーバである、請求項8から請求項10のいずれか1項に記載のシステム。
- 第1画像センサが生成した第1画像信号を受信する第1受信ステップと、
画素ごとに入射する光の強度変化を検出したときに非同期的に画像信号を生成するイベント駆動型のビジョンセンサを含む第2画像センサが生成した第2画像信号を受信する第2受信ステップと、
前記第1画像信号に基づいて、検出対象を検出する検出ステップと、
前記検出対象の少なくとも一部が含まれる関心領域を設定する設定ステップと、
前記関心領域における前記第2画像信号の分布を算出する算出ステップと、
前記第1画像信号と前記第2画像信号との少なくとも一方に基づいて、前記関心領域における前記検出対象に対するトラッキングを行うトラッキングステップと、
前記分布に基づき、前記関心領域内における前記検出対象の移動の有無を判定し、前記トラッキングの有効または無効を制御するトラッキング制御ステップと、
前記トラッキングの結果を出力する情報出力ステップと
を含む情報処理方法。 - 第1画像センサが生成した第1画像信号を受信する機能と、
画素ごとに入射する光の強度変化を検出したときに非同期的に画像信号を生成するイベント駆動型のビジョンセンサを含む第2画像センサが生成した第2画像信号を受信する機能と、
前記第1画像信号に基づいて、検出対象を検出する機能と、
前記検出対象の少なくとも一部が含まれる関心領域を設定する機能と、
前記関心領域における前記第2画像信号の分布を算出する機能と、
前記第1画像信号と前記第2画像信号との少なくとも一方に基づいて、前記関心領域における前記検出対象のトラッキングを行う機能と、
前記分布に基づき、前記関心領域内における前記検出対象の移動の有無を判定し、前記トラッキングの有効または無効を制御する機能と、
前記トラッキングの結果を出力する機能と
をコンピュータに実現させる情報処理プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020191103A JP7300436B2 (ja) | 2020-11-17 | 2020-11-17 | 情報処理装置、システム、情報処理方法および情報処理プログラム |
CN202180075907.2A CN116438508A (zh) | 2020-11-17 | 2021-11-10 | 信息处理装置、***、信息处理方法以及信息处理程序 |
US18/252,777 US20230394678A1 (en) | 2020-11-17 | 2021-11-10 | Information processing apparatus, system, information processing method, and information processing program |
PCT/JP2021/041274 WO2022107651A1 (ja) | 2020-11-17 | 2021-11-10 | 情報処理装置、システム、情報処理方法および情報処理プログラム |
EP21894525.1A EP4250059A1 (en) | 2020-11-17 | 2021-11-10 | Information processing device, system, information processing method, and information processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020191103A JP7300436B2 (ja) | 2020-11-17 | 2020-11-17 | 情報処理装置、システム、情報処理方法および情報処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022080112A JP2022080112A (ja) | 2022-05-27 |
JP7300436B2 true JP7300436B2 (ja) | 2023-06-29 |
Family
ID=81708863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020191103A Active JP7300436B2 (ja) | 2020-11-17 | 2020-11-17 | 情報処理装置、システム、情報処理方法および情報処理プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230394678A1 (ja) |
EP (1) | EP4250059A1 (ja) |
JP (1) | JP7300436B2 (ja) |
CN (1) | CN116438508A (ja) |
WO (1) | WO2022107651A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023242893A1 (ja) * | 2022-06-13 | 2023-12-21 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016085487A (ja) | 2014-10-22 | 2016-05-19 | キヤノン株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
JP2016514384A (ja) | 2013-01-30 | 2016-05-19 | クアルコム,インコーポレイテッド | 電力効率の良い深度センサーの使用によるリアルタイム3d再構成 |
US10311833B1 (en) | 2018-03-27 | 2019-06-04 | Seiko Epson Corporation | Head-mounted display device and method of operating a display apparatus tracking an object |
US20200273180A1 (en) | 2017-11-14 | 2020-08-27 | Apple Inc. | Deformable object tracking |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120051208A (ko) * | 2010-11-12 | 2012-05-22 | 엘지전자 주식회사 | 멀티미디어 장치의 사물을 이용한 제스쳐 인식 방법 및 장치 |
KR101880998B1 (ko) * | 2011-10-14 | 2018-07-24 | 삼성전자주식회사 | 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법 |
US11037369B2 (en) * | 2017-05-01 | 2021-06-15 | Zimmer Us, Inc. | Virtual or augmented reality rehabilitation |
-
2020
- 2020-11-17 JP JP2020191103A patent/JP7300436B2/ja active Active
-
2021
- 2021-11-10 US US18/252,777 patent/US20230394678A1/en active Pending
- 2021-11-10 CN CN202180075907.2A patent/CN116438508A/zh active Pending
- 2021-11-10 EP EP21894525.1A patent/EP4250059A1/en active Pending
- 2021-11-10 WO PCT/JP2021/041274 patent/WO2022107651A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016514384A (ja) | 2013-01-30 | 2016-05-19 | クアルコム,インコーポレイテッド | 電力効率の良い深度センサーの使用によるリアルタイム3d再構成 |
JP2016085487A (ja) | 2014-10-22 | 2016-05-19 | キヤノン株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
US20200273180A1 (en) | 2017-11-14 | 2020-08-27 | Apple Inc. | Deformable object tracking |
US10311833B1 (en) | 2018-03-27 | 2019-06-04 | Seiko Epson Corporation | Head-mounted display device and method of operating a display apparatus tracking an object |
Also Published As
Publication number | Publication date |
---|---|
US20230394678A1 (en) | 2023-12-07 |
CN116438508A (zh) | 2023-07-14 |
EP4250059A1 (en) | 2023-09-27 |
JP2022080112A (ja) | 2022-05-27 |
WO2022107651A1 (ja) | 2022-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11796309B2 (en) | Information processing apparatus, information processing method, and recording medium | |
US10650533B2 (en) | Apparatus and method for estimating eye gaze location | |
CN110058694B (zh) | 视线追踪模型训练的方法、视线追踪的方法及装置 | |
WO2016063801A1 (ja) | ヘッドマウントディスプレイ、携帯情報端末、画像処理装置、表示制御プログラム、表示制御方法、及び表示システム | |
CN109685915B (zh) | 一种图像处理方法、装置及移动终端 | |
US10978019B2 (en) | Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium | |
WO2019155840A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2020110659A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2020054760A1 (ja) | 画像表示制御装置および画像表示制御用プログラム | |
CN111314616A (zh) | 图像获取方法、电子设备、介质及可穿戴设备 | |
WO2014003099A1 (ja) | 映像演出装置 | |
JP2006276748A (ja) | 情報呈示装置、情報呈示方法、及びコンピュータプログラム | |
JP7300436B2 (ja) | 情報処理装置、システム、情報処理方法および情報処理プログラム | |
US20200327867A1 (en) | Head mounted display system capable of displaying a virtual scene and a map of a real environment in a picture-in-picture mode, related method and related non-transitory computer readable storage medium | |
CN110738548A (zh) | 虚拟试衣的方法、装置、移动终端及计算机可读存储介质 | |
GB2582106A (en) | Display device and display device control method | |
JP7247371B2 (ja) | 画像処理装置、システム、画像処理方法、および画像処理プログラム | |
WO2022220049A1 (ja) | システム、情報処理方法および情報処理プログラム | |
JP7394046B2 (ja) | システム、撮像装置、情報処理装置、情報処理方法および情報処理プログラム | |
JP7513564B2 (ja) | システム、情報処理方法および情報処理プログラム | |
US20200329229A1 (en) | Head mounted display system capable of displaying a virtual scene and a real scene in a picture-in-picture mode, related method and related non-transitory computer readable storage medium | |
WO2017163647A1 (ja) | 頭部装着装置 | |
WO2022255058A1 (ja) | 情報処理装置および画像生成方法 | |
JP2019135600A (ja) | 表示制御装置、表示制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220801 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230619 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7300436 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |