JP6770208B2 - 情報処理装置 - Google Patents
情報処理装置 Download PDFInfo
- Publication number
- JP6770208B2 JP6770208B2 JP2019568427A JP2019568427A JP6770208B2 JP 6770208 B2 JP6770208 B2 JP 6770208B2 JP 2019568427 A JP2019568427 A JP 2019568427A JP 2019568427 A JP2019568427 A JP 2019568427A JP 6770208 B2 JP6770208 B2 JP 6770208B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- spatial image
- information processing
- posture
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
本発明は、三次元空間内における物体の姿勢を特定する情報処理装置、情報処理方法、及びプログラムに関する。
三次元の仮想空間を構築し、その内部の様子をユーザーに提示する技術が知られている。このような技術において、仮想空間内の物体は、ポリゴンメッシュなどの面要素の集合によって表現される。あるいは、ボクセルやポイントクラウドなどと呼ばれる体積要素を仮想空間に積み重ねることによって表現される場合もある。さらに、現実空間に存在する人などの物体を仮想空間内で再現するために、現実空間の物体に対して、その表面を構成する面要素や体積要素などの単位要素ごとに、その現実空間内における位置を特定するセンサー技術が知られている。
仮想空間内において物体同士の相互作用等の処理を行う場合、その物体の姿勢を特定したい場合がある。例えば人の身体を表現するオブジェクトが仮想空間内に配置される場合に、その人の頭部や腕、胴体、脚などがそれぞれどの位置にあり、どのようなポーズをとっているのか知りたいことがある。しかしながら、面要素や体積要素といった単位要素の集合によって物体が表現されている場合、個々の単位要素の位置情報からその物体の全体形状や姿勢を特定することは、必ずしも容易でない。
本発明は上記実情を考慮してなされたものであって、その目的の一つは、物体を構成する単位要素の情報を用いてその物体の姿勢を効果的に特定することのできる情報処理装置、情報処理方法、及びプログラムを提供することにある。
本発明に係る情報処理装置は、三次元空間内の対象物について、当該対象物を構成する複数の単位要素それぞれの空間内における位置の情報を含む単位要素情報を取得する単位要素情報取得部と、前記単位要素情報を用いて、前記複数の単位要素が配置された仮想空間の様子を示す空間画像を描画する空間画像描画部と、前記描画された空間画像に対して二次元画像を対象とした姿勢推定処理を実行した結果に基づいて、前記対象物の三次元空間内における姿勢を特定する姿勢特定部と、を含むことを特徴とする。
本発明に係る情報処理方法は、三次元空間内の対象物について、当該対象物を構成する複数の単位要素それぞれの空間内における位置の情報を含む単位要素情報を取得するステップと、前記単位要素情報を用いて、前記複数の単位要素が配置された仮想空間の様子を示す空間画像を描画するステップと、前記描画された空間画像に対して二次元画像を対象とした姿勢推定処理を実行した結果に基づいて、前記対象物の三次元空間内における姿勢を特定するステップと、を含むことを特徴とする。
本発明に係るプログラムは、三次元空間内の対象物について、当該対象物を構成する複数の単位要素それぞれの空間内における位置の情報を含む単位要素情報を取得するステップと、前記単位要素情報を用いて、前記複数の単位要素が配置された仮想空間の様子を示す空間画像を描画するステップと、前記描画された空間画像に対して二次元画像を対象とした姿勢推定処理を実行した結果に基づいて、前記対象物の三次元空間内における姿勢を特定するステップと、をコンピュータに実行させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
以下、本発明の実施形態について、図面に基づき詳細に説明する。
図1は、本発明の一実施形態に係る情報処理装置を含む情報処理システム1の全体構成を示す構成ブロック図である。また、図2は、本情報処理システム1を利用するユーザーの様子の一例を示す図である。情報処理システム1は、ユーザーの身体を表すオブジェクトが配置された仮想空間を構築する。
情報処理システム1は、図1に示すように、情報処理装置10と、1又は複数の物体センサー14と、を含んで構成されている。情報処理装置10は、パーソナルコンピュータや家庭用ゲーム機などの情報処理装置であって、制御部11と、記憶部12と、インタフェース部13と、を含んで構成されている。
制御部11は、少なくとも一つのプロセッサーを含んで構成され、記憶部12に記憶されているプログラムを実行して各種の情報処理を実行する。本実施形態において制御部11が実行する処理の具体例については、後述する。記憶部12は、RAM等のメモリデバイスを少なくとも一つ含み、制御部11が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。インタフェース部13は、物体センサー14から情報を受信するための通信インタフェースである。情報処理装置10は、インタフェース部13を介して無線又は有線で複数の物体センサー14と通信接続される。
物体センサー14は、現実空間の様子を観測して、処理対象となる物体(以下、対象物Oという)を構成する複数の単位要素それぞれの位置を特定するための情報を取得する。本実施形態では、対象物Oは人(情報処理装置10のユーザー)であるものとする。また、単位要素とは、対象物Oの少なくとも表面を所定の基準で細分して得られる個々の要素であって、平板状の面要素、又は3次元的な形状を有する体積要素であってよい。この単位要素の集合によって対象物Oの全体形状が表現される。単位要素は、対象物Oの形状を再現するために、対象物O全体の大きさに対して十分小さく、比較的単純な形状を有するものとする。ただし、各単位要素は、完全に同じ形状や同じサイズを有しておらずともよい。本実施形態では、単位要素は所定の形状(例えば立方体形状)を有する体積要素(ポイントクラウド)であるものとする。
具体的に本実施形態では、物体センサー14は距離画像センサーであって、対象物Oを含む現実空間を測定範囲とし、測定範囲内を分割して得られる複数の単位領域ごとに、当該単位領域に存在する物体までの距離を計測する。また、本実施形態では、図2に示すように、対象物Oの周囲を取り囲むように複数の物体センサー14が配置されている。これら複数の物体センサー14で計測される情報を統合することによって、死角をなくし、対象物Oの全体形状を特定することができる。なお、距離画像センサーは各種の方式で対象物Oまでの距離を計測するものであってよい。例えば距離画像センサーは、視差を利用して対象物Oまでの距離を計測するステレオカメラであってもよいし、TOF方式で距離を計測するセンサーであってもよい。あるいは、赤外線等のパターンを対象物Oに照射し、対象物O表面に照射されたパターンの大きさや分布に基づいて対象物Oまでの距離を計測するセンサーであってもよい。また、本実施形態において物体センサー14は、可視光を対象とするイメージセンサーを含み、対象物Oの表面を構成する各単位要素の色を特定してもよい。
以下、本実施形態において情報処理装置10が実現する機能について説明する。図3に示すように、情報処理装置10は機能的に、単位要素情報取得部21と、空間画像描画部22と、姿勢特定部23と、を含んで構成されている。これらの機能は、制御部11が記憶部12に格納されたプログラムを実行することによって実現できる。このプログラムは、インターネット等の通信回線を経由して情報処理装置10に提供されてもよいし、光ディスク等、コンピュータで読み取り可能で非一時的な情報記憶媒体に格納されて提供されてもよい。
単位要素情報取得部21は、物体センサー14の計測結果を用いて、対象物Oを構成する複数の単位要素に関する情報(以下、単位要素情報という)を取得する。単位要素情報には、対象物Oの表面を構成する複数の単位要素それぞれの位置、及び色を示す情報が含まれるものとする。前述したように、本実施形態ではユーザーの外周を囲むように複数の物体センサー14が配置されているので、この単位要素情報によって、前後左右任意の方向から見た対象物Oの外観を特定することができる。
空間画像描画部22は、単位要素情報取得部21が取得した単位要素情報を用いて、複数の単位要素が配置された仮想空間内の様子を示す空間画像Iを描画する。具体的に、まず空間画像描画部22は、単位要素情報を用いて、複数の単位要素を仮想空間内に配置する。次に空間画像描画部22は、配置された単位要素の位置情報に基づいて、描画条件を決定する。この描画条件には、少なくとも空間画像Iを描画する際における仮想空間内における視点位置VP、及び視線方向VDの情報が含まれるものとする。続いて空間画像描画部22は、決定された描画条件に従って、単位要素が配置された仮想空間内の様子を描画する。この描画処理は、一般的な仮想オブジェクトが配置された仮想空間内の様子を示す画像のレンダリング処理と同様の処理であってよい。これにより、現実空間と対応する姿勢、及び外観を有するユーザーの姿を含んだ二次元の空間画像Iが生成される。
ここで、空間画像描画部22が空間画像Iを描画する際における仮想空間内の視点位置VPは、現実空間における物体センサー14の配置位置と対応している必要はなく、後述するように各種の条件に基づいて任意に設定された位置であってよい。すなわち、空間画像描画部22は、単位要素情報を用いることによって、現実には撮影できていない位置から対象物Oをカメラで撮影した場合に得られる撮影画像に近い空間画像Iを描画することができる。
さらに空間画像描画部22は、空間画像Iとともに、空間画像Iを描画した際の視点位置VPから対象物Oまでの距離の情報を含んだ距離画像(デプスマップ)Dを生成する。この距離画像Dは、空間画像Iと同様の視野範囲を対象として、その内部を分割して得られる単位領域ごとに、視点位置VPから当該単位領域に写っている単位要素までの距離の情報を含んでいる。すなわち、空間画像描画部22は、空間画像Iと同様に、視点位置VPに対応する現実空間内の位置に実際には距離画像センサーが配置されていないにも拘わらず、その位置に距離画像センサーが配置された場合に取得可能な距離画像Dを生成することができる。
姿勢特定部23は、空間画像描画部22が描画した空間画像I、及び距離画像Dを用いて、対象物Oの姿勢を特定する。ここで姿勢の特定とは、対象物Oを構成する各部位の位置関係を特定することを指しており、対象物Oが人型の場合には、その顔や腕、脚などの部位の位置を特定したり、主要な関節等の位置を含んだ骨格モデルを特定したりすることを含んでよい。
写真画像等の二次元画像に関しては、その画像内に写っている人物について、機械学習等を用いて比較的精度よく姿勢を推定することのできる推定エンジンが存在する。そこで姿勢特定部23は、まず空間画像描画部22が描画した二次元の空間画像Iに対してこのような推定エンジンを適用した姿勢推定処理を実行することによって、空間画像I内にける対象物Oの姿勢を推定する。この推定結果は、空間画像I内における人の頭部や腰、肘、膝、手先や足先などの位置(以下、関節位置という)の情報を含んだ二次元的な骨格モデルであってよい。図4は、このように空間画像Iに対して推定エンジンを適用して得られる骨格モデルの一例を示している。ここで利用する推定エンジンは、入力データ、及び出力データのいずれも二次元のデータなので、三次元の単位要素情報の集合に対して直接機械学習等による推定処理を適用する場合と比較して、取り扱うデータ量や処理負荷を小さくすることができる。
さらに姿勢特定部23は、この推定エンジンによって得られた姿勢推定結果に基づいて、三次元空間内における対象物Oの姿勢を特定する。具体的に姿勢特定部23は、空間画像I内の各関節位置が、三次元の仮想空間内でどの位置に存在するかを、空間画像描画部22が生成した距離画像Dを用いて特定する。すなわち、各関節位置に対応する距離画像D内の位置に設定された視点位置VPからの距離の情報を参照することによって、各関節位置の三次元空間内における位置が決定される。このようにして姿勢特定部23は、二次元画像を対象とした推定エンジンの推定結果を利用して、対象物Oの三次元の骨格モデルを特定することができる。
姿勢特定部23によって特定された対象物Oの姿勢の情報は、仮想空間内における対象物Oやその他のオブジェクトの挙動を決定するために利用される。例えば空間画像描画部22は、姿勢特定部23によって特定された骨格モデルのデータを参照して、仮想空間内に配置されているその他のオブジェクトと対象物Oとの間の相互作用が発生するか否かを判定する。この場合におけるその他のオブジェクトは、予め用意された仮想的なオブジェクトであってもよいし、現実空間に存在する対象物O以外の物体を認識した結果に基づいて仮想空間に配置されるオブジェクトであってもよい。
また、空間画像描画部22は、姿勢特定部23の特定結果を参照して、単位要素によって構成される対象物Oを予め用意されたオブジェクトに置換してもよい。例えば情報処理装置10の記憶部12内には、予めポリゴンメッシュ等によってユーザーの外観を表すオブジェクトのモデルデータが格納されていることとする。空間画像描画部22は、姿勢特定部23によって特定された姿勢と、予め格納されているモデルデータとを用いて、実際のユーザーの姿勢と同じ姿勢に変化させたオブジェクトを仮想空間内に配置する。こうすれば、現実のユーザーと同じ姿勢をとる、高精細な人型のオブジェクトを仮想空間内に配置することができる。
以下、空間画像描画部22が空間画像Iを描画する際の描画条件の決定方法のいくつかの具体例について、説明する。前述したように、空間画像描画部22が描画した空間画像Iは、推定エンジンによる対象物Oの姿勢推定に用いられる。そのため空間画像描画部22は、この推定エンジンによる推定結果の精度を高めることができるように描画条件を決定することが望ましい。
描画条件の決定方法の第1の具体例として、物体センサー14の検出結果や単位要素情報に基づいて視点位置VP、及び視線方向VDを決定する方法について、説明する。空間画像描画部22は、対象物Oの全体が空間画像Iに含まれるように、視点位置VP、及び視線方向VDを決定することが望ましい。具体的に空間画像描画部22は、対象物Oを構成する単位要素が視野範囲内に収まるように、視点位置VPの地面からの高さや位置などを決定する。
また、空間画像描画部22は、対象物Oの正面と相対する位置に視点位置VPを配置することが望ましい。対象物Oがユーザーの場合、物体センサー14に含まれるイメージセンサーが撮影した画像データに対して顔認識処理を実行するなどして、現実空間内におけるユーザーの顔の位置、及び向きを特定することができる。そこで空間画像描画部22は、特定された顔の正面方向に視点位置VPを配置することで、たとえユーザーが物体センサー14の方を向いておらずとも、そのユーザーを正面から見た空間画像Iを描画することができる。
また、空間画像描画部22は、対象物Oを構成する単位要素の分布を解析することによって、対象物Oの正面方向を特定してもよい。具体的に、例えば空間画像描画部22は、対象物Oを上方から見た際の単位要素の分布に対して主成分分析を行うことによって、対象物Oの正面方向を特定する。図5はこの場合の視点位置VP及び視線方向VDと対象物Oとの位置関係を示す図であって、対象物Oを天頂方向から見た様子を示している。図中において対象物Oと重なる破線は、単位要素の分布に基づいて決定される体平面を示している。この体平面と交差する向きに視線方向VDを設定することにより、対象物Oを正面から見た空間画像Iを描画することができる。
第2の具体例として、仮想空間内に配置する単位要素を所与の制限条件に従って制限する例について、説明する。物体センサー14によって検出される単位要素の中には、対象物Oの周囲に背景として存在している他の物体を構成するものが含まれる場合がある。このような単位要素が空間画像I内に含まれると、推定エンジンによる推定の精度が悪くなる場合がある。そこで空間画像描画部22は、単位要素の分布や各単位要素の配置位置に基づいて対象物Oを構成する単位要素を特定して、対象物Oを構成するものと特定された単位要素だけを仮想空間内に配置し、それ以外の単位要素の配置を制限することとしてもよい。これにより、背景や障害物を排除し、対象物Oだけが写っている空間画像Iを描画することができる。
また、空間画像描画部22は、空間内の領域を対象として、空間画像Iを描画する対象とする単位要素を制限してもよい。すなわち、空間画像描画部22は、特定の空間領域に存在する単位要素のみを仮想空間内に配置して、空間画像Iを描画する。これにより、対象物Oが注目する領域に存在する場合のみ姿勢の特定を行うことができる。
また、対象物Oの全体ではなく、一部だけを姿勢特定の対象としたい場合、空間画像描画部22は、姿勢特定の対象としたい部分が存在すると想定される領域にある単位要素だけを仮想空間に配置して、空間画像Iを描画してもよい。具体例として、ユーザーの上半身のみを姿勢特定の対象としたい場合、所定の高さ以上の高さに存在する単位要素だけを仮想空間に配置して、空間画像Iを描画してもよい。また、顔認識によってユーザーの顔の位置が特定される場合、その位置を基準として単位要素を配置する対象とする領域を決定してもよい。また、空間画像描画部22は、特定の領域を特定の色を持つ単位要素や、法線が特定の方向を向いている面を構成する単位要素などを、描画対象や描画対象から除外する対象として限定してもよい。
第3の具体例として、空間画像Iを描画する際の色やライティングに関する条件を変化させる例について、説明する。例えば空間画像描画部22は、単位要素が有する色の明度が暗過ぎる場合など、所定の条件を満たす場合に、各色の明度を明るく変化させたり、グレースケールに変化させたりするなど、色を変化させる補正処理を実行してもよい。
また、空間画像描画部22は、空間画像Iを描画する際に仮想空間内に設定する光源の数や位置、光の色などを、視点位置VPや視線方向VDと同様に、単位要素の分布や対象物Oの正面方向の推定結果等に基づいて決定してもよい。具体的に、例えば空間画像描画部22は、ユーザーの正面から光が当たるように光源を仮想空間内に配置して、空間画像Iを描画してもよい。また、空間画像描画部22は、セルフシャドウやキャストシャドウなど、空間画像I内に現れる影の内容を、推定エンジンによる推定の精度を高めるように変更してもよい。
第4の具体例として、物体センサー14以外のセンサー等によって得られる情報を用いて描画条件を決定する例について、説明する。例えば、対象物Oであるユーザーが、その位置や向きの変化を検出可能なトラッキングデバイスを装着していることがある。このようなトラッキングデバイスとしては、モーションセンサーを備え、その検出結果から自身の移動方向等を検出可能なデバイスなど、各種のものが知られている。空間画像描画部22は、このようなトラッキングデバイスによる検出結果を利用して、ユーザーの身体の位置や向きを特定することができる。そして、特定された身体の位置及び向きに応じて、ユーザーの正面に相対するように視点位置VP及び視線方向VDを設定する。これにより、ユーザーを正面から見た空間画像Iを描画することができる。また、空間画像描画部22は、このようなデバイスの検出結果に基づいて、単位要素を配置する領域を決定し、決定された領域内に存在する単位要素のみを仮想空間内に配置することとしてもよい。
第5の具体例として、同じ単位要素情報から複数の空間画像Iを描画する例について、説明する。この例では、異なる描画条件で複数の空間画像Iが描画され、描画された複数の空間画像Iのそれぞれに対して推定エンジンによる姿勢の推定が行われる。
例えば空間画像描画部22は、互いに離れた位置に複数の視点位置VPを設定し、そのそれぞれから対象物Oを見た様子を示す空間画像Iを描画する。ここで設定される複数の視点位置VPは、例えば対象物Oを中心に互いに同じ角度ずつ離れた位置に設定されてもよい。次に姿勢特定部23が、描画された複数の空間画像Iのそれぞれに対して、推定エンジンを用いて姿勢の特定処理を実行する。そして、複数の姿勢特定結果を統合して、対象物Oの姿勢を特定する。この場合の姿勢特定結果の統合処理とは、例えば、同じ間接位置について、複数の姿勢特定結果のそれぞれで得られる位置座標の代表値を算出することによって、各間接位置の位置座標を決定する処理である。
第6の具体例として、同じ単位要素情報を用いて、複数回にわたって空間画像Iを描画し、姿勢特定を行う例について、説明する。この例では、空間画像描画部22は、まずこれまで説明したような方法によって最初の描画条件を決定し、決定した描画条件に従って空間画像Iを描画する。すなわち、第5の具体例とは異なり、最初に描画されるのは1個の空間画像Iだけである。そして、描画された空間画像Iに基づいて対象物Oの姿勢の特定が成功すれば、空間画像描画部22はあらためて空間画像Iを描画する必要はなく、そのまま姿勢の特定処理が終了する。
これに対して、初回の姿勢特定処理に問題があると判定された場合、空間画像描画部22は描画条件を初回のものとは変更して、初回と同じ単位要素情報を用いて2個目の空間画像Iを描画する再描画処理を実行する。例えば空間画像描画部22は、初回の姿勢特定処理で特定に失敗した関節位置が存在する場合に、再描画処理を行う。このとき空間画像描画部22は、失敗した関節位置を特定しやすいように、再描画処理を行う際の視点位置VP及び視線方向VDを初回のものから変化させる。
図6は、以上説明した描画条件の変更内容の一例を説明する図であって、図6(a)は初回に描画された空間画像Iの具体例を示している。この例では、ユーザーの正面方向に視点位置VPが設定されているが、ユーザーが正面に向かって右手を伸ばしているため、右肘が隠れており、図6(a)の空間画像Iに対する姿勢特定処理では右肘の関節位置が特定できなかったものとする。このとき空間画像描画部22は、初回とは視点位置VP及び視線方向VDを変化させて再描画処理を実行する。図6(b)は2個目の空間画像Iの例を示しており、図6(c)は初回と2回目の描画処理時における視点位置VP及び視線方向VDの位置関係を示している。なお、図6(c)はユーザーを天頂方向から見た図であって、VP1及びVD1が初回の描画処理時における視点位置VP及び視線方向VDを、VP2及びVD2が2回目の再描画処理時における視点位置VP及び視線方向VDを、それぞれ示している。この図の例では再描画処理において視点位置VP及び視線方向VDが平面視において反時計回りに45度回転しており、右肘が見えやすくなっている。
以上の説明では、特定に失敗した関節位置が存在する場合に再描画処理を実行することとしたが、空間画像描画部22はこれ以外の場合にも再描画処理を実行してよい。例えば空間画像描画部22は、初回の姿勢特定処理で特定された関節位置の中に、人体の構造上不自然な位置にある関節位置が存在する場合に、再描画処理を実行することとする。本実施形態では、二次元の空間画像Iを対象とする推定エンジンによる推定結果と距離画像Dとを用いて三次元の仮想空間内における関節位置を特定している。そのため、空間画像I内では不自然な位置ではないと推定エンジンが判定した場合であっても、距離画像Dによる距離情報と整合せず、不自然な位置に人体の部位が存在すると推定されてしまう場合があり得る。このような場合に再描画処理を実行することで、姿勢特定の精度を高めることができる。
なお、以上説明したような再描画処理を実行し、その結果得られる空間画像Iを用いて姿勢特定処理が再実行された場合、姿勢特定部23は、初回の姿勢特定処理において特定に失敗した関節位置や、不自然な位置にあると推定された関節位置についてのみ、2回目の姿勢特定処理の結果得られる位置情報で置き換えてもよい。あるいは、前述した第5の具体例と同様に、複数回の姿勢特定処理によって得られる姿勢特定結果を統合して、対象物Oの姿勢を決定してもよい。
また、空間画像描画部22は、再描画処理を実行する際には、初回の姿勢特定処理の結果を参照して新たな描画条件を決定することとする。例えば初回の姿勢特定処理が実行されると、その結果としてユーザーの顔がどちらを向いているか、どの方向がユーザーの身体の正面方向かを特定することができる。そこで、初回の描画処理時における視点位置VP及び視線方向VDがユーザーの正面から大きくずれていると判定された場合、空間画像描画部22は、初回の姿勢特定処理によって特定されたユーザーの正面方向に応じて再描画処理時の視点位置VP及び視線方向VDを決定してもよい。
ここで、再描画処理が実行される場合において制御部11が実行する処理の流れの一例について、図7のフロー図を用いて説明する。
まず単位要素情報取得部21が、物体センサー14の検出結果を用いて対象物Oの姿勢を特定するために必要な単位要素情報を取得する(S1)。続いて空間画像描画部22が、S1で取得された単位要素情報を用いて対象物Oを構成する単位要素を仮想空間内に配置する(S2)。そして、初回の描画条件を決定し(S3)、決定された描画条件に従って空間画像I、及び距離画像Dを描画する(S4)。
次に姿勢特定部23が、S4で描画された空間画像Iに対して推定エンジンを適用し、推定結果として二次元の骨格モデルを算出する(S5)。そして、算出された骨格モデルとS4で描画された距離画像Dとに基づいて、三次元の骨格モデルを算出する(S6)。その後、姿勢特定部23は、姿勢特定処理の再実行を行うべきか否かを判定する(S7)。前述したように特定に失敗した関節位置が存在するなど、S6で算出された骨格モデルの精度が十分でないと判断される要因がある場合、姿勢特定部23は再実行を行うべきと判定する。その場合、空間画像描画部22は、S6で算出された骨格モデルの情報に基づいて、再描画処理のための新たな描画条件を決定する(S8)。その後空間画像描画部22は、再描画処理を実行して新たな空間画像I、及び距離画像Dを描画する(S9)。続いて姿勢特定部23は、再描画処理によって得られた新たな空間画像Iに基づいて前述したS5と同様にして二次元の骨格モデルを算出し(S10)、S6と同様にして三次元の骨格モデルを算出する(S11)。その後、S6、及びS11で算出された三次元の骨格モデルを統合して、対象物Oの姿勢を特定する(S12)。
なお、ここでは再描画処理は一度しか行わないこととしたが、二回目の姿勢特定処理の結果得られる骨格モデルにも問題があると判定される場合、三回目以降の描画処理、及び姿勢特定処理を実行することとしてもよい。
また、姿勢特定部23は、空間画像描画部22が描画した空間画像Iに限らず、イメージセンサーによって直接撮影された撮影画像も、姿勢特定処理に利用してもよい。例えば姿勢特定部23は、撮影画像と空間画像Iの双方に対して姿勢特定処理を実行し、その結果得られる複数の骨格モデルを統合して対象物Oの姿勢を特定してもよい。また、初回は撮影画像を用いて姿勢特定処理を実行し、一部の関節位置の特定に失敗した場合など所定の条件を満たした場合に、空間画像描画部22が描画した空間画像Iを用いて姿勢特定処理を実行してもよい。
また、空間画像描画部22は、以上説明した複数の具体例を任意に組み合わせて描画条件を決定してもよい。例えば空間画像描画部22は、主成分分析の結果と、トラッキングデバイスの測定結果の双方を用いて視点位置VP及び視線方向VDを決定してもよい。また、それぞれの結果に基づいて決定される描画条件に従って複数の空間画像Iを描画し、それぞれの空間画像Iを用いて姿勢特定処理を実行した結果を統合してもよい。
以上説明した本実施形態に係る情報処理装置10によれば、単位要素情報を用いて描画した空間画像Iに対して姿勢特定処理を実行することにより、二次元画像を対象とした推定エンジンを利用して三次元空間内における対象物Oの姿勢を特定することができる。また、描画条件を任意に決定することで、現実には撮影できない視点からの画像や、周囲の物体を排除した画像など、姿勢特定に適した空間画像Iを描画することができる。
なお、本発明の実施の形態は、以上説明した物に限られない。例えば以上の説明では、単位要素は立体的な形状を有する体積要素であることとしたが、ポリゴンメッシュ等の平板的な面要素であってもよい。また、以上の説明では対象物Oは人であることとしたが、人形等の人を模した形状を有する物体や、動物などの複数の可動部位を有する物体を対象としてその姿勢を特定することとしてもよい。
また、以上の説明では現実に存在する対象物Oを対象とした物体センサー14の検出結果を用いてリアルタイムで単位要素情報を取得することとした。これにより、ユーザー等の現在の姿勢をリアルタイムで特定し、その動きを仮想空間内で再現したりすることができる。しかしながら本発明の実施の形態はこのようなものに限られず、過去に記録された単位要素情報を取得して、姿勢特定処理を実行してもよい。また、仮想空間内におけるオブジェクトを表すポリゴンメッシュ等の単位要素の情報を取得して、姿勢特定処理を実行してもよい。
1 情報処理システム、10 情報処理装置、11 制御部、12 記憶部、13 インタフェース部、14 物体センサー、21 単位要素情報取得部、22 空間画像描画部、23 姿勢特定部。
Claims (13)
- 三次元空間内の対象物について、当該対象物を構成する複数の単位要素それぞれの空間内における位置の情報を含む単位要素情報を取得する単位要素情報取得部と、
前記単位要素情報を用いて、前記複数の単位要素が配置された仮想空間の様子を示す空間画像を描画する空間画像描画部と、
前記描画された空間画像に対して二次元画像を対象とした姿勢推定処理を実行した結果に基づいて、前記対象物の三次元空間内における姿勢を特定する姿勢特定部と、
を含むことを特徴とする情報処理装置。 - 請求項1に記載の情報処理装置において、
前記空間画像描画部は、前記単位要素情報に基づいて決定した描画条件に従って前記空間画像を描画する
ことを特徴とする情報処理装置。 - 請求項2に記載の情報処理装置において、
前記空間画像描画部は、前記単位要素情報に基づいて決定した視点位置、及び視線方向から前記複数の単位要素を見た空間画像を描画する
ことを特徴とする情報処理装置。 - 請求項3に記載の情報処理装置において、
前記対象物は人であって、
前記空間画像描画部は、前記人の正面方向に前記視点位置を配置する
ことを特徴とする情報処理装置。 - 請求項4に記載の情報処理装置において、
前記空間画像描画部は、前記人の顔の位置を特定することによって、前記人の正面方向を特定する
ことを特徴とする情報処理装置。 - 請求項4に記載の情報処理装置において、
前記空間画像描画部は、前記複数の単位要素の分布に基づいて、前記人の正面方向を特定する
ことを特徴とする情報処理装置。 - 請求項2から6のいずれか一項に記載の情報処理装置において、
前記空間画像描画部は、同じ単位要素情報を用いて、複数の描画条件に従って複数の空間画像を描画し、
前記姿勢特定部は、前記複数の空間画像に基づいて、前記対象物の姿勢を特定する
ことを特徴とする情報処理装置。 - 請求項2から6のいずれか一項に記載の情報処理装置において、
前記空間画像描画部は、初回に描画した前記空間画像を用いて前記姿勢特定部が前記対象物の姿勢を特定した後、当該特定の結果に応じて、初回の描画条件とは異なる描画条件に従って前記空間画像を再描画し、
前記姿勢特定部は、前記再描画された空間画像に基づいて、前記対象物の姿勢を特定する
ことを特徴とする情報処理装置。 - 請求項2から8のいずれか一項に記載の情報処理装置において、
前記描画条件は、前記仮想空間内に配置する単位要素を特定の単位要素に制限する制限条件を含み、
前記空間画像描画部は、前記描画条件に従って特定された一部の単位要素を配置した仮想空間の様子を示す空間画像を描画する
ことを特徴とする情報処理装置。 - 請求項2から9のいずれか一項に記載の情報処理装置において、
前記描画条件は、前記仮想空間内に配置する光源に関する条件を含み、
前記空間画像描画部は、前記描画条件に従って光源が配置された仮想空間の様子を示す空間画像を描画する
ことを特徴とする情報処理装置。 - 請求項2から10のいずれか一項に記載の情報処理装置において、
前記空間画像描画部は、前記対象物の位置を検出可能なセンサーの検出結果を用いて、前記描画条件を決定する
ことを特徴とする情報処理装置。 - 三次元空間内の対象物について、当該対象物を構成する複数の単位要素それぞれの空間内における位置の情報を含む単位要素情報を取得するステップと、
前記単位要素情報を用いて、前記複数の単位要素が配置された仮想空間の様子を示す空間画像を描画するステップと、
前記描画された空間画像に対して二次元画像を対象とした姿勢推定処理を実行した結果に基づいて、前記対象物の三次元空間内における姿勢を特定するステップと、
を含むことを特徴とする情報処理方法。 - 三次元空間内の対象物について、当該対象物を構成する複数の単位要素それぞれの空間内における位置の情報を含む単位要素情報を取得するステップと、
前記単位要素情報を用いて、前記複数の単位要素が配置された仮想空間の様子を示す空間画像を描画するステップと、
前記描画された空間画像に対して二次元画像を対象とした姿勢推定処理を実行した結果に基づいて、前記対象物の三次元空間内における姿勢を特定するステップと、
をコンピュータに実行させるためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/002971 WO2019150431A1 (ja) | 2018-01-30 | 2018-01-30 | 情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019150431A1 JPWO2019150431A1 (ja) | 2020-09-03 |
JP6770208B2 true JP6770208B2 (ja) | 2020-10-14 |
Family
ID=67478988
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019568427A Active JP6770208B2 (ja) | 2018-01-30 | 2018-01-30 | 情報処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11250592B2 (ja) |
JP (1) | JP6770208B2 (ja) |
WO (1) | WO2019150431A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230215038A1 (en) * | 2020-06-11 | 2023-07-06 | Sony Group Corporation | Image processing apparatus, image processing method, and recording medium |
CN114820835A (zh) * | 2021-01-28 | 2022-07-29 | 索尼半导体解决方案公司 | 信息处理方法、信息处理装置和非易失性存储介质 |
CN114827434A (zh) * | 2021-01-28 | 2022-07-29 | 索尼半导体解决方案公司 | 信息处理方法、信息处理装置和非易失性存储介质 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5156571B2 (ja) * | 2008-10-10 | 2013-03-06 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP5635736B2 (ja) * | 2009-02-19 | 2014-12-03 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置および情報処理方法 |
KR101650799B1 (ko) * | 2009-05-11 | 2016-08-24 | 게스티곤 게엠베하 | 가변 자세를 포함하는 이미지를 컴퓨터를 사용하여 실시간으로 분석하는 방법 |
US8570320B2 (en) * | 2011-01-31 | 2013-10-29 | Microsoft Corporation | Using a three-dimensional environment model in gameplay |
JP5555207B2 (ja) | 2011-07-14 | 2014-07-23 | 日本電信電話株式会社 | 3次元姿勢推定装置、3次元姿勢推定方法、及びプログラム |
EP3680863B1 (en) * | 2011-08-24 | 2024-01-10 | Sony Group Corporation | Information processing device, information processing method, and program |
WO2013155203A2 (en) * | 2012-04-13 | 2013-10-17 | Lightcraft Technology Llc | Hybrid precision tracking |
US20150379772A1 (en) * | 2014-06-30 | 2015-12-31 | Samsung Display Co., Ltd. | Tracking accelerator for virtual and augmented reality displays |
JP2017182274A (ja) * | 2016-03-29 | 2017-10-05 | セイコーエプソン株式会社 | 情報処理装置およびコンピュータープログラム |
EP3447735B1 (en) * | 2016-04-18 | 2020-04-29 | Sony Corporation | Information processing device, information processing method, and program |
-
2018
- 2018-01-30 US US16/955,721 patent/US11250592B2/en active Active
- 2018-01-30 WO PCT/JP2018/002971 patent/WO2019150431A1/ja active Application Filing
- 2018-01-30 JP JP2019568427A patent/JP6770208B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US11250592B2 (en) | 2022-02-15 |
WO2019150431A1 (ja) | 2019-08-08 |
US20210012529A1 (en) | 2021-01-14 |
JPWO2019150431A1 (ja) | 2020-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7403700B2 (ja) | ホモグラフィ適合を介した完全畳み込み着目点検出および記述 | |
CN108369643B (zh) | 用于3d手部骨架跟踪的方法和*** | |
US9058661B2 (en) | Method for the real-time-capable, computer-assisted analysis of an image sequence containing a variable pose | |
JP5931215B2 (ja) | 姿勢を推定する方法及び装置 | |
US9135502B2 (en) | Method for the real-time-capable, computer-assisted analysis of an image sequence containing a variable pose | |
CN108475439B (zh) | 三维模型生成***、三维模型生成方法和记录介质 | |
US8526734B2 (en) | Three-dimensional background removal for vision system | |
WO2019035155A1 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
WO2016029939A1 (en) | Method and system for determining at least one image feature in at least one image | |
JP6770208B2 (ja) | 情報処理装置 | |
JP6409433B2 (ja) | 画像生成装置、画像検出システム及び画像生成方法 | |
CN106471523B (zh) | 使用红外成像的颜色标识 | |
JP7005622B2 (ja) | 認識処理装置、認識処理方法及びプログラム | |
JP2019096113A (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
CN110443884B (zh) | 手部运动重建方法和装置 | |
JP7499280B2 (ja) | 人物の単眼深度推定のための方法およびシステム | |
CN109949900B (zh) | 三维脉波的显示方法、装置、计算机设备及存储介质 | |
KR101586010B1 (ko) | 증강 현실 기반 가상 피팅을 위한 의상의 물리적 시뮬레이션 장치 및 방법 | |
US11276184B2 (en) | Method and device for determining the amplitude of a movement performed by a member of an articulated body | |
CN112883920A (zh) | 基于点云深度学习的三维人脸扫描特征点检测方法和装置 | |
CN108682282A (zh) | 一种基于ARKit框架的增强现实版化学元素周期表的交互方法 | |
CN110288714A (zh) | 一种虚拟仿真实验*** | |
CN115862124A (zh) | 视线估计方法、装置、可读存储介质及电子设备 | |
KR20100097886A (ko) | 다수의 가상 평면 정보를 이용한 3차원 물체의 기하 정보 추출 기법 | |
JP7433849B2 (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200217 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200924 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6770208 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |