JP2892610B2 - 姿勢検出装置 - Google Patents
姿勢検出装置Info
- Publication number
- JP2892610B2 JP2892610B2 JP8005016A JP501696A JP2892610B2 JP 2892610 B2 JP2892610 B2 JP 2892610B2 JP 8005016 A JP8005016 A JP 8005016A JP 501696 A JP501696 A JP 501696A JP 2892610 B2 JP2892610 B2 JP 2892610B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- posture
- person
- fitness
- dimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Position Input By Displaying (AREA)
Description
【0001】
【発明の属する技術分野】この発明は、姿勢検出装置に
関し、特に、3次元物体に対して所定の幾何学的位置関
係でそれぞれが設けられた複数の撮像手段で3次元物体
を撮像し、その複数の画像に基づいて3次元物体の姿勢
を検出する姿勢検出装置に関する。
関し、特に、3次元物体に対して所定の幾何学的位置関
係でそれぞれが設けられた複数の撮像手段で3次元物体
を撮像し、その複数の画像に基づいて3次元物体の姿勢
を検出する姿勢検出装置に関する。
【0002】
【従来の技術】人物像は、関節の動きにより3次元形状
が大きく変化する柔軟な動きの物体の典型である。その
ため、画像処理やコンピュータビジョンの分野において
は人物像は重要なターゲットとされている。近年、人物
の動きや姿勢を自動的かつ非接触な方式で検出する技術
の確立が、種々の画像通信システムや監視システムの実
現のために重要性を増してきている。すなわち、人体を
形成する主要な骨は関節によって接続されており、その
関節の回転角度が検出されれば、応用が可能であると考
えられる。
が大きく変化する柔軟な動きの物体の典型である。その
ため、画像処理やコンピュータビジョンの分野において
は人物像は重要なターゲットとされている。近年、人物
の動きや姿勢を自動的かつ非接触な方式で検出する技術
の確立が、種々の画像通信システムや監視システムの実
現のために重要性を増してきている。すなわち、人体を
形成する主要な骨は関節によって接続されており、その
関節の回転角度が検出されれば、応用が可能であると考
えられる。
【0003】従来の人物の姿勢を検出する方式として
は、マーカーやセンサを人体に装着する接触型の方式が
あったが、実時間計測には適しているものの、適用領域
が限定されるという問題があった。一方、画像処理を用
いる研究としては、単眼の動画像系列を解析する手法が
あるが、各種のモデルや拘束条件が必要となり、任意の
関節角度の組合せの姿勢を検出するのは容易でない。ま
た、画像のエッジ等の低レベルの情報を利用して、パラ
メータ記述を得るものも研究されている。正確に当ては
めが行なわれれば、姿勢推定もロバストに行なえるが、
画像ノイズ等のため記述が正確でないときは致命的な誤
りを生じる危険性もある。
は、マーカーやセンサを人体に装着する接触型の方式が
あったが、実時間計測には適しているものの、適用領域
が限定されるという問題があった。一方、画像処理を用
いる研究としては、単眼の動画像系列を解析する手法が
あるが、各種のモデルや拘束条件が必要となり、任意の
関節角度の組合せの姿勢を検出するのは容易でない。ま
た、画像のエッジ等の低レベルの情報を利用して、パラ
メータ記述を得るものも研究されている。正確に当ては
めが行なわれれば、姿勢推定もロバストに行なえるが、
画像ノイズ等のため記述が正確でないときは致命的な誤
りを生じる危険性もある。
【0004】上記のような問題を解決するためのものと
して、遺伝的アルゴリズムに基づいてマルチ画像から人
物の姿勢パラメータを推定する姿勢検出装置が特開平7
−302341号公報に開示されている。この姿勢検出
装置では、非接触な方式で、拘束条件も不要で、かつ画
像処理におけるノイズ要因に対して安定な遺伝的アルゴ
リズム(Genetic Algorithm :GA)[D.E.Goldberg,
“Genetic Algorithmin search, optimization, and ma
chine learning ”, Addison-Wesley, 1989.]が用いら
れている。すなわち、集団における固体の遺伝子に姿勢
パラメータを対応させておき、遺伝子情報に従って、予
め作成されている3次元人物モデルを移動、変形し、こ
れを仮想カメラにより観察することにより生成される合
成人物像と、実カメラからの実人物像とのシルエットの
重なり度合(適応度)を評価し、ある世代遺伝的操作を
集団に対して繰返した時点での、最良適応度を持つ固体
の遺伝子情報を姿勢の推定結果としている。
して、遺伝的アルゴリズムに基づいてマルチ画像から人
物の姿勢パラメータを推定する姿勢検出装置が特開平7
−302341号公報に開示されている。この姿勢検出
装置では、非接触な方式で、拘束条件も不要で、かつ画
像処理におけるノイズ要因に対して安定な遺伝的アルゴ
リズム(Genetic Algorithm :GA)[D.E.Goldberg,
“Genetic Algorithmin search, optimization, and ma
chine learning ”, Addison-Wesley, 1989.]が用いら
れている。すなわち、集団における固体の遺伝子に姿勢
パラメータを対応させておき、遺伝子情報に従って、予
め作成されている3次元人物モデルを移動、変形し、こ
れを仮想カメラにより観察することにより生成される合
成人物像と、実カメラからの実人物像とのシルエットの
重なり度合(適応度)を評価し、ある世代遺伝的操作を
集団に対して繰返した時点での、最良適応度を持つ固体
の遺伝子情報を姿勢の推定結果としている。
【0005】
【発明が解決しようとする課題】しかしながら、上述し
た従来の姿勢検出装置では、姿勢パラメータをある程度
真値に近づけることは可能であるが、ある一定の値に達
するとそれ以上近づかなくなるという飽和現象が見られ
る。すなわち、上記公報の図11に示されるように、同
図10(a)の最大値については、約200世代までに
立上がり、500世代までにはほぼ適応度が飽和してい
る。また、同図12に示されるように、同図10(b)
の最大値についても、約200世代までに立上がり、5
00世代までにはほぼ適応度が飽和している。その飽和
による適応度は、同図11では86%であり、同図12
では84%程度である。500世代以降の世代をさらに
重ねれば、適応度が上がる可能性もあるが、200世代
から500世代の上昇率から推測すると、かなり先の世
代まで処理が繰返さなければならないと思われる。しか
しながら、適応度を上げるためにかなり先の世代まで処
理を繰返すことは効率的でない。
た従来の姿勢検出装置では、姿勢パラメータをある程度
真値に近づけることは可能であるが、ある一定の値に達
するとそれ以上近づかなくなるという飽和現象が見られ
る。すなわち、上記公報の図11に示されるように、同
図10(a)の最大値については、約200世代までに
立上がり、500世代までにはほぼ適応度が飽和してい
る。また、同図12に示されるように、同図10(b)
の最大値についても、約200世代までに立上がり、5
00世代までにはほぼ適応度が飽和している。その飽和
による適応度は、同図11では86%であり、同図12
では84%程度である。500世代以降の世代をさらに
重ねれば、適応度が上がる可能性もあるが、200世代
から500世代の上昇率から推測すると、かなり先の世
代まで処理が繰返さなければならないと思われる。しか
しながら、適応度を上げるためにかなり先の世代まで処
理を繰返すことは効率的でない。
【0006】この発明は上記のような問題を解決するた
めになされたもので、遺伝的アルゴリズムを用いた姿勢
検出装置における姿勢パラメータの推定精度を向上させ
ることを目的とする。
めになされたもので、遺伝的アルゴリズムを用いた姿勢
検出装置における姿勢パラメータの推定精度を向上させ
ることを目的とする。
【0007】
【課題を解決するための手段】この発明に従うと、3次
元物体に対して所定の幾何学的位置関係でそれぞれが設
けられた複数の撮像手段で3次元物体を撮像し、その複
数の画像に基づいて3次元物体の姿勢を検出する姿勢検
出装置は、第1および第2の遺伝的アルゴリズム実行手
段を備える。第1の遺伝的アルゴリズム実行手段は、3
次元物体に対応して設けられる第1の仮想3次元モデル
と、第1の仮想3次元モデルに対して上記幾何学的位置
関係と同一の幾何学的位置関係でそれぞれが設けられた
複数の第1の仮想撮像手段と、複数の第1の仮想撮像手
段によって得られる複数の仮想画像と複数の画像とを比
較して第1の適応度を求める第1の比較手段と、予め定
められた初期遺伝子情報に基づいて、第1の適応度に従
う遺伝的アルゴリズムに応じて第1の仮想3次元モデル
の姿勢を特定可能な第1の遺伝子情報を生成する第1の
遺伝子情報生成手段と、第1の遺伝子情報に応じて第1
の仮想3次元モデルの姿勢を変形させる第1の変形手段
とを含む。第2の遺伝的アルゴリズム実行手段は、3次
元物体の主要部に対応して設けられる第2の仮想3次元
モデルと、第2の仮想3次元モデルに対して上記幾何学
的位置関係と同一の幾何学的位置関係でそれぞれが設け
られた複数の第2の仮想撮像手段と、複数の第2の仮想
撮像手段によって得られる複数の仮想画像と複数の画像
とを比較して第2の適応度を求める第2の比較手段と、
第1の遺伝的アルゴリズム実行手段からの第1の遺伝子
情報に基づいて、第2の適応度に従う遺伝的アルゴリズ
ムに応じて第2の仮想3次元モデルの姿勢を特定可能な
第2の遺伝子情報を生成する第2の遺伝子情報生成手段
と、第2の遺伝子情報に応じて第2の仮想3次元モデル
の姿勢を変形させる第2の変形手段を含む。
元物体に対して所定の幾何学的位置関係でそれぞれが設
けられた複数の撮像手段で3次元物体を撮像し、その複
数の画像に基づいて3次元物体の姿勢を検出する姿勢検
出装置は、第1および第2の遺伝的アルゴリズム実行手
段を備える。第1の遺伝的アルゴリズム実行手段は、3
次元物体に対応して設けられる第1の仮想3次元モデル
と、第1の仮想3次元モデルに対して上記幾何学的位置
関係と同一の幾何学的位置関係でそれぞれが設けられた
複数の第1の仮想撮像手段と、複数の第1の仮想撮像手
段によって得られる複数の仮想画像と複数の画像とを比
較して第1の適応度を求める第1の比較手段と、予め定
められた初期遺伝子情報に基づいて、第1の適応度に従
う遺伝的アルゴリズムに応じて第1の仮想3次元モデル
の姿勢を特定可能な第1の遺伝子情報を生成する第1の
遺伝子情報生成手段と、第1の遺伝子情報に応じて第1
の仮想3次元モデルの姿勢を変形させる第1の変形手段
とを含む。第2の遺伝的アルゴリズム実行手段は、3次
元物体の主要部に対応して設けられる第2の仮想3次元
モデルと、第2の仮想3次元モデルに対して上記幾何学
的位置関係と同一の幾何学的位置関係でそれぞれが設け
られた複数の第2の仮想撮像手段と、複数の第2の仮想
撮像手段によって得られる複数の仮想画像と複数の画像
とを比較して第2の適応度を求める第2の比較手段と、
第1の遺伝的アルゴリズム実行手段からの第1の遺伝子
情報に基づいて、第2の適応度に従う遺伝的アルゴリズ
ムに応じて第2の仮想3次元モデルの姿勢を特定可能な
第2の遺伝子情報を生成する第2の遺伝子情報生成手段
と、第2の遺伝子情報に応じて第2の仮想3次元モデル
の姿勢を変形させる第2の変形手段を含む。
【0008】好ましくは、上記姿勢検出装置はさらに、
第3の遺伝的アルゴリズム実行手段を備える。第3の遺
伝的アルゴリズム実行手段は、3次元物体の細部に対応
して設けられる第3の仮想3次元モデルと、第3の仮想
3次元モデルに対して上記幾何学的位置関係と同一の幾
何学的位置関係でそれぞれが設けられた複数の第3の仮
想撮像手段と、複数の第3の仮想撮像手段によって得ら
れる複数の仮想画像と複数の画像とを比較して第3の適
応度を求める第3の比較手段と、第2の遺伝的アルゴリ
ズム実行手段からの第2の遺伝子情報に基づいて、第3
の適応度に従う遺伝的アルゴリズムに応じて第3の仮想
3次元モデルの姿勢を特定可能な第3の遺伝子情報を生
成する第3の遺伝子情報生成手段と、第3の遺伝子情報
に応じて第3の仮想3次元モデルの姿勢を変形させる第
3の変形手段を含む。
第3の遺伝的アルゴリズム実行手段を備える。第3の遺
伝的アルゴリズム実行手段は、3次元物体の細部に対応
して設けられる第3の仮想3次元モデルと、第3の仮想
3次元モデルに対して上記幾何学的位置関係と同一の幾
何学的位置関係でそれぞれが設けられた複数の第3の仮
想撮像手段と、複数の第3の仮想撮像手段によって得ら
れる複数の仮想画像と複数の画像とを比較して第3の適
応度を求める第3の比較手段と、第2の遺伝的アルゴリ
ズム実行手段からの第2の遺伝子情報に基づいて、第3
の適応度に従う遺伝的アルゴリズムに応じて第3の仮想
3次元モデルの姿勢を特定可能な第3の遺伝子情報を生
成する第3の遺伝子情報生成手段と、第3の遺伝子情報
に応じて第3の仮想3次元モデルの姿勢を変形させる第
3の変形手段を含む。
【0009】さらに好ましくは、第3の仮想3次元モデ
ルは3次元物体と同じ色彩を有し、第3の比較手段はさ
らに複数の仮想画像の色彩と複数の仮想画像の色彩とを
も比較して第3の適応度を求める。
ルは3次元物体と同じ色彩を有し、第3の比較手段はさ
らに複数の仮想画像の色彩と複数の仮想画像の色彩とを
も比較して第3の適応度を求める。
【0010】
【発明の実施の形態】以下、この発明の実施の形態の一
例を図面を参照して詳しく説明する。 (1) 全体構成 図1は、この発明の実施の形態による姿勢検出装置の全
体構成を示すブロック図である。図1を参照して、この
姿勢検出装置は、人物1に対して所定の幾何学的位置に
配置された実マルチカメラR1 〜Rn が人物1を撮像す
ることで得られる目標人物マルチ画像3に基づいて人物
1の姿勢を検出する。姿勢検出装置は、人物1のシルエ
ットを用いてその姿勢を推定するシルエット遺伝的アル
ゴリズム実行部(S−GA)10と、S−GA10の推
定結果に基づいて人物1の胴の姿勢だけを再推定するポ
ジション遺伝的アルゴリズム実行部(P−GA)12
と、S−GA10の推定結果に基づいて人物1の各人体
パーツの姿勢を再推定するボックス遺伝的アルゴリズム
実行部(B−GA)14とを備える。
例を図面を参照して詳しく説明する。 (1) 全体構成 図1は、この発明の実施の形態による姿勢検出装置の全
体構成を示すブロック図である。図1を参照して、この
姿勢検出装置は、人物1に対して所定の幾何学的位置に
配置された実マルチカメラR1 〜Rn が人物1を撮像す
ることで得られる目標人物マルチ画像3に基づいて人物
1の姿勢を検出する。姿勢検出装置は、人物1のシルエ
ットを用いてその姿勢を推定するシルエット遺伝的アル
ゴリズム実行部(S−GA)10と、S−GA10の推
定結果に基づいて人物1の胴の姿勢だけを再推定するポ
ジション遺伝的アルゴリズム実行部(P−GA)12
と、S−GA10の推定結果に基づいて人物1の各人体
パーツの姿勢を再推定するボックス遺伝的アルゴリズム
実行部(B−GA)14とを備える。
【0011】S−GA10は上述した従来の姿勢検出装
置に相当する。S−GA10は、その推定結果のうち人
物1の胴に関するものをP−GA12に与え、二の腕、
腕、手および頭に関するものをB−GA14に与える。
P−GA12は、S−GA10から与えられた胴に関す
る推定結果を初期値として人物1の胴の姿勢をより詳細
に再推定する。B−GA14は、S−GA10から与え
られた二の腕、腕、手および頭に関する推定結果を初期
値として各人体パーツの姿勢をより詳細に再推定する。
置に相当する。S−GA10は、その推定結果のうち人
物1の胴に関するものをP−GA12に与え、二の腕、
腕、手および頭に関するものをB−GA14に与える。
P−GA12は、S−GA10から与えられた胴に関す
る推定結果を初期値として人物1の胴の姿勢をより詳細
に再推定する。B−GA14は、S−GA10から与え
られた二の腕、腕、手および頭に関する推定結果を初期
値として各人体パーツの姿勢をより詳細に再推定する。
【0012】(2) 推定すべき姿勢パラメータ 人物の姿勢は、人物を構成する主要な骨を接続する関節
が回転動作することにより発生する。また、人物は主に
足を使って、3次元空間中を移動可能である。この実施
の形態では、人物の上半身を扱う。上半身における姿勢
パラメータの定義を図2に示す。なおこの実施の形態で
は、手首の関節は考慮に入れるが、指の関節は取扱わな
いことにする。図2に示すように、人物の移動に関する
パラメータについては、人物の胸部の基準点C1の、3
次元空間中の基準座標系における3次元座標(X,Y,
Z)およびこの基準座標軸の周りの回転α、β、γの合
計6つのパラメータを推定する必要がある。また、人物
の上半身には図2に示すように、合計7つの主要な関節
C2〜C8がある。これら関節C2〜C8の各々は1ま
たは3の自由度を持つため、図2に示すように回転θ1
〜θ17の関節角度パラメータがある。
が回転動作することにより発生する。また、人物は主に
足を使って、3次元空間中を移動可能である。この実施
の形態では、人物の上半身を扱う。上半身における姿勢
パラメータの定義を図2に示す。なおこの実施の形態で
は、手首の関節は考慮に入れるが、指の関節は取扱わな
いことにする。図2に示すように、人物の移動に関する
パラメータについては、人物の胸部の基準点C1の、3
次元空間中の基準座標系における3次元座標(X,Y,
Z)およびこの基準座標軸の周りの回転α、β、γの合
計6つのパラメータを推定する必要がある。また、人物
の上半身には図2に示すように、合計7つの主要な関節
C2〜C8がある。これら関節C2〜C8の各々は1ま
たは3の自由度を持つため、図2に示すように回転θ1
〜θ17の関節角度パラメータがある。
【0013】頭部については頭の関節(中心点)C8を
原点とする3次元座標軸の周りの回転があり、それぞれ
の回転に対してθ1(上下を向く)、θ2(首を左右に
振る)、θ3(首を傾げる)の3つのパラメータがあ
る。肩の部分については、たとえば右腕に着目すると、
肩と肘を結ぶ骨の周りの回転θ4と2つの回転θ5,θ
6がある。さらに、右腕に関しては、肘について、肘の
1つの自由度に対応する回転θ7、手首部分は肘と手首
を結ぶ骨の周りの回転θ8、および2つの回転θ9,θ
10がある。このように右腕に対しては、θ4〜θ10
のパラメータがあり、これと同様に左腕に関してもθ1
1〜θ17のパラメータがある。したがって、このよう
な23個の姿勢パラメータX,Y,Z,α,β,γ,θ
1〜θ17が図1に示した姿勢検出装置によって推定さ
れる。
原点とする3次元座標軸の周りの回転があり、それぞれ
の回転に対してθ1(上下を向く)、θ2(首を左右に
振る)、θ3(首を傾げる)の3つのパラメータがあ
る。肩の部分については、たとえば右腕に着目すると、
肩と肘を結ぶ骨の周りの回転θ4と2つの回転θ5,θ
6がある。さらに、右腕に関しては、肘について、肘の
1つの自由度に対応する回転θ7、手首部分は肘と手首
を結ぶ骨の周りの回転θ8、および2つの回転θ9,θ
10がある。このように右腕に対しては、θ4〜θ10
のパラメータがあり、これと同様に左腕に関してもθ1
1〜θ17のパラメータがある。したがって、このよう
な23個の姿勢パラメータX,Y,Z,α,β,γ,θ
1〜θ17が図1に示した姿勢検出装置によって推定さ
れる。
【0014】(3) S−GA 上述したように、この姿勢検出装置は人物の上半身の2
3個の姿勢パラメータを推定する必要がある。一般に
は、何も拘束条件を導入しなければ、組合せの爆発を招
き、正しいパラメータを推定することは極めて困難であ
る。このような組合せ最適化問題を解くための有力な手
法として、上述した遺伝的アルゴリズムがある。図1中
のS−GA10はこのような遺伝的アルゴリズムに従っ
て人物1の上半身の姿勢パラメータを推定する。
3個の姿勢パラメータを推定する必要がある。一般に
は、何も拘束条件を導入しなければ、組合せの爆発を招
き、正しいパラメータを推定することは極めて困難であ
る。このような組合せ最適化問題を解くための有力な手
法として、上述した遺伝的アルゴリズムがある。図1中
のS−GA10はこのような遺伝的アルゴリズムに従っ
て人物1の上半身の姿勢パラメータを推定する。
【0015】図3は、図1中のS−GA10の具体的な
構成を示すブロック図である。図3を参照して、このS
−GA10は、人物1に対応する人物モデル(仮想3次
元モデル)7Sと、人物モデル7Sを撮像する仮想マル
チカメラV1S〜VNSと、仮想マルチカメラV1S〜VNSで
人物モデル7Sを撮像することにより得られる合成人物
マルチ画像9Sと目標人物マルチ画像3とを比較する比
較部11Sと、比較部11Sで得られる適応度に応じて
遺伝子情報を有した染色体15Sを生成する遺伝子情報
生成部13Sと、染色体15Sに応じて人物モデル7S
の姿勢を変形する変形部17Sとを含む。ここで、人物
がN(≧2)台の実マルチカメラR1 〜RN によって撮
像されるのは、人物が本来3次元構造を持つものであ
り、その動作も三次元的なものだからである。また、極
力オクルージョンの確率を低くするためでもある。さら
に後述するように、ステレオマッチング等を用いた3次
元構造の復元などのような処理は不要であるのが本発明
の特徴の1つである。
構成を示すブロック図である。図3を参照して、このS
−GA10は、人物1に対応する人物モデル(仮想3次
元モデル)7Sと、人物モデル7Sを撮像する仮想マル
チカメラV1S〜VNSと、仮想マルチカメラV1S〜VNSで
人物モデル7Sを撮像することにより得られる合成人物
マルチ画像9Sと目標人物マルチ画像3とを比較する比
較部11Sと、比較部11Sで得られる適応度に応じて
遺伝子情報を有した染色体15Sを生成する遺伝子情報
生成部13Sと、染色体15Sに応じて人物モデル7S
の姿勢を変形する変形部17Sとを含む。ここで、人物
がN(≧2)台の実マルチカメラR1 〜RN によって撮
像されるのは、人物が本来3次元構造を持つものであ
り、その動作も三次元的なものだからである。また、極
力オクルージョンの確率を低くするためでもある。さら
に後述するように、ステレオマッチング等を用いた3次
元構造の復元などのような処理は不要であるのが本発明
の特徴の1つである。
【0016】また、人物モデル7Sは、姿勢パラメータ
を求めようとしている人物1に対応して予め作成されて
いる。この人物モデル7Sの各関節は、実際の人物と同
様の回転動作が可能である。遺伝子情報生成部13S
は、比較部11Sによって得られる適応度に応じて自然
淘汰の遺伝子操作を行なう自然淘汰遺伝子操作部19S
と、突然変異などの遺伝子操作が行なわれる遺伝子プー
ル21Sとを含む。この遺伝子プール21Sによって生
成される染色体15Sは、遺伝子X1 〜Xn を有し、こ
れら遺伝子X1〜Xn が姿勢パラメータに相当する。
を求めようとしている人物1に対応して予め作成されて
いる。この人物モデル7Sの各関節は、実際の人物と同
様の回転動作が可能である。遺伝子情報生成部13S
は、比較部11Sによって得られる適応度に応じて自然
淘汰の遺伝子操作を行なう自然淘汰遺伝子操作部19S
と、突然変異などの遺伝子操作が行なわれる遺伝子プー
ル21Sとを含む。この遺伝子プール21Sによって生
成される染色体15Sは、遺伝子X1 〜Xn を有し、こ
れら遺伝子X1〜Xn が姿勢パラメータに相当する。
【0017】次に、このS−GA10の動作を説明す
る。実マルチカメラR1 〜Rn は人物1の3次元情報を
得るために、人物1を撮像する。そして、得られた目標
人物マルチ画像3が比較部11Sに与えられる。一方、
関節角度等の姿勢パラメータが検出されるために、人物
1に対して仮想的に設けられる人物モデル7Sが予め作
成されている。染色体15Sの遺伝子X 1 〜Xn は人物
1の各関節角度を表わしている。最初は、予め定められ
た姿勢パラメータが初期遺伝子情報として染色体15S
に与えられる。変形部17Sは、そのような染色体15
Sの遺伝子X1 〜Xn に応じて人物モデル7Sの各関節
を回転させて、変形を行なう。そして、仮想マルチカメ
ラV1S〜VNSが変形された人物モデル7Sを撮像し、そ
の合成人物マルチ画像9Sが比較部11Sに与えられ
る。ここで、仮想マルチカメラは、上述した実マルチカ
メラR1 〜RN と同様にN台のカメラV1S〜VNSから構
成されており、互いの位置関係、画角等のカメラパラメ
ータは一致させられている。すなわち、仮想マルチカメ
ラV1S〜VNSの人物モデル7Sに対する幾何学的配置関
係は、人物1に対して設けられる実マルチカメラR1 〜
RN の幾何学的配置位置と同じである。このような配置
により、人物の3次元構造および3次元的動作が抽出さ
れる。また、このような配置により、オクルージョンの
確率が極力低くなる。
る。実マルチカメラR1 〜Rn は人物1の3次元情報を
得るために、人物1を撮像する。そして、得られた目標
人物マルチ画像3が比較部11Sに与えられる。一方、
関節角度等の姿勢パラメータが検出されるために、人物
1に対して仮想的に設けられる人物モデル7Sが予め作
成されている。染色体15Sの遺伝子X 1 〜Xn は人物
1の各関節角度を表わしている。最初は、予め定められ
た姿勢パラメータが初期遺伝子情報として染色体15S
に与えられる。変形部17Sは、そのような染色体15
Sの遺伝子X1 〜Xn に応じて人物モデル7Sの各関節
を回転させて、変形を行なう。そして、仮想マルチカメ
ラV1S〜VNSが変形された人物モデル7Sを撮像し、そ
の合成人物マルチ画像9Sが比較部11Sに与えられ
る。ここで、仮想マルチカメラは、上述した実マルチカ
メラR1 〜RN と同様にN台のカメラV1S〜VNSから構
成されており、互いの位置関係、画角等のカメラパラメ
ータは一致させられている。すなわち、仮想マルチカメ
ラV1S〜VNSの人物モデル7Sに対する幾何学的配置関
係は、人物1に対して設けられる実マルチカメラR1 〜
RN の幾何学的配置位置と同じである。このような配置
により、人物の3次元構造および3次元的動作が抽出さ
れる。また、このような配置により、オクルージョンの
確率が極力低くなる。
【0018】比較部11Sは、実マルチカメラR1 〜R
N からの目標人物マルチ画像3と仮想マルチカメラV1S
〜VNSからの合成人物マルチ画像9Sとを比較し、目標
人物マルチ画像3を環境と考えて、その環境への適応度
を計算して求める。この適応度は、実人物像と仮想人物
像との間で生じる重なり部分の面積率が評価されるとい
うものである。図4は、適応度を説明するための図であ
る。目標人物マルチ画像3および合成人物マルチ画像9
Sのそれぞれは、予め取得しておいた人物1および人物
モデル7Sのいない背景画像との差分が計算されて、人
物1および人物モデル7Sに対応する可能性のある領域
と背景候補領域に2値化される。その後、互いに対応す
る実マルチカメラRi と仮想マルチカメラViS(i=
1,…,N)ごとに、次の式(1)に従って適応度SF
が計算される。
N からの目標人物マルチ画像3と仮想マルチカメラV1S
〜VNSからの合成人物マルチ画像9Sとを比較し、目標
人物マルチ画像3を環境と考えて、その環境への適応度
を計算して求める。この適応度は、実人物像と仮想人物
像との間で生じる重なり部分の面積率が評価されるとい
うものである。図4は、適応度を説明するための図であ
る。目標人物マルチ画像3および合成人物マルチ画像9
Sのそれぞれは、予め取得しておいた人物1および人物
モデル7Sのいない背景画像との差分が計算されて、人
物1および人物モデル7Sに対応する可能性のある領域
と背景候補領域に2値化される。その後、互いに対応す
る実マルチカメラRi と仮想マルチカメラViS(i=
1,…,N)ごとに、次の式(1)に従って適応度SF
が計算される。
【0019】 SFi =A/(A+B+C) …(1) ここで、Aは実マルチカメラRi からの人物候補領域2
3と仮想マルチカメラViSからの合成人物領域25とが
重なり合っている部分の面積を表わし、Bは仮想マルチ
カメラViSからの合成人物領域25だけが存在する部分
の面積を表わし、Cは実マルチカメラRi からの人物候
補領域23だけが存在する部分の面積を表わす。したが
って、SFi は0と1の間の値を取り、実人物像と仮想
人物像とが完全に重なれば1になる。マルチカメラ全体
の適応度SFは式(1)で示された適応度SFi の平
均、すなわち次の式(2)により求められる。
3と仮想マルチカメラViSからの合成人物領域25とが
重なり合っている部分の面積を表わし、Bは仮想マルチ
カメラViSからの合成人物領域25だけが存在する部分
の面積を表わし、Cは実マルチカメラRi からの人物候
補領域23だけが存在する部分の面積を表わす。したが
って、SFi は0と1の間の値を取り、実人物像と仮想
人物像とが完全に重なれば1になる。マルチカメラ全体
の適応度SFは式(1)で示された適応度SFi の平
均、すなわち次の式(2)により求められる。
【0020】
【数1】
【0021】式(1)および(2)による適応度の計算
は、個体集団におけるP個の個体全てについて行なわれ
る。このP個の個体のそれぞれは、上述したような人物
の上半身の関節および人物の位置に関する23個のパラ
メータを表わす遺伝子を有している。したがって、遺伝
子情報生成部13Sは、一般には何も拘束条件が導入さ
れなければ組合せの爆発が生じるようなパラメータの検
出を遺伝的アルゴリズムに基づいて行なっている。この
遺伝的アルゴリズムは、組合せ最適化問題を解く有力な
手段である。まず、自然淘汰遺伝子創作19Sは、比較
部11Sによって求められた適応度の値に比例する形で
選択確率を決定し、ランダムな抽出により子孫を残すた
めの親を2個体ずつ選択して自然淘汰の遺伝子操作を行
なう。このときには、適応度の高い親が選ばれる確率は
高い。
は、個体集団におけるP個の個体全てについて行なわれ
る。このP個の個体のそれぞれは、上述したような人物
の上半身の関節および人物の位置に関する23個のパラ
メータを表わす遺伝子を有している。したがって、遺伝
子情報生成部13Sは、一般には何も拘束条件が導入さ
れなければ組合せの爆発が生じるようなパラメータの検
出を遺伝的アルゴリズムに基づいて行なっている。この
遺伝的アルゴリズムは、組合せ最適化問題を解く有力な
手段である。まず、自然淘汰遺伝子創作19Sは、比較
部11Sによって求められた適応度の値に比例する形で
選択確率を決定し、ランダムな抽出により子孫を残すた
めの親を2個体ずつ選択して自然淘汰の遺伝子操作を行
なう。このときには、適応度の高い親が選ばれる確率は
高い。
【0022】そして、遺伝子プール21Sで親から2個
体の子供が生まれる。このように親が交配するとき、交
差と突然変異がそれぞれ確率pc とpm で起こるような
遺伝子操作が行なわれる。なお、ここでは、各遺伝子X
1 〜Xn はビット列で表現される。このようにして、遺
伝子プール21Sに次の世代のP個の個体(染色体)1
5が発生する。変形部17Sによる人物モデル7Sの姿
勢変形と、比較部11Sによる適応度計算と、遺伝子情
報生成部13Sの個体生成というサイクルが繰返され
る。そして、ある世代を経た後得られる個体集団の中
で、最大の適応度SFを与える個体の遺伝子情報が人物
1の姿勢パラメータの推定値とされる。
体の子供が生まれる。このように親が交配するとき、交
差と突然変異がそれぞれ確率pc とpm で起こるような
遺伝子操作が行なわれる。なお、ここでは、各遺伝子X
1 〜Xn はビット列で表現される。このようにして、遺
伝子プール21Sに次の世代のP個の個体(染色体)1
5が発生する。変形部17Sによる人物モデル7Sの姿
勢変形と、比較部11Sによる適応度計算と、遺伝子情
報生成部13Sの個体生成というサイクルが繰返され
る。そして、ある世代を経た後得られる個体集団の中
で、最大の適応度SFを与える個体の遺伝子情報が人物
1の姿勢パラメータの推定値とされる。
【0023】このように、画像処理として、背景と人物
画像の差分が求められて2値化が行なわれ、適応度SF
の計算も面積情報に基づいて行なわれるので、画像ノイ
ズへの耐性が高い。 (4) P−GA S−GA10の推定結果の精度を高めるためには、その
推定結果に基づいて各人体パーツごとに合成人物マルチ
画像を目標人物マルチ画像に合わせなおすことが有効で
ある。このP−GA12では、人体パーツの中で最大の
ものである胴についての姿勢パラメータを再推定する。
画像の差分が求められて2値化が行なわれ、適応度SF
の計算も面積情報に基づいて行なわれるので、画像ノイ
ズへの耐性が高い。 (4) P−GA S−GA10の推定結果の精度を高めるためには、その
推定結果に基づいて各人体パーツごとに合成人物マルチ
画像を目標人物マルチ画像に合わせなおすことが有効で
ある。このP−GA12では、人体パーツの中で最大の
ものである胴についての姿勢パラメータを再推定する。
【0024】図5は、図1中のP−GA12の具体的な
構成を示すブロック図である。このP−GA12は、S
−GA10により得られた移動に関する6つの姿勢パラ
メータ(X,Y,Z,α,β,γ)の推定精度を高め
る。これらのパラメータは図2に示されるように、人物
1の胴についてのものである。胴は他の人体パーツに比
べて、大きなものであり、シルエットの重ね合わせが有
効と考えられる。そこで、このP−GA12では、P−
GA10の人物モデル7Cに代えて胴の人物モデル7P
が用いられる。このような胴の人物モデル7Pを除き、
このP−GA12は上記S−GA10と同様に、仮想マ
ルチカメラViP〜VNPと、合成人物マルチ画像9Pと目
標人物マルチ画像3とを比較する比較部11Pと、染色
体15Pを生成する遺伝子情報生成部13Pと、変形部
17Pとを含む。遺伝子情報生成部13Pは、自然淘汰
遺伝子操作部19Pと、遺伝子プール21Pとを含む。
構成を示すブロック図である。このP−GA12は、S
−GA10により得られた移動に関する6つの姿勢パラ
メータ(X,Y,Z,α,β,γ)の推定精度を高め
る。これらのパラメータは図2に示されるように、人物
1の胴についてのものである。胴は他の人体パーツに比
べて、大きなものであり、シルエットの重ね合わせが有
効と考えられる。そこで、このP−GA12では、P−
GA10の人物モデル7Cに代えて胴の人物モデル7P
が用いられる。このような胴の人物モデル7Pを除き、
このP−GA12は上記S−GA10と同様に、仮想マ
ルチカメラViP〜VNPと、合成人物マルチ画像9Pと目
標人物マルチ画像3とを比較する比較部11Pと、染色
体15Pを生成する遺伝子情報生成部13Pと、変形部
17Pとを含む。遺伝子情報生成部13Pは、自然淘汰
遺伝子操作部19Pと、遺伝子プール21Pとを含む。
【0025】S−GA10の最終世代の計算終了時にお
いて、P個体のうち、式(2)の適応度SFの値の上位
J(<P)個のものを抽出し、P−GA12の初期値と
して与える(P/J個体ずつ、同じ初期値を持つ個体が
発生する)。P−GA12における各個体の遺伝子は、
前述した6つの姿勢パラメータである。このP−GA1
2における遺伝的アルゴリズムは上記S−GA10にお
ける遺伝的アルゴリズムとほぼ同じであるが、適応度P
Fは以下のものを用いる。
いて、P個体のうち、式(2)の適応度SFの値の上位
J(<P)個のものを抽出し、P−GA12の初期値と
して与える(P/J個体ずつ、同じ初期値を持つ個体が
発生する)。P−GA12における各個体の遺伝子は、
前述した6つの姿勢パラメータである。このP−GA1
2における遺伝的アルゴリズムは上記S−GA10にお
ける遺伝的アルゴリズムとほぼ同じであるが、適応度P
Fは以下のものを用いる。
【0026】
【数2】
【0027】ここで、式(3)におけるAおよびBの定
義は式(1)のものと同じである。式(3)にはCが含
まれていないが、これは、実人物像における胴の位置は
P−GA12の段階では特定されていないのと、胴が最
大の人体パーツであるため、胴の人物モデル7Pが実人
物像に合わない場合はBに反映されるためである。この
ようにP−GA12では、人物1の主要部である胴の姿
勢パラメータが詳細に再推定されるため、人物像1の姿
勢推定精度は向上する。 (5) B−GA 図6は、図1中のB−GA14の具体的な構成を示すブ
ロック図である。このP−GA12により胴の6つの姿
勢パラメータを再推定した後、このB−GA14により
人体パーツの姿勢パラメータを再推定し、姿勢の推定精
度を向上させる。このB−GA14では、直方体のボッ
クス29が設定された人物モデル7Bが用いられる。こ
のような人物モデル7Bを除き、このB−GA14は上
記S−GA10と同様に、仮想マルチカメラV1B〜VNB
と、合成人物マルチ画像9Bと目標人物マルチ画像3と
を比較する比較部11Bと、染色体15Bを生成する遺
伝子情報生成部13Bと、変形部17Bとを含む。ま
た、遺伝子情報生成部13Bは、自然淘汰遺伝子操作部
19Bと、遺伝子プール21Bとを含む。
義は式(1)のものと同じである。式(3)にはCが含
まれていないが、これは、実人物像における胴の位置は
P−GA12の段階では特定されていないのと、胴が最
大の人体パーツであるため、胴の人物モデル7Pが実人
物像に合わない場合はBに反映されるためである。この
ようにP−GA12では、人物1の主要部である胴の姿
勢パラメータが詳細に再推定されるため、人物像1の姿
勢推定精度は向上する。 (5) B−GA 図6は、図1中のB−GA14の具体的な構成を示すブ
ロック図である。このP−GA12により胴の6つの姿
勢パラメータを再推定した後、このB−GA14により
人体パーツの姿勢パラメータを再推定し、姿勢の推定精
度を向上させる。このB−GA14では、直方体のボッ
クス29が設定された人物モデル7Bが用いられる。こ
のような人物モデル7Bを除き、このB−GA14は上
記S−GA10と同様に、仮想マルチカメラV1B〜VNB
と、合成人物マルチ画像9Bと目標人物マルチ画像3と
を比較する比較部11Bと、染色体15Bを生成する遺
伝子情報生成部13Bと、変形部17Bとを含む。ま
た、遺伝子情報生成部13Bは、自然淘汰遺伝子操作部
19Bと、遺伝子プール21Bとを含む。
【0028】このB−GA14では、胴に近いものから
順番に、人体パーツの局所的情報を利用して、人物モデ
ル7Bの各人体パーツを人物1に合わせていく。ここ
で、局所的な情報として色彩情報が用いられる。これ
は、S−GA10やP−GA12に用いたシルエットの
重なり情報だけでは、画像中において人体パーツ同士の
オクルージョンが存在する(たとえば、胴の前に腕があ
る)場合に、対応が困難なためである。人体パーツの局
所的な情報を利用するため、図7(A)に示すように、
人物モデル7Bにおける各人体パーツに直方体のボック
ス29を設定する。このボックス29は図7(B)に示
すように、目標人物マルチ画像3において多角形のウイ
ンドウ31として観測される。このウインドウ31の内
部を対象に遺伝的アルゴリズムに従って各人体パーツの
姿勢パラメータが再推定される。
順番に、人体パーツの局所的情報を利用して、人物モデ
ル7Bの各人体パーツを人物1に合わせていく。ここ
で、局所的な情報として色彩情報が用いられる。これ
は、S−GA10やP−GA12に用いたシルエットの
重なり情報だけでは、画像中において人体パーツ同士の
オクルージョンが存在する(たとえば、胴の前に腕があ
る)場合に、対応が困難なためである。人体パーツの局
所的な情報を利用するため、図7(A)に示すように、
人物モデル7Bにおける各人体パーツに直方体のボック
ス29を設定する。このボックス29は図7(B)に示
すように、目標人物マルチ画像3において多角形のウイ
ンドウ31として観測される。このウインドウ31の内
部を対象に遺伝的アルゴリズムに従って各人体パーツの
姿勢パラメータが再推定される。
【0029】上述したように、胴に近い人体パーツか
ら、S−GA10によって推定された姿勢パラメータの
値がB−GA14によって更新される。すなわち、二の
腕→腕→手→頭という順番でそれぞれの姿勢パラメータ
が更新される。ここで、頭以外の人体パーツは、それぞ
れ左右の人体パーツについて遺伝的アルゴリズムに従う
推定が行なわれる。B−GA14における人体パーツk
の処理内容は以下のとおりである。各個体(染色体15
B)は23個のパラメータに対応する遺伝子を持つ。胴
に関する6つのパラメータは、P−GA12により得ら
れたものを全個体に与え、B−GA14では処理せず、
固定値とする。B−GA14において処理の対象となる
遺伝子は人体パーツkについてのもので、図2に示すよ
うに、頭はθ1〜θ3、二の腕はθ4〜θ6、腕はθ
7、手はθ8〜θ10である(反対側も同様)。各個体
の初期値は、S−GAの結果の上位J(<P)個の個体
人体パーツがkについての推定値を与える。また、人体
パーツkより胴に近い人体パーツk′が存在するならば
(たとえば、腕ならば二の腕)、人体パーツk′につい
てのB−GA14の結果の最良値を固定値として用い
る。
ら、S−GA10によって推定された姿勢パラメータの
値がB−GA14によって更新される。すなわち、二の
腕→腕→手→頭という順番でそれぞれの姿勢パラメータ
が更新される。ここで、頭以外の人体パーツは、それぞ
れ左右の人体パーツについて遺伝的アルゴリズムに従う
推定が行なわれる。B−GA14における人体パーツk
の処理内容は以下のとおりである。各個体(染色体15
B)は23個のパラメータに対応する遺伝子を持つ。胴
に関する6つのパラメータは、P−GA12により得ら
れたものを全個体に与え、B−GA14では処理せず、
固定値とする。B−GA14において処理の対象となる
遺伝子は人体パーツkについてのもので、図2に示すよ
うに、頭はθ1〜θ3、二の腕はθ4〜θ6、腕はθ
7、手はθ8〜θ10である(反対側も同様)。各個体
の初期値は、S−GAの結果の上位J(<P)個の個体
人体パーツがkについての推定値を与える。また、人体
パーツkより胴に近い人体パーツk′が存在するならば
(たとえば、腕ならば二の腕)、人体パーツk′につい
てのB−GA14の結果の最良値を固定値として用い
る。
【0030】人体パーツkの合成人物マルチ画像i(i
=1,…,N)におけるウインドウ31についての適応
度bfi としては、次の式(5)のものを用いる。 bfi =cfi ×SFi …(5) ここで、SFi は式(1)で与えられるシルエットの重
なり度合であり、cf i は合成人物マルチ画像9Bの色
彩情報と目標人物マルチ画像3の色彩情報との重なり度
合で、次の式(6)のように表わされる。 cfi =D/(D+E) …(6) ここで、Dはウインドウ31内で色が同じ部分の面積を
表わし、Eは色が異なる部分の面積を表わす。ウインド
ウ31内の画素の色の同一性の判定は、次の式(7)を
満たすか否かで行なう。
=1,…,N)におけるウインドウ31についての適応
度bfi としては、次の式(5)のものを用いる。 bfi =cfi ×SFi …(5) ここで、SFi は式(1)で与えられるシルエットの重
なり度合であり、cf i は合成人物マルチ画像9Bの色
彩情報と目標人物マルチ画像3の色彩情報との重なり度
合で、次の式(6)のように表わされる。 cfi =D/(D+E) …(6) ここで、Dはウインドウ31内で色が同じ部分の面積を
表わし、Eは色が異なる部分の面積を表わす。ウインド
ウ31内の画素の色の同一性の判定は、次の式(7)を
満たすか否かで行なう。
【0031】 |Rm−Rr|+|Gm−Gr|+|Bm−Br|<Th …(7) ここで、R,G,Bは画素の持つ三原色を示し、その添
字mは合成人物マルチ画像、rは目標人物マルチ画像を
示す。また、式(7)においてThはしきい値を示す。
なお、式(5)において、SFi の項をcfi に掛けて
いるのは、ある人体パーツが他の人体パーツに食い込む
という現実にはあり得ない場合を防ぐためで、食い込み
が発生するとSFi の値が小さくなり、結果としてbf
i の値を小さくすることを目的としている。
字mは合成人物マルチ画像、rは目標人物マルチ画像を
示す。また、式(7)においてThはしきい値を示す。
なお、式(5)において、SFi の項をcfi に掛けて
いるのは、ある人体パーツが他の人体パーツに食い込む
という現実にはあり得ない場合を防ぐためで、食い込み
が発生するとSFi の値が小さくなり、結果としてbf
i の値を小さくすることを目的としている。
【0032】このようにして得られる合成人物マルチ画
像iのbfi から、人体パーツkの適応度BFは、次の
式(8)により求められる。
像iのbfi から、人体パーツkの適応度BFは、次の
式(8)により求められる。
【0033】
【数3】
【0034】この式(8)において、bfi の最小値を
取るという、いわば厳しい条件を課しているのは、人体
パーツkがより厳密に目標人物マルチ画像3にマッチン
グするようにするためである。以上のようにこの発明の
実施の形態によれば、S−GA10によって推定された
胴の姿勢パラメータを初期値としてP−GA12がその
胴の姿勢パラメータを再推定するため、人物モデルの適
応度はさらに向上する。また、S−GA10により得ら
れた胴以外の姿勢パラメータを初期値としてB−GA1
4がそれらの姿勢パラメータを各人体パーツごとに再推
定するため、人物モデルの適応度はさらに向上する。し
かも、このB−GA14では色彩情報が利用されている
ため、「腕を胴の前で組んでいる」というような姿勢も
検出することができる。
取るという、いわば厳しい条件を課しているのは、人体
パーツkがより厳密に目標人物マルチ画像3にマッチン
グするようにするためである。以上のようにこの発明の
実施の形態によれば、S−GA10によって推定された
胴の姿勢パラメータを初期値としてP−GA12がその
胴の姿勢パラメータを再推定するため、人物モデルの適
応度はさらに向上する。また、S−GA10により得ら
れた胴以外の姿勢パラメータを初期値としてB−GA1
4がそれらの姿勢パラメータを各人体パーツごとに再推
定するため、人物モデルの適応度はさらに向上する。し
かも、このB−GA14では色彩情報が利用されている
ため、「腕を胴の前で組んでいる」というような姿勢も
検出することができる。
【0035】
【実施例】以下、上記実施の形態に従う実験結果につい
て説明する。 (1) 実験条件 ここでは、人物モデルを用いて生成した合成人物マルチ
画像を目標人物マルチ画像として用いる。カメラを3台
用いる構成とし、各画像は平行投影とする。各カメラ
は、図2に示した人物の胸部の中心点C1を原点とする
3次元座標系の各座標軸上に設置する。ここで、各座標
軸は、人物の正面、側面、頭上からの各画像の中心を通
るようにする。各画像のサイズは、256×256画素
で、画像の長さは173cmに対応する。
て説明する。 (1) 実験条件 ここでは、人物モデルを用いて生成した合成人物マルチ
画像を目標人物マルチ画像として用いる。カメラを3台
用いる構成とし、各画像は平行投影とする。各カメラ
は、図2に示した人物の胸部の中心点C1を原点とする
3次元座標系の各座標軸上に設置する。ここで、各座標
軸は、人物の正面、側面、頭上からの各画像の中心を通
るようにする。各画像のサイズは、256×256画素
で、画像の長さは173cmに対応する。
【0036】人物の3次元モデリングは、サイバーウェ
ア・カラー・3Dデジタイザにより獲得される3次元形
状データと色彩情報を用いて行なわれる。このモデリン
グは、各人体パーツごとに行なわれる。すなわち、上記
デジタイザによる各人体パーツの表面形状の計測結果に
基づき、三角パッチの集合体で近似することにより、ワ
イヤフレームモデルを作成する。また、上記デジタイザ
を用いればカラーテクスチャを同時に獲得することがで
きるので、これをワイヤフレームモデルにマッピングす
る。人体パーツは互いに接続され、三角パッチ頂点を適
宜移動させることにより、ワイヤフレームの変形や各関
節の回転動作が行なえる。カラーテクスチャ情報は、対
応する場所の三角パッチにマッピングされ、三角パッチ
の変形に応じて、色彩の補間や間引きが行なわれる。
ア・カラー・3Dデジタイザにより獲得される3次元形
状データと色彩情報を用いて行なわれる。このモデリン
グは、各人体パーツごとに行なわれる。すなわち、上記
デジタイザによる各人体パーツの表面形状の計測結果に
基づき、三角パッチの集合体で近似することにより、ワ
イヤフレームモデルを作成する。また、上記デジタイザ
を用いればカラーテクスチャを同時に獲得することがで
きるので、これをワイヤフレームモデルにマッピングす
る。人体パーツは互いに接続され、三角パッチ頂点を適
宜移動させることにより、ワイヤフレームの変形や各関
節の回転動作が行なえる。カラーテクスチャ情報は、対
応する場所の三角パッチにマッピングされ、三角パッチ
の変形に応じて、色彩の補間や間引きが行なわれる。
【0037】目標3方向画像を合成するために使用する
人物モデルとしては、簡易モデルと精密モデルの2種類
を使用する。精密モデルは6079個のポリゴンで構成
されているので、図8に示すように、極めて滑らかな形
状を保っている。また、カラーテクスチャも、実際の人
物のものをそのまま使用している。これに対して簡易モ
デルは、精密モデルの形状に基づき、ポリゴン数を36
4まで減らし、テクスチャも精密モデルにおける対応す
る領域のカラー情報を平均し、各ポリゴンの色としてい
る(図7参照)。
人物モデルとしては、簡易モデルと精密モデルの2種類
を使用する。精密モデルは6079個のポリゴンで構成
されているので、図8に示すように、極めて滑らかな形
状を保っている。また、カラーテクスチャも、実際の人
物のものをそのまま使用している。これに対して簡易モ
デルは、精密モデルの形状に基づき、ポリゴン数を36
4まで減らし、テクスチャも精密モデルにおける対応す
る領域のカラー情報を平均し、各ポリゴンの色としてい
る(図7参照)。
【0038】この実験には、精密モデルと簡易モデルを
用いて、図8の(A),(B),(C)に示される3種
類の姿勢を取る人物を3方向から観測することにより得
られるマルチ画像を目標画像として使用する。一般に、
合成人物マルチ画像は目標人物マルチ画像よりもノイズ
要因が小さいが、上述したS−GA10、P−GA12
およびB−GA14における画像処理は、ノイズの影響
が小さい。また、モデルの姿勢パラメータの値を自由に
与えられるので、推定精度の評価が容易であるという利
点がある。図8に示される3種類の姿勢(A),
(B),(C)のパラメータ値(真値)を表1に示す。
なお、この3種類の姿勢のパラメータ値は、精密、簡易
モデルの目標画像に共通である。精密モデルの姿勢
(A),(B),(C)を前方から観測したのが図5で
ある。
用いて、図8の(A),(B),(C)に示される3種
類の姿勢を取る人物を3方向から観測することにより得
られるマルチ画像を目標画像として使用する。一般に、
合成人物マルチ画像は目標人物マルチ画像よりもノイズ
要因が小さいが、上述したS−GA10、P−GA12
およびB−GA14における画像処理は、ノイズの影響
が小さい。また、モデルの姿勢パラメータの値を自由に
与えられるので、推定精度の評価が容易であるという利
点がある。図8に示される3種類の姿勢(A),
(B),(C)のパラメータ値(真値)を表1に示す。
なお、この3種類の姿勢のパラメータ値は、精密、簡易
モデルの目標画像に共通である。精密モデルの姿勢
(A),(B),(C)を前方から観測したのが図5で
ある。
【0039】
【表1】
【0040】各GA10,12,14における個体は、
8ビット整数型データの遺伝子から構成されるビット列
である。交差は2個体のビット列の交換により行ない。
突然変異はビット反転により行なう。なお、目標画像に
は精密および簡易モデルの双方を用いているが、各GA
10,12,14の処理に必要な人物モデルとしては、
精密モデルは処理の著しい増大を招くので、この実験で
は簡易モデルのみを用いる。 (2) 簡易モデルの目標画像を対象とした検討 まず、上述した簡易モデルから生成された目標画像を対
象に検討を行なった。
8ビット整数型データの遺伝子から構成されるビット列
である。交差は2個体のビット列の交換により行ない。
突然変異はビット反転により行なう。なお、目標画像に
は精密および簡易モデルの双方を用いているが、各GA
10,12,14の処理に必要な人物モデルとしては、
精密モデルは処理の著しい増大を招くので、この実験で
は簡易モデルのみを用いる。 (2) 簡易モデルの目標画像を対象とした検討 まず、上述した簡易モデルから生成された目標画像を対
象に検討を行なった。
【0041】各GA10,12,14において用いた個
体数は1000である。S−GA10では、世代数は1
000、交差確率pc =0.1、突然変異確率pm =1
0-4である。P−GA12では、世代数は1000、S
−GA10の上位100個体の推定値を初期値とし、p
c =0.1、pm =0.01を用いた。ここで、突然変
異をS−GA10より高い確率で発生させているのは、
S−GA10により、既に真値の近傍にかなりの個数の
個体が集められていると考えられるので、微調整の効果
を出すためである。B−GA14では、7つの人体パー
ツそれぞれにつき100世代の処理を行なった。各人体
パーツの初期値は、S−GA10の結果の上記100個
のものを用いた。また、P−GA12と同様、微調整の
効果を持たせるため、pc =pm =0.1とした。
体数は1000である。S−GA10では、世代数は1
000、交差確率pc =0.1、突然変異確率pm =1
0-4である。P−GA12では、世代数は1000、S
−GA10の上位100個体の推定値を初期値とし、p
c =0.1、pm =0.01を用いた。ここで、突然変
異をS−GA10より高い確率で発生させているのは、
S−GA10により、既に真値の近傍にかなりの個数の
個体が集められていると考えられるので、微調整の効果
を出すためである。B−GA14では、7つの人体パー
ツそれぞれにつき100世代の処理を行なった。各人体
パーツの初期値は、S−GA10の結果の上記100個
のものを用いた。また、P−GA12と同様、微調整の
効果を持たせるため、pc =pm =0.1とした。
【0042】次の表2に、各GA10,12,14にお
ける処理により得られた適応度の値を示す。
ける処理により得られた適応度の値を示す。
【0043】
【表2】
【0044】胴を対象にしたP−GA12の結果、PF
の値は3つの目標画像がいずれも改善され、ほぼ100
%となっている。B−GA14に用いている適応度は、
人体パーツごとの局所的なものであるので、表2には、
最終的に推定結果として得られた姿勢をシルエットの重
なり度合SFにより評価している。最初のS−GAのS
F値と比較して、いずれも値が上昇している。ちなみ
に、B−GA14では色彩情報を用いているが、ウイン
ドウ31内においてS−GA10やP−GA12と同
様、シルエットの重なり度合を用いた場合、SFの値
は、(A)78.2%、(B)75.7%、(C)7
4.3%と、色彩情報を用いる場合に比較して20%程
度低くなり、B−GA14の有効性を示している。ま
た、B−GA14による姿勢推定結果をパラメータごと
に、S−GA10の結果と併わせて、表1に示す。同表
より、ほぼすべてのパラメータについてB−GA14が
S−GA10よりもよい結果を与えることが明らかとな
った。
の値は3つの目標画像がいずれも改善され、ほぼ100
%となっている。B−GA14に用いている適応度は、
人体パーツごとの局所的なものであるので、表2には、
最終的に推定結果として得られた姿勢をシルエットの重
なり度合SFにより評価している。最初のS−GAのS
F値と比較して、いずれも値が上昇している。ちなみ
に、B−GA14では色彩情報を用いているが、ウイン
ドウ31内においてS−GA10やP−GA12と同
様、シルエットの重なり度合を用いた場合、SFの値
は、(A)78.2%、(B)75.7%、(C)7
4.3%と、色彩情報を用いる場合に比較して20%程
度低くなり、B−GA14の有効性を示している。ま
た、B−GA14による姿勢推定結果をパラメータごと
に、S−GA10の結果と併わせて、表1に示す。同表
より、ほぼすべてのパラメータについてB−GA14が
S−GA10よりもよい結果を与えることが明らかとな
った。
【0045】(3) 精密モデルの目標画像を対象とし
た検討 目標画像および人物モデルの双方が簡易モデルである場
合には、上記実施の形態におけるP−GA12とB−G
A14の有効性が明らかとなった。これに対し、人物モ
デルとして簡易モデルを用い、精密モデルから生成した
目標画像に適応する場合を検討した。なお、精密モデル
と簡易モデルは、各画像において精密には形状が一致し
ないので、正確に真値が推定できた場合でも、シルエッ
トの重なり度合SFは90%程度である。
た検討 目標画像および人物モデルの双方が簡易モデルである場
合には、上記実施の形態におけるP−GA12とB−G
A14の有効性が明らかとなった。これに対し、人物モ
デルとして簡易モデルを用い、精密モデルから生成した
目標画像に適応する場合を検討した。なお、精密モデル
と簡易モデルは、各画像において精密には形状が一致し
ないので、正確に真値が推定できた場合でも、シルエッ
トの重なり度合SFは90%程度である。
【0046】図8における姿勢(B)について、上述し
た簡易モデルの目標画像の場合と同様に、S−GA10
→P−GA12→B−GA14においてそれぞれ処理を
行なった。その結果、S−GA10におけるSF=8
4.2%がB−GA14におけるSF=80.6%とな
り、却って推定精度はS−GA10よりも悪くなった。
この原因としては、上述したように、厳密には簡易モデ
ルと精密モデルの形状が一致しないことが挙げられる。
さらに色彩情報についても、精密モデルでは微妙な色合
いが存在するのに対して、簡易モデルでは1つの三角パ
ッチは均一の色を持つだけである。このように、形状と
色彩の不一致要因により、シルエットでの重なり度合が
不十分な場合が発生していると考えられる。
た簡易モデルの目標画像の場合と同様に、S−GA10
→P−GA12→B−GA14においてそれぞれ処理を
行なった。その結果、S−GA10におけるSF=8
4.2%がB−GA14におけるSF=80.6%とな
り、却って推定精度はS−GA10よりも悪くなった。
この原因としては、上述したように、厳密には簡易モデ
ルと精密モデルの形状が一致しないことが挙げられる。
さらに色彩情報についても、精密モデルでは微妙な色合
いが存在するのに対して、簡易モデルでは1つの三角パ
ッチは均一の色を持つだけである。このように、形状と
色彩の不一致要因により、シルエットでの重なり度合が
不十分な場合が発生していると考えられる。
【0047】そこで、シルエットの重なり度合をより反
映すべく、S−GA10とP−GA12の後に、再度二
度目のシルエットGA(S−GA2)を行なう。さら
に、B−GA14についても、以下のように、シルエッ
トの重なり度合を評価するP−GA2に置き換える。S
−GA2では、P−GA12の結果得られる胴に関する
6つのパラメータの最良推定値を固定値として各個体に
持ち、残りの17個のパラメータを推定する。なお、各
個体の17個のパラメータの初期値は、最初のS−GA
10の上位100個の結果を用いる。
映すべく、S−GA10とP−GA12の後に、再度二
度目のシルエットGA(S−GA2)を行なう。さら
に、B−GA14についても、以下のように、シルエッ
トの重なり度合を評価するP−GA2に置き換える。S
−GA2では、P−GA12の結果得られる胴に関する
6つのパラメータの最良推定値を固定値として各個体に
持ち、残りの17個のパラメータを推定する。なお、各
個体の17個のパラメータの初期値は、最初のS−GA
10の上位100個の結果を用いる。
【0048】局所的色彩情報にシルエット情報を反映す
るため、B−GA2では、交配の結果発生した子供とそ
の親のBF(式(8))を比較し、子供が親より悪けれ
ばその子供の個体を殺し、もし子供が親よりも高いBF
の値を持っている場合には、その親子のシルエットの重
なり度合SFを比較し、子供のほうがよい場合にのみ、
その子供を次世代の個体として残す。以上のGAの処理
による結果を表3に示す。目標画像(A)では、S−G
A10よりもP−GA2のほうが結果が悪いが、他の2
つの画像では、改善が見られる。
るため、B−GA2では、交配の結果発生した子供とそ
の親のBF(式(8))を比較し、子供が親より悪けれ
ばその子供の個体を殺し、もし子供が親よりも高いBF
の値を持っている場合には、その親子のシルエットの重
なり度合SFを比較し、子供のほうがよい場合にのみ、
その子供を次世代の個体として残す。以上のGAの処理
による結果を表3に示す。目標画像(A)では、S−G
A10よりもP−GA2のほうが結果が悪いが、他の2
つの画像では、改善が見られる。
【0049】
【表3】
【0050】以上のように、遺伝的アルゴリズムに基づ
き、人物のマルチ画像から人物の姿勢パラメータの推定
を行なう姿勢検出装置の改良を提案した。この姿勢検出
装置では、従来の姿勢検出装置におけるシルエットの重
なり度合を利用した手法(S−GA)の推定結果に基づ
き、人物の局所的な情報を利用した遺伝的アルゴリズム
を実行する。まず、S−GAの結果を胴の姿勢パラメー
タの初期値として与え、シルエットベースの遺伝的アル
ゴリズム(P−GA)を実行し、胴の6つのパラメータ
を再推定する。次に、S−GAおよびP−GAの結果に
基づき、二の腕、腕、手、頭の各人体パーツごとに色彩
情報を利用した遺伝的アルゴリズム(B−GA)を実行
する。
き、人物のマルチ画像から人物の姿勢パラメータの推定
を行なう姿勢検出装置の改良を提案した。この姿勢検出
装置では、従来の姿勢検出装置におけるシルエットの重
なり度合を利用した手法(S−GA)の推定結果に基づ
き、人物の局所的な情報を利用した遺伝的アルゴリズム
を実行する。まず、S−GAの結果を胴の姿勢パラメー
タの初期値として与え、シルエットベースの遺伝的アル
ゴリズム(P−GA)を実行し、胴の6つのパラメータ
を再推定する。次に、S−GAおよびP−GAの結果に
基づき、二の腕、腕、手、頭の各人体パーツごとに色彩
情報を利用した遺伝的アルゴリズム(B−GA)を実行
する。
【0051】実際の人物から得られた2種類(精密、簡
易)の3次元人物上半身モデルを対象に本発明の有効性
の検討を行なった。目標人物マルチ画像としては、これ
らのモデルから生成された合成3方向画像を使用した。
ここでは、3種類の姿勢を検討した。各GA処理におけ
る3次元人物モデルとしては、簡易モデルを使用した。
簡易モデルから合成した目標3方向画像の場合には、S
−GAの結果に比較して、B−GAのほうが良好な推定
精度が得られることが確認できた。一方、精密モデルか
らの目標画像の場合には、P−GAのほうが結果が悪い
という結果が得られた。この原因は、簡易、精密モデル
の形状と色彩の不一致が考えられる。このような不一致
要因に対応するため、S−GAとP−GAの後に、これ
らの結果を利用して再度シルエットベースのGAを上半
身に対して行なった(S−GA2)。さらに、B−GA
においても、各人体パーツだけでなく上半身全体のシル
エットの重なり度合も評価するGA(B−GA2)を導
入し、最初のS−GAからのある程度の改善を確認し
た。
易)の3次元人物上半身モデルを対象に本発明の有効性
の検討を行なった。目標人物マルチ画像としては、これ
らのモデルから生成された合成3方向画像を使用した。
ここでは、3種類の姿勢を検討した。各GA処理におけ
る3次元人物モデルとしては、簡易モデルを使用した。
簡易モデルから合成した目標3方向画像の場合には、S
−GAの結果に比較して、B−GAのほうが良好な推定
精度が得られることが確認できた。一方、精密モデルか
らの目標画像の場合には、P−GAのほうが結果が悪い
という結果が得られた。この原因は、簡易、精密モデル
の形状と色彩の不一致が考えられる。このような不一致
要因に対応するため、S−GAとP−GAの後に、これ
らの結果を利用して再度シルエットベースのGAを上半
身に対して行なった(S−GA2)。さらに、B−GA
においても、各人体パーツだけでなく上半身全体のシル
エットの重なり度合も評価するGA(B−GA2)を導
入し、最初のS−GAからのある程度の改善を確認し
た。
【0052】
【発明の効果】以上のようにこの発明によれば、遺伝的
アルゴリズムを用いた3次元物体の姿勢の推定結果に基
づいて、再び遺伝的アルゴリズムを用いてその3次元物
体の主要部のみの姿勢を推定するため、姿勢の推定精度
が向上する。さらに、遺伝的アルゴリズムを用いた3次
元物体の姿勢推定結果に基づいて、再び遺伝的アルゴリ
ズムを用いてその3次元物体の細部の姿勢を推定するた
め、姿勢の推定精度はさらに向上する。しかも、3次元
物体の細部の姿勢を再推定するときに色彩情報を加味す
るため、3次元物体の姿勢を正確に検出することができ
る。
アルゴリズムを用いた3次元物体の姿勢の推定結果に基
づいて、再び遺伝的アルゴリズムを用いてその3次元物
体の主要部のみの姿勢を推定するため、姿勢の推定精度
が向上する。さらに、遺伝的アルゴリズムを用いた3次
元物体の姿勢推定結果に基づいて、再び遺伝的アルゴリ
ズムを用いてその3次元物体の細部の姿勢を推定するた
め、姿勢の推定精度はさらに向上する。しかも、3次元
物体の細部の姿勢を再推定するときに色彩情報を加味す
るため、3次元物体の姿勢を正確に検出することができ
る。
【図1】この発明の実施の形態による姿勢検出装置の全
体構成を示すブロック図である。
体構成を示すブロック図である。
【図2】人体の上半身における関節角の回転パラメータ
の定義を説明するための図である。
の定義を説明するための図である。
【図3】図1中のS−GAの具体的な構成を示すブロッ
ク図である。
ク図である。
【図4】図3中の比較部が求める適応度を説明するため
の図である。
の図である。
【図5】図1中のP−GAの具体的な構成を示すブロッ
ク図である。
ク図である。
【図6】図1中のB−GAの具体的な構成を示すブロッ
ク図である。
ク図である。
【図7】(A)は人物モデルに設定された人体パーツの
ボックスを説明するための図であり、(B)は人物に設
定されたウインドウを説明するための図である。
ボックスを説明するための図であり、(B)は人物に設
定されたウインドウを説明するための図である。
【図8】(A)〜(C)は3種類の姿勢を表わす前方か
らの目標画像を示す図である。
らの目標画像を示す図である。
1 人物 7S,7P,7B 人物モデル 10 シルエット遺伝的アルゴリズム実行部(S−G
A) 12 ポジション遺伝的アルゴリズム実行部(P−G
A) 14 ボックス遺伝的アルゴリズム実行部(B−GA) 11S,11P,11B 比較部 13S,13P,13B 遺伝子情報生成部 17S,17P,17B 変形部 R1 〜RN 実マルチカメラ V1S〜VNS,V1P〜VNP,V1B〜VNB 仮想マルチカメ
ラ
A) 12 ポジション遺伝的アルゴリズム実行部(P−G
A) 14 ボックス遺伝的アルゴリズム実行部(B−GA) 11S,11P,11B 比較部 13S,13P,13B 遺伝子情報生成部 17S,17P,17B 変形部 R1 〜RN 実マルチカメラ V1S〜VNS,V1P〜VNP,V1B〜VNB 仮想マルチカメ
ラ
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.6,DB名) G06T 7/00 - 7/60 G01B 11/24
Claims (3)
- 【請求項1】 3次元物体に対して所定の幾何学的位置
関係でそれぞれが設けられた複数の撮像手段で前記3次
元物体を撮像し、その複数の画像に基づいて前記3次元
物体の姿勢を検出する姿勢検出装置であって、 前記3次元物体に対応して設けられる第1の仮想3次元
モデル、 前記第1の仮想3次元モデルに対して前記幾何学的位置
関係と同一の幾何学的位置関係でそれぞれが設けられた
複数の第1の仮想撮像手段、 前記複数の第1の仮想撮像手段によって得られる複数の
仮想画像と前記複数の画像とを比較して第1の適応度を
求める第1の比較手段、 予め定められた初期遺伝子情報に基づいて、前記第1の
適応度に従う遺伝的アルゴリズムに応じて前記第1の仮
想3次元モデルの姿勢を特定可能な第1の遺伝子情報を
生成する第1の遺伝子情報生成手段、および前記第1の
遺伝子情報に応じて前記第1の仮想3次元モデルの姿勢
を変形させる第1の変形手段を含む第1の遺伝的アルゴ
リズム実行手段と、 前記3次元物体の主要部に対応して設けられる第2の仮
想3次元モデル、 前記第2の仮想3次元モデルに対して前記幾何学的位置
関係と同一の幾何学的位置関係でそれぞれが設けられた
複数の第2の仮想撮像手段、 前記複数の第2の仮想撮像手段によって得られる複数の
仮想画像と前記複数の画像とを比較して第2の適応度を
求める第2の比較手段、 前記第1の遺伝的アルゴリズム実行手段からの前記第1
の遺伝子情報に基づいて、前記第2の適応度に従う遺伝
的アルゴリズムに応じて前記第2の仮想3次元モデルの
姿勢を特定可能な第2の遺伝子情報を生成する第2の遺
伝子情報生成手段、および前記第2の遺伝子情報に応じ
て前記第2の仮想3次元モデルの姿勢を変形させる第2
の変形手段を含む第2の遺伝的アルゴリズム実行手段
と、 を備えた、姿勢検出装置。 - 【請求項2】 前記3次元物体の細部に対応して設けら
れる第3の仮想3次元モデル、 前記第3の仮想3次元モデルに対して前記幾何学的位置
関係と同一の幾何学的位置関係でそれぞれが設けられた
複数の第3の仮想撮像手段、 前記複数の第3の仮想撮像手段によって得られる複数の
仮想画像と前記複数の画像とを比較して第3の適応度を
求める第3の比較手段、 前記第2の遺伝的アルゴリズム実行手段からの前記第2
の遺伝子情報に基づいて、前記第3の適応度に従う遺伝
的アルゴリズムに応じて前記第3の仮想3次元モデルの
姿勢を特定可能な第3の遺伝子情報を生成する第3の遺
伝子情報生成手段、および前記第3の遺伝子情報に応じ
て前記第3の仮想3次元モデルの姿勢を変形させる第3
の変形手段を含む第3の遺伝的アルゴリズム実行手段を
さらに備えた、請求項1に記載の姿勢検出装置。 - 【請求項3】 前記第3の仮想3次元モデルは前記3次
元物体と同じ色彩を有し、 前記第3の比較手段はさらに前記複数の仮想画像の色彩
と前記複数の仮想画像の色彩とをも比較して第3の適応
度を求める、請求項2に記載の姿勢検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8005016A JP2892610B2 (ja) | 1996-01-16 | 1996-01-16 | 姿勢検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8005016A JP2892610B2 (ja) | 1996-01-16 | 1996-01-16 | 姿勢検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09198504A JPH09198504A (ja) | 1997-07-31 |
JP2892610B2 true JP2892610B2 (ja) | 1999-05-17 |
Family
ID=11599739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP8005016A Expired - Lifetime JP2892610B2 (ja) | 1996-01-16 | 1996-01-16 | 姿勢検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2892610B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3907869B2 (ja) * | 1999-07-02 | 2007-04-18 | 三菱電機株式会社 | アレーアンテナの素子間引き方法及びアレーアンテナの素子間引きプログラムを記録した記録媒体 |
JP4886575B2 (ja) * | 2007-04-05 | 2012-02-29 | 株式会社ソニー・コンピュータエンタテインメント | 姿勢検出装置、姿勢検出方法、プログラム及び情報記憶媒体 |
JP5256330B2 (ja) * | 2011-07-20 | 2013-08-07 | 独立行政法人日本原子力研究開発機構 | 現場作業支援システムにおけるマーカ配置方法 |
JP7362453B2 (ja) * | 2019-11-28 | 2023-10-17 | 株式会社日立製作所 | モデル作成装置及びモデル作成方法 |
-
1996
- 1996-01-16 JP JP8005016A patent/JP2892610B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH09198504A (ja) | 1997-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yamany et al. | Free-form surface registration using surface signatures | |
JP5211069B2 (ja) | ラベル付けを用いた人体姿勢の推定および追跡 | |
US7535469B2 (en) | Apparatus and method for creating three-dimensional caricature | |
JP4284664B2 (ja) | 三次元形状推定システム及び画像生成システム | |
US7460687B2 (en) | Watermarking scheme for digital video | |
JP2007310707A (ja) | 姿勢推定装置及びその方法 | |
CN109919141A (zh) | 一种基于骨架姿态的行人再识别方法 | |
WO2007102537A1 (ja) | 姿勢推定装置および方法 | |
KR20120048370A (ko) | 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법 | |
JP5898014B2 (ja) | 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム | |
JP2012123667A (ja) | 姿勢推定装置および姿勢推定方法 | |
CN113077519B (zh) | 一种基于人体骨架提取的多相机外参自动标定方法 | |
JP2005078257A (ja) | 動作識別装置、及び対象物の姿勢識別装置 | |
CN109886124A (zh) | 一种基于线束描述子图像匹配的无纹理金属零件抓取方法 | |
JP4765075B2 (ja) | ステレオ画像を利用した物体の位置および姿勢認識システムならびに物体の位置および姿勢認識方法を実行するプログラム | |
CN109740659A (zh) | 一种图像匹配方法及装置、电子设备、存储介质 | |
JP2967086B1 (ja) | 多眼画像処理による人物の三次元姿勢推定方法 | |
JP3144400B2 (ja) | ジェスチャ認識装置及び方法 | |
JP2005351814A (ja) | 検出装置および検出方法 | |
JP2892610B2 (ja) | 姿勢検出装置 | |
CN112381952B (zh) | 一种基于多相机的面部轮廓点云模型重构方法及装置 | |
JP2627483B2 (ja) | 姿勢検出装置および方法 | |
WO2020261403A1 (ja) | 身長推定装置、身長推定方法及びプログラムが格納された非一時的なコンピュータ可読媒体 | |
Azad et al. | Accurate shape-based 6-dof pose estimation of single-colored objects | |
JP2007109126A (ja) | 移動体分布推定装置、移動体分布推定方法及び移動体分布推定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990216 |