JP2892610B2

JP2892610B2 - 姿勢検出装置

Info

Publication number: JP2892610B2
Application number: JP8005016A
Authority: JP
Inventors: 淳大谷; 文郎岸野
Original assignee: Ei Tei Aaru Tsushin Shisutemu Kenkyusho Kk
Current assignee: Ei Tei Aaru Tsushin Shisutemu Kenkyusho Kk
Priority date: 1996-01-16
Filing date: 1996-01-16
Publication date: 1999-05-17
Anticipated expiration: 2016-01-16
Also published as: JPH09198504A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、姿勢検出装置に
関し、特に、３次元物体に対して所定の幾何学的位置関
係でそれぞれが設けられた複数の撮像手段で３次元物体
を撮像し、その複数の画像に基づいて３次元物体の姿勢
を検出する姿勢検出装置に関する。

【０００２】

【従来の技術】人物像は、関節の動きにより３次元形状
が大きく変化する柔軟な動きの物体の典型である。その
ため、画像処理やコンピュータビジョンの分野において
は人物像は重要なターゲットとされている。近年、人物
の動きや姿勢を自動的かつ非接触な方式で検出する技術
の確立が、種々の画像通信システムや監視システムの実
現のために重要性を増してきている。すなわち、人体を
形成する主要な骨は関節によって接続されており、その
関節の回転角度が検出されれば、応用が可能であると考
えられる。

【０００３】従来の人物の姿勢を検出する方式として
は、マーカーやセンサを人体に装着する接触型の方式が
あったが、実時間計測には適しているものの、適用領域
が限定されるという問題があった。一方、画像処理を用
いる研究としては、単眼の動画像系列を解析する手法が
あるが、各種のモデルや拘束条件が必要となり、任意の
関節角度の組合せの姿勢を検出するのは容易でない。ま
た、画像のエッジ等の低レベルの情報を利用して、パラ
メータ記述を得るものも研究されている。正確に当ては
めが行なわれれば、姿勢推定もロバストに行なえるが、
画像ノイズ等のため記述が正確でないときは致命的な誤
りを生じる危険性もある。

【０００４】上記のような問題を解決するためのものと
して、遺伝的アルゴリズムに基づいてマルチ画像から人
物の姿勢パラメータを推定する姿勢検出装置が特開平７
−３０２３４１号公報に開示されている。この姿勢検出
装置では、非接触な方式で、拘束条件も不要で、かつ画
像処理におけるノイズ要因に対して安定な遺伝的アルゴ
リズム（Genetic Algorithm ：ＧＡ）［D.E.Goldberg,
“Genetic Algorithmin search, optimization, and ma
chine learning ”, Addison-Wesley, 1989.］が用いら
れている。すなわち、集団における固体の遺伝子に姿勢
パラメータを対応させておき、遺伝子情報に従って、予
め作成されている３次元人物モデルを移動、変形し、こ
れを仮想カメラにより観察することにより生成される合
成人物像と、実カメラからの実人物像とのシルエットの
重なり度合（適応度）を評価し、ある世代遺伝的操作を
集団に対して繰返した時点での、最良適応度を持つ固体
の遺伝子情報を姿勢の推定結果としている。

【０００５】

【発明が解決しようとする課題】しかしながら、上述し
た従来の姿勢検出装置では、姿勢パラメータをある程度
真値に近づけることは可能であるが、ある一定の値に達
するとそれ以上近づかなくなるという飽和現象が見られ
る。すなわち、上記公報の図１１に示されるように、同
図１０（ａ）の最大値については、約２００世代までに
立上がり、５００世代までにはほぼ適応度が飽和してい
る。また、同図１２に示されるように、同図１０（ｂ）
の最大値についても、約２００世代までに立上がり、５
００世代までにはほぼ適応度が飽和している。その飽和
による適応度は、同図１１では８６％であり、同図１２
では８４％程度である。５００世代以降の世代をさらに
重ねれば、適応度が上がる可能性もあるが、２００世代
から５００世代の上昇率から推測すると、かなり先の世
代まで処理が繰返さなければならないと思われる。しか
しながら、適応度を上げるためにかなり先の世代まで処
理を繰返すことは効率的でない。

【０００６】この発明は上記のような問題を解決するた
めになされたもので、遺伝的アルゴリズムを用いた姿勢
検出装置における姿勢パラメータの推定精度を向上させ
ることを目的とする。

【０００７】

【課題を解決するための手段】この発明に従うと、３次
元物体に対して所定の幾何学的位置関係でそれぞれが設
けられた複数の撮像手段で３次元物体を撮像し、その複
数の画像に基づいて３次元物体の姿勢を検出する姿勢検
出装置は、第１および第２の遺伝的アルゴリズム実行手
段を備える。第１の遺伝的アルゴリズム実行手段は、３
次元物体に対応して設けられる第１の仮想３次元モデル
と、第１の仮想３次元モデルに対して上記幾何学的位置
関係と同一の幾何学的位置関係でそれぞれが設けられた
複数の第１の仮想撮像手段と、複数の第１の仮想撮像手
段によって得られる複数の仮想画像と複数の画像とを比
較して第１の適応度を求める第１の比較手段と、予め定
められた初期遺伝子情報に基づいて、第１の適応度に従
う遺伝的アルゴリズムに応じて第１の仮想３次元モデル
の姿勢を特定可能な第１の遺伝子情報を生成する第１の
遺伝子情報生成手段と、第１の遺伝子情報に応じて第１
の仮想３次元モデルの姿勢を変形させる第１の変形手段
とを含む。第２の遺伝的アルゴリズム実行手段は、３次
元物体の主要部に対応して設けられる第２の仮想３次元
モデルと、第２の仮想３次元モデルに対して上記幾何学
的位置関係と同一の幾何学的位置関係でそれぞれが設け
られた複数の第２の仮想撮像手段と、複数の第２の仮想
撮像手段によって得られる複数の仮想画像と複数の画像
とを比較して第２の適応度を求める第２の比較手段と、
第１の遺伝的アルゴリズム実行手段からの第１の遺伝子
情報に基づいて、第２の適応度に従う遺伝的アルゴリズ
ムに応じて第２の仮想３次元モデルの姿勢を特定可能な
第２の遺伝子情報を生成する第２の遺伝子情報生成手段
と、第２の遺伝子情報に応じて第２の仮想３次元モデル
の姿勢を変形させる第２の変形手段を含む。

【０００８】好ましくは、上記姿勢検出装置はさらに、
第３の遺伝的アルゴリズム実行手段を備える。第３の遺
伝的アルゴリズム実行手段は、３次元物体の細部に対応
して設けられる第３の仮想３次元モデルと、第３の仮想
３次元モデルに対して上記幾何学的位置関係と同一の幾
何学的位置関係でそれぞれが設けられた複数の第３の仮
想撮像手段と、複数の第３の仮想撮像手段によって得ら
れる複数の仮想画像と複数の画像とを比較して第３の適
応度を求める第３の比較手段と、第２の遺伝的アルゴリ
ズム実行手段からの第２の遺伝子情報に基づいて、第３
の適応度に従う遺伝的アルゴリズムに応じて第３の仮想
３次元モデルの姿勢を特定可能な第３の遺伝子情報を生
成する第３の遺伝子情報生成手段と、第３の遺伝子情報
に応じて第３の仮想３次元モデルの姿勢を変形させる第
３の変形手段を含む。

【０００９】さらに好ましくは、第３の仮想３次元モデ
ルは３次元物体と同じ色彩を有し、第３の比較手段はさ
らに複数の仮想画像の色彩と複数の仮想画像の色彩とを
も比較して第３の適応度を求める。

【００１０】

【発明の実施の形態】以下、この発明の実施の形態の一
例を図面を参照して詳しく説明する。（１）全体構成図１は、この発明の実施の形態による姿勢検出装置の全
体構成を示すブロック図である。図１を参照して、この
姿勢検出装置は、人物１に対して所定の幾何学的位置に
配置された実マルチカメラＲ₁〜Ｒ_nが人物１を撮像す
ることで得られる目標人物マルチ画像３に基づいて人物
１の姿勢を検出する。姿勢検出装置は、人物１のシルエ
ットを用いてその姿勢を推定するシルエット遺伝的アル
ゴリズム実行部（Ｓ−ＧＡ）１０と、Ｓ−ＧＡ１０の推
定結果に基づいて人物１の胴の姿勢だけを再推定するポ
ジション遺伝的アルゴリズム実行部（Ｐ−ＧＡ）１２
と、Ｓ−ＧＡ１０の推定結果に基づいて人物１の各人体
パーツの姿勢を再推定するボックス遺伝的アルゴリズム
実行部（Ｂ−ＧＡ）１４とを備える。

【００１１】Ｓ−ＧＡ１０は上述した従来の姿勢検出装
置に相当する。Ｓ−ＧＡ１０は、その推定結果のうち人
物１の胴に関するものをＰ−ＧＡ１２に与え、二の腕、
腕、手および頭に関するものをＢ−ＧＡ１４に与える。
Ｐ−ＧＡ１２は、Ｓ−ＧＡ１０から与えられた胴に関す
る推定結果を初期値として人物１の胴の姿勢をより詳細
に再推定する。Ｂ−ＧＡ１４は、Ｓ−ＧＡ１０から与え
られた二の腕、腕、手および頭に関する推定結果を初期
値として各人体パーツの姿勢をより詳細に再推定する。

【００１２】（２）推定すべき姿勢パラメータ人物の姿勢は、人物を構成する主要な骨を接続する関節
が回転動作することにより発生する。また、人物は主に
足を使って、３次元空間中を移動可能である。この実施
の形態では、人物の上半身を扱う。上半身における姿勢
パラメータの定義を図２に示す。なおこの実施の形態で
は、手首の関節は考慮に入れるが、指の関節は取扱わな
いことにする。図２に示すように、人物の移動に関する
パラメータについては、人物の胸部の基準点Ｃ１の、３
次元空間中の基準座標系における３次元座標（Ｘ，Ｙ，
Ｚ）およびこの基準座標軸の周りの回転α、β、γの合
計６つのパラメータを推定する必要がある。また、人物
の上半身には図２に示すように、合計７つの主要な関節
Ｃ２〜Ｃ８がある。これら関節Ｃ２〜Ｃ８の各々は１ま
たは３の自由度を持つため、図２に示すように回転θ１
〜θ１７の関節角度パラメータがある。

【００１３】頭部については頭の関節（中心点）Ｃ８を
原点とする３次元座標軸の周りの回転があり、それぞれ
の回転に対してθ１（上下を向く）、θ２（首を左右に
振る）、θ３（首を傾げる）の３つのパラメータがあ
る。肩の部分については、たとえば右腕に着目すると、
肩と肘を結ぶ骨の周りの回転θ４と２つの回転θ５，θ
６がある。さらに、右腕に関しては、肘について、肘の
１つの自由度に対応する回転θ７、手首部分は肘と手首
を結ぶ骨の周りの回転θ８、および２つの回転θ９，θ
１０がある。このように右腕に対しては、θ４〜θ１０
のパラメータがあり、これと同様に左腕に関してもθ１
１〜θ１７のパラメータがある。したがって、このよう
な２３個の姿勢パラメータＸ，Ｙ，Ｚ，α，β，γ，θ
１〜θ１７が図１に示した姿勢検出装置によって推定さ
れる。

【００１４】（３）Ｓ−ＧＡ上述したように、この姿勢検出装置は人物の上半身の２
３個の姿勢パラメータを推定する必要がある。一般に
は、何も拘束条件を導入しなければ、組合せの爆発を招
き、正しいパラメータを推定することは極めて困難であ
る。このような組合せ最適化問題を解くための有力な手
法として、上述した遺伝的アルゴリズムがある。図１中
のＳ−ＧＡ１０はこのような遺伝的アルゴリズムに従っ
て人物１の上半身の姿勢パラメータを推定する。

【００１５】図３は、図１中のＳ−ＧＡ１０の具体的な
構成を示すブロック図である。図３を参照して、このＳ
−ＧＡ１０は、人物１に対応する人物モデル（仮想３次
元モデル）７Ｓと、人物モデル７Ｓを撮像する仮想マル
チカメラＶ_1S〜Ｖ_NSと、仮想マルチカメラＶ_1S〜Ｖ_NSで
人物モデル７Ｓを撮像することにより得られる合成人物
マルチ画像９Ｓと目標人物マルチ画像３とを比較する比
較部１１Ｓと、比較部１１Ｓで得られる適応度に応じて
遺伝子情報を有した染色体１５Ｓを生成する遺伝子情報
生成部１３Ｓと、染色体１５Ｓに応じて人物モデル７Ｓ
の姿勢を変形する変形部１７Ｓとを含む。ここで、人物
がＮ（≧２）台の実マルチカメラＲ₁〜Ｒ_Nによって撮
像されるのは、人物が本来３次元構造を持つものであ
り、その動作も三次元的なものだからである。また、極
力オクルージョンの確率を低くするためでもある。さら
に後述するように、ステレオマッチング等を用いた３次
元構造の復元などのような処理は不要であるのが本発明
の特徴の１つである。

【００１６】また、人物モデル７Ｓは、姿勢パラメータ
を求めようとしている人物１に対応して予め作成されて
いる。この人物モデル７Ｓの各関節は、実際の人物と同
様の回転動作が可能である。遺伝子情報生成部１３Ｓ
は、比較部１１Ｓによって得られる適応度に応じて自然
淘汰の遺伝子操作を行なう自然淘汰遺伝子操作部１９Ｓ
と、突然変異などの遺伝子操作が行なわれる遺伝子プー
ル２１Ｓとを含む。この遺伝子プール２１Ｓによって生
成される染色体１５Ｓは、遺伝子Ｘ₁〜Ｘ_nを有し、こ
れら遺伝子Ｘ₁〜Ｘ_nが姿勢パラメータに相当する。

【００１７】次に、このＳ−ＧＡ１０の動作を説明す
る。実マルチカメラＲ₁〜Ｒ_nは人物１の３次元情報を
得るために、人物１を撮像する。そして、得られた目標
人物マルチ画像３が比較部１１Ｓに与えられる。一方、
関節角度等の姿勢パラメータが検出されるために、人物
１に対して仮想的に設けられる人物モデル７Ｓが予め作
成されている。染色体１５Ｓの遺伝子Ｘ ₁〜Ｘ_nは人物
１の各関節角度を表わしている。最初は、予め定められ
た姿勢パラメータが初期遺伝子情報として染色体１５Ｓ
に与えられる。変形部１７Ｓは、そのような染色体１５
Ｓの遺伝子Ｘ₁〜Ｘ_nに応じて人物モデル７Ｓの各関節
を回転させて、変形を行なう。そして、仮想マルチカメ
ラＶ_1S〜Ｖ_NSが変形された人物モデル７Ｓを撮像し、そ
の合成人物マルチ画像９Ｓが比較部１１Ｓに与えられ
る。ここで、仮想マルチカメラは、上述した実マルチカ
メラＲ₁〜Ｒ_Nと同様にＮ台のカメラＶ_1S〜Ｖ_NSから構
成されており、互いの位置関係、画角等のカメラパラメ
ータは一致させられている。すなわち、仮想マルチカメ
ラＶ_1S〜Ｖ_NSの人物モデル７Ｓに対する幾何学的配置関
係は、人物１に対して設けられる実マルチカメラＲ₁〜
Ｒ_Nの幾何学的配置位置と同じである。このような配置
により、人物の３次元構造および３次元的動作が抽出さ
れる。また、このような配置により、オクルージョンの
確率が極力低くなる。

【００１８】比較部１１Ｓは、実マルチカメラＲ₁〜Ｒ
_Nからの目標人物マルチ画像３と仮想マルチカメラＶ_1S
〜Ｖ_NSからの合成人物マルチ画像９Ｓとを比較し、目標
人物マルチ画像３を環境と考えて、その環境への適応度
を計算して求める。この適応度は、実人物像と仮想人物
像との間で生じる重なり部分の面積率が評価されるとい
うものである。図４は、適応度を説明するための図であ
る。目標人物マルチ画像３および合成人物マルチ画像９
Ｓのそれぞれは、予め取得しておいた人物１および人物
モデル７Ｓのいない背景画像との差分が計算されて、人
物１および人物モデル７Ｓに対応する可能性のある領域
と背景候補領域に２値化される。その後、互いに対応す
る実マルチカメラＲ_iと仮想マルチカメラＶ_iS（ｉ＝
１，…，Ｎ）ごとに、次の式（１）に従って適応度ＳＦ
が計算される。

【００１９】ＳＦ_i＝Ａ／（Ａ＋Ｂ＋Ｃ） …（１）ここで、Ａは実マルチカメラＲ_iからの人物候補領域２
３と仮想マルチカメラＶ_iSからの合成人物領域２５とが
重なり合っている部分の面積を表わし、Ｂは仮想マルチ
カメラＶ_iSからの合成人物領域２５だけが存在する部分
の面積を表わし、Ｃは実マルチカメラＲ_iからの人物候
補領域２３だけが存在する部分の面積を表わす。したが
って、ＳＦ_iは０と１の間の値を取り、実人物像と仮想
人物像とが完全に重なれば１になる。マルチカメラ全体
の適応度ＳＦは式（１）で示された適応度ＳＦ_iの平
均、すなわち次の式（２）により求められる。

【００２０】

【数１】

【００２１】式（１）および（２）による適応度の計算
は、個体集団におけるＰ個の個体全てについて行なわれ
る。このＰ個の個体のそれぞれは、上述したような人物
の上半身の関節および人物の位置に関する２３個のパラ
メータを表わす遺伝子を有している。したがって、遺伝
子情報生成部１３Ｓは、一般には何も拘束条件が導入さ
れなければ組合せの爆発が生じるようなパラメータの検
出を遺伝的アルゴリズムに基づいて行なっている。この
遺伝的アルゴリズムは、組合せ最適化問題を解く有力な
手段である。まず、自然淘汰遺伝子創作１９Ｓは、比較
部１１Ｓによって求められた適応度の値に比例する形で
選択確率を決定し、ランダムな抽出により子孫を残すた
めの親を２個体ずつ選択して自然淘汰の遺伝子操作を行
なう。このときには、適応度の高い親が選ばれる確率は
高い。

【００２２】そして、遺伝子プール２１Ｓで親から２個
体の子供が生まれる。このように親が交配するとき、交
差と突然変異がそれぞれ確率ｐ_cとｐ_mで起こるような
遺伝子操作が行なわれる。なお、ここでは、各遺伝子Ｘ
₁〜Ｘ_nはビット列で表現される。このようにして、遺
伝子プール２１Ｓに次の世代のＰ個の個体（染色体）１
５が発生する。変形部１７Ｓによる人物モデル７Ｓの姿
勢変形と、比較部１１Ｓによる適応度計算と、遺伝子情
報生成部１３Ｓの個体生成というサイクルが繰返され
る。そして、ある世代を経た後得られる個体集団の中
で、最大の適応度ＳＦを与える個体の遺伝子情報が人物
１の姿勢パラメータの推定値とされる。

【００２３】このように、画像処理として、背景と人物
画像の差分が求められて２値化が行なわれ、適応度ＳＦ
の計算も面積情報に基づいて行なわれるので、画像ノイ
ズへの耐性が高い。（４）Ｐ−ＧＡＳ−ＧＡ１０の推定結果の精度を高めるためには、その
推定結果に基づいて各人体パーツごとに合成人物マルチ
画像を目標人物マルチ画像に合わせなおすことが有効で
ある。このＰ−ＧＡ１２では、人体パーツの中で最大の
ものである胴についての姿勢パラメータを再推定する。

【００２４】図５は、図１中のＰ−ＧＡ１２の具体的な
構成を示すブロック図である。このＰ−ＧＡ１２は、Ｓ
−ＧＡ１０により得られた移動に関する６つの姿勢パラ
メータ（Ｘ，Ｙ，Ｚ，α，β，γ）の推定精度を高め
る。これらのパラメータは図２に示されるように、人物
１の胴についてのものである。胴は他の人体パーツに比
べて、大きなものであり、シルエットの重ね合わせが有
効と考えられる。そこで、このＰ−ＧＡ１２では、Ｐ−
ＧＡ１０の人物モデル７Ｃに代えて胴の人物モデル７Ｐ
が用いられる。このような胴の人物モデル７Ｐを除き、
このＰ−ＧＡ１２は上記Ｓ−ＧＡ１０と同様に、仮想マ
ルチカメラＶ_iP〜Ｖ_NPと、合成人物マルチ画像９Ｐと目
標人物マルチ画像３とを比較する比較部１１Ｐと、染色
体１５Ｐを生成する遺伝子情報生成部１３Ｐと、変形部
１７Ｐとを含む。遺伝子情報生成部１３Ｐは、自然淘汰
遺伝子操作部１９Ｐと、遺伝子プール２１Ｐとを含む。

【００２５】Ｓ−ＧＡ１０の最終世代の計算終了時にお
いて、Ｐ個体のうち、式（２）の適応度ＳＦの値の上位
Ｊ（＜Ｐ）個のものを抽出し、Ｐ−ＧＡ１２の初期値と
して与える（Ｐ／Ｊ個体ずつ、同じ初期値を持つ個体が
発生する）。Ｐ−ＧＡ１２における各個体の遺伝子は、
前述した６つの姿勢パラメータである。このＰ−ＧＡ１
２における遺伝的アルゴリズムは上記Ｓ−ＧＡ１０にお
ける遺伝的アルゴリズムとほぼ同じであるが、適応度Ｐ
Ｆは以下のものを用いる。

【００２６】

【数２】

【００２７】ここで、式（３）におけるＡおよびＢの定
義は式（１）のものと同じである。式（３）にはＣが含
まれていないが、これは、実人物像における胴の位置は
Ｐ−ＧＡ１２の段階では特定されていないのと、胴が最
大の人体パーツであるため、胴の人物モデル７Ｐが実人
物像に合わない場合はＢに反映されるためである。この
ようにＰ−ＧＡ１２では、人物１の主要部である胴の姿
勢パラメータが詳細に再推定されるため、人物像１の姿
勢推定精度は向上する。（５）Ｂ−ＧＡ図６は、図１中のＢ−ＧＡ１４の具体的な構成を示すブ
ロック図である。このＰ−ＧＡ１２により胴の６つの姿
勢パラメータを再推定した後、このＢ−ＧＡ１４により
人体パーツの姿勢パラメータを再推定し、姿勢の推定精
度を向上させる。このＢ−ＧＡ１４では、直方体のボッ
クス２９が設定された人物モデル７Ｂが用いられる。こ
のような人物モデル７Ｂを除き、このＢ−ＧＡ１４は上
記Ｓ−ＧＡ１０と同様に、仮想マルチカメラＶ_1B〜Ｖ_NB
と、合成人物マルチ画像９Ｂと目標人物マルチ画像３と
を比較する比較部１１Ｂと、染色体１５Ｂを生成する遺
伝子情報生成部１３Ｂと、変形部１７Ｂとを含む。ま
た、遺伝子情報生成部１３Ｂは、自然淘汰遺伝子操作部
１９Ｂと、遺伝子プール２１Ｂとを含む。

【００２８】このＢ−ＧＡ１４では、胴に近いものから
順番に、人体パーツの局所的情報を利用して、人物モデ
ル７Ｂの各人体パーツを人物１に合わせていく。ここ
で、局所的な情報として色彩情報が用いられる。これ
は、Ｓ−ＧＡ１０やＰ−ＧＡ１２に用いたシルエットの
重なり情報だけでは、画像中において人体パーツ同士の
オクルージョンが存在する（たとえば、胴の前に腕があ
る）場合に、対応が困難なためである。人体パーツの局
所的な情報を利用するため、図７（Ａ）に示すように、
人物モデル７Ｂにおける各人体パーツに直方体のボック
ス２９を設定する。このボックス２９は図７（Ｂ）に示
すように、目標人物マルチ画像３において多角形のウイ
ンドウ３１として観測される。このウインドウ３１の内
部を対象に遺伝的アルゴリズムに従って各人体パーツの
姿勢パラメータが再推定される。

【００２９】上述したように、胴に近い人体パーツか
ら、Ｓ−ＧＡ１０によって推定された姿勢パラメータの
値がＢ−ＧＡ１４によって更新される。すなわち、二の
腕→腕→手→頭という順番でそれぞれの姿勢パラメータ
が更新される。ここで、頭以外の人体パーツは、それぞ
れ左右の人体パーツについて遺伝的アルゴリズムに従う
推定が行なわれる。Ｂ−ＧＡ１４における人体パーツｋ
の処理内容は以下のとおりである。各個体（染色体１５
Ｂ）は２３個のパラメータに対応する遺伝子を持つ。胴
に関する６つのパラメータは、Ｐ−ＧＡ１２により得ら
れたものを全個体に与え、Ｂ−ＧＡ１４では処理せず、
固定値とする。Ｂ−ＧＡ１４において処理の対象となる
遺伝子は人体パーツｋについてのもので、図２に示すよ
うに、頭はθ１〜θ３、二の腕はθ４〜θ６、腕はθ
７、手はθ８〜θ１０である（反対側も同様）。各個体
の初期値は、Ｓ−ＧＡの結果の上位Ｊ（＜Ｐ）個の個体
人体パーツがｋについての推定値を与える。また、人体
パーツｋより胴に近い人体パーツｋ′が存在するならば
（たとえば、腕ならば二の腕）、人体パーツｋ′につい
てのＢ−ＧＡ１４の結果の最良値を固定値として用い
る。

【００３０】人体パーツｋの合成人物マルチ画像ｉ（ｉ
＝１，…，Ｎ）におけるウインドウ３１についての適応
度ｂｆ_iとしては、次の式（５）のものを用いる。ｂｆ_i＝ｃｆ_i×ＳＦ_i …（５）ここで、ＳＦ_iは式（１）で与えられるシルエットの重
なり度合であり、ｃｆ _iは合成人物マルチ画像９Ｂの色
彩情報と目標人物マルチ画像３の色彩情報との重なり度
合で、次の式（６）のように表わされる。ｃｆ_i＝Ｄ／（Ｄ＋Ｅ） …（６）ここで、Ｄはウインドウ３１内で色が同じ部分の面積を
表わし、Ｅは色が異なる部分の面積を表わす。ウインド
ウ３１内の画素の色の同一性の判定は、次の式（７）を
満たすか否かで行なう。

【００３１】｜Ｒｍ−Ｒｒ｜＋｜Ｇｍ−Ｇｒ｜＋｜Ｂｍ−Ｂｒ｜＜Ｔｈ …（７）ここで、Ｒ，Ｇ，Ｂは画素の持つ三原色を示し、その添
字ｍは合成人物マルチ画像、ｒは目標人物マルチ画像を
示す。また、式（７）においてＴｈはしきい値を示す。
なお、式（５）において、ＳＦ_iの項をｃｆ_iに掛けて
いるのは、ある人体パーツが他の人体パーツに食い込む
という現実にはあり得ない場合を防ぐためで、食い込み
が発生するとＳＦ_iの値が小さくなり、結果としてｂｆ
_iの値を小さくすることを目的としている。

【００３２】このようにして得られる合成人物マルチ画
像ｉのｂｆ_iから、人体パーツｋの適応度ＢＦは、次の
式（８）により求められる。

【００３３】

【数３】

【００３４】この式（８）において、ｂｆ_iの最小値を
取るという、いわば厳しい条件を課しているのは、人体
パーツｋがより厳密に目標人物マルチ画像３にマッチン
グするようにするためである。以上のようにこの発明の
実施の形態によれば、Ｓ−ＧＡ１０によって推定された
胴の姿勢パラメータを初期値としてＰ−ＧＡ１２がその
胴の姿勢パラメータを再推定するため、人物モデルの適
応度はさらに向上する。また、Ｓ−ＧＡ１０により得ら
れた胴以外の姿勢パラメータを初期値としてＢ−ＧＡ１
４がそれらの姿勢パラメータを各人体パーツごとに再推
定するため、人物モデルの適応度はさらに向上する。し
かも、このＢ−ＧＡ１４では色彩情報が利用されている
ため、「腕を胴の前で組んでいる」というような姿勢も
検出することができる。

【００３５】

【実施例】以下、上記実施の形態に従う実験結果につい
て説明する。（１）実験条件ここでは、人物モデルを用いて生成した合成人物マルチ
画像を目標人物マルチ画像として用いる。カメラを３台
用いる構成とし、各画像は平行投影とする。各カメラ
は、図２に示した人物の胸部の中心点Ｃ１を原点とする
３次元座標系の各座標軸上に設置する。ここで、各座標
軸は、人物の正面、側面、頭上からの各画像の中心を通
るようにする。各画像のサイズは、２５６×２５６画素
で、画像の長さは１７３ｃｍに対応する。

【００３６】人物の３次元モデリングは、サイバーウェ
ア・カラー・３Ｄデジタイザにより獲得される３次元形
状データと色彩情報を用いて行なわれる。このモデリン
グは、各人体パーツごとに行なわれる。すなわち、上記
デジタイザによる各人体パーツの表面形状の計測結果に
基づき、三角パッチの集合体で近似することにより、ワ
イヤフレームモデルを作成する。また、上記デジタイザ
を用いればカラーテクスチャを同時に獲得することがで
きるので、これをワイヤフレームモデルにマッピングす
る。人体パーツは互いに接続され、三角パッチ頂点を適
宜移動させることにより、ワイヤフレームの変形や各関
節の回転動作が行なえる。カラーテクスチャ情報は、対
応する場所の三角パッチにマッピングされ、三角パッチ
の変形に応じて、色彩の補間や間引きが行なわれる。

【００３７】目標３方向画像を合成するために使用する
人物モデルとしては、簡易モデルと精密モデルの２種類
を使用する。精密モデルは６０７９個のポリゴンで構成
されているので、図８に示すように、極めて滑らかな形
状を保っている。また、カラーテクスチャも、実際の人
物のものをそのまま使用している。これに対して簡易モ
デルは、精密モデルの形状に基づき、ポリゴン数を３６
４まで減らし、テクスチャも精密モデルにおける対応す
る領域のカラー情報を平均し、各ポリゴンの色としてい
る（図７参照）。

【００３８】この実験には、精密モデルと簡易モデルを
用いて、図８の（Ａ），（Ｂ），（Ｃ）に示される３種
類の姿勢を取る人物を３方向から観測することにより得
られるマルチ画像を目標画像として使用する。一般に、
合成人物マルチ画像は目標人物マルチ画像よりもノイズ
要因が小さいが、上述したＳ−ＧＡ１０、Ｐ−ＧＡ１２
およびＢ−ＧＡ１４における画像処理は、ノイズの影響
が小さい。また、モデルの姿勢パラメータの値を自由に
与えられるので、推定精度の評価が容易であるという利
点がある。図８に示される３種類の姿勢（Ａ），
（Ｂ），（Ｃ）のパラメータ値（真値）を表１に示す。
なお、この３種類の姿勢のパラメータ値は、精密、簡易
モデルの目標画像に共通である。精密モデルの姿勢
（Ａ），（Ｂ），（Ｃ）を前方から観測したのが図５で
ある。

【００３９】

【表１】

【００４０】各ＧＡ１０，１２，１４における個体は、
８ビット整数型データの遺伝子から構成されるビット列
である。交差は２個体のビット列の交換により行ない。
突然変異はビット反転により行なう。なお、目標画像に
は精密および簡易モデルの双方を用いているが、各ＧＡ
１０，１２，１４の処理に必要な人物モデルとしては、
精密モデルは処理の著しい増大を招くので、この実験で
は簡易モデルのみを用いる。（２）簡易モデルの目標画像を対象とした検討まず、上述した簡易モデルから生成された目標画像を対
象に検討を行なった。

【００４１】各ＧＡ１０，１２，１４において用いた個
体数は１０００である。Ｓ−ＧＡ１０では、世代数は１
０００、交差確率ｐ_c＝０．１、突然変異確率ｐ_m＝１
０^-4である。Ｐ−ＧＡ１２では、世代数は１０００、Ｓ
−ＧＡ１０の上位１００個体の推定値を初期値とし、ｐ
_c＝０．１、ｐ_m＝０．０１を用いた。ここで、突然変
異をＳ−ＧＡ１０より高い確率で発生させているのは、
Ｓ−ＧＡ１０により、既に真値の近傍にかなりの個数の
個体が集められていると考えられるので、微調整の効果
を出すためである。Ｂ−ＧＡ１４では、７つの人体パー
ツそれぞれにつき１００世代の処理を行なった。各人体
パーツの初期値は、Ｓ−ＧＡ１０の結果の上記１００個
のものを用いた。また、Ｐ−ＧＡ１２と同様、微調整の
効果を持たせるため、ｐ_c＝ｐ_m＝０．１とした。

【００４２】次の表２に、各ＧＡ１０，１２，１４にお
ける処理により得られた適応度の値を示す。

【００４３】

【表２】

【００４４】胴を対象にしたＰ−ＧＡ１２の結果、ＰＦ
の値は３つの目標画像がいずれも改善され、ほぼ１００
％となっている。Ｂ−ＧＡ１４に用いている適応度は、
人体パーツごとの局所的なものであるので、表２には、
最終的に推定結果として得られた姿勢をシルエットの重
なり度合ＳＦにより評価している。最初のＳ−ＧＡのＳ
Ｆ値と比較して、いずれも値が上昇している。ちなみ
に、Ｂ−ＧＡ１４では色彩情報を用いているが、ウイン
ドウ３１内においてＳ−ＧＡ１０やＰ−ＧＡ１２と同
様、シルエットの重なり度合を用いた場合、ＳＦの値
は、（Ａ）７８．２％、（Ｂ）７５．７％、（Ｃ）７
４．３％と、色彩情報を用いる場合に比較して２０％程
度低くなり、Ｂ−ＧＡ１４の有効性を示している。ま
た、Ｂ−ＧＡ１４による姿勢推定結果をパラメータごと
に、Ｓ−ＧＡ１０の結果と併わせて、表１に示す。同表
より、ほぼすべてのパラメータについてＢ−ＧＡ１４が
Ｓ−ＧＡ１０よりもよい結果を与えることが明らかとな
った。

【００４５】（３）精密モデルの目標画像を対象とし
た検討目標画像および人物モデルの双方が簡易モデルである場
合には、上記実施の形態におけるＰ−ＧＡ１２とＢ−Ｇ
Ａ１４の有効性が明らかとなった。これに対し、人物モ
デルとして簡易モデルを用い、精密モデルから生成した
目標画像に適応する場合を検討した。なお、精密モデル
と簡易モデルは、各画像において精密には形状が一致し
ないので、正確に真値が推定できた場合でも、シルエッ
トの重なり度合ＳＦは９０％程度である。

【００４６】図８における姿勢（Ｂ）について、上述し
た簡易モデルの目標画像の場合と同様に、Ｓ−ＧＡ１０
→Ｐ−ＧＡ１２→Ｂ−ＧＡ１４においてそれぞれ処理を
行なった。その結果、Ｓ−ＧＡ１０におけるＳＦ＝８
４．２％がＢ−ＧＡ１４におけるＳＦ＝８０．６％とな
り、却って推定精度はＳ−ＧＡ１０よりも悪くなった。
この原因としては、上述したように、厳密には簡易モデ
ルと精密モデルの形状が一致しないことが挙げられる。
さらに色彩情報についても、精密モデルでは微妙な色合
いが存在するのに対して、簡易モデルでは１つの三角パ
ッチは均一の色を持つだけである。このように、形状と
色彩の不一致要因により、シルエットでの重なり度合が
不十分な場合が発生していると考えられる。

【００４７】そこで、シルエットの重なり度合をより反
映すべく、Ｓ−ＧＡ１０とＰ−ＧＡ１２の後に、再度二
度目のシルエットＧＡ（Ｓ−ＧＡ２）を行なう。さら
に、Ｂ−ＧＡ１４についても、以下のように、シルエッ
トの重なり度合を評価するＰ−ＧＡ２に置き換える。Ｓ
−ＧＡ２では、Ｐ−ＧＡ１２の結果得られる胴に関する
６つのパラメータの最良推定値を固定値として各個体に
持ち、残りの１７個のパラメータを推定する。なお、各
個体の１７個のパラメータの初期値は、最初のＳ−ＧＡ
１０の上位１００個の結果を用いる。

【００４８】局所的色彩情報にシルエット情報を反映す
るため、Ｂ−ＧＡ２では、交配の結果発生した子供とそ
の親のＢＦ（式（８））を比較し、子供が親より悪けれ
ばその子供の個体を殺し、もし子供が親よりも高いＢＦ
の値を持っている場合には、その親子のシルエットの重
なり度合ＳＦを比較し、子供のほうがよい場合にのみ、
その子供を次世代の個体として残す。以上のＧＡの処理
による結果を表３に示す。目標画像（Ａ）では、Ｓ−Ｇ
Ａ１０よりもＰ−ＧＡ２のほうが結果が悪いが、他の２
つの画像では、改善が見られる。

【００４９】

【表３】

【００５０】以上のように、遺伝的アルゴリズムに基づ
き、人物のマルチ画像から人物の姿勢パラメータの推定
を行なう姿勢検出装置の改良を提案した。この姿勢検出
装置では、従来の姿勢検出装置におけるシルエットの重
なり度合を利用した手法（Ｓ−ＧＡ）の推定結果に基づ
き、人物の局所的な情報を利用した遺伝的アルゴリズム
を実行する。まず、Ｓ−ＧＡの結果を胴の姿勢パラメー
タの初期値として与え、シルエットベースの遺伝的アル
ゴリズム（Ｐ−ＧＡ）を実行し、胴の６つのパラメータ
を再推定する。次に、Ｓ−ＧＡおよびＰ−ＧＡの結果に
基づき、二の腕、腕、手、頭の各人体パーツごとに色彩
情報を利用した遺伝的アルゴリズム（Ｂ−ＧＡ）を実行
する。

【００５１】実際の人物から得られた２種類（精密、簡
易）の３次元人物上半身モデルを対象に本発明の有効性
の検討を行なった。目標人物マルチ画像としては、これ
らのモデルから生成された合成３方向画像を使用した。
ここでは、３種類の姿勢を検討した。各ＧＡ処理におけ
る３次元人物モデルとしては、簡易モデルを使用した。
簡易モデルから合成した目標３方向画像の場合には、Ｓ
−ＧＡの結果に比較して、Ｂ−ＧＡのほうが良好な推定
精度が得られることが確認できた。一方、精密モデルか
らの目標画像の場合には、Ｐ−ＧＡのほうが結果が悪い
という結果が得られた。この原因は、簡易、精密モデル
の形状と色彩の不一致が考えられる。このような不一致
要因に対応するため、Ｓ−ＧＡとＰ−ＧＡの後に、これ
らの結果を利用して再度シルエットベースのＧＡを上半
身に対して行なった（Ｓ−ＧＡ２）。さらに、Ｂ−ＧＡ
においても、各人体パーツだけでなく上半身全体のシル
エットの重なり度合も評価するＧＡ（Ｂ−ＧＡ２）を導
入し、最初のＳ−ＧＡからのある程度の改善を確認し
た。

【００５２】

【発明の効果】以上のようにこの発明によれば、遺伝的
アルゴリズムを用いた３次元物体の姿勢の推定結果に基
づいて、再び遺伝的アルゴリズムを用いてその３次元物
体の主要部のみの姿勢を推定するため、姿勢の推定精度
が向上する。さらに、遺伝的アルゴリズムを用いた３次
元物体の姿勢推定結果に基づいて、再び遺伝的アルゴリ
ズムを用いてその３次元物体の細部の姿勢を推定するた
め、姿勢の推定精度はさらに向上する。しかも、３次元
物体の細部の姿勢を再推定するときに色彩情報を加味す
るため、３次元物体の姿勢を正確に検出することができ
る。

【図面の簡単な説明】

【図１】この発明の実施の形態による姿勢検出装置の全
体構成を示すブロック図である。

【図２】人体の上半身における関節角の回転パラメータ
の定義を説明するための図である。

【図３】図１中のＳ−ＧＡの具体的な構成を示すブロッ
ク図である。

【図４】図３中の比較部が求める適応度を説明するため
の図である。

【図５】図１中のＰ−ＧＡの具体的な構成を示すブロッ
ク図である。

【図６】図１中のＢ−ＧＡの具体的な構成を示すブロッ
ク図である。

【図７】（Ａ）は人物モデルに設定された人体パーツの
ボックスを説明するための図であり、（Ｂ）は人物に設
定されたウインドウを説明するための図である。

【図８】（Ａ）〜（Ｃ）は３種類の姿勢を表わす前方か
らの目標画像を示す図である。

【符号の説明】

１人物７Ｓ，７Ｐ，７Ｂ人物モデル１０シルエット遺伝的アルゴリズム実行部（Ｓ−Ｇ
Ａ）１２ポジション遺伝的アルゴリズム実行部（Ｐ−Ｇ
Ａ）１４ボックス遺伝的アルゴリズム実行部（Ｂ−ＧＡ）１１Ｓ，１１Ｐ，１１Ｂ比較部１３Ｓ，１３Ｐ，１３Ｂ遺伝子情報生成部１７Ｓ，１７Ｐ，１７Ｂ変形部Ｒ₁〜Ｒ_N 実マルチカメラＶ_1S〜Ｖ_NS，Ｖ_1P〜Ｖ_NP，Ｖ_1B〜Ｖ_NB 仮想マルチカメ
ラ

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06T 7/00 - 7/60 G01B 11/24

Claims

(57)【特許請求の範囲】

【請求項１】３次元物体に対して所定の幾何学的位置
関係でそれぞれが設けられた複数の撮像手段で前記３次
元物体を撮像し、その複数の画像に基づいて前記３次元
物体の姿勢を検出する姿勢検出装置であって、前記３次元物体に対応して設けられる第１の仮想３次元
モデル、前記第１の仮想３次元モデルに対して前記幾何学的位置
関係と同一の幾何学的位置関係でそれぞれが設けられた
複数の第１の仮想撮像手段、前記複数の第１の仮想撮像手段によって得られる複数の
仮想画像と前記複数の画像とを比較して第１の適応度を
求める第１の比較手段、予め定められた初期遺伝子情報に基づいて、前記第１の
適応度に従う遺伝的アルゴリズムに応じて前記第１の仮
想３次元モデルの姿勢を特定可能な第１の遺伝子情報を
生成する第１の遺伝子情報生成手段、および前記第１の
遺伝子情報に応じて前記第１の仮想３次元モデルの姿勢
を変形させる第１の変形手段を含む第１の遺伝的アルゴ
リズム実行手段と、前記３次元物体の主要部に対応して設けられる第２の仮
想３次元モデル、前記第２の仮想３次元モデルに対して前記幾何学的位置
関係と同一の幾何学的位置関係でそれぞれが設けられた
複数の第２の仮想撮像手段、前記複数の第２の仮想撮像手段によって得られる複数の
仮想画像と前記複数の画像とを比較して第２の適応度を
求める第２の比較手段、前記第１の遺伝的アルゴリズム実行手段からの前記第１
の遺伝子情報に基づいて、前記第２の適応度に従う遺伝
的アルゴリズムに応じて前記第２の仮想３次元モデルの
姿勢を特定可能な第２の遺伝子情報を生成する第２の遺
伝子情報生成手段、および前記第２の遺伝子情報に応じ
て前記第２の仮想３次元モデルの姿勢を変形させる第２
の変形手段を含む第２の遺伝的アルゴリズム実行手段
と、を備えた、姿勢検出装置。
【請求項２】前記３次元物体の細部に対応して設けら
れる第３の仮想３次元モデル、前記第３の仮想３次元モデルに対して前記幾何学的位置
関係と同一の幾何学的位置関係でそれぞれが設けられた
複数の第３の仮想撮像手段、前記複数の第３の仮想撮像手段によって得られる複数の
仮想画像と前記複数の画像とを比較して第３の適応度を
求める第３の比較手段、前記第２の遺伝的アルゴリズム実行手段からの前記第２
の遺伝子情報に基づいて、前記第３の適応度に従う遺伝
的アルゴリズムに応じて前記第３の仮想３次元モデルの
姿勢を特定可能な第３の遺伝子情報を生成する第３の遺
伝子情報生成手段、および前記第３の遺伝子情報に応じ
て前記第３の仮想３次元モデルの姿勢を変形させる第３
の変形手段を含む第３の遺伝的アルゴリズム実行手段を
さらに備えた、請求項１に記載の姿勢検出装置。
【請求項３】前記第３の仮想３次元モデルは前記３次
元物体と同じ色彩を有し、前記第３の比較手段はさらに前記複数の仮想画像の色彩
と前記複数の仮想画像の色彩とをも比較して第３の適応
度を求める、請求項２に記載の姿勢検出装置。