JP2627483B2 - Attitude detection apparatus and method - Google Patents
Attitude detection apparatus and methodInfo
- Publication number
- JP2627483B2 JP2627483B2 JP6094607A JP9460794A JP2627483B2 JP 2627483 B2 JP2627483 B2 JP 2627483B2 JP 6094607 A JP6094607 A JP 6094607A JP 9460794 A JP9460794 A JP 9460794A JP 2627483 B2 JP2627483 B2 JP 2627483B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- posture
- dimensional object
- fitness
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】[0001]
【産業上の利用分野】この発明は、姿勢検出装置および
方法に関し、特に、３次元物体に対して所定の幾何学的
位置関係でそれぞれが設けられた複数の撮像手段で３次
元物体を撮像し、その複数の画像に基づいて３次元物体
の姿勢を検出する姿勢検出装置および方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a posture detecting apparatus and method, and more particularly, to a method of picking up a three-dimensional object by a plurality of image pickup means provided in a predetermined geometrical positional relationship with respect to the three-dimensional object. And a method and apparatus for detecting a posture of a three-dimensional object based on the plurality of images.
【０００２】[0002]
【従来の技術および発明が解決しようとする課題】人物
像は、関節の動きにより３次元形状が大きく変化する柔
軟な動きの物体の典型である。そのため、画像処理やコ
ンピュータビジョンの分野においては人物像は重要なタ
ーゲットとされている。近年、特に、人物の動きや姿勢
が自動的かつ非接触な方法で検出される技術の確立が、
種々の画像通信システムや監視システムの実現のために
重要性を増してきている。すなわち、人体を形成する主
要な骨は、関節によって接続されており、その関節の回
転角度が検出されれば、応用が可能であると考えられ
る。2. Description of the Related Art A human figure is a typical example of a flexible moving object whose three-dimensional shape is greatly changed by the movement of a joint. Therefore, in the field of image processing and computer vision, a human figure is an important target. In recent years, in particular, the establishment of technology for detecting the movement and posture of a person automatically and in a non-contact manner,
It is becoming increasingly important for the realization of various image communication systems and monitoring systems. That is, the main bones forming the human body are connected by a joint, and if the rotation angle of the joint is detected, the application is considered to be possible.
【０００３】従来の人物の姿勢または関節角度が検出さ
れる方法としては、自光型や色のついたマーカが人体に
貼付けられ、これをテレビカメラ画像中で追跡したり、
磁界式トラッカが人体に装着されて計測されるといった
接触型の方法があった。この方法は、計測には適してい
るものの、マーカが貼付けられること自体現実的でない
場合も多く、適用領域は限定されている。Conventional methods for detecting the posture or joint angle of a person include a self-lighted or colored marker attached to the human body, which can be tracked in a television camera image,
There has been a contact-type method in which a magnetic tracker is mounted on a human body and measured. Although this method is suitable for measurement, it is often impractical to attach a marker in many cases, and its application area is limited.
【０００４】一方、画像処理が用いられる方法として
は、単眼の動画像系列が解析される方法がある。ところ
が、各種のモデルや拘束条件がこの方法では必要とな
り、任意の関節角度の組合わせによる姿勢検出は容易で
はない。On the other hand, as a method using image processing, there is a method in which a monocular moving image sequence is analyzed. However, this method requires various models and constraint conditions, and it is not easy to detect a posture by combining arbitrary joint angles.
【０００５】また、画像のエッジ等の低レベルの情報に
対してパーツやリボンが当てはめられ、パラメータ記述
が行なわれるものもある。ところが、正確な当てはめが
行なわれれば、この方法による関節角度の検出もロバス
トに行なわれるが、画像ノイズ等のため記述が正確に行
なわれない場合には、致命的な誤りが生じる危険性を伴
っている。In some cases, parts or ribbons are applied to low-level information such as edges of an image, and parameters are described. However, if accurate fitting is performed, joint angle detection by this method is also robustly performed. However, if description is not accurately performed due to image noise or the like, there is a risk of causing a fatal error. ing.
【０００６】ゆえに、本発明の目的は、上記のような問
題を解決し、たとえば人物のような３次元物体の姿勢を
最適に検出することができるような姿勢検出装置および
方法を提供することである。Accordingly, an object of the present invention is to solve the above-described problems and to provide a posture detecting apparatus and method capable of optimally detecting the posture of a three-dimensional object such as a person. is there.
【０００７】[0007]
【課題を解決するための手段】請求項１の発明に係る姿
勢検出装置は、３次元物体に対して所定の幾何学的位置
関係でそれぞれが設けられた複数の撮像手段で３次元物
体を撮像し、その複数の画像に基づいて３次元物体の姿
勢を検出する姿勢検出装置であって、３次元物体に対応
して設けられる仮想３次元モデルと、仮想３次元モデル
に対して前記幾何学的位置関係と同一の幾何学的位置関
係でそれぞれが設けられた複数の仮想撮像手段と、複数
の仮想撮像手段によって得られる複数の仮想画像と複数
の画像とを比較して適応度を求める比較手段と、適応度
に従う遺伝的アルゴリズムに応じて仮想３次元モデルの
姿勢を特定可能な遺伝子情報を生成する遺伝子情報生成
手段と、遺伝子情報に応じて仮想３次元モデルの姿勢を
変形させる変形手段とを備えている。According to a first aspect of the present invention, there is provided a posture detecting apparatus for picking up a three-dimensional object by a plurality of image pickup means provided in a predetermined geometrical positional relationship with respect to the three-dimensional object. A posture detection device for detecting a posture of the three-dimensional object based on the plurality of images, wherein a virtual three-dimensional model provided corresponding to the three-dimensional object; A plurality of virtual imaging means each provided in the same geometric positional relationship as the positional relationship, and a comparing means for comparing a plurality of virtual images obtained by the plurality of virtual imaging means with the plurality of images to obtain fitness And a genetic information generating means for generating genetic information capable of specifying a posture of the virtual three-dimensional model according to a genetic algorithm according to fitness, and a deforming means for deforming the posture of the virtual three-dimensional model according to the genetic information It is equipped with a door.
【０００８】請求項２では、請求項１の比較手段は、複
数の仮想画像から構成される仮想マルチ画像と複数の画
像から構成されるマルチ画像との重なり度合に基づいて
適応度を求める。According to a second aspect, the comparing means of the first aspect determines the fitness based on the degree of overlap between a virtual multi-image composed of a plurality of virtual images and a multi-image composed of a plurality of images.
【０００９】請求項３では、請求項１または２の遺伝子
情報は、３次元物体の関節角度についてのパラメータを
含んでいる。According to a third aspect, the genetic information according to the first or second aspect includes a parameter regarding a joint angle of the three-dimensional object.
【００１０】請求項４では、請求項３の遺伝子情報は、
３次元物体全体の位置および傾きについてのパラメータ
を含んでいる。[0010] In claim 4, the genetic information of claim 3 comprises:
It contains parameters for the position and tilt of the entire three-dimensional object.
【００１１】請求項５の発明に係る姿勢検出方法は、３
次元物体に対して所定の幾何学的位置関係でそれぞれが
設けられた複数の撮像手段で３次元物体を撮像し、その
複数の画像に基づいて３次元物体の姿勢を検出する姿勢
検出方法であって、３次元物体に対応して設けられる仮
想３次元モデルに対して前記幾何学的位置関係と同一の
幾何学的位置関係でそれぞれが設けられた複数の仮想撮
像手段で仮想３次元モデルを撮像する第１のステップ
と、複数の画像と仮想撮像手段によって得られる複数の
仮想画像とを比較し、その適応度を求める第２のステッ
プと、適応度に従う遺伝的アルゴリズムに基づいて仮想
３次元モデルの姿勢を変化させ、３次元物体の姿勢を検
出する第３のステップとを含んでいる。According to a fifth aspect of the present invention, there is provided a posture detecting method comprising:
A posture detecting method for capturing a three-dimensional object with a plurality of image pickup means provided with a predetermined geometric positional relationship with respect to the three-dimensional object, and detecting a posture of the three-dimensional object based on the plurality of images. A plurality of virtual imaging means provided respectively with the same geometric positional relationship as the geometric positional relationship with respect to the virtual three-dimensional model provided corresponding to the three-dimensional object. A first step of comparing the plurality of images with a plurality of virtual images obtained by the virtual imaging means, and obtaining a fitness thereof; and a virtual three-dimensional model based on a genetic algorithm according to the fitness. And changing the posture of the three-dimensional object to detect the posture of the three-dimensional object.
【００１２】請求項６では、請求項５の第２のステップ
は、複数の仮想画像から構成され仮想マルチ画像と複数
の画像から構成されるマルチ画像との重なり度合に基づ
いて適応度を求めるステップを含んでいる。According to a sixth aspect of the present invention, the second step of the fifth aspect is a step of obtaining a fitness based on a degree of overlap between a virtual multi-image constituted by a plurality of virtual images and a multi-image constituted by a plurality of images. Contains.
【００１３】請求項７では、請求項５または６の第３の
ステップは、仮想３次元モデルの姿勢を特定可能な遺伝
子情報を生成するステップと、遺伝子情報に応じて仮想
３次元モデルの姿勢を変化させるステップと、仮想３次
元モデルの姿勢を所定回数変化させてその回数ごとに適
応度を求め、最大の適応度に対応する遺伝子情報を３次
元物体の姿勢についてのパラメータとして推定し、その
推定値に応じて３次元物体の姿勢を検出するステップと
を含んでいる。According to a seventh aspect of the present invention, the third step of the fifth or sixth aspect is a step of generating genetic information capable of specifying the attitude of the virtual three-dimensional model, and the step of generating the attitude of the virtual three-dimensional model according to the genetic information. Changing the posture of the virtual three-dimensional model by a predetermined number of times to obtain fitness for each number of times, estimating genetic information corresponding to the maximum fitness as a parameter for the posture of the three-dimensional object, and Detecting the orientation of the three-dimensional object according to the value.
【００１４】請求項８では、請求項７の３次元物体の姿
勢についてのパラメータは、３次元物体の関節角度を含
んでいる。According to an eighth aspect of the present invention, the parameters for the posture of the three-dimensional object in the seventh aspect include a joint angle of the three-dimensional object.
【００１５】請求項９では、請求項８の３次元物体の姿
勢についてのパラメータは、３次元物体全体の位置およ
び傾きを含んでいる。In the ninth aspect, the parameters regarding the posture of the three-dimensional object according to the eighth aspect include the position and inclination of the entire three-dimensional object.
【００１６】[0016]
【作用】請求項１の発明に係る姿勢検出装置は、複数の
撮像手段が３次元物体を撮像し、複数の仮想撮像手段が
仮想３次元モデルを撮像し、比較手段がその複数の画像
とその複数の仮想画像とを比較して適応度を求め、遺伝
子情報生成手段が適応度に従う遺伝的アルゴリズムに応
じて仮想３次元モデルの姿勢を特定可能な遺伝子情報を
生成し、変形手段が遺伝子情報に応じて仮想３次元モデ
ルの姿勢を変化させて、仮想３次元モデルの姿勢を３次
元物体の姿勢に近づけていくことができる。According to a first aspect of the present invention, there is provided a posture detecting apparatus, wherein a plurality of image pickup means picks up an image of a three-dimensional object, a plurality of virtual image pickup means picks up an image of a virtual three-dimensional model, and a comparison means outputs the plurality of images and their corresponding A fitness is determined by comparing with a plurality of virtual images, a genetic information generating means generates genetic information capable of specifying a posture of the virtual three-dimensional model according to a genetic algorithm according to the fitness, and a deforming means converts the genetic information into genetic information. The posture of the virtual three-dimensional model is changed accordingly, and the posture of the virtual three-dimensional model can be made closer to the posture of the three-dimensional object.
【００１７】請求項２の発明に係る姿勢検出装置は、比
較手段が複数の仮想画像から構成される仮想マルチ画像
と複数の画像から構成されるマルチ画像との重なり度合
に基づいて適応度を求めるので、極力簡単なかつ精度の
高い適応度を得ることができる。According to a second aspect of the present invention, in the posture detecting apparatus, the comparing means obtains the fitness based on the degree of overlap between the virtual multi-image composed of a plurality of virtual images and the multi-image composed of the plurality of images. Therefore, a simple and highly accurate fitness can be obtained.
【００１８】請求項３の発明に係る姿勢検出装置は、遺
伝子情報として３次元物体の関節角度についてのパラメ
ータが用いられるので、３次元物体の姿勢を極力最適に
検出できる。In the posture detecting apparatus according to the third aspect of the present invention, since the parameter regarding the joint angle of the three-dimensional object is used as the genetic information, the posture of the three-dimensional object can be detected as optimally as possible.
【００１９】請求項４の発明に係る姿勢検出装置は、遺
伝子情報として３次元物体全体の位置および傾きについ
てのパラメータを用いているので、たとえば３次元物体
が移動した場合であっても極力最適に姿勢を検出でき
る。In the posture detecting apparatus according to the fourth aspect of the present invention, since the parameters regarding the position and inclination of the entire three-dimensional object are used as the genetic information, for example, even if the three-dimensional object moves, it is optimized as much as possible. Posture can be detected.
【００２０】請求項５の発明に係る姿勢検出方法は、複
数の撮像手段で３次元物体を撮像し、複数の仮想撮像手
段で仮想３次元モデルを撮像し、その複数の画像とその
複数の仮想画像とを比較し、適応度を求めてその適応度
に従う遺伝的アルゴリズムに基づいて仮想３次元モデル
の姿勢を変化させ、３次元物体の姿勢を検出する。According to a fifth aspect of the present invention, there is provided a posture detection method, wherein a plurality of imaging means captures an image of a three-dimensional object, a plurality of virtual imaging means captures a virtual three-dimensional model, and the plurality of images and the plurality of virtual The posture of the virtual three-dimensional model is detected based on a genetic algorithm according to the fitness, comparing the posture with the image, and detecting the posture of the three-dimensional object.
【００２１】請求項６の発明に係る姿勢検出方法は、複
数の仮想画像から構成される仮想マルチ画像と複数の画
像から構成されるマルチ画像との重なり度合に基づいて
適応度を求めるので、極力簡単にかつ精度よく適応度を
求めることができる。According to the posture detecting method of the present invention, the fitness is obtained based on the degree of overlap between the virtual multi-image composed of a plurality of virtual images and the multi-image composed of a plurality of images. The fitness can be obtained easily and accurately.
【００２２】請求項７の発明に係る姿勢検出方法は、仮
想３次元モデルの姿勢を特定可能な遺伝子情報を生成
し、その遺伝子情報に応じて仮想３次元モデルの姿勢を
変化させ、仮想３次元モデルの姿勢を所定回数変化させ
てその回数ごとに適応度を求め、最大の適応度に対応す
る遺伝子情報を３次元物体の姿勢についてのパラメータ
として推定するので、その推定値に応じて３次元物体の
姿勢を極力最適に検出できる。According to a seventh aspect of the present invention, in the posture detecting method, gene information capable of specifying the posture of the virtual three-dimensional model is generated, and the posture of the virtual three-dimensional model is changed according to the gene information. The posture of the model is changed a predetermined number of times, the fitness is obtained for each of the times, and the genetic information corresponding to the maximum fitness is estimated as a parameter for the posture of the three-dimensional object. Position can be detected as optimally as possible.
【００２３】請求項８の発明に係る姿勢検出方法は、３
次元物体の姿勢についてのパラメータとして３次元物体
の関節角度を用いるので、極力最適に３次元物体の姿勢
を検出できる。According to the eighth aspect of the present invention, there is provided a posture detecting method comprising:
Since the joint angle of the three-dimensional object is used as a parameter for the posture of the three-dimensional object, the posture of the three-dimensional object can be detected as optimally as possible.
【００２４】請求項９の発明に係る姿勢検出方法は、３
次元物体の姿勢についてのパラメータとして３次元物体
全体の位置および傾きを用いるので、たとえば３次元物
体が移動した場合であっても極力最適に３次元物体の姿
勢を検出できる。According to a ninth aspect of the present invention, there is provided a posture detecting method comprising:
Since the position and inclination of the entire three-dimensional object are used as parameters for the posture of the three-dimensional object, the posture of the three-dimensional object can be detected as optimal as possible even when the three-dimensional object moves.
【００２５】[0025]
【実施例】図１は、この発明の一実施例による姿勢検出
装置を示した概略ブロック図である。FIG. 1 is a schematic block diagram showing a posture detecting apparatus according to an embodiment of the present invention.
【００２６】図１を参照して、この姿勢検出装置５は、
人物１に対してある幾何学的位置に配置されたマルチＴ
ＶカメラＲ1 〜ＲN が人物１を撮像することで得られる
目標人物マルチ画像３に基づいて人物１の姿勢を検出す
る。姿勢検出装置５は、人物１に対応する仮想３次元モ
デル７と、仮想３次元モデル７を撮像する仮想マルチＴ
ＶカメラＶ1 〜ＶN と、仮想マルチＴＶカメラＶ1 〜Ｖ
N で仮想３次元モデル７を撮像することにより得られる
合成人物マルチ画像９と目標人物マルチ画像３とを比較
する比較部１１と、比較部１１で得られる適応度に応じ
て遺伝子情報を有した染色体１５を生成する遺伝子情報
生成部１３と、染色体１５に応じて仮想３次元人物モデ
ル７の姿勢を変形する変形部１７とを含む。Referring to FIG. 1, this posture detecting device 5
Multi-T placed at a certain geometric position with respect to person 1
Detecting a posture of the person 1 based on the target person multi image 3 V camera R 1 to R N are obtained by imaging the person 1. The posture detection device 5 includes a virtual three-dimensional model 7 corresponding to the person 1 and a virtual multi-T
V cameras V 1 to V N and virtual multi-TV cameras V 1 to V
A comparison unit 11 that compares the combined multi-person image 9 obtained by imaging the virtual three-dimensional model 7 with the target N and the target multi-image 3, and has genetic information according to the fitness obtained by the comparison unit 11. Genetic information generating unit 13 that generates chromosome 15 and deforming unit 17 that changes the posture of virtual three-dimensional human model 7 according to chromosome 15 are included.
【００２７】遺伝子情報生成部１３は、比較部１１によ
って得られる適応度に応じて自然淘汰の遺伝子操作を行
なう自然淘汰遺伝子操作部１９と、突然変異などの遺伝
子操作が行なわれる遺伝子プール２１とを含んでいる。
そして遺伝子プール２１より発生される染色体１５は遺
伝子Ｘ1 〜Ｘn を有し、この遺伝子Ｘ1 〜Ｘn は姿勢に
ついてのパラメータである。The genetic information generating unit 13 includes a natural selection gene operating unit 19 for performing a genetic operation of natural selection according to the fitness obtained by the comparing unit 11 and a gene pool 21 for performing a genetic operation such as mutation. Contains.
The chromosome 15 generated from the gene pool 21 has genes X 1 to X n , and the genes X 1 to X n are parameters for posture.
【００２８】図２は、人物の上半身における関節とその
回転パラメータの定義を説明するための図である。FIG. 2 is a diagram for explaining the definition of the joints and their rotation parameters in the upper body of a person.
【００２９】人物の動きは、人体を構成する主要な骨を
接続する関節が回転運動することにより発生する。ま
た、人間は主に足を使って、３次元空間中を移動可能で
ある。人物の姿勢を検出するためには、各関節の回転角
度および３次元空間中の６自由度に対応する位置パラメ
ータが検出される必要がある。そのため、図１に示した
姿勢検出装置が回転角度を検出することについて説明す
るために、まず図２を用いて人体の上半身における関節
とその回転パラメータの定義について説明する。ただ
し、手首の関節をも考慮にいれて説明するが、指の関節
については説明を簡単にするために省略する。The movement of a person is caused by the rotational movement of the joint connecting the main bones constituting the human body. In addition, humans can move in a three-dimensional space mainly by using feet. In order to detect the posture of a person, it is necessary to detect the rotation angle of each joint and position parameters corresponding to six degrees of freedom in a three-dimensional space. Therefore, in order to explain that the posture detection device shown in FIG. 1 detects the rotation angle, first, a definition of a joint in the upper body of the human body and its rotation parameter will be described with reference to FIG. However, the description will be made in consideration of the wrist joints, but the finger joints will be omitted for simplicity.
【００３０】図２を参照して、上半身の胸部に基準点Ｏ
が設定される。頭部については、頭部の中心点ｏを原点
とする３次元座標軸の回りの回転があり、それぞれの回
転に対してθ1 （上下を向く）、θ2 （くびを左右に振
る）、θ3 （首をかしげる）の３つのパラメータがあ
る。肩の部分については、たとえば右腕に着目すると、
肩と肘を結ぶ骨の周りの回転θ4 と２つの回転θ5 ，θ
6 がある。さらに、右腕に関しては、肘について、肘の
１自由度に対応する回転θ7 、手首部分は、肘と手首を
結ぶ骨の周りの回転θ8 、および２つの回転θ9 ，θ10
がある。このように右腕に関しては、θ4 〜θ10のパラ
メータがあり、これと同様に左腕に関しても回転θ11〜
θ17がある。このような回転θ1 〜θ17の１７パラメー
タが姿勢検出装置５によって推定される。Referring to FIG. 2, a reference point O is placed on the chest of the upper body.
Is set. For the head, there is a rotation around the three-dimensional coordinate axis with the center point o of the head as the origin. For each rotation, θ 1 (turns up and down), θ 2 (shakes the wedge left and right), There are three parameters, θ 3 (shaking the neck). Regarding the shoulder, for example, focusing on the right arm,
Rotation θ 4 around the bone connecting the shoulder and elbow and two rotations θ 5 , θ
There are six . Further, with respect to the right arm, for the elbow, the rotation θ 7 corresponding to one degree of freedom of the elbow, the wrist portion is the rotation θ 8 around the bone connecting the elbow and the wrist, and the two rotations θ 9 , θ 10
There is. Thus, for the right arm, there are parameters θ 4 to θ 10 , and similarly, for the left arm, the rotation θ 11
there is θ 17. The 17 parameters of the rotations θ 1 to θ 17 are estimated by the posture detection device 5.
【００３１】次に、姿勢検出装置５は、前述した回転θ
1 〜θ17のような回転角度に関するパラメータだけでな
く、人物が動くことにより生じる位置パラメータも推定
する。この場合には、３次元空間中の基準座標系に対し
て、基準点Ｏの３次元座標を（Ｘ，Ｙ，Ｚ）とすると、
これらの３つのパラメータが推定される必要がある。さ
らに、これら３座標軸の回りの回転α，β，γも推定さ
れる必要があり、位置パラメータに関しては６つのパラ
メータの推定が必要となる。Next, the attitude detecting device 5 performs the rotation θ
Not only parameters relating to the rotation angle, such as 1 through? 17, also estimated position parameter caused by a person moving. In this case, if the three-dimensional coordinates of the reference point O are (X, Y, Z) with respect to the reference coordinate system in the three-dimensional space,
These three parameters need to be estimated. Furthermore, rotations α, β, and γ around these three coordinate axes also need to be estimated, and six parameters need to be estimated for the position parameters.
【００３２】次に、このような関節角度および位置に関
するパラメータを推定する姿勢検出装置５の動作につい
て詳細に説明する。Next, the operation of the posture detecting device 5 for estimating parameters relating to such joint angles and positions will be described in detail.
【００３３】マルチＴＶカメラＲ1 〜ＲN は人物１の３
次元情報を得るために、人物１を撮像する。そして得ら
れた目標人物マルチ画像３が比較部１１に与えられる。The multi-TV cameras R 1 to R N are 3 of the person 1
The person 1 is imaged to obtain dimensional information. Then, the obtained target person multi-image 3 is provided to the comparison unit 11.
【００３４】また、関節角度等の姿勢パラメータが検出
されるために、人物１に対して仮想的に設けられる仮想
３次元人物モデル７が予め作製されている。染色体１５
の遺伝子Ｘ1 〜Ｘn は、人物１の各関節角度を表わして
おり、変形部１７はそのような染色体１５の遺伝子Ｘ1
〜Ｘn に応じて仮想３次元人物モデル７の各関節を回転
させて、変形を行なう。そして、仮想マルチＴＶカメラ
Ｖ1 〜ＶN が変形された仮想３次元人物モデル７を撮像
し、その合成人物マルチ画像９が比較部１１に与えられ
る。ここで仮想マルチＴＶカメラＶ1 〜ＶN の仮想３次
元人物モデル７に対する幾何学的配置位置は、人物１に
対して設けられるマルチＴＶカメラＲ1〜ＲN の幾何学
的配置位置と同じである。このような配置により、人物
の３次元構造および３次元的動作が抽出される。また、
このような配置により、オクルージョンの確率が極力低
くなる。In order to detect posture parameters such as joint angles, a virtual three-dimensional person model 7 virtually provided for the person 1 is prepared in advance. Chromosome 15
Gene X 1 of to X n represents the respective joint angle of the person 1, the deformable portion 17 gene X 1 such chromosome 15
Each joint of the virtual three-dimensional human model 7 is rotated and deformed according to Xn . Then, the virtual multi-TV cameras V 1 to V N capture the deformed virtual three-dimensional person model 7, and the combined multi-person image 9 is provided to the comparison unit 11. Here, the geometric arrangement positions of the virtual multi-TV cameras V 1 to V N with respect to the virtual three-dimensional human model 7 are the same as the geometric arrangement positions of the multi-TV cameras R 1 to R N provided for the person 1. is there. With such an arrangement, a three-dimensional structure and a three-dimensional motion of the person are extracted. Also,
With such an arrangement, the probability of occlusion is minimized.
【００３５】比較部１１は、目標人物マルチ画像３と合
成人物マルチ画像９とを比較し、目標人物マルチ画像３
を環境と考えて、環境への適応度を計算して求める。こ
の適応度は実人物像と仮想人物像との間で生じる重なり
部分の面積率が評価されるという単純なものである。The comparing section 11 compares the target person multi-image 3 with the synthesized person multi-image 9, and
Is regarded as an environment, and the degree of adaptation to the environment is calculated and obtained. This fitness is a simple one in which the area ratio of the overlapping portion generated between the real person image and the virtual person image is evaluated.
【００３６】図３は、適応度を説明するための図であ
る。FIG. 3 is a diagram for explaining the fitness.
【００３７】[0037]
【数１】 (Equation 1)
【００３８】目標人物マルチ画像３および合成人物マル
チ画像９のそれぞれは、予め習得しておいた人物１およ
び仮想３次元人物モデル７のいない背景画像との差分が
計算されて、人物１および仮想３次元人物モデル７に対
応する可能性のある領域と背景候補領域に二値化され
る。その後、互いに対応するマルチＴＶカメラＲi と仮
想マルチＴＶカメラＶi （Ｉ＝１，…，Ｎ）ごとに、適
応度が計算される。すなわち、図３に示すように、マル
チＴＶカメラＲi からの人物候補領域２３をＡで表わ
し、仮想マルチＴＶカメラＶI からの人物領域２５をＢ
とすると、適応度Ｆ i は、第（１）式のように計算され
る。第（１）式で、Ｓ（・）は面積を表わしている。適
応度Ｆは、図３の重なり部分２７の面積率である。Ｆi
は０と１の間の値をとり、実人物像と仮想人物像とが完
全に重なれば１になる。マルチカメラ全体の適応度Ｆ
は、第（１）式で示された適応度Ｆi の平均、すなわち
第（２）式により求められる。The target person multi-image 3 and the combined person
Each of the images 9 is composed of a person 1 and a person
And the difference from the background image without the virtual 3D human model 7
Calculated and matched to the person 1 and the virtual three-dimensional person model 7
Binarized into areas that may respond and background candidate areas
You. Then, the corresponding multi-TV cameras RiAnd provisional
Sou multi TV camera Vi(I = 1, ..., N)
The sensitivity is calculated. That is, as shown in FIG.
TV camera RiA represents the person candidate area 23 from
And virtual multi-TV camera VIThe person area 25 from B
Then, the fitness F iIs calculated as in equation (1)
You. In equation (1), S (•) represents the area. Suitable
The response F is the area ratio of the overlapping portion 27 in FIG. Fi
Takes a value between 0 and 1, and the real person image and the virtual person image
If they overlap completely, they become 1. Fitness F of the whole multi camera
Is the fitness F shown in the equation (1).iThe average of
It is obtained by the equation (2).
【００３９】このように、画像処理として、背景と人物
画像の差分が求められて２値化が行なわれ、適応度Ｆの
計算も面積情報に基づいて行なわれているので、画像ノ
イズへの耐性は高い。As described above, as the image processing, the difference between the background and the human image is obtained and binarized, and the fitness F is calculated based on the area information. Is expensive.
【００４０】第（１）式および第（２）式による適応度
の計算は、個体集団におけるＰ個の個体すべてについて
行なわれる。このＰ個の個体のそれぞれは、前述したよ
うな人物の上半身の関節および人物の位置に関する２３
パラメータを表わす遺伝子を有している。The calculation of the fitness according to the equations (1) and (2) is performed for all the P individuals in the individual population. Each of the P individuals is associated with the joint of the upper body of the person and the position of the person as described above.
It has genes representing parameters.
【００４１】したがって、遺伝子情報生成部１３は、一
般には何も拘束条件が導入されなければ組合わせの爆発
が生じるこのようなパラメータの検出を、遺伝的アルゴ
リズムに基づいて行なっている。この遺伝的アルゴリズ
ムは、組合わせ最適化問題を解く有力な手段である。ま
ず、自然淘汰遺伝子操作部１９は、比較部１１によって
求められた適応度の値に比例する形で選択確率を決定
し、ランダムな抽出により子孫を残すための親を２個体
ずつ選択して自然淘汰の遺伝子操作を行なう。このとき
には、適応度の高い親が選ばれる確率は高い。Therefore, the genetic information generating unit 13 generally detects such parameters that would cause a combination explosion if no constraint condition is introduced, based on a genetic algorithm. This genetic algorithm is a powerful tool for solving combinatorial optimization problems. First, the natural selection gene operation unit 19 determines a selection probability in a form proportional to the fitness value obtained by the comparison unit 11, selects two parents for leaving offspring by random extraction, and selects two parents. Perform genetic manipulation of selection. At this time, there is a high probability that a parent with high fitness is selected.
【００４２】そして、遺伝子プール２１で親から２個体
の子供が生まれる。このように親が交配するとき、交差
と突然変異がそれぞれ確率ｐc とｐm で起こるような遺
伝子操作が行なわれる。なお、ここでは、各遺伝子Ｘ1
〜Ｘn はビット列で表現される。このようにして、遺伝
子プール２１に次の世代のＰ個の個体（染色体）１５が
発生する。Then, two children are born from the parent in the gene pool 21. When such a parent is bred, cross and mutation genetic manipulation, such as occurs with probability p c and p m, respectively is performed. Here, each gene X 1
~ Xn is represented by a bit string. In this way, P individuals (chromosomes) 15 of the next generation are generated in the gene pool 21.
【００４３】変形部１７による仮想３次元人物モデル７
の姿勢変形と、比較部１１による適応度計算と、遺伝子
情報生成部１３の個体生成というサイクルが繰返され
る。そしてある世代を経た後得られる個体集団の中で、
最大の適応度Ｆを与える個体の遺伝子情報が人物の姿勢
パラメータの推定値とされる。The virtual three-dimensional human model 7 by the deformation unit 17
, A cycle of fitness calculation by the comparison unit 11 and individual generation by the gene information generation unit 13 are repeated. And in the population obtained after a certain generation,
Genetic information of the individual giving the maximum fitness F is used as an estimated value of the posture parameter of the person.
【００４４】図４は、この発明の一実施例による姿勢検
出装置による実験についての条件を説明するための図で
あり、特に、図４（ａ）は、人物上半身像のワイヤフレ
ームモデルを示した図であり、図４（ｂ）は、図４
（ａ）に示したワイヤフレームモデルにテクスチャマッ
ピングしたものを示した図である。図５は、簡単な幾何
学形状から構成される簡易人物モデルを示した図であ
る。FIG. 4 is a diagram for explaining conditions for an experiment performed by the posture detection apparatus according to one embodiment of the present invention. In particular, FIG. 4A shows a wireframe model of a human upper body image. FIG. 4 (b) is a diagram of FIG.
FIG. 4 is a diagram illustrating texture mapping performed on the wire frame model illustrated in FIG. FIG. 5 is a diagram showing a simple human model composed of simple geometric shapes.
【００４５】次に、実験を行なうための条件について説
明する。姿勢を求める人物に対する仮想３次元モデル
は、前述したように予め作製されておく必要があり、こ
のモデリングは、人体の各パーツごとに行なわれる。す
なわち、各人体パーツの表面形状が三角パッチの集合体
で近似されたワイヤフレームモデルが作製される。Next, conditions for conducting an experiment will be described. A virtual three-dimensional model for a person whose posture is to be obtained needs to be prepared in advance as described above, and this modeling is performed for each part of the human body. That is, a wire frame model is created in which the surface shape of each human body part is approximated by a set of triangular patches.
【００４６】三角パッチの頂点が移動されることによ
り、ワイヤフレームの変形が行なわれる。カラーテクス
チャ情報は、対応する場所の三角パッチに貼付けられ、
三角パッチの変形に応じて、色彩の補間や間引きが行な
われる。これらの人体パーツのワイヤフレームモデル
は、関節の動きを再現可能な形で互いに接続される。こ
のようにして、図４（ａ）に示すような人物上半身像の
ワイヤフレームモデルが作製され、さらに図４（ｂ）に
示すようにテクスチャマッピングされたワイヤフレーム
モデルが作製される。また、図５に示すような簡単な幾
何学形状から構成される簡易人物モデルが使用されても
よい。ただし、指の動きは取扱われない。これは、後で
説明するように、主に画像の解像度の関係で、指のよう
な細かい構造と体全体とを併わせて扱うのは困難なこと
による。The wire frame is deformed by moving the vertices of the triangular patch. The color texture information is pasted on the triangle patch at the corresponding location,
Color interpolation and thinning are performed according to the deformation of the triangular patch. The wireframe models of these human body parts are connected to each other in such a manner that the movement of the joint can be reproduced. In this way, a wireframe model of the upper body image of the person as shown in FIG. 4A is created, and a wireframe model texture-mapped as shown in FIG. 4B is created. Further, a simple human model composed of a simple geometric shape as shown in FIG. 5 may be used. However, finger movements are not handled. This is because, as will be described later, it is difficult to handle both a fine structure like a finger and the whole body together mainly due to the resolution of the image.
【００４７】以下の実験では、図４に示した人物モデル
および図５に示した人物モデルを用いて生成した合成画
像を目標画像として用いる。カメラは、最大３台用いら
れ、各画像は平行投影とする。各カメラの位置は、図２
に示した人物の胸部の中心点Ｏを原点とした直交する３
次元座標系において、人物の正面、側面、頭上からの各
画像の中心を座標軸が通るようにする。各画像のサイズ
は、２５６×２５６画素である。In the following experiment, a composite image generated using the human model shown in FIG. 4 and the human model shown in FIG. 5 is used as a target image. A maximum of three cameras are used, and each image is a parallel projection. Figure 2 shows the position of each camera.
3 orthogonal to the center point O of the chest of the person shown in
In the dimensional coordinate system, the coordinate axes pass through the center of each image from the front, side, and overhead of the person. The size of each image is 256 × 256 pixels.
【００４８】図６は、実験に使用した３種類の目標人物
画像を示した図であり、図６（ａ），（ｂ），（ｃ）の
それぞれにおいて、左から順に、正面、側面、頭上から
の画像が示されている。表１は、図６（ａ），（ｂ），
（ｃ）のそれぞれの人物モデルにおける関節角度を示し
た表である。図７は、画像を１種類（正面からの一方向
による画像）だけ使用する単眼視によって得られる合成
人物マルチ画像を示した図であり、図８は、３方向から
の画像を使用する場合の合成人物マルチ画像を示した図
である。表２は、最大の適応度を与える個体の遺伝子情
報を示した表である。FIG. 6 is a diagram showing three types of target person images used in the experiment. In each of FIGS. 6 (a), (b), and (c), from the left, the front, the side, and the overhead The image from is shown. Table 1 shows FIGS. 6 (a), (b),
It is the table | surface which showed the joint angle in each person model of (c). FIG. 7 is a diagram illustrating a combined human multi-image obtained by monocular viewing using only one type of image (an image in one direction from the front). FIG. 8 illustrates a case where images from three directions are used. It is the figure which showed the synthetic person multi image. Table 2 is a table showing the genetic information of the individual giving the maximum fitness.
【００４９】[0049]
【表１】 [Table 1]
【００５０】[0050]
【表２】 [Table 2]
【００５１】図６から図８、表１および表２を参照し
て、画像を１種類だけ使用する単眼視の場合と、３方向
からの画像を用いる場合の比較を行なう。個体数５００
で、１７個の姿勢パラメータの初期値は、ランダムに決
定される。交差と突然変異の確率は、それぞれｐc ＝
０．０２とｐm ＝０．００１である。５００世代後に最
大の適応度Ｆを与える個体が得られた。表１および表２
からわかるように、図６（ａ）〜図６（ｃ）の人物の関
節角度の検出結果では、正面からの単眼視の場合より
も、３方向からの画像を用いる場合のほうが精度よく検
出されている。図７および図８において、画像２９にお
ける中心の白い部分３１は人物とモデルが重なっている
部分であり、斜線部分３３は人物またはモデルのいずれ
か一方のみが存在する部分であり、周囲の白い部分３５
は人物およびモデルのどちらも存在しない（背景）部分
である。Referring to FIGS. 6 to 8 and Tables 1 and 2, a comparison will be made between the case of monocular vision using only one type of image and the case of using images from three directions. 500 individuals
Thus, the initial values of the 17 posture parameters are randomly determined. The crossover and mutation probabilities are pc =
0.02 and p m = 0.001. An individual giving the maximum fitness F after 500 generations was obtained. Table 1 and Table 2
6A to 6C, the detection results of the joint angles of the person are more accurately detected when using images from three directions than in the case of monocular vision from the front. ing. 7 and 8, a white portion 31 at the center of the image 29 is a portion where the person and the model overlap, and a hatched portion 33 is a portion where only one of the person and the model is present, and the surrounding white portion. 35
Is a (background) part where neither a person nor a model exists.
【００５２】図７および図８では、正面、側面、頭上の
うちの正面画像については、３方向からの画像を用いる
場合に比べて、単眼視による正面一方向からの画像を用
いる場合のほうがよりマッチングを実現しているように
みえる。しかしながら、側面、頭上においては、単眼視
による正面一方向からの画像のほうが３方向の画像を用
いる場合に比べて誤差が大きい。何も事前知識や拘束条
件が用いられない場合、または用いることができない場
合には、図７および図８に示す程度の推定結果しか得ら
れない。特に、１方、３方向の場合の両者において、図
７（ａ）および図８（ａ）での正面画像のように、見え
るべき腕が頭や体の背後に隠れるという問題が発生して
いる。In FIGS. 7 and 8, as for the front image among the front, side, and overhead, the case of using the image from one direction of the monocular vision is more than the case of using the image from three directions. It seems to have achieved matching. However, on the side and overhead, an error is larger in an image viewed from one direction from the front by monocular vision than in the case of using an image in three directions. If no prior knowledge or constraints are used or cannot be used, only estimation results of the degree shown in FIGS. 7 and 8 can be obtained. In particular, in both the one and three directions, there is a problem that the arm to be seen is hidden behind the head or the body as in the front images in FIGS. 7A and 8A. .
【００５３】次に、遺伝アルゴリズムにおける個体数、
交差確率ｐc 、突然変異ｐm 、世代数について実験を行
なった結果について説明する。Next, the number of individuals in the genetic algorithm,
A description will be given of the result of an experiment performed on the crossover probability p c , the mutation p m , and the number of generations.
【００５４】図９は、個体数を５０とした場合に得られ
る合成人物マルチ画像を示した図であり、特に、図９
（ａ）から図９（ｃ）のそれぞれは、図８（ａ）から図
８（ｃ）のそれぞれに対応する。図１０は、個体数を５
００、交差確率ｐc を０．０００２、突然変異ｐm を
０．００２とした場合の合成人物マルチ画像を示した図
であり、特に、図１０（ａ）および図１０（ｂ）のそれ
ぞれは、図８（ａ）および図８（ｂ）のそれぞれに対応
している。さらに、図９および図１０において、画像２
９における中心の白い部分３１は人物とモデルが重なっ
ている部分であり、斜線部３３は人物またはモデルのい
ずれか一方のみが存在する部分であり、周囲の白い部分
３５はどちらも存在しない（背景）部分である。図１１
は、図１０（ａ）の実験状況において、世代数に対する
適応度の最大値、最小値、平均値を示したグラフであ
り、図１２は、図１０（ｂ）における世代数に対する適
応度の最大値、最小値、平均値を示したグラフである。
図１１および図１２において、横軸は世代数を示し、縦
軸は適応度を示し、最大値は実線、最小値は一点鎖線、
平均値は二点鎖線で表す。FIG. 9 is a diagram showing a composite human multi-image obtained when the number of individuals is set to 50. In particular, FIG.
Each of FIGS. 9A to 9C corresponds to each of FIGS. 8A to 8C. FIG. 10 shows that the number of individuals is 5
00, 0.0002 cross probability p c, is a diagram showing a synthesized human multi image when mutated p m and 0.002, in particular, each of FIGS. 10 (a) and 10 (b) 8 (a) and FIG. 8 (b). Further, in FIG. 9 and FIG.
9, a white portion 31 at the center is a portion where the person and the model overlap, a hatched portion 33 is a portion where only one of the person and the model is present, and neither the surrounding white portion 35 is present (background). ) Part. FIG.
10A is a graph showing the maximum value, the minimum value, and the average value of the fitness with respect to the number of generations in the experimental situation of FIG. 10A, and FIG. 12 is a graph showing the maximum of the fitness with respect to the number of generations in FIG. It is the graph which showed the value, the minimum value, and the average value.
11 and 12, the horizontal axis indicates the number of generations, the vertical axis indicates fitness, the maximum value is a solid line, the minimum value is a dash-dot line,
The average value is represented by a two-dot chain line.
【００５５】図９を参照して、図８では、個体数が５０
０であったが、個体数を５０としたため、全般的に適応
度が下がっていることがわかる。ただし、図９（ａ）に
おける正面画像では、隠れていた手が少し見えている。Referring to FIG. 9, in FIG.
Although it was 0, it can be seen that the fitness was generally lowered because the number of individuals was 50. However, in the front image in FIG. 9A, the hidden hand is slightly visible.
【００５６】次に図１０を参照して、図８（ａ）および
図８（ｂ）に比べて、全体的に適応度が上がっているこ
とがわかる。特に、図１０（ａ）の正面画像では、隠れ
ていた手が見える位置に現れている。この原因は解析中
であるが、頻繁な交差が、かえってローカルミニマムで
安定してしまうからだと考えられる。Next, referring to FIG. 10, it can be seen that the fitness is improved as a whole as compared with FIGS. 8 (a) and 8 (b). In particular, in the front image of FIG. 10A, the hidden hand appears at a position where the hand can be seen. The reason for this is under analysis, but it is considered that the frequent intersections are rather stable at the local minimum.
【００５７】図１１を参照して、図１０（ａ）の最大値
については、約２００世代までに立上がり、５００世代
までにはほぼ適応度が飽和している。図１２を参照し
て、同様に、図１０（ｂ）の最大値についても、約２０
０世代までに立上がり、５００世代までにはほぼ適応度
が飽和している。その飽和による適応度は、図１１では
８６％であり、図１２では８４％程度である。５００世
代以降の世代を更に重ねれば、適応度が上がる可能性も
あるが、２００世代から５００世代の上昇率から推測す
ると、かなり先の世代まで処理が繰返さなければならな
いと思われる。したがって、適応度を上げるためにかな
り先の世代まで処理を繰返すことは、効率的でない。Referring to FIG. 11, the maximum value in FIG. 10A rises by about 200 generations, and the fitness is almost saturated by 500 generations. Referring to FIG. 12, similarly, the maximum value in FIG.
It rises by the 0th generation, and its fitness is almost saturated by the 500th generation. The fitness due to the saturation is 86% in FIG. 11 and about 84% in FIG. If the generations after the 500th generation are further repeated, there is a possibility that the fitness may increase. However, when estimated from the rate of increase from the 200th generation to the 500th generation, it seems that the processing must be repeated to a considerably long generation. Therefore, it is not efficient to repeat the processing up to a considerably earlier generation in order to increase the fitness.
【００５８】そこで、５００世代まで最大適応度を与え
る個体の遺伝子情報を初期値とした最急上昇法による適
応度の向上について説明する。The improvement of the fitness by the steepest ascent method using the genetic information of the individual giving the maximum fitness up to 500 generations as an initial value will be described.
【００５９】図１３は、最急上昇法による合成人物マル
チ画像を示した図であり、特に、図１３（ａ）は、図１
０（ａ）に対応した図であり、図１３（ｂ）は、図１０
（ｂ）に対応した図である。FIG. 13 is a diagram showing a synthesized multi-person image by the steepest ascent method. In particular, FIG.
FIG. 13B is a diagram corresponding to FIG.
It is a figure corresponding to (b).
【００６０】[0060]
【数２】 (Equation 2)
【００６１】５００世代目で最大適応度を与えるために
は、θ＝（θ1 ，…，θ17）とした場合に、Ｆ（θ）の
最大値が求められればよい。すなわち、第（３）式によ
りθが更新されていく。第（３）式で、ρはステップ幅
である。そして、第（４）式を満たす場合のθが最終的
なパラメータ推定結果である。このようにして、図１３
に示されるような合成人物マルチ画像が得られ、その適
応度は、図１３（ａ）においては８６％から９０％に、
図１３（ｂ）においては８４％から８６％に改善され
た。In order to give the maximum fitness at the 500th generation, the maximum value of F (θ) may be obtained when θ = (θ 1 ,..., Θ 17 ). That is, θ is updated by the equation (3). In the equation (3), ρ is a step width. Θ in the case where Expression (4) is satisfied is the final parameter estimation result. Thus, FIG.
As shown in FIG. 13A, the synthesized multi-person image is obtained, and its fitness is changed from 86% to 90% in FIG.
In FIG. 13B, it has been improved from 84% to 86%.
【００６２】次に、人物が移動した場合の姿勢検出につ
いて説明する。図１４は、図５に示した簡易人物モデル
による目標人物画像を示した図であり、図１５は、得ら
れた合成人物マルチ画像を示した図である。図１４およ
び図１５において、左から順に正面画像、側面画像を示
している。表３は、図１４における簡易人物モデルを２
３個のパラメータの設定値および図１５による検出結果
のパラメータを示した表である。Next, posture detection when a person moves will be described. FIG. 14 is a diagram showing a target person image based on the simple person model shown in FIG. 5, and FIG. 15 is a diagram showing an obtained composite person multi-image. 14 and 15, a front image and a side image are shown in order from the left. Table 3 shows the simplified human model in FIG.
16 is a table showing setting values of three parameters and parameters of a detection result according to FIG. 15.
【００６３】[0063]
【表３】 [Table 3]
【００６４】図１３までの説明においては、すべて人物
の基準点Ｏが、３次元空間の座標系の原点に一致してい
た。すなわち空間中の移動はない場合が扱われていた。
そこで、図５に示すような簡易モデルを使用し、正面と
側面の２方向からの画像が得られることで、表３に示す
位置と姿勢に関するパラメータ２３個の比較結果が得ら
れた。表３において、Ｘ，Ｙ，Ｚは、基準点Ｏの３次元
座標を表わしたパラメータであり、α，β，γはその３
座標軸の周りの回転を示すパラメータである。遺伝的ア
ルゴリズムの処理が行なわれ、５００世代経過したとき
に最大適応度が得られて、その適応度は８６％程度であ
る。特に、表３からわかるように、位置の変動はよく推
定されている。ただし、右腕の検出結果が著しく異なっ
ているなどの問題は残った。In the description up to FIG. 13, the reference point O of the person has coincided with the origin of the coordinate system in the three-dimensional space. That is, the case where there is no movement in space was treated.
Therefore, by using a simple model as shown in FIG. 5 and obtaining images from two directions of front and side, a comparison result of 23 parameters relating to the position and orientation shown in Table 3 was obtained. In Table 3, X, Y, and Z are parameters representing the three-dimensional coordinates of the reference point O, and α, β, and γ are
This is a parameter indicating rotation around a coordinate axis. The processing of the genetic algorithm is performed, and the maximum fitness is obtained after 500 generations, and the fitness is about 86%. In particular, as can be seen from Table 3, the change in position is well estimated. However, the problem that the detection result of the right arm was significantly different remained.
【００６５】以上のことをまとめると、遺伝的アルゴリ
ズムに基づき、人物のマルチ画像から、人体上半身の関
節角度および人物の位置情報を検出した。検出すべきパ
ラメータが個体の遺伝子情報に対応され、環境への適応
度としては、遺伝子情報に従い変形された３次元人物モ
デルによる合成人物像と、実際の人物像との重なり度合
が用いられた。自然淘汰、交差、突然変異の遺伝子操作
が行なわれ、ある世代が経過した時点で最大の適応度を
与える個体の遺伝子情報がパラメータ推定結果とされ
た。In summary, based on the genetic algorithm, the joint angle of the upper body and the position information of the person are detected from the multi-image of the person. The parameter to be detected corresponds to the genetic information of the individual, and as the adaptability to the environment, the degree of overlap between the synthesized human image based on the three-dimensional human model deformed according to the genetic information and the actual human image is used. Genetic manipulation of natural selection, crossover, and mutation was performed, and the genetic information of the individual giving the maximum fitness after a certain generation passed was used as the parameter estimation result.
【００６６】また、３方向からのマルチ画像と単眼視画
像の処理結果の比較が行なわれて、マルチ画像の有効性
が示された。Further, the processing results of the multi-image and the monocular image from three directions were compared to show the effectiveness of the multi-image.
【００６７】さらに、個体数、交差確率、突然変異確
率、世代数の各パラメータと検出精度の関係が検討さ
れ、それぞれ５００、０．０００２、０．００２、５０
０の場合に最良の結果が得られた。Further, the relationship between the parameters of the number of individuals, the probability of crossover, the probability of mutation, and the number of generations and the detection accuracy were examined, and 500, 0.0002, 0.002, and 50, respectively.
Best results were obtained with 0.
【００６８】さらに、最急上昇法を用いた結果、数％向
上した。さらに、人物の位置に関するパラメータが加え
られた場合であっても、良好な結果が得られた。Further, as a result of using the steepest ascent method, it improved by several percent. Furthermore, good results were obtained even when parameters relating to the position of the person were added.
【００６９】なお、この実施例においては、人物の上半
身における関節角度について説明したが、これに限定さ
れるものではなく、たとえば下半身の関節角度が推定さ
れるものでもよい。In this embodiment, the joint angle of the upper body of the person has been described. However, the present invention is not limited to this. For example, the joint angle of the lower body may be estimated.
【００７０】また、姿勢が検出されるべき３次元物体
は、人物に限定されるものでなく、関節を有する他の動
物であってもよく、さらに姿勢に関する自由度を持つコ
ンパス、眼鏡などの物体でもよい。The three-dimensional object whose posture is to be detected is not limited to a person, but may be another animal having a joint. May be.
【００７１】さらに、このような姿勢検出は、臨場感通
信会議システムのような人物の動きを検出し、３次元人
物モデルを再現するシステムにおいて有効であるが、他
の監視システムや計測システムにおいても有効である。Further, such a posture detection is effective in a system for detecting a movement of a person and reproducing a three-dimensional person model, such as a real-life communication conference system, but also in other monitoring systems and measurement systems. It is valid.
【００７２】さらに、最大の適応度を与える個体数、交
差確率、突然変異確率、世代数の各パラメータをそれぞ
れ５００、０．０００２、０．００２、５００とした
が、これに限定されるものではなく、人物の移動および
最急上昇法を用いた場合であれば、その必要とされる状
況に応じて各パラメータが設定されればよい。Furthermore, the parameters of the number of individuals, the cross probability, the mutation probability, and the number of generations giving the maximum fitness are set to 500, 0.0002, 0.002, and 500, respectively. Instead, if the movement of the person and the steepest ascent method are used, each parameter may be set according to the required situation.
【００７３】[0073]
【発明の効果】以上のようにこの発明によれば、遺伝的
アルゴリズムを用いて、３次元物体の姿勢を検出したの
で、不必要な知識や拘束条件は必要とせず、最適な姿勢
検出を行なえる。As described above, according to the present invention, since the posture of a three-dimensional object is detected by using a genetic algorithm, unnecessary knowledge and constraint conditions are not required, and an optimum posture can be detected. You.
【００７４】さらに、仮想３次元モデルが３次元物体に
対して適応した結果としての適応度を、合成画像と仮想
合成画像との重なり度合に基づいて決定しているので、
簡単にかつ精度よく適応度を求めることができ、その適
応度に従う遺伝的アルゴリズムを用いて最適な姿勢検出
を行なえる。Further, the fitness as a result of the virtual three-dimensional model adapted to the three-dimensional object is determined based on the degree of overlap between the synthesized image and the virtual synthesized image.
The fitness can be obtained easily and accurately, and an optimal posture can be detected using a genetic algorithm according to the fitness.
【図面の簡単な説明】[Brief description of the drawings]
【図１】この発明の一実施例による姿勢検出装置を示し
た図である。FIG. 1 is a diagram showing a posture detecting device according to an embodiment of the present invention.
【図２】人体の上半身における関節角の回転パラメータ
の定義を説明するための図である。FIG. 2 is a diagram illustrating the definition of rotation parameters of joint angles in the upper body of a human body.
【図３】図１の比較部が求める適応度を説明するための
図である。FIG. 3 is a diagram for explaining fitness obtained by a comparison unit in FIG. 1;
【図４】ワイヤフレームモデルを示した図である。FIG. 4 is a diagram showing a wire frame model.
【図５】簡易人物モデルを示した図である。FIG. 5 is a diagram showing a simple person model.
【図６】図４に示したワイヤフレームモデルによる目標
画像を示した図である。FIG. 6 is a diagram showing a target image based on the wire frame model shown in FIG. 4;
【図７】１方向からの単眼視による合成人物マルチ画像
を示した図である。FIG. 7 is a diagram showing a combined human multi-image by monocular vision from one direction.
【図８】３方向からの画像を用いた場合の合成人物マル
チ画像を示した図である。FIG. 8 is a diagram showing a combined human multi-image when using images from three directions.
【図９】個体数を５０とした場合の合成人物マルチ画像
を示した図である。FIG. 9 is a diagram showing a combined human multi-image when the number of individuals is 50.
【図１０】個体数を５００、交差確率ｐc を０．０００
２、突然変異ｐm を０．００２とした場合の合成人物マ
ルチ画像を示した図である。[10] The number of individuals 500, cross probability p c 0.000
2 is a diagram illustrating a synthetic human multi image when mutated p m to 0.002.
【図１１】図１０（ａ）における世代数に対する適応度
の最大値、最小値、平均値を示したグラフである。FIG. 11 is a graph showing the maximum value, the minimum value, and the average value of the fitness with respect to the number of generations in FIG.
【図１２】図１０（ｂ）における世代数に対する適応度
の最大値、最小値、平均値を示したグラフである。FIG. 12 is a graph showing a maximum value, a minimum value, and an average value of fitness with respect to the number of generations in FIG.
【図１３】最急上昇法による合成人物マルチ画像を示し
た図である。FIG. 13 is a diagram showing a combined human multi-image by the steepest ascent method.
【図１４】図５に示した簡易人物モデルによる目標人物
マルチ画像を示した図である。FIG. 14 is a diagram showing a target person multi-image by the simple person model shown in FIG. 5;
【図１５】図１４に対する合成人物マルチ画像を示した
図である。FIG. 15 is a diagram showing a combined human multi-image for FIG.
５ 姿勢検出装置 ７ 仮想３次元人物モデル Ｖ1 〜ＶN 仮想マルチＴＶカメラ ９ 合成人物マルチ画像 １１ 比較部 １３ 遺伝子情報生成部 １５ 染色体 Ｘ1 〜Ｘn 遺伝子 １７ 変形部5 posture detection unit 7 three-dimensional virtual human model V 1 ~V N virtual multi TV camera 9 Synthesis person multi-image 11 comparing unit 13 genetic information generating unit 15 chromosome X 1 to X n gene 17 deformed portions
Claims (9)
関係でそれぞれが設けられた複数の撮像手段で前記３次
元物体を撮像し、その複数の画像に基づいて前記３次元
物体の姿勢を検出する姿勢検出装置であって、 前記３次元物体に対応して設けられる仮想３次元モデル
と、 前記仮想３次元モデルに対して前記幾何学的位置関係と
同一の幾何学的位置関係でそれぞれが設けられた複数の
仮想撮像手段と、 前記複数の仮想撮像手段によって得られる複数の仮想画
像と前記複数の画像とを比較して適応度を求める比較手
段と、 前記適応度に従う遺伝的アルゴリズムに応じて前記仮想
３次元モデルの姿勢を特定可能な遺伝子情報を生成する
遺伝子情報生成手段と、 前記遺伝子情報に応じて前記仮想３次元モデルの姿勢を
変形させる変形手段とを備えた、姿勢検出装置。1. A three-dimensional object is imaged by a plurality of imaging means provided with a predetermined geometrical positional relationship with respect to the three-dimensional object, and a posture of the three-dimensional object is determined based on the plurality of images. A virtual three-dimensional model provided corresponding to the three-dimensional object; and a geometrical positional relationship identical to the geometrical positional relationship with respect to the virtual three-dimensional model. A plurality of virtual imaging means provided with: a comparing means for comparing a plurality of virtual images obtained by the plurality of virtual imaging means with the plurality of images to obtain fitness; and a genetic algorithm according to the fitness. Gene information generating means for generating gene information capable of specifying the attitude of the virtual three-dimensional model in accordance with the information; and deforming means for deforming the attitude of the virtual three-dimensional model in accordance with the genetic information. It was, posture detection device.
ら構成される仮想マルチ画像と前記複数の画像から構成
されているマルチ画像との重なり度合に基づいて前記適
応度を求める、請求項１記載の姿勢検出装置。2. The method according to claim 1, wherein the comparing unit obtains the fitness based on a degree of overlap between a virtual multi-image composed of the plurality of virtual images and a multi-image composed of the plurality of images. The attitude detecting device according to the above.
節角度についてのパラメータを含む、請求項１または２
記載の姿勢検出装置。3. The method according to claim 1, wherein the genetic information includes a parameter regarding a joint angle of the three-dimensional object.
The attitude detecting device according to the above.
体の位置および傾きについてのパラメータを含む、請求
項３記載の姿勢検出装置。4. The posture detecting apparatus according to claim 3, wherein said genetic information includes parameters relating to an overall position and inclination of said three-dimensional object.
関係でそれぞれが設けられた複数の撮像手段で前記３次
元物体を撮像し、その複数の画像に基づいて前記３次元
物体の姿勢を検出する姿勢検出方法であって、 前記３次元物体に対応して設けられる仮想３次元モデル
に対して前記幾何学的位置関係と同一の幾何学的位置関
係でそれぞれが設けられた複数の仮想撮像手段で前記仮
想３次元モデルを撮像する第１のステップと、 前記複数の画像と前記仮想撮像手段によって得られる複
数の仮想画像とを比較し、その適応度を求める第２のス
テップと、 前記適応度に従う遺伝的アルゴリズムに基づいて前記仮
想３次元モデルの姿勢を変化させ、前記３次元物体の姿
勢を検出する第３のステップとを含む、姿勢検出方法。5. The three-dimensional object is imaged by a plurality of image pickup means provided with a predetermined geometric positional relationship with respect to the three-dimensional object, and the posture of the three-dimensional object is determined based on the plurality of images. A plurality of virtual objects respectively provided in a virtual three-dimensional model provided corresponding to the three-dimensional object in the same geometrical positional relationship as the geometrical positional relationship. A first step of imaging the virtual three-dimensional model by an imaging unit; a second step of comparing the plurality of images with a plurality of virtual images obtained by the virtual imaging unit to determine the fitness thereof; Changing the posture of the virtual three-dimensional model based on a genetic algorithm according to fitness and detecting the posture of the three-dimensional object.
画像から構成される仮想マルチ画像と前記複数の画像か
ら構成されるマルチ画像との重なり度合に基づいて前記
適応度を求めるステップを含む、請求項５記載の姿勢検
出方法。6. The step of obtaining the fitness based on a degree of overlap between a virtual multi-image composed of the plurality of virtual images and a multi-image composed of the plurality of images. The posture detecting method according to claim 5, wherein
生成するステップと、 前記遺伝子情報に応じて前記仮想３次元モデルの姿勢を
変化させるステップと、 前記仮想３次元モデルの姿勢を所定回数変化させてその
回数ごとに前記適応度を求め、最大の適応度に対応する
前記遺伝子情報を前記３次元物体の姿勢についてのパラ
メータとして推定し、その推定値に応じて前記３次元物
体の姿勢を検出するステップとを含む、請求項５または
６記載の姿勢検出方法。7. The third step includes: generating gene information capable of specifying a posture of the virtual three-dimensional model; changing a posture of the virtual three-dimensional model according to the gene information; The posture of the virtual three-dimensional model is changed a predetermined number of times, the fitness is obtained for each of the times, the genetic information corresponding to the maximum fitness is estimated as a parameter for the posture of the three-dimensional object, and the estimated value is obtained. Detecting the attitude of the three-dimensional object according to the following.
ータは、前記３次元物体の関節角度を含む、請求項７記
載の姿勢検出方法。8. The posture detection method according to claim 7, wherein the parameter regarding the posture of the three-dimensional object includes a joint angle of the three-dimensional object.
ータは、前記３次元物体全体の位置および傾きを含む、
請求項８記載の姿勢検出方法。9. The parameter regarding the orientation of the three-dimensional object includes a position and a tilt of the entire three-dimensional object.
The posture detection method according to claim 8.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6094607A JP2627483B2 (en) | 1994-05-09 | 1994-05-09 | Attitude detection apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6094607A JP2627483B2 (en) | 1994-05-09 | 1994-05-09 | Attitude detection apparatus and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07302341A JPH07302341A (en) | 1995-11-14 |
| JP2627483B2 true JP2627483B2 (en) | 1997-07-09 |
Family
ID=14114944
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6094607A Expired - Fee Related JP2627483B2 (en) | 1994-05-09 | 1994-05-09 | Attitude detection apparatus and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2627483B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3535476B2 (en) | 2001-05-09 | 2004-06-07 | 住友ゴム工業株式会社 | Method for measuring three-dimensional attitude of sphere and method for measuring rotation amount and rotation axis direction of sphere using the method |
| JP4109076B2 (en) | 2002-06-06 | 2008-06-25 | Ｓｒｉスポーツ株式会社 | Measuring method of rotation amount and rotation axis direction of curved surface body, and measurement device of rotation amount and rotation axis direction of curved surface body |
| US8114172B2 (en) * | 2004-07-30 | 2012-02-14 | Extreme Reality Ltd. | System and method for 3D space-dimension based image processing |
| US8135209B2 (en) | 2005-07-19 | 2012-03-13 | Nec Corporation | Articulated object position and posture estimation device, method and program |
| US8125526B2 (en) | 2006-02-03 | 2012-02-28 | Olympus Imaging Corp. | Camera for selecting an image from a plurality of images based on a face portion and contour of a subject in the image |
| JP4709723B2 (en) * | 2006-10-27 | 2011-06-22 | 株式会社東芝 | Attitude estimation apparatus and method |
| JP6157436B2 (en) * | 2014-11-07 | 2017-07-05 | セコム株式会社 | Alignment apparatus and program |
-
1994
- 1994-05-09 JP JP6094607A patent/JP2627483B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07302341A (en) | 1995-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5211069B2 (en) | Human posture estimation and tracking using labeling | |
| JP4284664B2 (en) | Three-dimensional shape estimation system and image generation system | |
| WO2020054442A1 (en) | Articulation position acquisition method and device, and motion acquisition method and device | |
| JP5855751B2 (en) | Modeling, fitting, and tracking of 3D objects | |
| US8135209B2 (en) | Articulated object position and posture estimation device, method and program | |
| KR101238608B1 (en) | A system and method for 3D space-dimension based image processing | |
| JPH10320588A (en) | Picture processor and picture processing method | |
| EP1145193A2 (en) | Creating a three-dimensional model from two-dimensional images | |
| WO2007102537A1 (en) | Posture estimating device and method | |
| JP4761670B2 (en) | Moving stereo model generation apparatus and method | |
| JP2002008040A (en) | Three-dimensional information detecting device and three-dimensional information detecting method | |
| JP2967086B1 (en) | Estimation of 3D pose of a person by multi-view image processing | |
| JP2627483B2 (en) | Attitude detection apparatus and method | |
| JP3668769B2 (en) | Method for calculating position / orientation of target object and method for calculating position / orientation of observation camera | |
| JP7385747B2 (en) | Method and system for determining the three-dimensional position, local reference frame, and grasping pattern of a grasping point on an object | |
| JP2002008043A (en) | Device and method for analyzing action | |
| JP2009048305A (en) | Shape analysis program and shape analysis apparatus | |
| Adán et al. | 3D feature tracking using a dynamic structured light system | |
| JPH0814860A (en) | Model creating device | |
| JP2892610B2 (en) | Attitude detection device | |
| Zhang et al. | Motion analysis of articulated objects from monocular images | |
| Wang et al. | Markerless body motion capturing for 3d character animation based on multi-view cameras | |
| JP4623320B2 (en) | Three-dimensional shape estimation system and image generation system | |
| D'Apuzzo | Motion capture by least squares matching tracking algorithm | |
| Peng et al. | Acquisition of 3-D surface shape of human body from monocular images without pose estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19970114 |
|
| LAPS | Cancellation because of no payment of annual fees |