JPH10258044A - Method for estimating posture of human body - Google Patents
Method for estimating posture of human bodyInfo
- Publication number
- JPH10258044A JPH10258044A JP9086132A JP8613297A JPH10258044A JP H10258044 A JPH10258044 A JP H10258044A JP 9086132 A JP9086132 A JP 9086132A JP 8613297 A JP8613297 A JP 8613297A JP H10258044 A JPH10258044 A JP H10258044A
- Authority
- JP
- Japan
- Prior art keywords
- image
- gravity
- human body
- center
- obtaining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】この発明は人体姿勢の推定方
法に関し、特に、赤外線カメラから入力される熱画像を
用いて人体の姿勢を推定するような推定方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for estimating a human body posture, and more particularly, to an estimating method for estimating a human body posture using a thermal image input from an infrared camera.
【０００２】[0002]
【従来の技術】バーチャネルリヤリティシステムにおい
ては、人物の表情と全身の動きを実時間で検出し、再現
する必要がある。人体の姿勢や動作を計測するために
は、大別して接触型と非接触型とがある。接触型とはデ
ータグローブや磁気センサなどのデバイスを装着する形
態のものであり、近年比較的簡単に利用可能となり、計
測精度も高いという特徴がある。2. Description of the Related Art In a bar channel reality system, it is necessary to detect and reproduce the expression of a person and the movement of the whole body in real time. In order to measure the posture and movement of the human body, there are roughly two types: a contact type and a non-contact type. The contact type is a type in which a device such as a data glove or a magnetic sensor is mounted, and can be used relatively easily in recent years, and is characterized by high measurement accuracy.
【０００３】しかしながら、センサデバイスの装着は利
用者のストレス増大や、応用範囲の制限という問題を生
じる。一方の非接触型は、一般に画像などにより人物動
作を解析するというアプローチであり、利用者への負担
が軽減されるという利点がある。しかし、実時間性や処
理の安定性に問題が見られた。[0003] However, the mounting of the sensor device causes problems such as an increase in stress of the user and a limitation of an application range. On the other hand, the non-contact type is an approach in which a person's motion is generally analyzed by an image or the like, and has an advantage that a burden on a user is reduced. However, there were problems in real-time performance and processing stability.
【０００４】[0004]
【発明が解決しようとする課題】すなわち、従来画像か
ら人物動作の検出，認識を行なう研究としては、人体各
部をモデル化し、画像特徴により姿勢をボトムアップ的
に求める手法や、時系列画像の差分や色情報から得られ
るパラメータの時系列変化とモデルデータベースとのマ
ッチングを行なうといったトップダウン的手法が検討さ
れている。しかし、これらは実時間性という観点から見
ると課題がある。That is, as a conventional research for detecting and recognizing a person's motion from an image, a method of modeling each part of a human body and obtaining a posture from the image feature in a bottom-up manner, a method of calculating a difference between time-series images, Top-down methods such as matching a time series change of parameters obtained from color information and a model database are being studied. However, these have problems from the viewpoint of real-time performance.
【０００５】それゆえに、この発明の主たる目的は、赤
外線カメラから入力される熱画像から人物の領域を抽出
し、姿勢を推定するような人体姿勢の推定方法を提供す
ることである。[0005] Therefore, a main object of the present invention is to provide a method for estimating a human body posture, which extracts a region of a person from a thermal image input from an infrared camera and estimates the posture.
【０００６】[0006]
【課題を解決するための手段】請求項１に係る発明は、
人体を赤外線カメラで撮影して得られた熱画像を用いて
人体の姿勢を推定する人体姿勢の推定方法であって、熱
画像をしきい値処理して得られた人物領域に距離変換を
施すことによって身体重心を求める第１のステップと、
求めた身体重心よりも上部分の上半身主軸により上半身
の傾き角を得た後、人体の先端の特徴部位を求め、予め
定めるアルゴリズムによって人体の途中の位置を推定す
る第２のステップを含む。The invention according to claim 1 is
A human body posture estimating method for estimating a human body posture using a thermal image obtained by photographing a human body with an infrared camera, wherein a distance conversion is performed on a human region obtained by performing threshold processing on the thermal image. A first step of finding the body center of gravity by
After obtaining the tilt angle of the upper body by the upper body main axis above the obtained body center of gravity, a second step of obtaining a characteristic portion at the tip of the human body and estimating a position in the middle of the human body by a predetermined algorithm is included.
【０００７】請求項２に係る発明では、請求項１の第２
のステップは、求めた身体重心の水平位置よりも上方の
画像から腕領域を除去し、上半身距離画像の主軸を計算
して上半身傾き角とするステップと、距離変換を施した
距離変換画像の極大値を求めて骨格画像を作成するステ
ップと、骨格画像のうちの身体重心の垂直位置より下方
の下半身骨格画像の端点から所定の条件を満たす端点を
足先点として選ぶステップと、人物領域の輪郭形状によ
って手先点を求めるステップと、人物領域の輪郭形状に
よって首位置を求め、頭頂点を決定するステップを含
む。[0007] In the invention according to claim 2, the second aspect of claim 1 is provided.
The step of removing the arm region from the image above the horizontal position of the body center of gravity obtained, calculating the main axis of the upper body distance image to obtain the upper body tilt angle, and the step of maximizing the distance transformed image subjected to the distance transformation Calculating a skeleton image by obtaining a value; selecting an end point satisfying a predetermined condition from an end point of the lower body skeleton image below the vertical position of the body center of gravity in the skeleton image as a toe point; The method includes a step of obtaining a hand point based on a shape, and a step of obtaining a neck position based on a contour shape of a person area and determining a head vertex.
【０００８】請求項３に係る発明では、請求項２におけ
る第２のステップは遺伝的アルゴリズムを用いて頭頂点
と手先点と足先点の特徴部位から肘と膝の位置を推定す
る。In the invention according to claim 3, the second step in claim 2 estimates the positions of the elbow and the knee from the characteristic parts of the head vertex, the hand point and the toe point using a genetic algorithm.
【０００９】[0009]
【発明の実施の形態】図１はこの発明の一実施形態を実
現するための装置のブロック図である。図１において、
赤外線カメラ１は人物とその背景を撮像し、熱画像を画
像処理装置２に与える。画像処理装置２は後述の図２に
示すフローチャートに基づくプログラムを実行し、人物
の姿勢を推定する。FIG. 1 is a block diagram of an apparatus for implementing an embodiment of the present invention. In FIG.
The infrared camera 1 captures an image of a person and its background, and provides a thermal image to the image processing device 2. The image processing device 2 executes a program based on a flowchart shown in FIG. 2 described later, and estimates the posture of the person.
【００１０】図２はこの発明の一実施形態の動作を説明
するためのフローチャートであり、図３は熱人物画像の
一例を示す図であり、図４は距離変換画像とシルエット
輪郭を示す図であり、図５は上半身距離画像を示す図で
あり、図６は上半身主軸の抽出画像であり、図７は骨格
画像を示す図であり、図８は手先点の検出画像であり、
図９は頭頂点の検出画像であり、図１０は各特徴点の検
出画像である。FIG. 2 is a flowchart for explaining the operation of the embodiment of the present invention. FIG. 3 is a diagram showing an example of a hot portrait, and FIG. 4 is a diagram showing a distance conversion image and a silhouette outline. FIG. 5 is a diagram showing an upper body distance image, FIG. 6 is an extracted image of a main body main axis, FIG. 7 is a diagram showing a skeleton image, FIG. 8 is a detection image of a hand point,
FIG. 9 is a detected image of the head vertex, and FIG. 10 is a detected image of each feature point.
【００１１】次に、図１〜図１０を参照して、この発明
の一実施形態の具体的な動作について説明する。図２に
示すステップ（図示ではＳＰと略称する）ＳＰ１におい
て、赤外線カメラ１によって観測しているシーン中の物
体が放射する熱エネルギを検出することにより、画素の
値が温度値である熱画像の入力を行なう。したがって、
赤外線カメラ１によってシーン中の人物を観測すること
により得られる熱画像においては、一般には人物の表面
温度（以下、人物温度と称する）と、背景の温度とが異
なるため、簡単なしきい値処理により照明条件によらず
安定に人物に対応する領域の抽出が可能となる。図３に
熱人物画像の一例を示す。Next, a specific operation of the embodiment of the present invention will be described with reference to FIGS. In step SP1 shown in FIG. 2 (abbreviated as SP in the figure), thermal energy radiated by an object in a scene observed by the infrared camera 1 is detected, so that a thermal image whose pixel value is a temperature value is detected. Make the input. Therefore,
In a thermal image obtained by observing a person in a scene with the infrared camera 1, a surface temperature of the person (hereinafter, referred to as a person temperature) is generally different from a background temperature. It is possible to stably extract a region corresponding to a person regardless of lighting conditions. FIG. 3 shows an example of a heated human image.
【００１２】通常の空調の作動している室内であれば人
物温度以上の部分はほとんど存在せず、また存在しても
人物領域に比べて微小な面積である。また、人物によっ
ては人物温度の異なることが予想されるが、背景温度と
差と比較してその変動は非常に小さいために、人物ごと
に人物温度を再調整する必要はない。In a room where normal air conditioning is operating, there is almost no portion above the person temperature, and even if it exists, it has a smaller area than the person region. In addition, it is expected that the person temperature will differ depending on the person, but since the change is very small compared to the background temperature, it is not necessary to readjust the person temperature for each person.
【００１３】ステップＳＰ２において、赤外線カメラ１
によって得られた熱画像をしきい値処理することによっ
てシルエット画像となる二値画像が得られる。ここで、
しきい値はシルエット画像が熱画像の最小二乗近似とな
るように選ぶ。図４にシルエット画像の一例を示す。In step SP2, the infrared camera 1
By performing threshold processing on the thermal image obtained by the above, a binary image serving as a silhouette image is obtained. here,
The threshold is chosen such that the silhouette image is a least square approximation of the thermal image. FIG. 4 shows an example of a silhouette image.
【００１４】次に、ステップＳＰ３においてシルエット
画像ｆij（２次元画像）から身体重心を求めるために距
離変換を施す。図４に示す白い部分が距離変換画像であ
り、距離変換画像ｄijの重心（Ｉc ，Ｊc ）を次式を用
いて求める。Next, in step SP3, a distance conversion is performed to obtain the body center of gravity from the silhouette image f ij (two-dimensional image). The white part shown in FIG. 4 is the distance conversion image, and the center of gravity (I c , J c ) of the distance conversion image dij is obtained using the following equation.
【００１５】[0015]
【数１】 ここでＩc とＪc は距離値で重み付けされた領域の重心
である。二値であるシルエット画像より重心を直接求め
る場合、腕や足の姿勢によって重心位置が著しく移動し
てしまい安定でない。しかし、距離変換画像を用いるこ
とで手足の姿勢の重心位置への影響を極力抑えることが
可能となる。(Equation 1) Here, I c and J c are the center of gravity of the area weighted by the distance value. When the center of gravity is directly obtained from the binary silhouette image, the position of the center of gravity remarkably shifts depending on the posture of the arm or the foot, which is not stable. However, by using the distance conversion image, it is possible to minimize the influence of the posture of the limb on the position of the center of gravity.
【００１６】ステップＳＰ４において上半身主軸の抽出
を行なう。距離変換画像のうち、身体重心の水平位置よ
りも上方の画像に対し、腕領域の除去処理のため前フレ
ームの上半身主軸を対称軸としたガウス分布を距離値に
乗じる。得られた画像（上半身距離画像）の領域は、胴
体部と頭部にほぼ集中しているので、図５に示すような
上半身距離画像ｇijの重心を求める。重心を通るｇijの
慣性主軸の角度θは次式に示すように表わされ、上半身
の傾きと見なすことができる。At step SP4, the upper body main axis is extracted. For the image above the horizontal position of the center of gravity of the body in the distance converted image, the distance value is multiplied by a Gaussian distribution with the upper body main axis of the previous frame as the axis of symmetry for the arm area removal processing. Since the region of the obtained image (upper body distance image) is almost concentrated on the torso and the head, the center of gravity of the upper body distance image g ij as shown in FIG. 5 is obtained. The angle θ of the principal axis of inertia of g ij passing through the center of gravity is expressed by the following equation, and can be regarded as the inclination of the upper body.
【００１７】[0017]
【数２】 水平方向に手を延ばした場合などは脊椎に沿う方向に主
軸が定まらないことが考えられるが、腕領域の除去処理
によりこの問題を解決できる。(Equation 2) It is conceivable that the main axis may not be determined in the direction along the spine when the hand is extended in the horizontal direction. However, this problem can be solved by removing the arm region.
【００１８】次に、ステップＳＰ５において輪郭形状を
獲得する。シルエット画像において身体重心からラスタ
走査し、最初に発見された輪郭（境界）画素を開始点と
して反時計回りに境界線の追跡を行なう。境界（輪郭）
線上で「１」画素、それ以外で「０」画素となる二値画
像を輪郭画像と呼ぶことにする。ここで、仮頭頂点とし
て上半身主軸から最短距離の輪郭点（上半身重心よりも
上方に位置するもの）を選ぶ。Next, in step SP5, a contour shape is obtained. In the silhouette image, raster scanning is performed from the center of gravity of the body, and the boundary line is traced counterclockwise starting from the contour (boundary) pixel found first. Boundary (contour)
A binary image having “1” pixels on a line and “0” pixels on other lines is referred to as a contour image. Here, a contour point (the one located above the center of gravity of the upper body) that is the shortest distance from the main axis of the upper body is selected as the temporary head vertex.
【００１９】ステップＳＰ７において足先点の検出が行
なわれる。身体重心の算出に用いた距離変換画像の極大
値を求めることで図７に示すような骨格画像を作成す
る。下半身（身体重心の垂直位置より下方）かつ左
（右）半身（身体重心の水平位置を中心として左あるい
は右側）に存在する骨格の端点の中から「身体重心から
の水平偏差が最大」の条件を満たす端点を足先点として
選ぶ。At step SP7, a toe point is detected. A skeleton image as shown in FIG. 7 is created by obtaining the maximum value of the distance conversion image used for calculating the body center of gravity. The condition of "the maximum horizontal deviation from the body center of gravity" from the end points of the skeleton existing in the lower body (below the vertical position of the body center of gravity) and the left (right) half body (left or right centering on the horizontal position of the body center of gravity) Is selected as the toe point.
【００２０】ステップＳＰ７において手先点の検出が行
なわれる。輪郭上で仮頭頂から足先までに相当する輪郭
に含まれる画素数をｌh ：ｍh ：ｎh の比率に分割し、
中央部分に含まれる輪郭点を手先点の候補区間とする。
なお、ｌh ，ｍh ，ｎh は経験的に求めた定数である。At step SP7, a hand point is detected. The number of pixels included in the contour corresponding to the to the toes from the temporary crown on the contour l h: m h: dividing the ratio of n h,
The contour point included in the central portion is set as a candidate section of the hand point.
Here, l h , m h , and n h are constants empirically obtained.
【００２１】候補中で垂直位置が最高（手先候補点Ａ）
および最低の点（手先候補点Ｂ）と、身体重心からの水
平距離が最長の点（手先候補点Ｃ）を選ぶ。そして、以
下の条件に従って順に評価を行ない、上記を満たす候補
点を手先点とする。The highest vertical position among the candidates (candidate point A)
And a point having the longest horizontal distance from the center of gravity of the body (hand candidate point B) and a point having the longest horizontal distance from the center of gravity of the body (hand candidate point C). Then, evaluation is performed in order according to the following conditions, and candidate points satisfying the above are determined as hand points.
【００２２】 手先候補点Ａの垂直位置＞仮頭頂点の垂直位置−Ｔ
1 手先候補点Ｂの垂直位置＜身体重心の垂直位置＋Ｔ
1 手先候補点Ｂの水平位置＜身体重心の水平位置＋Ｔ
2 候補区間の終点 ここで、Ｔ1 ，Ｔ2 はそれぞれシルエットの外接四角形
の高さによって定まる定数である。図８に手先点の検出
画像を示す。Vertical position of hand candidate point A> Vertical position of temporary head vertex−T
Vertical position of one hand candidate point B <vertical position of body center of gravity + T
Horizontal position of one hand candidate point B <horizontal position of body center of gravity + T
Here the end point of the candidate section, T 1, T 2 are constants determined by the height of the circumscribed rectangle of each silhouette. FIG. 8 shows a detected image of the hand point.
【００２３】ステップＳＰ８において頭頂点の検出が行
なわれる。輪郭上で仮頭頂から手先に相当する輪郭の画
素数をｌp ：ｍp ：ｎp の比率に分割し、中央部分に含
まれる輪郭点を手先点の候補とする。そして、上半身主
軸までの距離が最短である点を首位置として、左右の首
位置に挟まれている輪郭の二等分点を頭頂点とする。手
先点の検出の場合と同様にして、ｌp ，ｍp ，ｎp は経
験的に求めた定数である。図９に頭頂点の検出画像を示
す。At step SP8, the head vertex is detected. The number of pixels of the contour corresponding to the hand from the temporary top to the hand on the contour is divided into the ratio of l p : m p : n p , and the contour point included in the central portion is set as a hand point candidate. The point at which the distance to the upper body main axis is the shortest is defined as the neck position, and the bisecting point of the contour sandwiched between the left and right neck positions is defined as the head vertex. As in the case of detecting the hand point, l p , m p , and n p are constants empirically obtained. FIG. 9 shows a detected image of the head vertex.
【００２４】ところで、全身の姿勢をコンピュータグラ
フィックモデルとして再現しようとする場合、重心，
頭，手，足の各位置の情報だけでは不十分である。たと
えば、肘の位置が既知でなければ腕の姿勢は数多くのパ
ターンを取り得ることになり、一意に決定することがで
きず、肘と膝の位置情報が重要となる。しかし、これら
の部位は輪郭として明確な特徴を備えておらず、手先な
どのように輪郭に基づくヒューリスティックな手法では
検出が困難である。そこで、この実施形態では、遺伝的
アルゴリズムによって肘と膝の位置を推定する。遺伝的
アルゴリズムでは対象問題の解候補は、遺伝子型として
染色体で一次元的に表現する。そして、染色体の初期集
団を発生させ、評価関数に応じた選択淘汰，交叉，突然
変異という遺伝的操作を行ないながら、解の集団を操作
対象として並列的に探索を進めていく。この実施形態で
は、肘，膝の位置を前述の身体重心，頭頂，手先，足先
の特徴点の線形結合式で表現し、その結合式の係数を遺
伝子情報として見立て、遺伝的アルゴリズムにより推定
誤差が小さくなるような係数の組合せを探索する。各フ
レームごとの膝（肘）の位置をｘi ，推定される位置を
ｘ＾i とするときの適応度（評価関数）ｆを、推定誤差
ｘi −ｘ＾i の平均値／ｅと誤差の分散の和の逆数とし
て定義する。When trying to reproduce the posture of the whole body as a computer graphic model, the center of gravity,
Information on head, hand, and foot positions alone is not enough. For example, if the position of the elbow is not known, the posture of the arm can take many patterns, cannot be uniquely determined, and the position information of the elbow and the knee is important. However, these parts do not have distinct features as contours, and are difficult to detect by a heuristic method based on contours such as a fingertip. Therefore, in this embodiment, the positions of the elbow and the knee are estimated by a genetic algorithm. In the genetic algorithm, the solution candidate of the target problem is one-dimensionally represented by a chromosome as a genotype. Then, an initial population of chromosomes is generated, and while performing genetic operations such as selection, crossover, and mutation according to the evaluation function, search is advanced in parallel with the solution population as an operation target. In this embodiment, the positions of the elbows and knees are represented by the linear combination of the feature points of the body center of gravity, the crown, the hands, and the toes, and the coefficients of the combination are regarded as genetic information, and the estimation error is estimated by a genetic algorithm. Search for a combination of coefficients that reduces. The fitness (evaluation function) f when the position of the knee (elbow) in each frame is x i and the estimated position is x ＾ i is the average value / e of the estimation error x i −x ＾ i and the error. Is defined as the reciprocal of the sum of the variances.
【００２５】[0025]
【数３】 ステップＳＰ９において膝位置を推定する。すなわち、
身体重心（ｘg ，ｙg），頭（ｘp ，ｙp ），手先（ｘ
h ，ｙh ），足先（ｘf ，ｙf ）の各位置の加重線形和
を用いて次式に示すように肘の位置（ｘe ，ｙe ）を表
現する。なお、各部位はｘ〜（ただし、〜とは上付の波
線を表わす） ＝ｘ−ｘg のように身体重心からの相対
位置で表わしている。前述のごとく、次式の係数Ｃi を
遺伝的アルゴリズムにより推定する。(Equation 3) In step SP9, the knee position is estimated. That is,
Body center of gravity (x g , y g ), head (x p , y p ), hand (x
The position of the elbow (x e , y e ) is expressed as shown in the following equation using the weighted linear sum of the positions of h , y h ) and toes (x f , y f ). In addition, each part is x ~ (however, represents a superscript wavy line) = X- xg and is represented by a relative position from the center of gravity of the body. As described earlier, estimated by the genetic algorithm the coefficients C i of the following equation.
【００２６】[0026]
【数４】 次に、ステップＳＰ１０において膝位置の推定を行な
う。手先から足先までの輪郭において、身体重心と足先
の垂直位置の差分を二等分した垂直位置に存在する輪郭
点（ｘ1 ，ｙ1 ）を探索しておく。身体重心（ｘg ，ｙ
g ），頭（ｘp ，ｙp ），足先（ｘf ，ｙf ），輪郭点
（ｘ1 ，ｙ1 ）の各位置の加重線形和を用いて次式に示
すように膝の位置（ｘk ，ｙk ）を表現し、遺伝的アル
ゴリズムにより係数Ｗi を推定する。図１０に各特徴点
の検出画像を示す。(Equation 4) Next, in step SP10, the knee position is estimated. In the contour from the hand to the toe, a contour point (x 1 , y 1 ) existing at a vertical position obtained by bisecting the difference between the body center of gravity and the vertical position of the toe is searched. Body center of gravity (x g , y
g), the head (x p, y p), feet (x f, y f), the position of the knee as shown in the following equation using the weighted linear sum of the position of the contour point (x 1, y 1) (X k , y k ) is expressed, and the coefficient W i is estimated by a genetic algorithm. FIG. 10 shows a detected image of each feature point.
【００２７】[0027]
【数５】 図１１〜図１４はこの発明の一実施形態を用いて推定し
た肘と膝の位置と実測値とを対比して示した図であり、
特に、図１１は肘の水平位置の実測値と推定結果を示
し、図１２は肘の垂直位置の実測値との推定結果を示
し、図１３は膝の水平位置の実測値と推定結果を示し、
図１４は膝の垂直位置の実測値と推定結果を示す。この
図１１〜図１４に示した図は以下に示すような実験の結
果によるものである。すなわち、「腕を曲げる」，「腕
を上げる」，「屈伸をする」，「横にステップを踏み出
す」，「足を上げる」などの肘や膝の動きを中心とした
一連の動作を熱カメラにより撮影し、熱画像を解像度１
６０×１２０画素で計算機に取込み、マニュアルにて肘
と膝の位置を入力し、これを目標値として遺伝的アルゴ
リズムにより第（５）式および第（６）式の係数Ｃi ，
Ｗi を求めた。このパラメータを次の表１および表２に
示す。(Equation 5) 11 to 14 are diagrams showing the positions of the elbows and knees estimated using one embodiment of the present invention and actual measurement values,
In particular, FIG. 11 shows the measured values and estimated results of the horizontal position of the elbow, FIG. 12 shows the estimated results of the measured values of the vertical position of the elbow, and FIG. 13 shows the measured values and the estimated results of the horizontal position of the knee. ,
FIG. 14 shows measured values and estimation results of the vertical position of the knee. The diagrams shown in FIGS. 11 to 14 are based on the results of experiments described below. In other words, a series of movements centered on the movements of the elbows and knees, such as “bending the arm”, “raising the arm”, “bending and stretching”, “stepping sideways”, “raising the foot”, etc. And thermal image with resolution 1
The values are taken into the computer at 60 × 120 pixels, and the positions of the elbows and knees are manually input. The coefficients C i ,
Wi was determined. The parameters are shown in Tables 1 and 2 below.
【００２８】[0028]
【表１】 [Table 1]
【００２９】[0029]
【表２】 遺伝的アルゴリズムの各種パラメータは、個体数：２０
００，世代数：３０００，交差確率：０．０２，突然変
異率：０．００３に設定した。そして、評価のために第
（５）式および第（６）式に遺伝的アルゴリズムで求め
た係数と姿勢情報を当てはめて肘および膝の位置推定を
行ない、実測値との誤差を調べた、表１，２に求められ
た係数の値を示したのが図１１〜図１４である。各図に
おいて、実線は実測値を示し、破線はこの発明の一実施
形態による推定値を表わしている。図１１〜図１４から
明らかなように、誤差は極めて小さく、肘，膝とも実測
値をよく近似していることがわかる。[Table 2] Various parameters of the genetic algorithm are as follows:
00, the number of generations: 3000, the crossover probability: 0.02, the mutation rate: 0.003. Then, for the evaluation, the positions of the elbows and the knees were estimated by applying the coefficients obtained by the genetic algorithm and the posture information to the expressions (5) and (6), and the errors from the measured values were examined. FIGS. 11 to 14 show the values of the coefficients obtained in 1 and 2. FIG. In each figure, a solid line indicates an actually measured value, and a broken line indicates an estimated value according to an embodiment of the present invention. As is clear from FIGS. 11 to 14, the error is extremely small, and the elbow and the knee both closely approximate the measured values.
【００３０】[0030]
【発明の効果】以上のように、この発明によれば、熱画
像をしきい値処理して得られた人物領域に距離変換を施
して身体重心を求め、身体重心よりも上部分の上半身主
軸により上半身の傾き角を得た後、人体の先端の特徴部
位を求め、所定のアルゴリズムによって人体の途中の位
置を推定するようにしたので、人体に各種機器を取付け
る必要のない非接触，非装着な方法で実時間で人体の姿
勢を推定することができる。しかも、推定した姿勢情報
が学習により三次元への対応がある程度可能であり、背
景および照明条件が変動するような環境下においても安
定に動作し、頑健な性能を持つことができる。As described above, according to the present invention, the human region obtained by performing threshold processing on the thermal image is subjected to distance conversion to obtain the body center of gravity, and the upper body main axis above the body center of gravity is obtained. After obtaining the tilt angle of the upper body, the characteristic part at the tip of the human body is obtained, and the position in the middle of the human body is estimated by a predetermined algorithm, so it is not necessary to attach various devices to the human body, non-contact, non-wearing And the posture of the human body can be estimated in real time by a simple method. In addition, the estimated posture information can correspond to three dimensions by learning to some extent, and can operate stably even in an environment where the background and lighting conditions fluctuate, and have robust performance.
【図１】この発明の一実施形態を実現するための装置を
示す概略ブロック図である。FIG. 1 is a schematic block diagram showing an apparatus for realizing an embodiment of the present invention.
【図２】この発明の一実施形態の動作を説明するための
フローチャートである。FIG. 2 is a flowchart for explaining the operation of the embodiment of the present invention;
【図３】熱人物画像の一例を示す図である。FIG. 3 is a diagram illustrating an example of a heated portrait image.
【図４】距離変換画像とシルエット輪郭を示す図であ
る。FIG. 4 is a diagram showing a distance conversion image and a silhouette outline.
【図５】上半身距離画像を示す図である。FIG. 5 is a diagram showing an upper body distance image.
【図６】上半身主軸の抽出画像を示す図である。FIG. 6 is a diagram showing an extracted image of a main body main axis.
【図７】骨格画像を示す図である。FIG. 7 is a diagram showing a skeleton image.
【図８】手先点の検出画像を示す図である。FIG. 8 is a diagram showing a detection image of a hand point.
【図９】頭頂点の検出画像を示す図である。FIG. 9 is a diagram showing a detected image of a head vertex.
【図１０】各特徴点の検出画像を示す図である。FIG. 10 is a diagram showing a detected image of each feature point.
【図１１】肘の水平位置の実測値と推定結果を示す図で
ある。FIG. 11 is a diagram showing measured values and estimation results of the horizontal position of the elbow.
【図１２】肘の垂直位置の実測値と推定結果を示す図で
ある。FIG. 12 is a diagram showing actual measurement values and estimation results of the vertical position of the elbow.
【図１３】膝の水平位置の実測値と推定結果を示す図で
ある。FIG. 13 is a diagram showing measured values and estimation results of the horizontal position of the knee.
【図１４】肘の垂直位置の実測値と推定結果を示す図で
ある。FIG. 14 is a diagram showing measured values and estimation results of the vertical position of the elbow.
１ 赤外線カメラ ２ 画像処理装置 1 infrared camera 2 image processing device
───────────────────────────────────────────────────── フロントページの続き (72)発明者 海老原 一之 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール知能映 像通信研究所内 (72)発明者 大谷 淳 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール知能映 像通信研究所内 ────────────────────────────────────────────────── ─── Continuing on the front page (72) Inventor Kazuyuki Ebihara 5th Sanraya, Seiya-cho, Soraku-cho, Soraku-gun, Kyoto A / T, Inc. 5 Shiraya, Seiya-cho, Seika-cho, Soraku-gun ATI Intelligent Motion Picture Communication Laboratory, Inc.
Claims (3)
熱画像を用いて人体の姿勢を推定する推定方法であっ
て、 前記熱画像をしきい値処理して得られた人物領域に距離
変換を施すことによって身体重心を求める第１のステッ
プ、および前記求めた身体重心よりも上部分の上半身主
軸により上半身の傾き角を得た後、人体の先端の特徴部
位を求め、予め定めるアルゴリズムによって人体の途中
の位置を推定する第２のステップを含む、人体姿勢の推
定方法。An estimation method for estimating a posture of a human body using a thermal image obtained by photographing a human body with an infrared camera, wherein a distance to a human region obtained by performing threshold processing on the thermal image is determined. A first step of obtaining a body center of gravity by performing a conversion, and obtaining an inclination angle of the upper body by an upper body main axis above the obtained body center of gravity, obtaining a characteristic portion at a tip of a human body, and using a predetermined algorithm A method for estimating a human body posture, comprising a second step of estimating a position in the middle of a human body.
領域を除去し、上半身距離画像の主軸を計算して前記上
半身傾き角とするステップ、 前記距離変換を施した距離変換画像の極大値を求めて骨
格画像を作成するステップ、 前記骨格画像のうちの身体重心の垂直位置より下方の下
半身骨格画像の端点から所定の条件を満たす端点を足先
点として選ぶステップ、 前記人物領域の輪郭形状によって手先点を求めるステッ
プ、および前記人物領域の輪郭形状によって首位置を求
め、頭頂点を決定するステップを含む、請求項１の人体
姿勢の推定方法。2. The method according to claim 2, wherein the second step is a step of removing an arm region from an image above the horizontal position of the calculated center of gravity of the body, calculating a main axis of an upper body distance image to obtain the upper body inclination angle, Obtaining a local maximum value of the distance-converted image subjected to the distance conversion to create a skeleton image; and, from the end points of the lower-body skeleton image below the vertical position of the body center of gravity in the skeleton image, the end points satisfying a predetermined condition from the end points 2. The method of estimating a human body posture according to claim 1, further comprising: selecting a point as a point; obtaining a hand point based on the contour shape of the human region; and obtaining a neck position based on the contour shape of the human region and determining a head vertex.
ズムを用いて前記頭頂点と手先点と足先点の特徴部位か
ら肘と膝の位置を推定することを特徴とする、請求項２
の人体姿勢の推定方法。3. The method according to claim 2, wherein the second step estimates a position of an elbow and a knee from a characteristic portion of the head vertex, the tiptoe point, and the toepoint using a genetic algorithm.
Estimation method of human body posture.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9086132A JP2952208B2 (en) | 1997-03-18 | 1997-03-18 | Estimation method of human body posture |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9086132A JP2952208B2 (en) | 1997-03-18 | 1997-03-18 | Estimation method of human body posture |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10258044A true JPH10258044A (en) | 1998-09-29 |
| JP2952208B2 JP2952208B2 (en) | 1999-09-20 |
Family
ID=13878193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9086132A Expired - Fee Related JP2952208B2 (en) | 1997-03-18 | 1997-03-18 | Estimation method of human body posture |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2952208B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007106290A (en) * | 2005-10-14 | 2007-04-26 | Denso Corp | Air-conditioner for vehicle seat, and vehicle seat |
| US7269516B2 (en) | 2001-05-15 | 2007-09-11 | Psychogenics, Inc. | Systems and methods for monitoring behavior informatics |
| JP2010011906A (en) * | 2008-07-01 | 2010-01-21 | Tanita Corp | Body composition measuring apparatus |
| KR100961097B1 (en) | 2008-08-12 | 2010-06-07 | 전자부품연구원 | Method for recognizing head pose using thermal camera |
| WO2013084031A1 (en) * | 2011-12-09 | 2013-06-13 | Ku Siu Fung | System for motion tracking and comparison |
| KR20140040527A (en) * | 2012-09-26 | 2014-04-03 | 삼성전자주식회사 | Method and apparatus for detecting information of body skeleton and body region from image |
| DE112017002805T5 (en) | 2016-06-03 | 2019-02-28 | Mitsubishi Electric Corporation | Equipment control device and equipment control method |
-
1997
- 1997-03-18 JP JP9086132A patent/JP2952208B2/en not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7269516B2 (en) | 2001-05-15 | 2007-09-11 | Psychogenics, Inc. | Systems and methods for monitoring behavior informatics |
| US7580798B2 (en) | 2001-05-15 | 2009-08-25 | Psychogenics, Inc. | Method for predicting treatment classes using animal behavior informatics |
| US7882135B2 (en) | 2001-05-15 | 2011-02-01 | Psychogenics, Inc. | Method for predicting treatment classes using behavior informatics |
| JP2007106290A (en) * | 2005-10-14 | 2007-04-26 | Denso Corp | Air-conditioner for vehicle seat, and vehicle seat |
| JP4655865B2 (en) * | 2005-10-14 | 2011-03-23 | 株式会社デンソー | Vehicle seat air conditioner and vehicle seat |
| JP2010011906A (en) * | 2008-07-01 | 2010-01-21 | Tanita Corp | Body composition measuring apparatus |
| KR100961097B1 (en) | 2008-08-12 | 2010-06-07 | 전자부품연구원 | Method for recognizing head pose using thermal camera |
| WO2013084031A1 (en) * | 2011-12-09 | 2013-06-13 | Ku Siu Fung | System for motion tracking and comparison |
| KR20140040527A (en) * | 2012-09-26 | 2014-04-03 | 삼성전자주식회사 | Method and apparatus for detecting information of body skeleton and body region from image |
| DE112017002805T5 (en) | 2016-06-03 | 2019-02-28 | Mitsubishi Electric Corporation | Equipment control device and equipment control method |
| US10982871B2 (en) | 2016-06-03 | 2021-04-20 | Mitsubishi Electric Corporation | Equipment control device and method, utilizing basal metabolism data calculated from estimated characteristics of a person based on detected visible light image data and corresponding thermal image data |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2952208B2 (en) | 1999-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7094702B2 (en) | Image processing device and its method, program | |
| JP4318465B2 (en) | Person detection device and person detection method | |
| CN107392086B (en) | Human body posture assessment device, system and storage device | |
| JP5820366B2 (en) | Posture estimation apparatus and posture estimation method | |
| US9159134B2 (en) | Method and apparatus for estimating a pose | |
| JP5227639B2 (en) | Object detection method, object detection apparatus, and object detection program | |
| US20110142353A1 (en) | Device method and program for human hand posture estimation | |
| US9117138B2 (en) | Method and apparatus for object positioning by using depth images | |
| US20220383653A1 (en) | Image processing apparatus, image processing method, and non-transitory computer readable medium storing image processing program | |
| JP5227629B2 (en) | Object detection method, object detection apparatus, and object detection program | |
| WO2012077287A1 (en) | Orientation state estimation device and orientation state estimation method | |
| WO2007102537A1 (en) | Posture estimating device and method | |
| CN104200200B (en) | Fusion depth information and half-tone information realize the system and method for Gait Recognition | |
| KR20110013200A (en) | Identifying method of human attitude and apparatus of the same | |
| JP2012123667A (en) | Attitude estimation device and attitude estimation method | |
| JP2000251078A (en) | Method and device for estimating three-dimensional posture of person, and method and device for estimating position of elbow of person | |
| CN110287772A (en) | Plane palm centre of the palm method for extracting region and device | |
| JP5699697B2 (en) | Robot device, position and orientation detection device, position and orientation detection program, and position and orientation detection method | |
| JP2967086B1 (en) | Estimation of 3D pose of a person by multi-view image processing | |
| JP2008204200A (en) | Face analysis system and program | |
| JP4419543B2 (en) | Detection apparatus and detection method | |
| JP5027030B2 (en) | Object detection method, object detection apparatus, and object detection program | |
| JPWO2013088517A1 (en) | How to estimate the orientation of a stationary person | |
| JP2952208B2 (en) | Estimation method of human body posture | |
| JP2005351814A (en) | Detector and detecting method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990629 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |