JP2012120647A - Posture detection system - Google Patents

Posture detection system Download PDF

Info

Publication number
JP2012120647A
JP2012120647A JP2010273034A JP2010273034A JP2012120647A JP 2012120647 A JP2012120647 A JP 2012120647A JP 2010273034 A JP2010273034 A JP 2010273034A JP 2010273034 A JP2010273034 A JP 2010273034A JP 2012120647 A JP2012120647 A JP 2012120647A
Authority
JP
Japan
Prior art keywords
person
unit
area
coordinates
skeleton model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010273034A
Other languages
Japanese (ja)
Inventor
Masahiro Kawamura
昌弘 川村
Yasuhisa Numata
弥寿久 沼田
Seiji Fukushima
誠次 福島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ALPHA CO
Original Assignee
ALPHA CO
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ALPHA CO filed Critical ALPHA CO
Priority to JP2010273034A priority Critical patent/JP2012120647A/en
Publication of JP2012120647A publication Critical patent/JP2012120647A/en
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

PROBLEM TO BE SOLVED: To highly accurately detect a posture of a person without installing a marker at the person.SOLUTION: The posture detection system includes: a distance image acquiring part 10 for acquiring a distance image wherein a radiance value in each pixel indicates the distance from a camera to an object; a coordinate calculation part 20 for calculating the coordinate of the object in a three-dimensional space based on the distance image acquired by the distance image acquiring part 10; a human region determination part 30 for determining a human region being an area of the object occupying a volume of more than a predetermined volume threshold in the three-dimensional space based on the coordinates of the object calculated by the coordinate calculation part 20; and a posture detection part 40 for detecting a posture of the person to be photographed by applying a skeleton model modeling a skeleton of a human body in the human region determined by the human region detection part 30.

Description

本発明は人物の姿勢を検出する姿勢検出装置に関し、特に、物体までの距離を計測することができるカメラを用いて撮像された距離画像から人物の姿勢を検出する姿勢検出装置に関する。   The present invention relates to a posture detection device that detects a posture of a person, and more particularly to a posture detection device that detects the posture of a person from a distance image captured using a camera capable of measuring a distance to an object.

従来、人物の各関節位置にマーカーを設置し、各マーカーの三次元空間中の位置を三角測量の原理を用いて計測することにより人物の動きを計測するモーションキャプチャーシステムが知られている（例えば、特許文献１参照。）。   2. Description of the Related Art Conventionally, a motion capture system that measures a person's movement by installing a marker at each joint position of the person and measuring the position of each marker in the three-dimensional space using the principle of triangulation is known (for example, , See Patent Document 1).

このシステムは、例えば、２台のカメラを用いて人物を撮影することにより２枚の画像データを得る。また、このシステムは、得られた画像データ間でマーカーの対応付けを行い、三角測量の原理を用いて各マーカーの三次元空間中の位置を計測する。さらに、このシステムは、三次元空間中での各マーカーの位置を追跡することにより人物の動きを計測する。   In this system, for example, two pieces of image data are obtained by photographing a person using two cameras. The system also associates markers between the obtained image data, and measures the position of each marker in the three-dimensional space using the principle of triangulation. Furthermore, this system measures the movement of a person by tracking the position of each marker in a three-dimensional space.

特開２００５−３４５１６１号公報JP 2005-345161 A

しかしながら、従来のモーションキャプチャーシステムでは、人物の各関節位置にマーカーを設置しなければならないため、マーカーを設置する手間がかかるという問題がある。   However, in the conventional motion capture system, there is a problem that it takes time and labor to install a marker because it is necessary to install a marker at each joint position of a person.

また、姿勢を検出することができる人物がマーカーを設置した人物に限定されるという問題がある。   In addition, there is a problem in that the person whose posture can be detected is limited to the person who installed the marker.

さらに、２枚の画像データ間でマーカーの対応付けを行う必要があるため、誤対応が生じやすく姿勢の検出精度が低いという問題がある。   Furthermore, since it is necessary to associate markers between two pieces of image data, there is a problem in that erroneous correspondence is likely to occur and posture detection accuracy is low.

本発明は、上述の問題点を解決するためになされたものであり、人物にマーカーを設置することなく、人物の姿勢を高精度で検出することができる姿勢検出装置を提供することを目的とする。   The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a posture detection device capable of detecting a posture of a person with high accuracy without installing a marker on the person. To do.

上記目的を達成するために、本発明のある局面に係る姿勢検出装置は、各画素における輝度値がカメラから物体までの距離を示す距離画像を取得する距離画像取得部と、前記距離画像取得部が取得した前記距離画像に基づいて、三次元空間中での物体の座標を計算する座標計算部と、前記座標計算部が計算した物体の座標に基づいて、三次元空間中で所定の体積しきい値以上の体積を占める物体の領域である人物領域を決定する人物領域決定部と、前記人物領域決定部が決定した前記人物領域に、人体の骨格をモデル化した骨格モデルを当てはめることにより被写体人物の姿勢を検出する姿勢検出部とを備える。   To achieve the above object, a posture detection apparatus according to an aspect of the present invention includes a distance image acquisition unit that acquires a distance image in which a luminance value in each pixel indicates a distance from a camera to an object, and the distance image acquisition unit A coordinate calculation unit that calculates the coordinates of the object in the three-dimensional space based on the distance image acquired by the computer, and a predetermined volume in the three-dimensional space based on the coordinates of the object calculated by the coordinate calculation unit. A person area determination unit that determines a person area that is an area of an object that occupies a volume equal to or greater than a threshold value, and a skeleton model that models a human skeleton is applied to the person area determined by the person area determination unit. A posture detection unit that detects the posture of the person.

この構成によると、距離画像から得られる物体の座標に基づいて人物領域を決定し、その人物領域に骨格モデルを当てはめている。このため、人物にマーカーを設置することなく、人物の姿勢を高精度で検出することができる。   According to this configuration, the person area is determined based on the coordinates of the object obtained from the distance image, and the skeleton model is applied to the person area. Therefore, the posture of the person can be detected with high accuracy without installing a marker on the person.

好ましくは、上述の姿勢検出装置は、さらに、身長ごとに骨格モデルを記憶している記憶部を備え、前記姿勢検出部は、前記人物領域の高さから前記被写体人物の身長を推定する身長推定部と、前記記憶部に記憶されている前記骨格モデルの中から、前記身長推定部で推定された前記身長に最も近い身長の骨格モデルを選択する選択部と、前記人物領域決定部で決定された前記人物領域に、前記選択部が選択した前記骨格モデルを当てはめることにより前記被写体人物の姿勢を検出する検出部とを有する。   Preferably, the posture detection device described above further includes a storage unit that stores a skeleton model for each height, and the posture detection unit estimates the height of the subject person from the height of the person region. A selection unit that selects a skeleton model having a height closest to the height estimated by the height estimation unit from the skeleton models stored in the storage unit, and the person region determination unit And a detecting unit that detects the posture of the subject person by fitting the skeleton model selected by the selecting unit to the person region.

この構成によると、被写体人物の身長に合致した骨格モデルを用いて被写体人物の姿勢を検出することができる。このため、被写体人物の身長が異なっていても人物の姿勢を高精度で検出することができる。   According to this configuration, the posture of the subject person can be detected using a skeleton model that matches the height of the subject person. For this reason, even if the height of the subject person is different, the posture of the person can be detected with high accuracy.

さらに好ましくは、前記身長推定部は、前記人物領域を正面から見た像である二次元の正面画像において水平方向の中心を通る高さ方向の軸を、前記被写体人物の水平方向の中心軸と決定する水平方向中心軸決定部と、前記人物領域を側面から見た像である二次元の側面画像において水平方向の中心を通る高さ方向の軸を、前記被写体人物の前後方向の中心軸と決定する前後方向中心軸決定部と、前記水平方向中心軸決定部および前記前後方向中心軸決定部がそれぞれ決定した前記被写体人物の水平方向および前後方向の中心軸に基づいて、前記被写体人物の中心軸を決定する被写体人物中心軸決定部と、前記被写体人物中心軸決定部が決定した前記被写体人物の中心軸上で最も高い位置にある前記人物領域の座標から地面までの距離を前記被写体人物の身長と推定する推定部とを有する。   More preferably, the height estimation unit uses an axis in the height direction passing through the center in the horizontal direction in a two-dimensional front image that is an image of the person area as viewed from the front, as the horizontal axis of the subject person. A horizontal direction central axis determination unit for determining, and an axis in the height direction passing through the center in the horizontal direction in a two-dimensional side image that is an image of the person region viewed from the side, and a central axis in the front-rear direction of the subject person The center of the subject person is determined based on the center axis in the horizontal direction and the front-rear direction of the subject person determined by the front-rear direction center axis determination unit, the horizontal direction center axis determination unit, and the front-rear direction center axis determination unit, respectively. A subject person central axis determining unit for determining an axis, and a distance from the coordinates of the person region at the highest position on the central axis of the subject person determined by the subject person central axis determining unit to the ground And an estimation unit to estimate the height of Utsushitai person.

この構成によると、被写体人物の水平方向の中心軸と前後方向の中心軸が求まると、各中心軸を通る平面の交線として被写体人物の中心軸を求めることができる。このため、被写体人物の中心軸を正確に求めることができる。被写体人物の中心軸を正確に求めることができると、被写体人物の身長を正確に推定することができる。   According to this configuration, when the horizontal axis of the subject person and the central axis in the front-rear direction are obtained, the central axis of the subject person can be obtained as an intersection line of planes passing through the central axes. For this reason, the central axis of the subject person can be accurately obtained. If the center axis of the subject person can be accurately obtained, the height of the subject person can be accurately estimated.

また、前記水平方向中心軸決定部は、前記正面画像において横軸が水平方向の座標を示し、縦軸が各水平方向の座標を有する前記人物領域の画素の度数を示す第１ヒストグラムを生成する第１ヒストグラム生成部と、前記第１ヒストグラム生成部が生成した前記第１ヒストグラムにおける最大度数を算出する第１最大度数算出部と、前記第１最大度数算出部が算出した前記最大度数に１未満の第１所定係数を掛けた値である第１積を算出する第１積算出部と、前記第１積算出部が算出した前記第１積以上の度数を有する水平方向の座標の最小値と最大値との平均値を水平方向の座標とする前記被写体人物の高さ方向の軸を、前記被写体の水平方向の中心軸と決定する第１軸決定部とを有してもよい。   Further, the horizontal direction central axis determination unit generates a first histogram indicating the frequency of the pixels in the person area having a horizontal axis indicating a horizontal coordinate and a vertical axis indicating the horizontal coordinate in the front image. A first histogram generation unit, a first maximum frequency calculation unit that calculates the maximum frequency in the first histogram generated by the first histogram generation unit, and the maximum frequency calculated by the first maximum frequency calculation unit is less than 1 A first product calculation unit that calculates a first product that is a value multiplied by a first predetermined coefficient, and a minimum value of horizontal coordinates having a frequency equal to or higher than the first product calculated by the first product calculation unit; You may have a 1st axis | shaft determination part which determines the axis | shaft of the said subject person's height direction which makes an average value with a maximum value the coordinate of a horizontal direction as a center axis | shaft of the said subject's horizontal direction.

例えば、被写体人物が手を挙げていると、その部分の画素数が大きくなるため、第１ヒストグラムにおいて手の部分の度数が大きくなってしまう。このため、最大度数をそのまま用いて水平方向の中心軸を決定すると、挙げた手の部分が中心軸になってしまう。しかし、この構成では、最大度数に１未満の第１所定係数を掛けた値である第１積を計算している。このため、第１積以上の度数を有する座標は、人物領域の胴付近の座標を示す。よって、第１積以上の度数を有する座標の最小値と最大値との平均値から水平方向の中心軸を決定することにより、正確に水平方向の中心軸を決定することができる。   For example, if the subject person raises his / her hand, the number of pixels in that portion increases, and the frequency of the hand portion in the first histogram increases. For this reason, if the central axis in the horizontal direction is determined using the maximum power as it is, the hand portion mentioned will become the central axis. However, in this configuration, the first product, which is a value obtained by multiplying the maximum frequency by a first predetermined coefficient less than 1, is calculated. For this reason, coordinates having a frequency equal to or higher than the first product indicate coordinates near the trunk of the person area. Therefore, the horizontal central axis can be accurately determined by determining the horizontal central axis from the average value of the minimum and maximum coordinates having the frequency equal to or greater than the first product.

また、前記前後方向中心軸決定部は、前記側面画像において横軸が前後方向の座標を示し、縦軸が各前後方向の座標を有する前記人物領域の画素の度数を示す第２ヒストグラムを生成する第２ヒストグラム生成部と、前記第２ヒストグラム生成部が生成した前記第２ヒストグラムにおける最大度数を算出する第２最大度数算出部と、前記第２最大度数算出部が算出した前記最大度数に１未満の第２所定係数を掛けた値である第２積を算出する第２積算出部と、前記第２積算出部が算出した前記第２積以上の度数を有する前後方向の座標の最小値と最大値との平均値を前後方向の座標とする前記被写体人物の高さ方向の軸を、前記被写体の前後方向の中心軸と決定する第２軸決定部とを有してもよい。   The front-rear direction central axis determination unit generates a second histogram indicating the frequency of the pixels in the person area in which the horizontal axis indicates the front-rear direction coordinates and the vertical axis has the respective front-rear direction coordinates in the side image. A second histogram generation unit, a second maximum frequency calculation unit that calculates the maximum frequency in the second histogram generated by the second histogram generation unit, and the maximum frequency calculated by the second maximum frequency calculation unit is less than 1 A second product calculation unit that calculates a second product that is a value multiplied by a second predetermined coefficient, and a minimum value of coordinates in the front-rear direction having a frequency equal to or greater than the second product calculated by the second product calculation unit; You may have the 2nd axis | shaft determination part which determines the axis | shaft of the subject person's height direction which makes an average value with the maximum value the coordinate of the front-back direction as a center axis | shaft of the front-back direction of the said subject.

例えば、被写体人物が手を挙げていると、その部分の画素数が大きくなるため、第２ヒストグラムにおいて手の部分の度数が大きくなってしまう。このため、最大度数をそのまま用いて前後方向の中心軸を決定すると、挙げた手の部分が中心軸になってしまう。しかし、この構成では、最大度数に１未満の第２所定係数を掛けた値である第２積を計算している。このため、第２積以上の度数を有する座標は、人物領域の胴付近の座標を示す。よって、第２積以上の度数を有する座標の最小値と最大値との平均値から前後方向の中心軸を決定することにより、正確に前後方向の中心軸を決定することができる。   For example, if the subject person raises his / her hand, the number of pixels in that portion increases, and the frequency of the hand portion in the second histogram increases. For this reason, if the central axis in the front-rear direction is determined using the maximum power as it is, the hand portion mentioned above becomes the central axis. However, in this configuration, the second product, which is a value obtained by multiplying the maximum frequency by a second predetermined coefficient less than 1, is calculated. For this reason, coordinates having a frequency equal to or greater than the second product indicate coordinates near the trunk of the person area. Therefore, the central axis in the front-rear direction can be accurately determined by determining the central axis in the front-rear direction from the average value of the minimum value and the maximum value of the coordinates having the frequency equal to or greater than the second product.

また、前記検出部は、前フレームの距離画像について決定された三次元空間中での頭部の位置と同じ位置から第１所定距離内に含まれる前記人物領域の座標のうち、高さ方向に最も高い位置の座標から高さ方向に第２所定距離下がった位置を含む所定範囲内の前記人物領域の平均座標を算出する平均座標算出部と、前記平均座標算出部が算出した前記人物領域の平均座標から高さ方向に前記第２所定距離上がった位置に、前記骨格モデルの頭部を当てはめる頭位置設定部とを有してもよい。   In addition, the detection unit is arranged in a height direction among the coordinates of the person area included within the first predetermined distance from the same position as the position of the head in the three-dimensional space determined for the distance image of the previous frame. An average coordinate calculation unit that calculates an average coordinate of the person area within a predetermined range including a position that is lowered by a second predetermined distance in the height direction from the coordinate of the highest position; and the person area calculated by the average coordinate calculation unit You may have the head position setting part which applies the head of the said skeletal model to the position which raised the said 2nd predetermined distance to the height direction from the average coordinate.

頭髪部分では拡散反射が起き易いため、距離の精度が悪い。しかし、この構成によると、前フレームの頭部の位置に近い位置から第２所定距離下がった位置の周辺において、人物領域の平均座標を算出し、平均座標から第２所定距離上がった位置を頭部の位置とすることができる。前フレームの頭部の位置に近い位置から第２所定距離下がった位置の周辺は人物の顔の位置と考えられ距離が正確に求められている。このため、平均座標は、正確な顔の位置を表している。よって、顔の位置を基準として正確に頭部の位置を算出することができる。   Since the hair is easily diffused and reflected, the distance accuracy is poor. However, according to this configuration, the average coordinates of the person region are calculated around the position that is lower than the position of the head of the previous frame by the second predetermined distance, and the position that is higher by the second predetermined distance than the average coordinate is calculated. It can be the position of the part. The vicinity of the position that is a second predetermined distance below the position near the head position of the previous frame is considered to be the position of the person's face, and the distance is accurately determined. For this reason, the average coordinates represent the exact face position. Therefore, the position of the head can be accurately calculated based on the position of the face.

また、前記検出部は、さらに、前記頭位置設定部が設定した前記骨格モデルの頭部の位置を基準として、前記被写体人物中心軸決定部が決定した前記被写体人物の中心軸上に前記骨格モデルの腰部の位置を設定する腰位置設定部を有してもよい。   The detection unit may further include the skeleton model on the central axis of the subject person determined by the subject person central axis determination unit with reference to the position of the head of the skeleton model set by the head position setting unit. There may be provided a waist position setting unit for setting the position of the waist.

この構成によると、腰部が被写体人物の中心軸上にあると考えている。このため、頭部の位置を基準として腰部の位置を決定することができる。   According to this configuration, it is considered that the waist is on the central axis of the subject person. For this reason, the position of the waist can be determined based on the position of the head.

また、前記検出部は、さらに、前記頭位置設定部が設定した前記骨格モデルの頭部の位置と前記腰位置設定部が設定した前記骨格モデルの腰部の位置とから前記被写体人物の傾き角度を算出する傾き角度算出部と、前記傾き角度算出部が算出した前記被写体人物の傾き角度に基づいて定められる首の曲がり角度だけ、前記骨格モデルの首の位置を前記被写体人物の傾きとは逆方向に傾ける首傾き設定部とを有してもよい。   Further, the detection unit further determines the inclination angle of the subject person from the position of the head of the skeleton model set by the head position setting unit and the position of the waist of the skeleton model set by the waist position setting unit. An inclination angle calculation unit to be calculated, and a neck bending angle determined based on the inclination angle of the subject person calculated by the inclination angle calculation unit, the neck position of the skeleton model is opposite to the inclination of the subject person And a neck inclination setting unit that inclines toward the center.

この構成によると、被写体人物の傾きと逆方向に首を傾けるようにしている。このため、自然な首の傾きを推定することができる。   According to this configuration, the head is inclined in the direction opposite to the inclination of the subject person. For this reason, a natural neck inclination can be estimated.

また、前記検出部は、さらに、当てはめた前記骨格モデルに基づいて、前記人物領域決定部が決定した前記人物領域から少なくとも頭および胴を除いた領域の外接矩形領域を取得する領域取得部と、前記領域取得部が取得した外接矩形領域のうち、前フレームの距離画像について右腕と判断されている外接矩形領域と重なり合いを有し、かつ前記骨格モデルにおける右肩位置を基準とした場合の右肘の稼動範囲と重なり合いを有する外接矩形領域が存在するという右腕移動条件を満たす外接矩形領域の位置に、前記被写体人物の右腕が移動したと判断し、当該位置に前記骨格モデルの右腕を当てはめる右腕移動判断部と、前記領域取得部が取得した外接矩形領域のうち、前記前フレームの距離画像について左腕と判断されている外接矩形領域と重なり合いを有し、かつ前記骨格モデルにおける左肩位置を基準とした場合の左肘の稼動範囲と重なり合いを有する外接矩形領域が存在するという左腕移動条件を満たす外接矩形領域の位置に、前記被写体人物の左腕が移動したと判断し、当該位置に前記骨格モデルの左腕を当てはめる左腕移動判断部とを有してもよい。   Further, the detection unit further obtains a circumscribed rectangular region of a region excluding at least a head and a torso from the person region determined by the person region determination unit based on the fitted skeleton model; The right elbow in the circumscribed rectangular area acquired by the area acquiring unit overlaps with the circumscribed rectangular area determined to be the right arm for the distance image of the previous frame and is based on the right shoulder position in the skeleton model Right arm movement that determines that the right arm of the subject person has moved to the position of the circumscribed rectangular area that satisfies the right arm movement condition that there is a circumscribed rectangular area that overlaps the operating range of the subject, and applies the right arm of the skeleton model to the position Out of the circumscribed rectangular areas acquired by the determining unit and the area acquiring unit, the circumscribed rectangular area determined as the left arm for the distance image of the previous frame The position of the subject person at the position of the circumscribed rectangular area that satisfies the left arm movement condition that there is an circumscribed rectangular area that overlaps with the operating range of the left elbow when the left shoulder position in the skeleton model is used as a reference. A left arm movement determination unit that determines that the left arm has moved and applies the left arm of the skeleton model to the position may be included.

この構成によると、前フレームにおいて右腕と判断されている外接矩形領域と重なっており、かつ、右肩位置を基準に右肘の稼動範囲と重なり合いを有する外接矩形領域については右腕の可能性が高いため、右腕と判断することができる。同様に左腕も判断することができる。   According to this configuration, there is a high possibility of a right arm for a circumscribed rectangular area that overlaps with the operating range of the right elbow based on the right shoulder position, and that overlaps the circumscribed rectangular area that is determined to be the right arm in the front frame. Therefore, it can be determined as the right arm. Similarly, the left arm can be determined.

また、前記検出部は、さらに、前記領域取得部が取得した外接矩形領域のうち、前記前フレームの距離画像について右腕以外の部分と判断されている部分と重なり合いを有しておらず、かつ、前記骨格モデルにおける右肩位置を基準とした場合の右肘の稼動範囲との重なり部分の体積が最大となる外接矩形領域が存在するという右腕出現条件を満たす外接矩形領域の位置に、前記被写体人物の右腕が出現したと判断し、当該位置に前記骨格モデルの右腕を当てはめる右腕出現判断部と、前記領域取得部が取得した外接矩形領域のうち、前記前フレームの距離画像について左腕以外の部分と判断されている部分と重なり合いを有しておらず、かつ、前記骨格モデルにおける左肩位置を基準とした場合の左肘の稼動範囲との重なり部分の体積が最大となる外接矩形領域が存在するという左腕出現条件を満たす外接矩形領域の位置に、前記被写体人物の左腕が出現したと判断し、当該位置に前記骨格モデルの左腕を当てはめる左腕出現判断部とを有してもよい。   In addition, the detection unit further does not overlap with a portion of the circumscribed rectangular region acquired by the region acquisition unit that is determined to be a portion other than the right arm with respect to the distance image of the previous frame, and The subject person is located at the position of the circumscribed rectangular area that satisfies the right arm appearance condition that there is a circumscribed rectangular area in which the volume of the overlapping portion with the working range of the right elbow when the right shoulder position in the skeleton model is used as a reference. A right arm appearance determining unit that applies the right arm of the skeleton model to the position, and a circumscribed rectangular region acquired by the region acquiring unit, and a portion other than the left arm in the distance image of the previous frame The volume of the overlapping portion with the operating range of the left elbow when the left shoulder position in the skeleton model is used as a reference does not overlap with the determined portion. A left arm appearance determination unit that determines that the left arm of the subject person has appeared at the position of the circumscribed rectangular area that satisfies the left arm appearance condition that the circumscribed rectangular area exists, and applies the left arm of the skeleton model to the position. May be.

右腕出現判断部は、右腕以外の部分と判断されている部分と重なり合いを有していないという条件を満たすことをチェックすることにより、右腕以外の可能性がないということを判断している。このため、右腕出現判断部は、右腕以外の可能性がない外接矩形領域の中から右肘の稼動範囲との重なり部分の体積が最大となるものを決定することにより、右腕の出現を確実に判断することができる。同様に、左腕出現判断部は、左腕の出現を確実に判断することができる。   The right arm appearance determination unit determines that there is no possibility other than the right arm by checking that the condition that there is no overlap with the portion determined to be a portion other than the right arm is satisfied. For this reason, the right arm appearance determination unit reliably determines the appearance of the right arm by determining the circumscribed rectangular area other than the right arm that has the largest volume of the overlapping portion with the operating range of the right elbow. Judgment can be made. Similarly, the left arm appearance determination unit can reliably determine the appearance of the left arm.

また、前記検出部は、さらに、前記前フレームの距離画像について前記被写体人物の右腕および左腕が出現していない場合において、前記領域取得部が取得した外接矩形領域のうち、前記右腕出現条件および前記左腕出現条件を満たす外接矩形領域が存在する場合には、当該存在する外接矩形領域の位置において、前記被写体人物の両腕が結合していると判断し、当該位置に前記骨格モデルの両腕を結合した状態で当てはめる第１結合判断部を有してもよい。   The detection unit may further include the right arm appearance condition and the right arm appearance condition in the circumscribed rectangular region acquired by the region acquisition unit when the right arm and the left arm of the subject person have not appeared in the distance image of the previous frame. When there is a circumscribed rectangular area that satisfies the left arm appearance condition, it is determined that both arms of the subject person are combined at the position of the existing circumscribed rectangular area, and both arms of the skeleton model are placed at the position. You may have the 1st combination judgment part applied in the combined state.

前フレームで両腕が出現していないにもかかわらず、現フレームにおいて左腕出現条件および右腕出現条件を満たす外接矩形領域が存在する場合には、両手を繋いだ状態で両腕を被写体人物の前に出したと判断することができる。   If there is a circumscribed rectangular area in the current frame that satisfies the left arm appearance condition and the right arm appearance condition even though both arms do not appear in the previous frame, both arms are placed in front of the subject person with both hands connected. It can be judged that it was put out.

また、前記検出部は、さらに、前記前フレームの距離画像について前記被写体人物の右腕および左腕が別個に出現している場合において、前記領域取得部が取得した外接矩形領域のうち、前記右腕移動条件および前記左腕移動条件を満たす外接矩形領域が存在する場合には、当該存在する外接矩形領域の位置において、前記被写体人物の両腕が結合していると判断し、当該位置に前記骨格モデルの両腕を結合した状態で当てはめる第２結合判断部を有してもよい。   Further, the detection unit further includes the right arm movement condition in the circumscribed rectangular region acquired by the region acquisition unit when the right arm and the left arm of the subject person appear separately in the distance image of the previous frame. And when there is a circumscribed rectangular region that satisfies the left arm movement condition, it is determined that both arms of the subject person are combined at the position of the existing circumscribed rectangular region, and both of the skeleton models are located at the position. You may have the 2nd joint judgment part applied in the state which couple | bonded the arm.

前フレームで両腕が別々に見えているにもかかわらず、現フレームにおいて左腕出現条件および右腕出現条件を満たす外接矩形領域が存在する場合には、離れていた両手を繋いだと判断することができる。   If there is a circumscribed rectangular area that satisfies the left arm appearance condition and the right arm appearance condition in the current frame even though both arms are visible separately in the previous frame, it may be determined that the two hands that were separated are connected it can.

また、前記検出部は、さらに、前記前フレームの距離画像について前記被写体人物の両腕が結合している場合において、前記領域取得部が取得した外接矩形領域のうち、前記右腕移動条件を満たす外接矩形領域と前記左腕移動条件を満たす外接矩形領域とが別個に存在する場合には、前記被写体人物の両腕が分離して、前記右腕移動条件を満たす外接矩形領域の位置に前記被写体人物の右腕が移動したと判断し、当該位置に前記骨格モデルの右腕を当てはめ、前記左腕移動条件を満たす外接矩形領域の位置に前記被写体人物の左腕が移動したと判断し、当該位置に前記骨格モデルの左腕を当てはめる第１分離判断部を有してもよい。   The detection unit may further include a circumscribed condition that satisfies the right arm movement condition in a circumscribed rectangular area acquired by the area acquiring unit when both arms of the subject person are coupled to the distance image of the previous frame. When a rectangular area and a circumscribed rectangular area that satisfies the left arm movement condition are separately present, both arms of the subject person are separated, and the right arm of the subject person is positioned at the position of the circumscribed rectangular area that satisfies the right arm movement condition. And the right arm of the skeleton model is applied to the position, the left arm of the subject person is moved to the position of the circumscribed rectangular area that satisfies the left arm movement condition, and the left arm of the skeleton model is moved to the position. You may have the 1st separation judgment part which applies.

前フレームで両腕が結合しているにもかかわらず、現フレームにおいて左腕出現条件を満たす外接矩形領域と右腕出現条件を満たす外接矩形領域とが別個に存在する場合には、繋いでいた両手が分離したと判断することができる。   Even though both arms are joined in the previous frame, if there is a circumscribed rectangular area that satisfies the left arm appearance condition and a circumscribed rectangular area that satisfies the right arm appearance condition in the current frame, both connected hands It can be determined that they have been separated.

また、前記検出部は、さらに、前記領域取得部が取得した外接矩形領域のうち、前記右腕移動条件を満たす外接矩形領域が存在しない場合には、前記被写体人物の右腕が消滅したと判断し、前記骨格モデルの右腕を所定右腕位置に移動させ、前記左腕移動条件を満たす外接矩形領域が存在しない場合には、前記被写体人物の左腕が消滅したと判断し、前記骨格モデルの左腕を所定左腕位置に移動させる消滅判断部を有してもよい。   Further, the detection unit further determines that the right arm of the subject person has disappeared when there is no circumscribed rectangular region that satisfies the right arm movement condition among the circumscribed rectangular regions acquired by the region acquisition unit, When the right arm of the skeleton model is moved to a predetermined right arm position and there is no circumscribed rectangular region that satisfies the left arm movement condition, it is determined that the left arm of the subject person has disappeared, and the left arm of the skeleton model is determined to be a predetermined left arm position You may have the extinction judgment part moved to.

右腕移動条件を満たす外接矩形領域が存在しない場合には、右腕が胴体にくっつけられたと判断でき、そのような位置に右腕を移動させることができる。左腕についても同様に胴体にくっついた位置に移動させることができる。   If there is no circumscribed rectangular area that satisfies the right arm movement condition, it can be determined that the right arm is attached to the torso, and the right arm can be moved to such a position. Similarly, the left arm can be moved to a position attached to the trunk.

また、前記検出部は、さらに、右腕と判断されている領域について、当該領域の外接領域の上面、左面、右面および前面のそれぞれについて各面に最も近い位置を決定し、決定した位置の中から前記骨格モデルにおける右肩から最も遠い位置を右手の位置と判断し、当該位置に前記骨格モデルの右手を当てはめる右手判断部と、左腕と判断されている領域について、当該領域の外接領域の上面、左面、右面および前面のそれぞれについて各面に最も近い位置を決定し、決定した位置の中から前記骨格モデルにおける左肩から最も遠い位置を左手の位置と判断し、当該位置に前記骨格モデルの左手を当てはめる左手判断部とを有してもよい。   The detection unit further determines a position closest to each surface for each of an upper surface, a left surface, a right surface, and a front surface of a circumscribed region of the region determined to be the right arm, and from among the determined positions The position farthest from the right shoulder in the skeleton model is determined as the position of the right hand, and the right hand determination unit that applies the right hand of the skeleton model to the position, and the area determined as the left arm, the upper surface of the circumscribed area of the area, Determine the position closest to each surface for each of the left, right, and front surfaces, and determine the position farthest from the left shoulder in the skeleton model as the position of the left hand from the determined positions, and place the left hand of the skeleton model at the position You may have a left-hand judgment part to apply.

腕の領域の外接領域の上面、左面、右面および前面のいずれかに最も近い位置を手の先としており、下面および背面は考慮していない。被写体人物の輪郭部分においては、人物の下方向および後ろ方向にノイズが発生するためである。   The position closest to any of the upper surface, the left surface, the right surface, and the front surface of the circumscribed region of the arm region is the tip of the hand, and the lower surface and the back surface are not considered. This is because noise is generated in the downward direction and backward direction of the person in the contour portion of the subject person.

また、前記検出部は、さらに、前記被写体人物の両腕が結合している場合において、前記両腕の先端から第３所定距離内に含まれる前記人物領域を正面から見た像である２次元の正面投影画像において、両腕が離れていれば前記被写体人物の両腕は分離していると判断し、前記骨格モデルの両腕を分離させる第２分離判断部を有してもよい。   Further, the detection unit is a two-dimensional image that is a front view of the person region included within a third predetermined distance from the tip of the arms when both arms of the subject person are coupled. In the front projection image, a second separation determination unit may be provided that determines that both arms of the subject person are separated if both arms are separated and separates both arms of the skeleton model.

両腕の先端部分のみを投影した正面投影画像を用いることより、両腕の先端部分以外の影響を受けることなく、両腕が分離しているか否かを正確に判断することができる。   By using a front projection image in which only the tip portions of both arms are projected, it is possible to accurately determine whether or not both arms are separated without being affected by the effects other than the tip portions of both arms.

また、前記検出部は、さらに、前記骨格モデルにおける恥骨部よりも下の位置において、当該恥骨部から前記人物領域の先端までの距離が、前記骨格モデルにおける脚の長さに対応する所定の長さしきい値よりも大きい場合に、前記人物領域の先端が前記被写体人物の脚の先端であると判断し、前記人物領域の先端に前記骨格モデルの脚の先端を当てはめる脚判断部を有してもよい。   Further, the detection unit further has a predetermined length corresponding to a leg length in the skeleton model at a position below the pubic part in the skeleton model, and a distance from the pubic part to the tip of the person region. A leg determining unit that determines that the tip of the person area is the tip of the subject person's leg when the threshold is greater than the threshold, and applies the tip of the leg of the skeleton model to the tip of the person area. May be.

人物の脚の先端は通常恥骨部よりも下の位置にあると考えられるため、恥骨部よりも下の位置から脚の先端を求めることにより、正確に脚の先端を求めることができる。   Since the tip of a person's leg is usually considered to be at a position below the pubic part, the tip of the leg can be accurately obtained by obtaining the tip of the leg from a position below the pubic part.

また、前記検出部は、さらに、前記骨格モデルにおいて恥骨部を基準として膝となり得る距離に存在する前記人物領域の座標のうち、最も高さが高い座標に前記被写体人物の膝があると判断し、前記最も高さが高い座標に前記骨格モデルの膝部を当てはめる膝判断部を有してもよい。   Further, the detection unit further determines that the knee of the subject person is at the highest coordinate among the coordinates of the person region existing at a distance that can be a knee with respect to the pubic part in the skeleton model. A knee determination unit that applies the knee of the skeleton model to the coordinate with the highest height may be provided.

恥骨部を基準とすると膝の候補領域を絞ることができる。このため、候補領域の中で最も高い位置に膝があると判断することにより、正確に膝の位置を判断することができる。   If the pubic area is used as a reference, the candidate area of the knee can be narrowed down. Therefore, by determining that the knee is at the highest position in the candidate area, the position of the knee can be accurately determined.

また、前記検出部は、さらに、現フレームにおいて当てはめた骨格モデルの各座標を、当該座標と当該座標に対応する前フレームの距離画像における骨格モデルの座標との間の距離が大きいほど前記現フレームの座標に近づき、かつ前記距離が小さいほど前記前フレームの座標に近づくような、前記現フレームの座標と前記前フレームの座標との間の座標に補正する補正部を有してもよい。   In addition, the detection unit further sets the coordinates of the skeleton model applied in the current frame to the current frame as the distance between the coordinates and the coordinates of the skeleton model in the distance image of the previous frame corresponding to the coordinates increases. A correction unit may be provided that corrects the coordinates between the coordinates of the current frame and the coordinates of the previous frame so that the coordinates of the current frame and the coordinates of the previous frame approach the coordinates of the previous frame as the distance decreases.

このように骨格モデルの各座標を補正することにより、関節位置が急激に動いたほど、現フレームの座標に近づくような補正後の座標が得られ、関節位置がゆっくりと動いたほど、前フレームの座標に近づくような補正後の座標が得られる。よって、滑らかな骨格モデルの動きが得られる。   By correcting each coordinate of the skeletal model in this way, the corrected coordinates that get closer to the coordinates of the current frame are obtained as the joint position moves abruptly. The corrected coordinates are obtained so as to approach the coordinates of. Therefore, a smooth movement of the skeleton model can be obtained.

また、前記距離画像取得部は、取得した前記距離画像上で所定サイズのウィンドウを走査し、当該ウィンドウ内の中心画素が示す距離との距離の差が所定の距離しきい値以下となる当該ウィンドウ内の前記中心画素を除く画素数を計数し、計数した前記画素数が所定の画素数しきい値未満であれば前記中心画素をノイズとして除去するノイズ除去部を有してもよい。   Further, the distance image acquisition unit scans a window of a predetermined size on the acquired distance image, and the distance difference from the distance indicated by the central pixel in the window is equal to or less than a predetermined distance threshold. There may be provided a noise removing unit that counts the number of pixels excluding the center pixel, and removes the center pixel as noise if the counted number of pixels is less than a predetermined pixel number threshold value.

人物領域においては近傍の画素同士は似たような距離を有すると考えられる。このため、中心画素の近傍に、中心画素の距離と似ている画素が少なければノイズと判断することができる。   In the person area, neighboring pixels are considered to have similar distances. For this reason, if there are few pixels similar to the distance of the central pixel in the vicinity of the central pixel, it can be determined that the noise is present.

また、前記距離しきい値は、前記ウィンドウ内の前記中心画素ごとに設定され、当該中心画素が示す距離が大きいほど大きな値に設定されてもよい。   The distance threshold may be set for each central pixel in the window, and may be set to a larger value as the distance indicated by the central pixel is larger.

カメラに近い位置では距離の分解能が高く、遠い位置では距離の分解能が低い。このため、中心画素が示す距離に応じて距離しきい値を設定することにより、距離の分解能に依存することなくノイズを判断することができる。   The distance resolution is high at positions close to the camera, and the distance resolution is low at positions far from the camera. For this reason, noise can be determined without depending on the resolution of the distance by setting the distance threshold value according to the distance indicated by the center pixel.

また、前記人物領域決定部は、前記座標計算部が計算した物体の座標の各々について、当該座標と当該座標の近傍の２つの座標とを含む面の法線ベクトルが、前記カメラの撮像面を含む平面である有効角度面と交わる場合に、当該座標を物体の座標である物体座標と判断し、前記法線ベクトルが前記有効角度面と交わらない場合に、当該座標を前記物体座標ではないと判断する物体座標判断部と、三次元空間を各々が所定体積を有する複数のブロックに分割したときに、互いに隣接する、前記物体座標判断部が判断した物体座標を含むブロックのラベルが同一のラベルとなるように、前記複数のブロックの各々にラベル付けを行うラベリング処理部と、前記ラベリング処理部がラベル付けを行なったラベルごとに、当該ラベルが付されたブロックの体積の合計値が前記体積しきい値以上の場合に、当該ラベルが付されたブロックを人物領域と決定する決定部とを有してもよい。   Further, for each of the coordinates of the object calculated by the coordinate calculation unit, the human region determination unit has a normal vector of a surface including the coordinate and two coordinates in the vicinity of the coordinate, the imaging surface of the camera. If it intersects with an effective angle plane that is a plane that includes the coordinates, it determines that the coordinates are object coordinates that are the coordinates of the object, and if the normal vector does not intersect with the effective angle plane, the coordinates are not the object coordinates The label of the object coordinate determination unit to be determined and the block including the object coordinates determined by the object coordinate determination unit adjacent to each other when the three-dimensional space is divided into a plurality of blocks each having a predetermined volume are the same label For each of the plurality of blocks, a labeling processing unit that labels each of the plurality of blocks, and for each label that the labeling processing unit labels, If the total value of the click volume is not less than the volume threshold value, it may have a determining section for determining a block to which the label is affixed a person area.

上記法線ベクトルが有効角度面と交わっている場合には、法線ベクトルがカメラの方向を向いていると判断することができる。法線ベクトルがカメラの方向を向いている面は、物体の面の一部であると考えることができるため、座標計算部が計算した物体の座標が正確に物体座標であるか否かを判断することができる。   When the normal vector intersects with the effective angle plane, it can be determined that the normal vector faces the direction of the camera. Since the plane whose normal vector faces the camera direction can be considered as a part of the object plane, it is determined whether the coordinates of the object calculated by the coordinate calculation unit are exactly the object coordinates. can do.

なお、本発明は、このような特徴的な処理部を備える姿勢検出装置として実現することができるだけでなく、姿勢検出装置に含まれる特徴的な処理部が実行する処理をステップとする姿勢検出方法として実現することができる。また、姿勢検出装置に含まれる特徴的な処理部としてコンピュータを機能させるためのプログラムまたは姿勢検出方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。また、姿勢検出装置と距離画像カメラとを備える姿勢検出システムとして実現することもできる。   Note that the present invention can be realized not only as an attitude detection apparatus including such a characteristic processing unit, but also as an attitude detection method including steps executed by the characteristic processing unit included in the attitude detection apparatus. Can be realized. Further, it can be realized as a program for causing a computer to function as a characteristic processing unit included in the posture detection apparatus or a program for causing a computer to execute characteristic steps included in a posture detection method. Further, it goes without saying that such a program can be distributed via a computer-readable non-transitory recording medium such as a CD-ROM (Compact Disc-Read Only Memory) or a communication network such as the Internet. . It can also be realized as an attitude detection system including an attitude detection device and a distance image camera.

本発明によると、人物にマーカーを設置することなく、人物の姿勢を高精度で検出することができる。   According to the present invention, it is possible to detect the posture of a person with high accuracy without installing a marker on the person.

姿勢検出装置を含む姿勢検出システムの利用シーンを説明するための図である。It is a figure for demonstrating the utilization scene of the attitude | position detection system containing an attitude | position detection apparatus. 距離画像カメラの概観図である。It is a general-view figure of a range image camera. 距離画像カメラによる距離計測の原理を説明するための図である。It is a figure for demonstrating the principle of the distance measurement by a distance image camera. （ａ）は、通常のカメラを用いて被写体を撮影した画像の一例を示す図である。（ｂ）は、（ａ）と同一位置を撮影した距離画像の一例を示す図である。(A) is a figure showing an example of a picture which photoed a subject using a usual camera. (B) is a figure which shows an example of the distance image which image | photographed the same position as (a). 本発明の実施の形態に係る姿勢検出装置の構成を示すブロック図である。It is a block diagram which shows the structure of the attitude | position detection apparatus which concerns on embodiment of this invention. 骨格モデルの一例を示す図である。It is a figure which shows an example of a skeleton model. 人物領域決定部の構成を示すブロック図である。It is a block diagram which shows the structure of a person area | region determination part. 姿勢検出部の構成を示すブロック図である。It is a block diagram which shows the structure of an attitude | position detection part. 身長推定部の構成を示すブロック図である。It is a block diagram which shows the structure of a height estimation part. 水平方向中心軸決定部の構成を示すブロック図である。It is a block diagram which shows the structure of a horizontal direction center axis | shaft determination part. 前後方向中心軸決定部の構成を示すブロック図である。It is a block diagram which shows the structure of the front-back direction center axis | shaft determination part. 検出部の構成を示すブロック図である。It is a block diagram which shows the structure of a detection part. 姿勢検出処理の全体的な流れを示すフローチャートである。It is a flowchart which shows the whole flow of an attitude | position detection process. 座標計算処理（図１３のＳ１）の詳細なフローチャートである。It is a detailed flowchart of a coordinate calculation process (S1 of FIG. 13). 距離画像カメラの撮像範囲内の人物検出エリアを示す図である。It is a figure which shows the person detection area in the imaging range of a distance image camera. ノイズ除去処理（図１４のＳ１１）の詳細なフローチャートである。It is a detailed flowchart of a noise removal process (S11 of FIG. 14). （ａ）は距離画像の一例を示す図である。（ｂ）はノイズとして除去された画素位置を白い点で示した画像を示す図である。(A) is a figure showing an example of a distance picture. (B) is a figure which shows the image which showed the pixel position removed as noise with the white point. 人物の輪郭部分に発生するノイズについて説明するための図である。（ａ）、（ｂ）および（ｃ）は、図４（ｂ）に示した距離画像から得られる三次元空間中の座標位置を、人物の正面、側面、上面からそれぞれ見た図である。It is a figure for demonstrating the noise which generate | occur | produces in the outline part of a person. (A), (b), and (c) are the figures which looked at the coordinate position in the three-dimensional space obtained from the distance image shown in FIG.4 (b) from the front, the side surface, and the upper surface of the person, respectively. 人物領域決定処理（図１３のＳ２）の詳細なフローチャートである。14 is a detailed flowchart of person area determination processing (S2 in FIG. 13). 距離画像カメラが人物を撮像している状態を示す図である。It is a figure which shows the state which the distance image camera is imaging the person. 距離画像カメラと三次元空間中に存在する座標計算部が計算した物体の座標との関係を示す図である。It is a figure which shows the relationship between a distance image camera and the coordinate of the object which the coordinate calculation part which exists in three-dimensional space calculated. 着目している座標が物体座標かノイズ座標かを判断する方法を説明するための図である。It is a figure for demonstrating the method to judge whether the coordinate to which attention is paid is an object coordinate or a noise coordinate. 三角パッチを生成する方法を説明するための図である。It is a figure for demonstrating the method to produce | generate a triangular patch. 有効角度面を説明するための図である。It is a figure for demonstrating an effective angle surface. 法線ベクトルによる人物領域決定処理（図１９のＳ２１）の詳細なフローチャートである。20 is a detailed flowchart of a person area determination process (S21 in FIG. 19) based on a normal vector. 法線ベクトルによる人物領域決定処理（図２５）の結果の一例を示す図である。（ａ）は、法線ベクトルによる人物領域決定処理前の画像を示す図である。（ｂ）は、Ｓ２１５の処理後の画像を示す図である。（ｃ）は、最終的な人物領域の画像を示す図である。It is a figure which shows an example of the result of the person area determination process (FIG. 25) by a normal vector. (A) is a figure which shows the image before a person area determination process by a normal vector. (B) is a figure which shows the image after the process of S215. (C) is a figure which shows the image of the final person area. 姿勢検出処理（図１３のＳ３）の前半の詳細なフローチャートである。14 is a detailed flowchart of the first half of posture detection processing (S3 in FIG. 13). （ａ）は、被写体人物を通常のカメラで撮像した画像の一例を示す図である。（ｂ）は、（ａ）に示す画像に対応する人物領域の側面画像の図である。（ｃ）は、（ａ）に示す画像に対応する人物領域の正面画像の図である。(A) is a figure which shows an example of the image which imaged the to-be-photographed person with the normal camera. (B) is a side image of the person area corresponding to the image shown in (a). (C) is a figure of the front image of the person area | region corresponding to the image shown to (a). 身長推定処理（図２７のＳ３４）の詳細なフローチャートである。It is a detailed flowchart of a height estimation process (S34 of FIG. 27). 身長推定処理を説明するための図である。（ａ）は、正面画像の一例を示す図である。（ｂ）は、第１ヒストグラム生成部が（ａ）の正面画像から生成したヒストグラムの一例を示す図である。It is a figure for demonstrating a height estimation process. (A) is a figure showing an example of a front picture. (B) is a figure which shows an example of the histogram which the 1st histogram generation part produced | generated from the front image of (a). 姿勢検出処理（図１３のＳ３）の後半の詳細なフローチャートである。14 is a detailed flowchart of the latter half of the posture detection process (S3 in FIG. 13). 頭部位置設定処理（図３１のＳ４２）の詳細なフローチャートである。32 is a detailed flowchart of a head position setting process (S42 in FIG. 31). 頭部位置設定処理を説明するための図である。It is a figure for demonstrating a head position setting process. 四肢の外接矩形領域を取得する処理（図３１のＳ４６）を説明するための図である。It is a figure for demonstrating the process (S46 of FIG. 31) which acquires the circumscribed rectangular area | region of limbs. （１）移動、（２）出現、（３）結合、（４）分離および（５）消滅の５つの状態の判断処理の実行の可否の判断基準を示すフローチャートである。It is a flowchart which shows the judgment standard of the decision | availability of execution of the judgment process of five states of (1) movement, (2) appearance, (3) coupling | bonding, (4) separation, and (5) extinction. 右手判断部または左手判断部による手の先の位置判定処理を説明するための図である。It is a figure for demonstrating the position determination process of the hand tip by a right hand judgment part or a left hand judgment part. 第２分離判断部による手の先の位置判定処理を説明するための図である。（ａ）は、被写体人物を撮像した画像の一例を示す図である。（ｂ）は、（ａ）の画像に対応する距離画像を示す図である。（ｃ）は、（ｂ）の距離画像に基づいて得られる両腕の先端から第３所定距離内に含まれる人物領域の正面投影画像を示す図である。（ｄ）は、被写体人物を撮像した画像の一例を示す図である。（ｅ）は、（ｄ）の画像に対応する距離画像を示す図である。（ｆ）は、（ｅ）の距離画像に基づいて得られる両腕の先端から第３所定距離内に含まれる人物領域の正面投影画像を示す図である。It is a figure for demonstrating the position determination process of the hand tip by a 2nd isolation | separation judgment part. (A) is a figure showing an example of a picture which picturized a subject person. (B) is a figure which shows the distance image corresponding to the image of (a). (C) is a figure which shows the front projection image of the person area | region included in the 3rd predetermined distance from the front-end | tip of both arms obtained based on the distance image of (b). (D) is a figure which shows an example of the image which imaged the subject person. (E) is a figure which shows the distance image corresponding to the image of (d). (F) is a figure which shows the front projection image of the person area | region contained within the 3rd predetermined distance from the front-end | tip of both arms obtained based on the distance image of (e). 肘の候補領域を説明するための図である。It is a figure for demonstrating the candidate area | region of an elbow. 肘の位置判定処理を説明するための図である。It is a figure for demonstrating the position determination process of an elbow. 脚の先端の当てはめ処理を説明するための図である。It is a figure for demonstrating the fitting process of the front-end | tip of a leg. 膝の当てはめ処理を説明するための図である。It is a figure for demonstrating a knee fitting process. 上がっている膝と膝の上がり角度の判定処理を説明するための図である。It is a figure for demonstrating the determination process of the raising knee and the raising angle of a knee. 骨格モデルの各関節の座標の補正処理を説明するための図である。It is a figure for demonstrating the correction process of the coordinate of each joint of a skeleton model.

以下、本発明の実施の形態に係る姿勢検出装置について図面を参照しながら説明する。
図１は、姿勢検出装置を含む姿勢検出システムの利用シーンを説明するための図である。 Hereinafter, an attitude detection device according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram for explaining a use scene of an attitude detection system including an attitude detection device.

姿勢検出システムは、姿勢検出装置１００と、距離画像カメラ２００とを含む。姿勢検出装置１００は、被写体までの距離を計測し、距離画像を撮像することができる距離画像カメラ２００に接続され、距離画像カメラ２００より距離画像を取得する。姿勢検出装置１００は、取得した距離画像から被写体となる人物３００の姿勢を検出する。距離画像カメラ２００は地面に平行な面に対して一定の煽り角θだけ傾けられ、上方から地面を撮影可能な位置に配置されている。なお、姿勢検出装置１００は、典型的にはＣＰＵおよびメモリを備えるコンピュータにより実現され、後述する各種処理を実現するためのプログラムをＣＰＵ上で動作することにより、姿勢検出装置１００としての機能を果たす。   The posture detection system includes a posture detection device 100 and a distance image camera 200. The posture detection apparatus 100 is connected to a distance image camera 200 that can measure a distance to a subject and can capture a distance image, and acquires a distance image from the distance image camera 200. The posture detection apparatus 100 detects the posture of the person 300 as a subject from the acquired distance image. The range image camera 200 is tilted by a certain tilt angle θ with respect to a plane parallel to the ground, and is disposed at a position where the ground can be photographed from above. The posture detection device 100 is typically realized by a computer including a CPU and a memory, and functions as the posture detection device 100 by operating programs for realizing various processes described later on the CPU. .

なお、姿勢検出システムにおいて、距離画像カメラ２００の撮像領域３１０内には、机３０２や椅子等の障害物は含まれないものとする。また、距離画像カメラ２００の真下の地面上の点を原点Ｏ（０，０，０）とし、水平方向をｘ軸方向、高さ方向をｙ軸方向、奥行き方向をｚ軸方向とする。以下では、原点Ｏ、ｘ軸、ｙ軸およびｚ軸で三次元座標系を規定する。   In the posture detection system, it is assumed that the imaging region 310 of the distance image camera 200 does not include an obstacle such as a desk 302 or a chair. A point on the ground just below the distance image camera 200 is defined as an origin O (0, 0, 0), a horizontal direction is an x-axis direction, a height direction is a y-axis direction, and a depth direction is a z-axis direction. Hereinafter, a three-dimensional coordinate system is defined by the origin O, the x axis, the y axis, and the z axis.

図２は、距離画像カメラ２００の概観図である。
距離画像カメラ２００は、その前面に規則的に配置された複数のＬＥＤ（Light Emitting Diode）２０２と、レンズ２０４とを含む。ＬＥＤ２０２からは被写体に向かって光が照射され、その反射光がレンズ２０４に集光される。 FIG. 2 is an overview diagram of the range image camera 200.
The range image camera 200 includes a plurality of LEDs (Light Emitting Diodes) 202 regularly arranged on the front surface thereof, and a lens 204. Light is emitted from the LED 202 toward the subject, and the reflected light is condensed on the lens 204.

図３は、距離画像カメラ２００による距離計測の原理を説明するための図である。
複数のＬＥＤ２０２から一斉に照射された光は、被写体（例えば、人物３００）で反射され、反射された光がレンズ２０４によって集光される。この時、ＬＥＤ２０２から光が出射してからレンズ２０４へ反射光が到達するまでの時間は被写体の位置により異なる。つまり、被写体が距離画像カメラ２００に近いほど反射光の到達時間は短くなり、被写体が距離画像カメラ２００に遠いほど反射光の到達時間は長くなる。距離画像カメラ２００は、到達時間を画素ごとに計測することによって、被写体までの距離を画素ごとに出力する。つまり、距離画像カメラ２００は、被写体までの距離を画素における輝度値で表した距離画像を出力する。図４（ａ）は、通常のカメラを用いて被写体を撮影した画像の一例を示す図である。図４（ａ）に示すように、画像は、被写体として二人の人物を含むものとする。図４（ｂ）は、図４（ａ）と同一位置を撮影した距離画像の一例を示す図である。距離画像では、距離画像カメラ２００までの距離が近いものほど輝度値が小さく（輝度が暗く）、距離が遠いものほど輝度値が大きい（輝度が明るい）ものとする。図４（ｂ）に示すように前側の人物の方が後ろ側の人物よりも輝度値が小さくなっていることが分かる。 FIG. 3 is a diagram for explaining the principle of distance measurement by the distance image camera 200.
The light irradiated from the plurality of LEDs 202 at the same time is reflected by the subject (for example, the person 300), and the reflected light is collected by the lens 204. At this time, the time from when the light is emitted from the LED 202 until the reflected light reaches the lens 204 varies depending on the position of the subject. That is, the closer the subject is to the distance image camera 200, the shorter the arrival time of the reflected light, and the farther the subject is from the distance image camera 200, the longer the arrival time of the reflected light. The distance image camera 200 outputs the distance to the subject for each pixel by measuring the arrival time for each pixel. That is, the distance image camera 200 outputs a distance image in which the distance to the subject is represented by the luminance value in the pixel. FIG. 4A is a diagram illustrating an example of an image obtained by photographing a subject using a normal camera. As shown in FIG. 4A, it is assumed that the image includes two persons as subjects. FIG. 4B is a diagram illustrating an example of a distance image obtained by photographing the same position as in FIG. In the distance image, the closer the distance to the distance image camera 200 is, the smaller the luminance value (the luminance is darker), and the longer the distance, the larger the luminance value (the luminance is brighter). As shown in FIG. 4B, it can be seen that the luminance value of the front person is smaller than that of the rear person.

以下では、姿勢検出装置の構成について説明し、その後、姿勢検出装置が実行する処理を説明する。   Below, the structure of an attitude | position detection apparatus is demonstrated, and the process which an attitude | position detection apparatus performs is demonstrated after that.

図５は、本発明の実施の形態に係る姿勢検出装置の構成を示すブロック図である。
姿勢検出装置１００は、距離画像取得部１０と、座標計算部２０と、人物領域決定部３０と、姿勢検出部４０と、記憶部５０とを含む。 FIG. 5 is a block diagram showing a configuration of the posture detection apparatus according to the embodiment of the present invention.
The posture detection device 100 includes a distance image acquisition unit 10, a coordinate calculation unit 20, a person area determination unit 30, a posture detection unit 40, and a storage unit 50.

距離画像取得部１０は、各画素における輝度値がカメラから物体までの距離を示す距離画像を取得する。例えば、距離画像取得部１０は、距離画像カメラ２００で得られた画像をネットワークまたは記録媒体を介して取得するインタフェースである。   The distance image acquisition unit 10 acquires a distance image in which the luminance value at each pixel indicates the distance from the camera to the object. For example, the distance image acquisition unit 10 is an interface that acquires an image obtained by the distance image camera 200 via a network or a recording medium.

距離画像取得部１０は、ノイズ除去部１１を含む。
ノイズ除去部１１は、取得した距離画像上で所定サイズのウィンドウを走査し、当該ウィンドウ内の中心画素が示す距離との距離の差が所定の距離しきい値以下となる当該ウィンドウ内の前記中心画素を除く画素数を計数し、計数した前記画素数が所定の画素数しきい値未満であれば中心画素をノイズとして除去する。 The distance image acquisition unit 10 includes a noise removal unit 11.
The noise removing unit 11 scans a window of a predetermined size on the acquired distance image, and the center in the window where the difference in distance from the distance indicated by the center pixel in the window is equal to or less than a predetermined distance threshold value The number of pixels excluding pixels is counted, and if the counted number of pixels is less than a predetermined pixel number threshold, the central pixel is removed as noise.

距離しきい値は、ウィンドウ内の中心画素ごとに設定され、当該中心画素が示す距離が大きいほど大きな値に設定される。   The distance threshold is set for each central pixel in the window, and is set to a larger value as the distance indicated by the central pixel is larger.

座標計算部２０は、距離画像取得部１０が取得した距離画像に基づいて、三次元空間中での物体の座標を計算する。つまり、座標計算部２０は、距離画像カメラ２００の地面からの高さおよび煽り角θに基づいて、距離画像より得られる距離画像カメラ２００から被写体までの距離データをアフィン変換することにより、図１で説明した三次元座標系上（三次元空間中）での物体の三次元座標を計算する。   The coordinate calculation unit 20 calculates the coordinates of the object in the three-dimensional space based on the distance image acquired by the distance image acquisition unit 10. That is, the coordinate calculation unit 20 performs affine transformation on the distance data from the distance image camera 200 to the subject obtained from the distance image, based on the height of the distance image camera 200 from the ground and the turning angle θ, as shown in FIG. The three-dimensional coordinates of the object on the three-dimensional coordinate system (in the three-dimensional space) described in (1) are calculated.

人物領域決定部３０は、座標計算部２０が計算した物体の座標（人物領域の候補座標）に基づいて、三次元空間中で所定の体積しきい値以上の体積を占める物体の領域である人物領域を決定する。つまり、小さい体積の物体領域をノイズとして除去する。人物領域決定部３０の詳細な構成については後述する。   The person region determination unit 30 is a person that is a region of an object occupying a volume equal to or greater than a predetermined volume threshold in the three-dimensional space based on the object coordinates (candidate coordinates of the person region) calculated by the coordinate calculation unit 20. Determine the area. That is, a small volume object region is removed as noise. The detailed configuration of the person area determination unit 30 will be described later.

姿勢検出部４０は、人物領域決定部３０が決定した人物領域に、人体の骨格をモデル化した骨格モデルを当てはめることにより被写体人物の姿勢を検出する。つまり、姿勢検出部４０は、人物領域決定部３０が決定した人物領域にフィットするように骨格モデルを移動させる。姿勢検出部４０の詳細な構成については後述する。   The posture detection unit 40 detects the posture of the subject person by applying a skeleton model obtained by modeling the skeleton of the human body to the person region determined by the person region determination unit 30. That is, the posture detection unit 40 moves the skeleton model so as to fit the person area determined by the person area determination unit 30. The detailed configuration of the posture detection unit 40 will be described later.

図６は、骨格モデルの一例を示す図である。骨格モデル５００は、関節モデルと、関節モデル間を接続する骨モデルとから構成される。関節モデルは、頭部５０１と、首部５０２と、右肩部５０３と、右肘部５０４と、右手部５０５と、左肩部５０６と、左肘部５０７と、左手部５０８と、腰部５０９と、右恥骨部５１０と、右膝部５１１と、右足部５１２と、左恥骨部５１３と、左膝部５１４と、左足部５１５とを含む。   FIG. 6 is a diagram illustrating an example of a skeleton model. The skeletal model 500 includes a joint model and a bone model that connects the joint models. The joint model includes a head 501, a neck 502, a right shoulder 503, a right elbow 504, a right hand 505, a left shoulder 506, a left elbow 507, a left hand 508, and a waist 509. It includes a right pubic portion 510, a right knee portion 511, a right foot portion 512, a left pubic portion 513, a left knee portion 514, and a left foot portion 515.

記憶部５０は、身長ごとに骨格モデルを記憶している。例えば、身長５ｃｍ間隔で骨格モデルを記憶している。   The storage unit 50 stores a skeleton model for each height. For example, skeleton models are stored at intervals of 5 cm in height.

図７は、人物領域決定部３０の構成を示すブロック図である。
人物領域決定部３０は、物体座標判断部３１と、ラベリング処理部３２と、決定部３３とを含む。 FIG. 7 is a block diagram illustrating a configuration of the person area determination unit 30.
The person area determination unit 30 includes an object coordinate determination unit 31, a labeling processing unit 32, and a determination unit 33.

物体座標判断部３１は、座標計算部２０が計算した物体の座標の各々について、当該座標と当該座標の近傍の２つの座標とを含む面の法線ベクトルが、距離画像カメラ２００の撮像面を含む平面である有効角度面と交わる場合に、当該座標を物体の座標である物体座標と判断し、法線ベクトルが有効角度面と交わらない場合に、当該座標を物体座標ではないと判断する。この処理により、物体座標判断部３１はノイズの除去を行う。   For each of the coordinates of the object calculated by the coordinate calculation unit 20, the object coordinate determination unit 31 determines that the normal vector of the surface including the coordinate and two coordinates in the vicinity of the coordinate represents the imaging surface of the distance image camera 200. The coordinates are determined to be object coordinates that are the coordinates of the object when intersecting with an effective angle plane that is a plane including the coordinates, and the coordinates are determined not to be object coordinates when the normal vector does not intersect with the effective angle plane. By this processing, the object coordinate determination unit 31 removes noise.

ラベリング処理部３２は、三次元空間を各々が所定体積を有する複数のブロックに分割したときに、互いに隣接する、物体座標判断部３１が判断した物体座標を含むブロックのラベルが同一のラベルとなるように、前記複数のブロックの各々にラベル付けを行う。三次元空間を複数のブロックへの分割は、例えば、三次元空間をｘ軸方向、ｙ軸方向およびｚ軸方向にそれぞれ等間隔で区切ることにより行われる。   When the labeling processing unit 32 divides the three-dimensional space into a plurality of blocks each having a predetermined volume, the labels of the blocks including the object coordinates determined by the object coordinate determination unit 31 that are adjacent to each other are the same label. As described above, each of the plurality of blocks is labeled. The three-dimensional space is divided into a plurality of blocks, for example, by dividing the three-dimensional space at equal intervals in the x-axis direction, the y-axis direction, and the z-axis direction.

決定部３３は、ラベリング処理部３２がラベル付けを行なったラベルごとに、当該ラベルが付されたブロックの体積の合計値が体積しきい値以上の場合に、当該ラベルが付されたブロックを人物領域と決定する。つまり、決定部３３は、人物の体積に相当する体積を有するブロックを人物領域と決定する。   For each label that has been labeled by the labeling processing unit 32, the determination unit 33 determines the block with the label when the total value of the blocks with the label is equal to or greater than the volume threshold. Determine the area. That is, the determination unit 33 determines a block having a volume corresponding to the volume of the person as a person region.

図８は、姿勢検出部４０の構成を示すブロック図である。
姿勢検出部４０は、身長推定部４１と、選択部４２と、検出部４３とを含む。 FIG. 8 is a block diagram illustrating a configuration of the posture detection unit 40.
The posture detection unit 40 includes a height estimation unit 41, a selection unit 42, and a detection unit 43.

身長推定部４１は、人物領域の高さから被写体人物の身長を推定する。身長推定部４１の詳細な構成については後述する。   The height estimation unit 41 estimates the height of the subject person from the height of the person area. The detailed configuration of the height estimation unit 41 will be described later.

選択部４２は、記憶部５０に記憶されている骨格モデルの中から、身長推定部４１で推定された身長に最も近い身長の骨格モデルを選択する。   The selection unit 42 selects a skeleton model having a height closest to the height estimated by the height estimation unit 41 from the skeleton models stored in the storage unit 50.

検出部４３は、人物領域決定部３０で決定された人物領域に、選択部４２が選択した骨格モデルを当てはめることにより被写体人物の姿勢を検出する。検出部４３の詳細な構成については後述する。   The detection unit 43 detects the posture of the subject person by applying the skeleton model selected by the selection unit 42 to the person region determined by the person region determination unit 30. The detailed configuration of the detection unit 43 will be described later.

図９は、身長推定部４１の構成を示すブロック図である。
身長推定部４１は、水平方向中心軸決定部４１１と、前後方向中心軸決定部４１２と、被写体人物中心軸決定部４１３と、推定部４１４とを含む。 FIG. 9 is a block diagram illustrating a configuration of the height estimation unit 41.
The height estimation unit 41 includes a horizontal direction central axis determination unit 411, a front-rear direction central axis determination unit 412, a subject person central axis determination unit 413, and an estimation unit 414.

水平方向中心軸決定部４１１は、人物領域を正面から見た像である二次元の正面画像において水平方向の中心を通る高さ方向の軸を、被写体人物の水平方向の中心軸と決定する。水平方向中心軸決定部４１１の詳細な構成については後述する。   The horizontal direction central axis determination unit 411 determines the height direction axis passing through the center in the horizontal direction as the horizontal axis of the subject person in the two-dimensional front image that is an image of the person region viewed from the front. The detailed configuration of the horizontal direction central axis determination unit 411 will be described later.

前後方向中心軸決定部４１２は、人物領域を側面から見た像である二次元の側面画像において水平方向の中心を通る高さ方向の軸を、被写体人物の前後方向の中心軸と決定する。前後方向中心軸決定部４１２の詳細な構成については後述する。   The front-rear direction central axis determination unit 412 determines the height-direction axis passing through the center in the horizontal direction in the two-dimensional side image, which is an image of the person region viewed from the side, as the center axis in the front-rear direction of the subject person. A detailed configuration of the front-rear direction central axis determination unit 412 will be described later.

被写体人物中心軸決定部４１３は、水平方向中心軸決定部４１１および前後方向中心軸決定部４１２がそれぞれ決定した被写体人物の水平方向および前後方向の中心軸に基づいて、被写体人物の中心軸を決定する。   The subject person central axis determining unit 413 determines the central axis of the subject person based on the horizontal and front / rear direction central axes of the subject person determined by the horizontal direction central axis determining unit 411 and the front / rear direction central axis determining unit 412, respectively. To do.

推定部４１４は、被写体人物中心軸決定部４１３が決定した被写体人物の中心軸上で最も高い位置にある人物領域の座標から地面までの距離を被写体人物の身長と推定する。   The estimation unit 414 estimates the distance from the coordinates of the person region at the highest position on the central axis of the subject person determined by the subject person central axis determination unit 413 to the ground as the height of the subject person.

図１０は、水平方向中心軸決定部４１１の構成を示すブロック図である。
水平方向中心軸決定部４１１は、第１ヒストグラム生成部４１１１と、第１最大度数算出部４１１２と、第１積算出部４１１３と、第１軸決定部４１１４とを含む。 FIG. 10 is a block diagram illustrating a configuration of the horizontal direction central axis determination unit 411.
The horizontal direction central axis determination unit 411 includes a first histogram generation unit 4111, a first maximum frequency calculation unit 4112, a first product calculation unit 4113, and a first axis determination unit 4114.

第１ヒストグラム生成部４１１１は、正面画像において横軸が水平方向の座標を示し、縦軸が各水平方向の座標を有する人物領域の画素の度数を示す第１ヒストグラムを生成する。   The first histogram generation unit 4111 generates a first histogram indicating the frequency of the pixels in the human region having the horizontal axis indicating the horizontal coordinate and the vertical axis indicating the horizontal coordinate in the front image.

第１最大度数算出部４１１２は、第１ヒストグラム生成部４１１１が生成した第１ヒストグラムにおける最大度数を算出する。   The first maximum frequency calculation unit 4112 calculates the maximum frequency in the first histogram generated by the first histogram generation unit 4111.

第１積算出部４１１３は、第１最大度数算出部４１１２が算出した最大度数に１未満の第１所定係数を掛けた値である第１積を算出する。   The first product calculation unit 4113 calculates a first product that is a value obtained by multiplying the maximum frequency calculated by the first maximum frequency calculation unit 4112 by a first predetermined coefficient less than 1.

第１軸決定部４１１４は、第１積算出部４１１３が算出した第１積以上の度数を有する水平方向の座標の最小値と最大値との平均値を水平方向の座標とする被写体人物の高さ方向の軸を、被写体の水平方向の中心軸と決定する。   The first axis determination unit 4114 is configured to increase the height of the subject person using the average value of the minimum and maximum horizontal coordinates having a frequency equal to or higher than the first product calculated by the first product calculation unit 4113 as the horizontal coordinate. The vertical axis is determined as the horizontal central axis of the subject.

図１１は、前後方向中心軸決定部４１２の構成を示すブロック図である。
前後方向中心軸決定部４１２は、第２ヒストグラム生成部４１２１と、第２最大度数算出部４１２２と、第２積算出部４１２３と、第２軸決定部４１２４とを含む。 FIG. 11 is a block diagram illustrating a configuration of the front-rear direction central axis determination unit 412.
The front-rear direction central axis determination unit 412 includes a second histogram generation unit 4121, a second maximum frequency calculation unit 4122, a second product calculation unit 4123, and a second axis determination unit 4124.

第２ヒストグラム生成部４１２１は、側面画像において横軸が前後方向の座標を示し、縦軸が各前後方向の座標を有する人物領域の画素の度数を示す。   In the second histogram generation unit 4121, in the side image, the horizontal axis indicates the coordinates in the front-rear direction, and the vertical axis indicates the frequency of the pixels in the person area having the coordinates in the front-rear direction.

第２最大度数算出部４１２２は、第２ヒストグラム生成部４１２１が生成した第２ヒストグラムにおける最大度数を算出する。   The second maximum frequency calculation unit 4122 calculates the maximum frequency in the second histogram generated by the second histogram generation unit 4121.

第２積算出部４１２３は、第２最大度数算出部４１２２が算出した最大度数に１未満の第２所定係数を掛けた値である第２積を算出する。   The second product calculation unit 4123 calculates a second product that is a value obtained by multiplying the maximum frequency calculated by the second maximum frequency calculation unit 4122 by a second predetermined coefficient less than 1.

第２軸決定部４１２４は、第２積算出部４１２３が算出した第２積以上の度数を有する前後方向の座標の最小値と最大値との平均値を前後方向の座標とする被写体人物の高さ方向の軸を、被写体の前後方向の中心軸と決定する。   The second axis determination unit 4124 is configured to increase the height of the subject person using the average value of the minimum and maximum coordinates in the front-rear direction having a frequency equal to or higher than the second product calculated by the second product calculation unit 4123 as the front-rear direction coordinates. The vertical axis is determined as the central axis in the front-rear direction of the subject.

図１２は、検出部４３の構成を示すブロック図である。
検出部４３は、平均座標算出部４３１と、頭位置設定部４３２と、腰位置設定部４３３と、傾き角度算出部４３４と、首傾き設定部４３５と、領域取得部４３６と、右腕移動判断部４３７と、左腕移動判断部４３８と、右腕出現判断部４３９と、左腕出現判断部４４０と、第１結合判断部４４１と、第２結合判断部４４２と、第１分離判断部４４３と、消滅判断部４４４と、右手判断部４４５と、左手判断部４４６と、第２分離判断部４４７と、脚判断部４４８と、膝判断部４４９と、補正部４５０とを含む。 FIG. 12 is a block diagram illustrating a configuration of the detection unit 43.
The detection unit 43 includes an average coordinate calculation unit 431, a head position setting unit 432, a waist position setting unit 433, an inclination angle calculation unit 434, a neck inclination setting unit 435, an area acquisition unit 436, and a right arm movement determination unit. 437, left arm movement determination unit 438, right arm appearance determination unit 439, left arm appearance determination unit 440, first combination determination unit 441, second combination determination unit 442, first separation determination unit 443, and disappearance determination Part 444, right hand determination part 445, left hand determination part 446, second separation determination part 447, leg determination part 448, knee determination part 449, and correction part 450.

平均座標算出部４３１は、前フレームの距離画像について決定された三次元空間中での頭部の位置と同じ位置から第１所定距離内に含まれる人物領域の座標のうち、高さ方向に最も高い位置の座標から高さ方向に第２所定距離下がった位置を含む所定範囲内の人物領域の平均座標を算出する。なお、距離画像はフレームごとに出力されることにより、動画像を形成する。また、前フレームとは、典型的には１フレーム前であるが、２フレーム以上前であってもよい。   The average coordinate calculation unit 431 is the highest in the height direction among the coordinates of the person region included within the first predetermined distance from the same position as the head position in the three-dimensional space determined for the distance image of the previous frame. Average coordinates of a person region within a predetermined range including a position that is lowered by a second predetermined distance in the height direction from the coordinates of the high position are calculated. The distance image is output for each frame to form a moving image. The previous frame is typically one frame before, but may be two frames or more.

頭位置設定部４３２は、平均座標算出部４３１が算出した人物領域の平均座標から高さ方向に第２所定距離上がった位置に、骨格モデルの頭部を当てはめる。   The head position setting unit 432 applies the head of the skeleton model to a position that is raised by a second predetermined distance in the height direction from the average coordinate of the person area calculated by the average coordinate calculation unit 431.

腰位置設定部４３３は、頭位置設定部４３２が設定した骨格モデルの頭部の位置を基準として、被写体人物中心軸決定部４１３が決定した被写体人物の中心軸上に骨格モデルの腰部の位置を設定する。   The waist position setting unit 433 sets the position of the waist of the skeleton model on the center axis of the subject person determined by the subject person center axis determination unit 413 with the position of the head of the skeleton model set by the head position setting unit 432 as a reference. Set.

傾き角度算出部４３４は、頭位置設定部４３２が設定した骨格モデルの頭部の位置と腰位置設定部が設定した骨格モデルの腰部の位置とから被写体人物の傾き角度を算出する。   The tilt angle calculation unit 434 calculates the tilt angle of the subject person from the head position of the skeleton model set by the head position setting unit 432 and the waist position of the skeleton model set by the waist position setting unit.

首傾き設定部４３５は、傾き角度算出部が算出した被写体人物の傾き角度に基づいて定められる首の曲がり角度だけ、骨格モデルの首の位置を前記被写体人物の傾きとは逆方向に傾ける。   The neck tilt setting unit 435 tilts the neck position of the skeleton model in the opposite direction to the tilt of the subject person by the neck bending angle determined based on the tilt angle of the subject person calculated by the tilt angle calculation unit.

領域取得部４３６は、当てはめた骨格モデルに基づいて、人物領域決定部３０が決定した人物領域から少なくとも頭および胴を除いた領域の外接矩形領域を取得する。   The area acquisition unit 436 acquires a circumscribed rectangular area that is an area excluding at least the head and torso from the person area determined by the person area determination unit 30 based on the fitted skeleton model.

右腕移動判断部４３７は、前フレームから現フレームの間に右腕が移動したか否かを判断する。つまり、右腕移動判断部４３７は、領域取得部が取得した外接矩形領域のうち、前フレームの距離画像について右腕と判断されている外接矩形領域と重なり合いを有し、かつ骨格モデルにおける右肩位置を基準とした場合の右肘の稼動範囲と重なり合いを有する外接矩形領域が存在するという右腕移動条件を満たす外接矩形領域の位置に、被写体人物の右腕が移動したと判断し、当該位置に骨格モデルの右腕を当てはめる。   The right arm movement determination unit 437 determines whether or not the right arm has moved between the previous frame and the current frame. That is, the right arm movement determination unit 437 has an overlap with the circumscribed rectangular region determined as the right arm in the distance image of the previous frame among the circumscribed rectangular regions acquired by the region acquisition unit, and determines the right shoulder position in the skeleton model. It is determined that the right arm of the subject person has moved to the position of the circumscribed rectangular area that satisfies the right arm movement condition that there is a circumscribed rectangular area that overlaps the operating range of the right elbow when it is set as a reference, and the skeleton model is moved to the position. Fit your right arm.

左腕移動判断部４３８は、前フレームから現フレームの間に左腕が移動したか否かを判断する。つまり、左腕移動判断部４３８は、領域取得部４３６が取得した外接矩形領域のうち、前フレームの距離画像について左腕と判断されている外接矩形領域と重なり合いを有し、かつ骨格モデルにおける左肩位置を基準とした場合の左肘の稼動範囲と重なり合いを有する外接矩形領域が存在するという左腕移動条件を満たす外接矩形領域の位置に、被写体人物の左腕が移動したと判断し、当該位置に骨格モデルの左腕を当てはめる。   The left arm movement determination unit 438 determines whether or not the left arm has moved between the previous frame and the current frame. That is, the left arm movement determination unit 438 has an overlap with the circumscribed rectangular region determined as the left arm in the distance image of the previous frame among the circumscribed rectangular regions acquired by the region acquiring unit 436, and the left shoulder position in the skeleton model is determined. It is determined that the left arm of the subject person has moved to the position of the circumscribed rectangular area that satisfies the left arm movement condition that there is a circumscribed rectangular area that overlaps with the operating range of the left elbow when it is used as a reference, and the skeleton model is moved to that position. Apply the left arm.

右腕出現判断部４３９は、前フレームで出現していなかった右腕が現フレームにおいて出現したか否かを判断する。つまり、右腕出現判断部４３９は、領域取得部４３６が取得した外接矩形領域のうち、前フレームの距離画像について右腕以外の部分と判断されている部分と重なり合いを有しておらず、かつ、骨格モデルにおける右肩位置を基準とした場合の右肘の稼動範囲との重なり部分の体積が最大となる外接矩形領域が存在するという右腕出現条件を満たす外接矩形領域の位置に、被写体人物の右腕が出現したと判断し、当該位置に骨格モデルの右腕を当てはめる。   The right arm appearance determination unit 439 determines whether a right arm that has not appeared in the previous frame has appeared in the current frame. That is, the right arm appearance determination unit 439 does not overlap with a portion of the circumscribed rectangular region acquired by the region acquisition unit 436 that is determined to be a portion other than the right arm in the distance image of the previous frame, and the skeleton The right arm of the subject person is at the position of the circumscribed rectangular area that satisfies the right arm appearance condition that there is a circumscribed rectangular area where the volume of the overlapping part with the working range of the right elbow is maximized when the right shoulder position in the model is the reference. Judge that it appeared, and apply the right arm of the skeleton model to the position.

左腕出現判断部４４０は、前フレームで出現していなかった左腕が現フレームにおいて出現したか否かを判断する。つまり、左腕出現判断部４４０は、領域取得部４３６が取得した外接矩形領域のうち、前フレームの距離画像について左腕以外の部分と判断されている部分と重なり合いを有しておらず、かつ、骨格モデルにおける左肩位置を基準とした場合の左肘の稼動範囲との重なり部分の体積が最大となる外接矩形領域が存在するという左腕出現条件を満たす外接矩形領域の位置に、被写体人物の左腕が出現したと判断し、当該位置に骨格モデルの左腕を当てはめる。   The left arm appearance determination unit 440 determines whether a left arm that has not appeared in the previous frame has appeared in the current frame. That is, the left arm appearance determination unit 440 does not overlap with a part of the circumscribed rectangular area acquired by the area acquisition unit 436 that is determined to be a part other than the left arm in the distance image of the previous frame, and the skeleton The left arm of the subject person appears at the position of the circumscribed rectangular area that satisfies the left arm appearance condition that there is a circumscribed rectangular area where the volume of the overlapping portion with the working range of the left elbow when the left shoulder position in the model is the reference The left arm of the skeleton model is applied to the position.

第１結合判断部４４１は、前フレームの距離画像について被写体人物の右腕および左腕が出現していない場合において、領域取得部４３６が取得した外接矩形領域のうち、右腕出現条件および左腕出現条件を満たす外接矩形領域が存在する場合には、当該存在する外接矩形領域の位置において、被写体人物の両腕が結合していると判断し、当該位置に骨格モデルの両腕を結合した状態で当てはめる。   The first combination determination unit 441 satisfies the right arm appearance condition and the left arm appearance condition in the circumscribed rectangular region acquired by the region acquisition unit 436 when the subject person's right arm and left arm do not appear in the distance image of the previous frame. When the circumscribed rectangular area exists, it is determined that both arms of the subject person are combined at the position of the existing circumscribed rectangular area, and are applied in a state where both arms of the skeleton model are combined at the position.

第２結合判断部４４２は、前フレームの距離画像について被写体人物の右腕および左腕が別個に出現している場合において、領域取得部４３６が取得した外接矩形領域のうち、右腕移動条件および左腕移動条件を満たす外接矩形領域が存在する場合には、当該存在する外接矩形領域の位置において、被写体人物の両腕が結合していると判断し、当該位置に骨格モデルの両腕を結合した状態で当てはめる。   When the right arm and the left arm of the subject person appear separately in the distance image of the previous frame, the second combination determination unit 442 includes the right arm movement condition and the left arm movement condition among the circumscribed rectangular areas acquired by the area acquisition unit 436. If there is a circumscribed rectangular area that satisfies the condition, it is determined that both arms of the subject person are combined at the position of the existing circumscribed rectangular area, and are applied in a state where both arms of the skeleton model are combined at the position. .

第１分離判断部４４３は、前フレームで結合していた両腕が現フレームで分離したか否かを判断する。つまり、第１分離判断部４４３は、前フレームの距離画像について被写体人物の両腕が結合している場合において、領域取得部４３６が取得した外接矩形領域のうち、右腕移動条件を満たす外接矩形領域と左腕移動条件を満たす外接矩形領域とが別個に存在する場合には、被写体人物の両腕が分離して、右腕移動条件を満たす外接矩形領域の位置に被写体人物の右腕が移動したと判断し、当該位置に骨格モデルの右腕を当てはめ、左腕移動条件を満たす外接矩形領域の位置に被写体人物の左腕が移動したと判断し、当該位置に骨格モデルの左腕を当てはめる。   The first separation determination unit 443 determines whether or not both arms combined in the previous frame are separated in the current frame. That is, the first separation determination unit 443 performs a circumscribed rectangular region that satisfies the right arm movement condition among the circumscribed rectangular regions acquired by the region acquiring unit 436 when both arms of the subject person are combined with respect to the distance image of the previous frame. And the circumscribed rectangular area satisfying the left arm movement condition are determined to be separated from each other, and the right arm of the subject person has moved to the position of the circumscribed rectangular area satisfying the right arm movement condition. Then, the right arm of the skeleton model is applied to the position, it is determined that the left arm of the subject person has moved to the position of the circumscribed rectangular area that satisfies the left arm movement condition, and the left arm of the skeleton model is applied to the position.

消滅判断部４４４は、領域取得部４３６が取得した外接矩形領域のうち、右腕移動条件を満たす外接矩形領域が存在しない場合には、被写体人物の右腕が消滅したと判断し、骨格モデルの右腕を所定右腕位置に移動させ、左腕移動条件を満たす外接矩形領域が存在しない場合には、被写体人物の左腕が消滅したと判断し、骨格モデルの左腕を所定左腕位置に移動させる。   The extinction determining unit 444 determines that the right arm of the subject person has disappeared when the circumscribed rectangular region that satisfies the right arm movement condition does not exist among the circumscribed rectangular regions acquired by the region acquiring unit 436, and determines the right arm of the skeleton model. If the circumscribed rectangular area that satisfies the left arm movement condition does not exist, the left arm of the subject person is determined to have disappeared, and the left arm of the skeleton model is moved to the predetermined left arm position.

右手判断部４４５は、右腕と判断されている領域について、当該領域の外接領域の上面、左面、右面および前面のそれぞれについて各面に最も近い位置を決定し、決定した位置の中から骨格モデルにおける右肩から最も遠い位置を右手の位置と判断し、当該位置に骨格モデルの右手を当てはめる。   The right hand determination unit 445 determines the position closest to each surface for each of the upper surface, the left surface, the right surface, and the front surface of the circumscribed region of the region determined to be the right arm, and in the skeleton model from the determined positions The position farthest from the right shoulder is determined as the position of the right hand, and the right hand of the skeleton model is applied to the position.

左手判断部４４６は、左腕と判断されている領域について、当該領域の外接領域の上面、左面、右面および前面のそれぞれについて各面に最も近い位置を決定し、決定した位置の中から骨格モデルにおける左肩から最も遠い位置を左手の位置と判断し、当該位置に骨格モデルの左手を当てはめる。   The left-hand determining unit 446 determines a position closest to each surface for each of the upper surface, the left surface, the right surface, and the front surface of the circumscribed region of the region determined to be the left arm, and determines the position in the skeleton model from the determined positions. The position farthest from the left shoulder is determined as the position of the left hand, and the left hand of the skeleton model is applied to the position.

第２分離判断部４４７は、結合していると判断された両腕が本当に結合しているかを再度判断する。つまり、第２分離判断部４４７は、被写体人物の両腕が結合している場合において、両腕の先端から第３所定距離内に含まれる人物領域を正面から見た像である２次元の正面投影画像において、両腕が離れていれば被写体人物の両腕は分離していると判断し、骨格モデルの両腕を分離させる。   The second separation determination unit 447 determines again whether or not both arms determined to be combined are actually combined. In other words, when both arms of the subject person are coupled, the second separation determination unit 447 is a two-dimensional front that is an image of the person region included within the third predetermined distance from the front end of both arms. In the projected image, if both arms are separated, it is determined that both arms of the subject person are separated, and both arms of the skeleton model are separated.

脚判断部４４８は、骨格モデルにおける恥骨部よりも下の位置において、当該恥骨部から人物領域の先端までの距離が、骨格モデルにおける脚の長さに対応する所定の長さしきい値よりも大きい場合に、人物領域の先端が被写体人物の脚の先端であると判断し、人物領域の先端に骨格モデルの脚の先端を当てはめる。   The leg determination unit 448 is configured such that, at a position below the pubic part in the skeletal model, the distance from the pubic part to the tip of the person region is greater than a predetermined length threshold corresponding to the length of the leg in the skeletal model. If it is larger, it is determined that the tip of the person region is the tip of the leg of the subject person, and the tip of the leg of the skeleton model is applied to the tip of the person region.

膝判断部４４９は、骨格モデルにおいて恥骨部を基準として膝となり得る距離に存在する人物領域の座標のうち、最も高さが高い座標に被写体人物の膝があると判断し、最も高さが高い座標に骨格モデルの膝部を当てはめる。   The knee determination unit 449 determines that the knee of the subject person is at the highest coordinate among the coordinates of the human area existing at a distance that can be the knee with reference to the pubic part in the skeleton model, and the highest height Fit the knee of the skeleton model to the coordinates.

補正部４５０は、現フレームにおいて当てはめた骨格モデルの各座標を、当該座標と当該座標に対応する前フレームの距離画像における骨格モデルの座標との間の距離が大きいほど現フレームの座標に近づき、かつ距離が小さいほど前フレームの座標に近づくような、現フレームの座標と前フレームの座標との間の座標に補正する。   The correction unit 450 approaches each coordinate of the skeleton model applied in the current frame to the coordinates of the current frame as the distance between the coordinates and the coordinates of the skeleton model in the distance image of the previous frame corresponding to the coordinates increases. Further, the coordinates are corrected to the coordinates between the coordinates of the current frame and the coordinates of the previous frame so that the smaller the distance is, the closer the coordinates of the previous frame are.

次に、姿勢検出装置１００が実行する姿勢検出処理について説明する。
図１３は、姿勢検出処理の全体的な流れを示すフローチャートである。 Next, posture detection processing executed by the posture detection apparatus 100 will be described.
FIG. 13 is a flowchart showing the overall flow of the posture detection process.

距離画像取得部１０は、各画素における輝度値がカメラから物体までの距離を示す距離画像を取得する。また、座標計算部２０は、距離画像取得部１０が取得した距離画像に基づいて、三次元空間中での物体の座標を計算する（Ｓ１）。座標計算処理（Ｓ１）の詳細については後述する。   The distance image acquisition unit 10 acquires a distance image in which the luminance value at each pixel indicates the distance from the camera to the object. The coordinate calculation unit 20 calculates the coordinates of the object in the three-dimensional space based on the distance image acquired by the distance image acquisition unit 10 (S1). Details of the coordinate calculation process (S1) will be described later.

人物領域決定部３０は、座標計算部２０が計算した物体の座標に基づいて、三次元空間中で所定の体積しきい値以上の体積を占める物体の領域である人物領域を決定する（Ｓ２）。つまり、小さい体積の物体領域をノイズとして除去する。人物領域決定処理（Ｓ２）の詳細については後述する。   The person area determination unit 30 determines a person area that is an area of an object that occupies a volume equal to or greater than a predetermined volume threshold in the three-dimensional space based on the coordinates of the object calculated by the coordinate calculation unit 20 (S2). . That is, a small volume object region is removed as noise. Details of the person area determination process (S2) will be described later.

姿勢検出部４０は、人物領域決定部３０が決定した人物領域に、人体の骨格をモデル化した骨格モデルを当てはめることにより被写体人物の姿勢を検出する（Ｓ３）。つまり、姿勢検出部４０は、人物領域決定部３０が決定した人物領域にフィットするように骨格モデルを移動させる。姿勢検出処理（Ｓ３）は、Ｓ２の処理で決定された人物領域ごとに実行される。なお、姿勢検出処理（Ｓ３）の詳細については後述する。   The posture detection unit 40 detects the posture of the subject person by applying a skeleton model obtained by modeling the skeleton of the human body to the person region determined by the person region determination unit 30 (S3). That is, the posture detection unit 40 moves the skeleton model so as to fit the person area determined by the person area determination unit 30. The posture detection process (S3) is executed for each person area determined in the process of S2. Details of the posture detection process (S3) will be described later.

図１４は、座標計算処理（図１３のＳ１）の詳細なフローチャートである。
ノイズ除去部１１は、距離画像取得部１０が取得した距離画像の中からノイズを除去する（Ｓ１１）。ノイズ除去処理（Ｓ１１）の詳細については後述する。 FIG. 14 is a detailed flowchart of the coordinate calculation process (S1 in FIG. 13).
The noise removing unit 11 removes noise from the distance image acquired by the distance image acquiring unit 10 (S11). Details of the noise removal processing (S11) will be described later.

座標計算部２０は、距離画像カメラ２００の地面からの高さおよび煽り角θに基づいて、距離画像より得られる距離画像カメラ２００から被写体までの距離データをアフィン変換することにより、図１で説明した三次元座標系上（三次元空間中）での物体の三次元座標を計算する（Ｓ１２）。   The coordinate calculation unit 20 performs affine transformation on the distance data from the distance image camera 200 to the subject obtained from the distance image based on the height of the distance image camera 200 from the ground and the turning angle θ, and will be described with reference to FIG. The three-dimensional coordinates of the object on the three-dimensional coordinate system (in the three-dimensional space) are calculated (S12).

座標計算部２０は、三次元空間中に設定されている人物検出エリア内の座標を選択する（Ｓ１３）例えば、図１５に示すように、距離画像カメラ２００の撮像範囲内に人物検出エリア３１１が予め設定されているものとし、座標計算部２０は、人物検出エリア３１１内の座標のみを人物領域の候補座標（物体の座標）として選択する。   The coordinate calculation unit 20 selects the coordinates in the person detection area set in the three-dimensional space (S13). For example, as shown in FIG. 15, the person detection area 311 is within the imaging range of the distance image camera 200. The coordinate calculation unit 20 selects only coordinates in the person detection area 311 as candidate coordinates (object coordinates) of the person area.

図１６は、ノイズ除去処理（図１４のＳ１１）の詳細なフローチャートである。
ノイズ除去処理は、距離画像上の各画素について行なわれる。ただし、距離画像の上下左右の１画素分の端部については、すべてノイズと判断し、処理の対象から除かれる。 FIG. 16 is a detailed flowchart of the noise removal process (S11 in FIG. 14).
The noise removal process is performed for each pixel on the distance image. However, the end portions of one pixel on the upper, lower, left, and right sides of the distance image are all judged to be noise and are excluded from processing targets.

ノイズ除去部１１は、取得した距離画像上で所定サイズ（本実施の形態では３×３）のウィンドウを走査し、当該ウィンドウ内の中心画素について以下に説明するＳ１１１〜Ｓ１１４の処理を実行する。   The noise removing unit 11 scans a window of a predetermined size (3 × 3 in the present embodiment) on the acquired distance image, and executes the processes of S111 to S114 described below for the central pixel in the window.

つまり、ノイズ除去部１１は、中心画素における輝度値（すなわち、中心画素が示す距離）に応じて、距離しきい値を設定する（Ｓ１１１）。距離しきい値は、ウィンドウ内の中心画素ごとに設定され、当該中心画素が示す距離が大きいほど大きな値に設定される。   That is, the noise removing unit 11 sets a distance threshold according to the luminance value at the center pixel (that is, the distance indicated by the center pixel) (S111). The distance threshold is set for each central pixel in the window, and is set to a larger value as the distance indicated by the central pixel is larger.

ノイズ除去部１１は、当該ウィンドウ内の中心画素が示す距離との距離の差が距離しきい値以下となる当該ウィンドウ内の前記中心画素を除く画素数を計数する（Ｓ１１２）。つまり、ノイズ除去部１１は、中心画素が示す距離と中心画素の８近傍のそれぞれの画素が示す距離との差と距離しきい値とを比較し、８近傍の画素のうち、差が距離しきい値以下となる画素数を計数する（Ｓ１１２）。   The noise removing unit 11 counts the number of pixels excluding the central pixel in the window where the difference in distance from the distance indicated by the central pixel in the window is equal to or less than the distance threshold (S112). That is, the noise removing unit 11 compares the distance between the distance indicated by the central pixel and the distance indicated by each of the eight neighboring pixels of the central pixel with the distance threshold value, and the difference among the eight neighboring pixels is determined by the distance. The number of pixels below the threshold value is counted (S112).

ノイズ除去部１１は、計数した画素数が所定の画素数しきい値（例えば、３）未満であるか否かを判断し（Ｓ１１３）、上記画素数が画素数しきい値未満であれば（Ｓ１１３でＹＥＳ）、中心画素をノイズと判断する（Ｓ１１４）。   The noise removing unit 11 determines whether or not the counted number of pixels is less than a predetermined pixel number threshold (for example, 3) (S113), and if the number of pixels is less than the pixel number threshold ( If YES in S113, the central pixel is determined as noise (S114).

図１７（ａ）は距離画像の一例を示し、一人の人物が撮像されている。図１７（ｂ）は、ノイズとして除去された画素位置を白い点で示した画像を示す。図１７（ｂ）の画像からも分かるように、人物の輪郭部分がノイズと判断されている。なぜならば、人物と背景との間には距離のギャップが存在し、輪郭部分においては距離が安定しない。このため、輪郭部分の画素がノイズと判断される。   FIG. 17A shows an example of a distance image, in which one person is captured. FIG. 17B shows an image in which pixel positions removed as noise are indicated by white dots. As can be seen from the image in FIG. 17B, the contour portion of the person is determined to be noise. This is because there is a distance gap between the person and the background, and the distance is not stable in the contour portion. For this reason, the pixel in the contour portion is determined as noise.

このように、人物領域においては近傍の画素同士は似たような距離を有すると考えられる。このため、中心画素の近傍に、中心画素の距離と似ている画素が少なければノイズと判断することができる。   Thus, it is considered that neighboring pixels have similar distances in the person area. For this reason, if there are few pixels similar to the distance of the central pixel in the vicinity of the central pixel, it can be determined that the noise is present.

また、カメラに近い位置では距離の分解能が高く、遠い位置では距離の分解能が低い。このため、中心画素が示す距離に応じて距離しきい値を設定することにより、距離の分解能に依存することなくノイズを判断することができる。   In addition, the distance resolution is high at a position close to the camera, and the distance resolution is low at a far position. For this reason, noise can be determined without depending on the resolution of the distance by setting the distance threshold value according to the distance indicated by the center pixel.

図１８は、人物の輪郭部分に発生するノイズについて説明するための図である。
図１８（ａ）、図１８（ｂ）および図１８（ｃ）は、図４（ｂ）に示した距離画像から得られる三次元空間中の座標位置を、人物の正面、側面、上面からそれぞれ見た図である。図１８（ａ）〜図１８（ｃ）からも分かるように人物の輪郭部分においては、人物の後ろ方向および下方向にも座標位置が示されており、これらが人物の輪郭部分に発生するノイズである。 FIG. 18 is a diagram for explaining noise generated in a contour portion of a person.
18 (a), 18 (b) and 18 (c) show the coordinate positions in the three-dimensional space obtained from the distance image shown in FIG. 4 (b) from the front, side and top surfaces of the person, respectively. FIG. As can be seen from FIGS. 18 (a) to 18 (c), in the outline portion of the person, the coordinate positions are also shown in the backward and downward directions of the person, and these are noises generated in the outline portion of the person. It is.

図１９は、人物領域決定処理（図１３のＳ２）の詳細なフローチャートである。
人物領域決定部３０は、座標計算部２０が計算した物体の座標（人物領域の候補座標）に基づいて、三次元空間中の各座標が物体の座標を示す物体座標であるか否かを、当該座標と当該座標の近傍の２つの座標とを含む面の法線ベクトルに基づいて判断し、物体座標を含むブロックにラベリングを施し、三次元空間中で所定の体積しきい値以上の体積を占める同一ラベルが付された物体の領域である人物領域を決定する（Ｓ２１）。法線ベクトルによる人物領域決定処理（Ｓ２１）の詳細については後述する。 FIG. 19 is a detailed flowchart of the person area determination process (S2 in FIG. 13).
Based on the coordinates of the object calculated by the coordinate calculation unit 20 (candidate coordinates of the person area), the person area determination unit 30 determines whether each coordinate in the three-dimensional space is an object coordinate indicating the coordinates of the object. Judgment is made based on the normal vector of the surface including the coordinates and the two coordinates in the vicinity of the coordinates, labeling is performed on the block including the object coordinates, and a volume equal to or greater than a predetermined volume threshold is set in the three-dimensional space. A person area which is an area of the object to which the same label is assigned is determined (S21). Details of the person area determination process (S21) based on the normal vector will be described later.

人物領域決定部３０は、ラベルが付された人物領域のそれぞれについて以下に説明するＳ２２およびＳ２３の処理を実行する。つまり、人物領域決定部３０は、着目人物領域と前フレームの距離画像から求められた人物領域との三次元空間中の位置を比較し、最も近い位置に存在する前フレームの人物領域に割り当てられたのと同一のラベルを着目人物領域に割り当てる（Ｓ２２）。これにより、フレーム間に渡る人物の追跡を行うことができる。   The person area determination unit 30 executes the processes of S22 and S23 described below for each person area with a label. That is, the person area determination unit 30 compares the position of the person area of interest and the person area obtained from the distance image of the previous frame in the three-dimensional space, and is assigned to the person area of the previous frame existing at the closest position. The same label is assigned to the target person area (S22). Thereby, it is possible to track a person between frames.

人物領域決定部３０は、Ｓ２１の処理において、体積しきい値未満の体積を占める同一ラベルが付された物体の領域（人物以外の領域）について、着目人物領域との統合の可否を判断する（Ｓ２３）。つまり、着目人物領域の前側、上側または下側に位置し、所定の統合距離しきい値以内の距離にある人物以外の領域について、着目人物領域と同一のラベル割り当てることにより、着目人物領域の一部と判断する。この処理により、何らかの影響により途切れている人物領域をつなぎ合わせることができる。   In the process of S21, the person area determination unit 30 determines whether or not the object area (area other than the person) with the same label that occupies a volume less than the volume threshold can be integrated with the person area of interest ( S23). That is, by assigning the same label as the target person area to areas other than the person located at the front side, upper side, or lower side of the target person area and within the predetermined integrated distance threshold value, Judged to be part. By this processing, it is possible to connect human regions that are interrupted due to some influence.

次に、法線ベクトルによる人物領域決定処理（図１９のＳ２１）について説明する。具体的な処理の説明に入る前に、三次元空間中の各座標が、物体の座標である物体座標であるか、ノイズの座標であるノイズ座標であるかを判断する判断方法の原理について説明する。   Next, the person region determination process using the normal vector (S21 in FIG. 19) will be described. Before entering the description of the specific processing, the principle of the determination method for determining whether each coordinate in the three-dimensional space is an object coordinate that is an object coordinate or a noise coordinate that is a noise coordinate will be described. To do.

図２０に示すように距離画像カメラ２００が人物３００を撮像しているものとする。
距離画像カメラ２００は、赤外線光を照射してから、照射した赤外線光の物体での反射光を受光するまでの時間を距離に変換する。これにより、距離画像カメラ２００は距離画像を作成する。しかし、距離画像カメラ２００の視野内であっても、物体までの距離が大きく反射光を受光するまでの時間が大きい場合や、赤外線光が届かない位置に物体がある場合には、正確な距離を取得することができない。そこで、本実施の形態では、三次元空間中で近接する３つの座標を含む平面（三角パッチ）を作成し、三角パッチの法線ベクトルを算出する。法線ベクトルの向きに基づいて、三角パッチが物体の面か否かを判断することにより、三次元空間中の各座標が物体座標かノイズ座標かの判断を行い、ノイズ座標の除去を行う。 Assume that the distance image camera 200 captures a person 300 as shown in FIG.
The distance image camera 200 converts the time from when the infrared light is irradiated until the reflected light from the irradiated infrared light object is received into a distance. Thereby, the distance image camera 200 creates a distance image. However, even within the field of view of the distance image camera 200, if the distance to the object is large and the time until the reflected light is received is large, or if the object is in a position where infrared light does not reach, the accurate distance Can not get. Therefore, in the present embodiment, a plane (triangular patch) including three coordinates close to each other in a three-dimensional space is created, and a normal vector of the triangular patch is calculated. Based on the direction of the normal vector, it is determined whether the triangular patch is the surface of the object, thereby determining whether each coordinate in the three-dimensional space is the object coordinate or the noise coordinate, and the noise coordinate is removed.

図２１は、距離画像カメラ２００と三次元空間中に存在する座標計算部２０が計算した物体の座標との関係を示す図である。図２１に示すように、距離画像カメラ２００から三次元空間中の物体の座標６０１〜６０５へ向かうベクトルを、それぞれベクトル６１１〜６１５とする。   FIG. 21 is a diagram illustrating a relationship between the distance image camera 200 and the coordinates of the object calculated by the coordinate calculation unit 20 existing in the three-dimensional space. As shown in FIG. 21, vectors from the distance image camera 200 toward the coordinates 601 to 605 of the object in the three-dimensional space are set as vectors 611 to 615, respectively.

距離画像カメラ２００から照射された光は、距離画像カメラ２００の方向に反射されるが、距離画像カメラ２００に近い点と遠い点との関係から、距離画像カメラ２００の近い位置にある面が遠い点を遮る場合には、その遠い点には光が当たらないため、ノイズ座標と考えられる。   The light emitted from the distance image camera 200 is reflected in the direction of the distance image camera 200, but the surface near the distance image camera 200 is far from the relationship between the points close to the distance image camera 200 and the distant points. When a point is blocked, it is considered noise coordinates because the far point does not receive light.

例えば、互いに近傍に位置する座標６０１〜６０３を頂点とする三角パッチ６２１を考える。三角パッチ６２１が物体の面であると考えるのであれば、ベクトル６１４は三角パッチ６２１を通過するため座標６０４は観測されないはずである。つまり、三角パッチ６２１に遮られて距離画像カメラ２００から照射される光は座標６０４には到達しないはずである。このため、座標６０４はノイズ座標と考えることができる。   For example, consider a triangular patch 621 whose apexes are coordinates 601 to 603 located in the vicinity of each other. If the triangular patch 621 is considered to be the surface of the object, the vector 614 will pass through the triangular patch 621 and the coordinate 604 should not be observed. That is, the light emitted from the distance image camera 200 by being blocked by the triangular patch 621 should not reach the coordinates 604. For this reason, the coordinates 604 can be considered as noise coordinates.

しかしながら、三角パッチ６２１が物体の面ではない可能性もある。このため、本実施の形態では、着目している座標を頂点とする三角パッチの中に、物体の面として有効な三角パッチが含まれるか否かを判断し、有効な三角パッチが含まれる場合に着目している座標を物体座標と判断し、有効な三角パッチが含まれない場合に着目している座標をノイズ座標と判断する。以下、図２２を用いて説明する。   However, there is a possibility that the triangular patch 621 is not an object surface. For this reason, in the present embodiment, it is determined whether or not a triangular patch having a vertex as the coordinate of interest includes an effective triangular patch as an object surface. The coordinates focused on are determined as object coordinates, and the coordinates focused on when no valid triangular patch is included are determined as noise coordinates. Hereinafter, a description will be given with reference to FIG.

図２２は、着目している座標が物体座標かノイズ座標かを判断する方法を説明するための図である。   FIG. 22 is a diagram for explaining a method of determining whether the coordinate of interest is an object coordinate or a noise coordinate.

図２２に示すように、三次元空間中に座標計算部２０が計算した物体の座標６０１〜６０６が存在するものとする。それらの座標６０１〜６０６から、互いに近傍に位置する３つの座標を頂点とする三角パッチ６２１〜６２４が作成される。また、三角パッチ６２１〜６２４の法線ベクトルをそれぞれ法線ベクトル６３１〜６３４とする。法線ベクトルが距離画像カメラ２００の方を向いていれば、その法線ベクトルに対応する三角パッチ（法線ベクトル６３１に対する三角パッチ６２１、法線ベクトル６３４に対する三角パッチ６２４）は物体の面と判断することができる。つまり、その面での反射光は距離画像カメラ２００に到達すると考えることができる。一方、法線ベクトルが距離画像カメラ２００の方を向いていなければ、その法線ベクトルに対応する三角パッチ（法線ベクトル６３２に対する三角パッチ６２２、法線ベクトル６３３に対する三角パッチ６２３）は物体の面ではないと考えることができる。つまり、その面での反射光は距離画像カメラ２００に到達しないと考えることができる。このため、着目している座標を頂点とする三角パッチのうち物体の面の三角パッチが含まれる場合には、着目している座標を物体座標と判断し、物体の面の三角パッチが含まれない場合には、着目している座標をノイズ座標と判断する。   As shown in FIG. 22, it is assumed that the coordinates 601 to 606 of the object calculated by the coordinate calculation unit 20 exist in the three-dimensional space. From these coordinates 601 to 606, triangular patches 621 to 624 having apexes of three coordinates located in the vicinity of each other are created. The normal vectors of the triangular patches 621 to 624 are set as normal vectors 631 to 634, respectively. If the normal vector faces the distance image camera 200, the triangular patch corresponding to the normal vector (the triangular patch 621 with respect to the normal vector 631 and the triangular patch 624 with respect to the normal vector 634) is determined as the object plane. can do. That is, it can be considered that the reflected light on the surface reaches the distance image camera 200. On the other hand, if the normal vector does not face the distance image camera 200, the triangular patch corresponding to the normal vector (triangular patch 622 with respect to the normal vector 632, triangular patch 623 with respect to the normal vector 633) is the surface of the object. I can think of it not. That is, it can be considered that the reflected light on the surface does not reach the distance image camera 200. For this reason, if a triangular patch of the object surface is included among the triangular patches having the target coordinate as a vertex, the target coordinate is determined as the object coordinate, and the triangular patch of the object surface is included. If not, the coordinate of interest is determined as the noise coordinate.

より具体的には、図２３に示すように、三次元空間中の座標６４０から、互いに近傍に位置する３つの座標を頂点とする三角パッチ６４１を作成する。例えば、互いに近傍に位置する３つの座標６４０Ａ〜６４０Ｃを頂点とする三角パッチ６４１Ａを作成する。   More specifically, as shown in FIG. 23, a triangular patch 641 having apexes at three coordinates located in the vicinity of each other is created from the coordinates 640 in the three-dimensional space. For example, the triangular patch 641A having three coordinates 640A to 640C positioned in the vicinity as apexes is created.

三角パッチの法線ベクトルが距離画像カメラ２００の方を向いているか否かの判断は、具体的に以下のように行う。つまり、図２４に示すように距離画像カメラ２００の撮像面を含む平面である有効角度面を想定し、法線ベクトルが有効角度面と交わる場合に、その法線ベクトルが距離画像カメラ２００の方を向いていると判断し、法線ベクトルが有効角度面と交わらない場合に、その法線ベクトルが距離画像カメラ２００の方を向いていないと判断する。   The determination as to whether or not the normal vector of the triangular patch faces the distance image camera 200 is specifically performed as follows. That is, as shown in FIG. 24, assuming an effective angle plane that is a plane including the imaging surface of the distance image camera 200, when the normal vector intersects the effective angle plane, the normal vector is the direction of the distance image camera 200. If the normal vector does not intersect the effective angle plane, it is determined that the normal vector does not face the range image camera 200.

図２５は、法線ベクトルによる人物領域決定処理（図１９のＳ２１）の詳細なフローチャートである。   FIG. 25 is a detailed flowchart of the person region determination process (S21 in FIG. 19) using normal vectors.

物体座標判断部３１は、座標計算部２０が計算した物体の座標の各々について、以下のＳ２１１〜Ｓ２１３の処理を実行する。   The object coordinate determination unit 31 executes the following processes of S211 to S213 for each of the object coordinates calculated by the coordinate calculation unit 20.

つまり、物体座標判断部３１は、着目座標と着目座標の近傍の２つの座標とを頂点とする三角パッチの中から、法線ベクトルが有効角度面と交わる（有効角度面を向いている）三角パッチが存在するか否かを判断する（Ｓ２１１）。例えば、図２２で着目座標を座標６０４とすると、座標６０４を含む３つの三角パッチ６２２〜６２４のうち、法線ベクトルが有効角度面と交わる三角パッチが存在するか否かを判断する。   That is, the object coordinate determining unit 31 is a triangle in which the normal vector intersects the effective angle plane (facing the effective angle plane) from among the triangular patches having the target coordinates and two coordinates in the vicinity of the target coordinates as vertices. It is determined whether a patch exists (S211). For example, assuming that the coordinate of interest is the coordinate 604 in FIG. 22, it is determined whether there is a triangular patch whose normal vector intersects the effective angle plane among the three triangular patches 622 to 624 including the coordinate 604.

法線ベクトルが有効角度面と交わる三角パッチが存在する場合には（Ｓ２１１でＹＥＳ）、物体座標判断部３１は、着目座標を物体座標と判断する。例えば、法線ベクトル６３４は有効角度面と交わるため、物体座標判断部３１は、座標６０４を物体座標と判断する（Ｓ２１２）。   If there is a triangular patch whose normal vector intersects the effective angle plane (YES in S211), the object coordinate determination unit 31 determines the target coordinate as the object coordinate. For example, since the normal vector 634 intersects the effective angle plane, the object coordinate determination unit 31 determines that the coordinate 604 is the object coordinate (S212).

法線ベクトルが有効角度面と交わる三角パッチが存在しない場合には（Ｓ２１１でＮＯ）、物体座標判断部３１は、着目座標をノイズ座標と判断する（Ｓ２１３）。   If there is no triangular patch whose normal vector intersects the effective angle plane (NO in S211), the object coordinate determination unit 31 determines that the target coordinate is a noise coordinate (S213).

このように、法線ベクトルが有効角度面と交わっている場合には、法線ベクトルがカメラの方向を向いていると判断することができる。法線ベクトルがカメラの方向を向いている面は、物体の面の一部であると考えることができるため、座標計算部２０が計算した物体の座標が正確に物体座標であるか否かを判断することができる。   As described above, when the normal vector intersects the effective angle plane, it can be determined that the normal vector faces the direction of the camera. Since the plane whose normal vector faces the direction of the camera can be considered as a part of the plane of the object, it is determined whether or not the coordinates of the object calculated by the coordinate calculation unit 20 are exactly the object coordinates. Judgment can be made.

ラベリング処理部３２は、三次元空間を各々が所定体積を有する複数のブロックに分割したときに、互いに隣接する、物体座標判断部３１が判断した物体座標を含むブロックのラベルが同一のラベルとなるように、複数のブロックの各々にラベル付けを行う（Ｓ２１４）。ブロックの大きさは、例えば、７．５ｃｍ3とする。 When the labeling processing unit 32 divides the three-dimensional space into a plurality of blocks each having a predetermined volume, the labels of the blocks including the object coordinates determined by the object coordinate determination unit 31 that are adjacent to each other are the same label. As described above, each of the plurality of blocks is labeled (S214). The size of the block is, for example, 7.5 cm 3 .

ラベリング処理部３２は、ラベリングされたブロック内のすべての座標は物体領域の座標であると決定する（Ｓ２１５）。なお、ブロックの周辺の座標（ブロックから所定距離内の座標）についても物体領域の座標であると決定してもよい。この処理により、ノイズとして判断され、ノイズとして切り過ぎていた座標を、再度、物体領域の座標と判断することができる。   The labeling processing unit 32 determines that all coordinates in the labeled block are the coordinates of the object region (S215). Note that coordinates around the block (coordinates within a predetermined distance from the block) may also be determined as the coordinates of the object region. By this processing, the coordinates determined as noise and overcut as noise can be determined again as the coordinates of the object region.

決定部３３は、各ラベルについて以下のＳ２１６〜Ｓ２１８の処理を実行する。
つまり、決定部３３は、着目しているラベル（以下、「着目ラベル」という。）が付されたブロックの体積の合計値が体積しきい値以上か否かを判断する（Ｓ２１６）。決定部３３は、上記合計値が体積しきい値以上の場合には（Ｓ２１６でＹＥＳ）、着目ラベルが付されたブロックを人物領域と決定し（Ｓ２１７）、上記合計値が体積しきい値未満の場合には（Ｓ２１６でＮＯ）、着目ラベルが付されたブロックを人物以外の領域と決定する（Ｓ２１８）。 The determination unit 33 executes the following processes of S216 to S218 for each label.
That is, the determination unit 33 determines whether or not the total volume of the blocks to which the target label (hereinafter referred to as “target label”) is attached is equal to or greater than the volume threshold (S216). If the total value is greater than or equal to the volume threshold value (YES in S216), the determination unit 33 determines the block with the target label as a person area (S217), and the total value is less than the volume threshold value. In this case (NO in S216), the block with the target label is determined as a region other than a person (S218).

図２６は、法線ベクトルによる人物領域決定処理（図２５）の結果の一例を示す図である。図２６（ａ）は、図２５の処理前の距離画像において、物体と判断されている座標を白い画素で示した画像である。図２６（ａ）には、人物のほか、人物の背景に存在する障害物が表示されている。   FIG. 26 is a diagram illustrating an example of a result of the human region determination process (FIG. 25) using normal vectors. FIG. 26A is an image in which coordinates determined to be an object in the distance image before the processing in FIG. 25 are indicated by white pixels. In FIG. 26A, in addition to a person, obstacles that exist in the background of the person are displayed.

図２６（ｂ）は、Ｓ２１５の処理後の画像を示しており、ラベル付けされた部分を白い画素で示している。Ｓ２１５の処理によりブロック内のすべての座標が物体領域の座標と判断されるため、人物領域において、図２６（ａ）には見られる穴が埋められている。   FIG. 26B shows the image after the processing of S215, and the labeled part is shown by white pixels. Since all the coordinates in the block are determined to be the coordinates of the object area by the process of S215, the holes that can be seen in FIG. 26A are filled in the person area.

図２６（ｃ）は、最終的な人物領域の画像であり、人物の部分のみが人物領域と決定され、背景の部分は人物領域と決定されていないことが分かる。   FIG. 26C shows an image of the final person area, and it can be seen that only the person portion is determined as the person area and the background portion is not determined as the person area.

図２７は、姿勢検出処理（図１３のＳ３）の前半の詳細なフローチャートである。
身長推定部４１は、処理の対象となっている人物領域を正面から見た像である二次元の正面画像と、側面から見た像である二次元の側面画像とを作成する（Ｓ３１）。 FIG. 27 is a detailed flowchart of the first half of the posture detection process (S3 in FIG. 13).
The height estimation unit 41 creates a two-dimensional front image that is an image of the person region that is the target of processing viewed from the front and a two-dimensional side image that is an image viewed from the side (S31).

図２８（ａ）は、被写体人物を通常のカメラで撮像した画像の一例を示す。図２８（ｂ）は、図２８（ａ）に示す画像に対応する人物領域の側面画像であり、図２８（ｃ）は、図２８（ａ）に示す画像に対応する人物領域の正面画像である。側面画像および正面画像においては、人物領域を白い画素で示している。   FIG. 28A shows an example of an image obtained by capturing a subject person with a normal camera. FIG. 28B is a side image of the person area corresponding to the image shown in FIG. 28A, and FIG. 28C is a front image of the person area corresponding to the image shown in FIG. is there. In the side image and the front image, the person region is indicated by white pixels.

身長推定部４１は、正面画像および側面画像のそれぞれにおける人物領域の面積が、人物と想定される所定の面積範囲に含まれているか否かを判断し（Ｓ３２）、含まれていなければ（Ｓ３２ＮＯ）、処理の対象となっている人物領域はノイズであると判断し、人物が検出されないと判断する（Ｓ３３）。   The height estimation unit 41 determines whether the area of the person area in each of the front image and the side image is included in a predetermined area range assumed to be a person (S32), and if not included (S32 NO) ), It is determined that the person area to be processed is noise, and it is determined that no person is detected (S33).

人物領域の面積が上記所定の面積範囲に含まれている場合には（Ｓ３２でＹＥＳ）、身長推定部４１は、正面画像および側面画像に基づいて、対象人物領域の人物（被写体人物）の中心軸および身長を推定する（Ｓ３４）。身長推定処理（Ｓ３４）の詳細については後述する。   When the area of the person area is included in the predetermined area range (YES in S32), the height estimation unit 41 determines the center of the person (subject person) in the target person area based on the front image and the side image. The axis and height are estimated (S34). Details of the height estimation process (S34) will be described later.

被写体人物に対する骨格モデルが作成済みでなければ（Ｓ３５でＮＯ）、身長推定部４１は、被写体人物に対する身長情報が所定数集まったか否かを判断し（Ｓ３６）、集まっていなければ（Ｓ３６でＮＯ）、Ｓ３４で求められた身長情報をバッファに記憶する（Ｓ３８）。このような処理を複数フレームにわたり行い、身長情報が所定数集まった場合には（Ｓ３６でＹＥＳ）、被写体人物と同一のラベルが付された人物の身長情報の所定数の平均を求めることにより、被写体人物の身長を決定する（Ｓ３７）。   If the skeleton model for the subject person has not been created (NO in S35), the height estimation unit 41 determines whether a predetermined number of height information for the subject person has been collected (S36). ), The height information obtained in S34 is stored in the buffer (S38). When such a process is performed over a plurality of frames and a predetermined number of height information is collected (YES in S36), an average of the predetermined number of height information of persons with the same label as the subject person is obtained. The height of the subject person is determined (S37).

選択部４２は、記憶部５０に記憶されている骨格モデルの中から、Ｓ３７の処理で決定された身長に最も近い身長の骨格モデルを選択する（Ｓ３９）。なお、同じ身長の骨格モデルが存在しない場合には、被写体人物の身長に近い骨格モデルを２つ選択し、２つの骨格モデルから、各関節位置を線形補間により求めることにより、被写体人物の身長に合致する骨格モデルを作成してもよい。   The selection unit 42 selects a skeleton model having a height closest to the height determined in the process of S37 from the skeleton models stored in the storage unit 50 (S39). If there is no skeletal model with the same height, two skeletal models close to the height of the subject person are selected, and each joint position is obtained by linear interpolation from the two skeleton models, thereby obtaining the height of the subject person. A matching skeleton model may be created.

図２９は、身長推定処理（図２７のＳ３４）の詳細なフローチャートである。
以下に説明するＳ３４１〜Ｓ３４３の処理により、水平方向中心軸決定部４１１は、人物領域を正面から見た像である二次元の正面画像において水平方向の中心を通る高さ方向の軸を、被写体人物の水平方向の中心軸と決定する。 FIG. 29 is a detailed flowchart of the height estimation process (S34 in FIG. 27).
Through the processing of S341 to S343 described below, the horizontal direction central axis determination unit 411 determines the axis in the height direction passing through the center in the horizontal direction in the two-dimensional front image that is an image of the person region as viewed from the front. Determined as the horizontal center axis of the person.

つまり、第１ヒストグラム生成部４１１１は、正面画像において横軸が水平方向の座標を示し、縦軸が各水平方向の座標を有する人物領域の画素の度数を示す第１ヒストグラムを生成する（Ｓ３４１）。例えば、図３０（ａ）に示すような正面画像を考えた場合、第１ヒストグラム生成部４１１１は、図３０（ｂ）に示すようなヒストグラムを生成する。   In other words, the first histogram generation unit 4111 generates a first histogram indicating the frequency of pixels in a person area having the horizontal axis indicating the horizontal coordinate and the vertical axis indicating the horizontal coordinate in the front image (S341). . For example, when a front image as shown in FIG. 30A is considered, the first histogram generation unit 4111 generates a histogram as shown in FIG.

第１最大度数算出部４１１２は、第１ヒストグラム生成部４１１１が生成した第１ヒストグラムにおける最大度数を算出する（Ｓ３４１）。   The first maximum frequency calculation unit 4112 calculates the maximum frequency in the first histogram generated by the first histogram generation unit 4111 (S341).

第１積算出部４１１３は、第１最大度数算出部４１１２が算出した最大度数に１未満の第１所定係数を掛けた値である第１積を算出する（Ｓ３４２）。図３０（ｂ）では、第１所定係数を０．５としている。   The first product calculation unit 4113 calculates a first product that is a value obtained by multiplying the maximum frequency calculated by the first maximum frequency calculation unit 4112 by a first predetermined coefficient less than 1 (S342). In FIG. 30B, the first predetermined coefficient is 0.5.

第１軸決定部４１１４は、第１積算出部４１１３が算出した第１積以上の度数を有する水平方向の座標の最小値と最大値との平均値を水平方向の座標とする被写体人物の高さ方向の軸を、被写体の水平方向の中心軸と決定する（Ｓ３４３）。図３０（ｂ）では、平均値を丸印で示しており、平均値を通るｙ軸方向の軸を中心軸と定めている。   The first axis determination unit 4114 is configured to increase the height of the subject person using the average value of the minimum and maximum horizontal coordinates having a frequency equal to or higher than the first product calculated by the first product calculation unit 4113 as the horizontal coordinate. The vertical axis is determined as the horizontal central axis of the subject (S343). In FIG. 30B, the average value is indicated by a circle, and the axis in the y-axis direction passing through the average value is defined as the central axis.

例えば、被写体人物が手を挙げていると、その部分の画素数が大きくなるため、第１ヒストグラムにおいて手の部分の度数が大きくなってしまう。このため、最大度数をそのまま用いて水平方向の中心軸を決定すると、挙げた手の部分が中心軸になってしまう。しかし、最大度数に１未満の第１所定係数（０．５）を掛けた値である第１積を計算している。このため、第１積以上の度数を有する座標は、人物領域の胴付近の座標を示す。よって、第１積以上の度数を有する座標の最小値と最大値との平均値から水平方向の中心軸を決定することにより、正確に水平方向の中心軸を決定することができる。   For example, if the subject person raises his / her hand, the number of pixels in that portion increases, and the frequency of the hand portion in the first histogram increases. For this reason, if the central axis in the horizontal direction is determined using the maximum power as it is, the hand portion mentioned will become the central axis. However, the first product, which is a value obtained by multiplying the maximum frequency by a first predetermined coefficient (0.5) less than 1, is calculated. For this reason, coordinates having a frequency equal to or higher than the first product indicate coordinates near the trunk of the person area. Therefore, the horizontal central axis can be accurately determined by determining the horizontal central axis from the average value of the minimum and maximum coordinates having the frequency equal to or greater than the first product.

次に、以下に説明するＳ３４４〜Ｓ３４６の処理により、前後方向中心軸決定部４１２は、人物領域を側面から見た像である二次元の側面画像において水平方向の中心を通る高さ方向の軸を、被写体人物の前後方向の中心軸と決定する。   Next, by the processes of S344 to S346 described below, the front-rear direction central axis determination unit 412 is a vertical axis that passes through the center in the horizontal direction in a two-dimensional side image that is an image of the person region viewed from the side. Is determined as the center axis of the subject person in the front-rear direction.

つまり、第２ヒストグラム生成部４１２１は、側面画像において横軸が前後方向の座標を示し、縦軸が各前後方向の座標を有する人物領域の画素の度数を示す（Ｓ３４４）。   That is, the second histogram generation unit 4121 indicates the frequency of the pixels in the person area having the horizontal axis in the side image and the vertical axis and the vertical axis in the front and rear direction (S344).

第２最大度数算出部４１２２は、第２ヒストグラム生成部４１２１が生成した第２ヒストグラムにおける最大度数を算出する（Ｓ３４４）。   The second maximum frequency calculation unit 4122 calculates the maximum frequency in the second histogram generated by the second histogram generation unit 4121 (S344).

第２積算出部４１２３は、第２最大度数算出部４１２２が算出した最大度数に１未満の第２所定係数を掛けた値である第２積を算出する（Ｓ３４５）。例えば、第２所定係数は、第１所定係数と同じ値とする。   The second product calculation unit 4123 calculates a second product that is a value obtained by multiplying the maximum frequency calculated by the second maximum frequency calculation unit 4122 by a second predetermined coefficient less than 1 (S345). For example, the second predetermined coefficient is the same value as the first predetermined coefficient.

第２軸決定部４１２４は、第２積算出部４１２３が算出した第２積以上の度数を有する前後方向の座標の最小値と最大値との平均値を前後方向の座標とする被写体人物の高さ方向の軸を、被写体の前後方向の中心軸と決定する（Ｓ３４６）。   The second axis determination unit 4124 is configured to increase the height of the subject person using the average value of the minimum and maximum coordinates in the front-rear direction having a frequency equal to or higher than the second product calculated by the second product calculation unit 4123 as the front-rear direction coordinates. The vertical axis is determined as the central axis in the front-rear direction of the subject (S346).

Ｓ３４４〜Ｓ３４６の具体例は、正面画像が側面画像に変わる以外は、図３０と同じである。   Specific examples of S344 to S346 are the same as those in FIG. 30 except that the front image is changed to the side image.

例えば、被写体人物が手を挙げていると、その部分の画素数が大きくなるため、第２ヒストグラムにおいて手の部分の度数が大きくなってしまう。このため、最大度数をそのまま用いて前後方向の中心軸を決定すると、挙げた手の部分が中心軸になってしまう。しかし、この構成では、最大度数に１未満の第２所定係数（例えば、０．５）を掛けた値である第２積を計算している。このため、第２積以上の度数を有する座標は、人物領域の胴付近の座標を示す。よって、第２積以上の度数を有する座標の最小値と最大値との平均値から前後方向の中心軸を決定することにより、正確に前後方向の中心軸を決定することができる。   For example, if the subject person raises his / her hand, the number of pixels in that portion increases, and the frequency of the hand portion in the second histogram increases. For this reason, if the central axis in the front-rear direction is determined using the maximum power as it is, the hand portion mentioned above becomes the central axis. However, in this configuration, a second product that is a value obtained by multiplying the maximum frequency by a second predetermined coefficient less than 1 (for example, 0.5) is calculated. For this reason, coordinates having a frequency equal to or greater than the second product indicate coordinates near the trunk of the person area. Therefore, the central axis in the front-rear direction can be accurately determined by determining the central axis in the front-rear direction from the average value of the minimum value and the maximum value of the coordinates having the frequency equal to or greater than the second product.

被写体人物中心軸決定部４１３は、水平方向中心軸決定部４１１および前後方向中心軸決定部４１２がそれぞれ決定した被写体人物の水平方向および前後方向の中心軸に基づいて、被写体人物の中心軸を決定する（Ｓ３４７）。   The subject person central axis determining unit 413 determines the central axis of the subject person based on the horizontal and front / rear direction central axes of the subject person determined by the horizontal direction central axis determining unit 411 and the front / rear direction central axis determining unit 412, respectively. (S347).

つまり、図１５に示すように三次元空間中で、水平方向の中心軸３１２を通り、ｙ−ｚ平面に平行な平面３１３と、前後方向の中心軸３１４を通り、ｘ−ｚ平面に平行な平面３１５とが規定される。被写体人物中心軸決定部４１３は、平面３１３および平面３１５が交わる線を被写体人物の中心軸３１６と決定する。   That is, as shown in FIG. 15, in a three-dimensional space, the plane 313 passes through the horizontal central axis 312 and is parallel to the yz plane, and passes through the central axis 314 in the front-rear direction and is parallel to the xz plane. A plane 315 is defined. The subject person central axis determination unit 413 determines the line where the plane 313 and the plane 315 intersect as the central axis 316 of the subject person.

推定部４１４は、被写体人物中心軸決定部４１３が決定した被写体人物の中心軸上で最も高い位置にある人物領域の座標から地面までの距離を被写体人物の身長と推定する（Ｓ３４８）。   The estimation unit 414 estimates the distance from the coordinates of the person area located at the highest position on the central axis of the subject person determined by the subject person central axis determination unit 413 to the height of the subject person (S348).

次に、姿勢検出処理（図１３のＳ３）の後半の処理について詳細に説明する。
図３１は、姿勢検出処理（図１３のＳ３）の後半の詳細なフローチャートである。 Next, the latter half of the posture detection process (S3 in FIG. 13) will be described in detail.
FIG. 31 is a detailed flowchart of the latter half of the posture detection process (S3 in FIG. 13).

Ｓ３９の処理の後、検出部４３は、人物領域決定部３０で決定された人物領域に、選択部４２が選択した骨格モデルを当てはめることにより被写体人物の姿勢を検出する（Ｓ４０〜Ｓ５１）。   After the processing of S39, the detection unit 43 detects the posture of the subject person by applying the skeleton model selected by the selection unit 42 to the person region determined by the person region determination unit 30 (S40 to S51).

つまり、検出部４３は、骨格モデルの初期位置を設定する（Ｓ４０）。具体的には、検出部４３は、Ｓ３６の処理で求められた被写体人物の中心軸に骨格モデルの頭部５０１、首部５０２および腰部５０９を一致させる。   That is, the detection unit 43 sets the initial position of the skeleton model (S40). Specifically, the detection unit 43 causes the head 501, neck 502, and waist 509 of the skeleton model to coincide with the central axis of the subject person obtained in the process of S 36.

ユーザ設定により上半身の傾き認識モードが設定されている場合には（Ｓ４１でＹＥＳ）、検出部４３は、Ｓ４２〜Ｓ４４の処理を実行する。   When the upper body inclination recognition mode is set by the user setting (YES in S41), the detection unit 43 executes the processes of S42 to S44.

つまり、検出部４３は、被写体人物の頭部の位置を決定し、骨格モデルの頭部の位置を設定する（Ｓ４２）。   That is, the detection unit 43 determines the position of the head of the subject person and sets the position of the head of the skeleton model (S42).

図３２は、頭部位置設定処理（図３１のＳ４２）の詳細なフローチャートである。
平均座標算出部４３１は、前フレームの距離画像について決定された三次元空間中での頭部の位置と同じ位置から第１所定距離内に含まれる人物領域の座標のうち、高さ方向に最も高い位置の座標を決定する（Ｓ４２１）。 FIG. 32 is a detailed flowchart of the head position setting process (S42 in FIG. 31).
The average coordinate calculation unit 431 is the highest in the height direction among the coordinates of the person region included within the first predetermined distance from the same position as the head position in the three-dimensional space determined for the distance image of the previous frame. The coordinates of the high position are determined (S421).

図３３を参照して、例えば、１つ前のフレームにおける頭部の位置と同じ位置から第１所定距離内に含まれる人物領域の座標のうち、高さ方向に最も高い位置２８１の座標を決定する。   Referring to FIG. 33, for example, the coordinates of the highest position 281 in the height direction among the coordinates of the person area included within the first predetermined distance from the same position as the head position in the previous frame are determined. To do.

平均座標算出部４３１は、Ｓ４２１で決定した座標から高さ方向に第２所定距離下がった位置を決定する（Ｓ４２２）。例えば、平均座標算出部４３１は、位置２８１から顔の大きさの半分だけ下がった位置２８２を決定する。   The average coordinate calculation unit 431 determines a position that is lowered by a second predetermined distance in the height direction from the coordinates determined in S421 (S422). For example, the average coordinate calculation unit 431 determines a position 282 that is lowered from the position 281 by half the size of the face.

平均座標算出部４３１は、Ｓ４２２で決定した座標を含む所定範囲内の人物領域の平均座標を算出する（Ｓ４２３）。例えば、平均座標算出部４３１は、位置２８２を含む所定範囲２８３を設定する。例えば、所定範囲２８３は、位置２８２を含み、上下幅が顔の１／３の幅の直方体の範囲とする。また、この範囲内の人物領域の平均座標の位置２８４が求められたものとする。   The average coordinate calculation unit 431 calculates the average coordinates of the person area within the predetermined range including the coordinates determined in S422 (S423). For example, the average coordinate calculation unit 431 sets a predetermined range 283 including the position 282. For example, the predetermined range 283 is a rectangular parallelepiped range that includes the position 282 and whose vertical width is 1/3 of the face. In addition, it is assumed that the average coordinate position 284 of the person area within this range is obtained.

頭位置設定部４３２は、Ｓ４２３で算出した人物領域の平均座標の位置から高さ方向に第２所定距離上がった位置が頭部の位置と決定し、当該位置に、骨格モデルの頭部を当てはめる（Ｓ４２４）。例えば、頭位置設定部４３２は、位置２８４から顔の大きさの半分だけ上がった位置２８５が頭部の位置と決定し、当該位置に、骨格モデルの頭部を当てはめる。   The head position setting unit 432 determines a position that is a second predetermined distance in the height direction higher than the average coordinate position of the person area calculated in S423 as the head position, and applies the head of the skeleton model to the position. (S424). For example, the head position setting unit 432 determines that a position 285 that is raised by half the size of the face from the position 284 is the position of the head, and applies the head of the skeleton model to the position.

頭髪部分では拡散反射が起き易いため、距離の精度が悪い。しかし、前フレームの頭部の位置に近い位置から第２所定距離下がった位置の周辺において、人物領域の平均座標を算出し、平均座標から第２所定距離上がった位置を頭部の位置としている。前フレームの頭部の位置に近い位置から第２所定距離下がった位置の周辺は人物の顔の位置と考えられ距離が正確に求められている。このため、平均座標は、正確な顔の位置を表している。よって、顔の位置を基準として正確に頭部の位置を算出することができる。   Since the hair is easily diffused and reflected, the distance accuracy is poor. However, the average coordinates of the person area are calculated around the position that is lower than the position of the head of the previous frame by a second predetermined distance, and the position that is raised by the second predetermined distance from the average coordinate is set as the position of the head. . The vicinity of the position that is a second predetermined distance below the position near the head position of the previous frame is considered to be the position of the person's face, and the distance is accurately determined. For this reason, the average coordinates represent the exact face position. Therefore, the position of the head can be accurately calculated based on the position of the face.

再度図３１を参照して、Ｓ４３以降の処理を説明する。
腰位置設定部４３３は、頭位置設定部４３２が設定した骨格モデルの頭部の位置を基準として、Ｓ３４の処理で決定された被写体人物の中心軸上に骨格モデルの腰部の位置を設定する（Ｓ４３）。頭部の位置を基準に腰部の位置が決定されるため、例えば、被写体人物がしゃがんだ場合には、腰部の位置は地面に近くなる。また、被写体人物がジャンプをした場合には、腰部の位置も通常より高くなる。 Referring to FIG. 31 again, the processing after S43 will be described.
The waist position setting unit 433 sets the position of the lumbar part of the skeleton model on the central axis of the subject person determined in the process of S34 with the position of the head of the skeleton model set by the head position setting unit 432 as a reference ( S43). Since the position of the waist is determined based on the position of the head, for example, when the subject person squats down, the position of the waist is close to the ground. Further, when the subject person jumps, the position of the waist becomes higher than usual.

傾き角度算出部４３４は、頭位置設定部４３２が設定した骨格モデルの頭部の位置と腰位置設定部が設定した骨格モデルの腰部の位置とから被写体人物の傾き角度を算出する（Ｓ４４）。   The tilt angle calculation unit 434 calculates the tilt angle of the subject person from the head position of the skeleton model set by the head position setting unit 432 and the waist position of the skeleton model set by the waist position setting unit (S44).

首傾き設定部４３５は、傾き角度算出部４３４が算出した被写体人物の傾き角度に基づいて定められる首の曲がり角度だけ、骨格モデルの首の位置を前記被写体人物の傾きとは逆方向に傾ける（Ｓ４４）。例えば、首の曲がり角度を被写体人物の傾き角度の１／３とした場合には、首傾き設定部４３５は、被写体人物が３０度傾いていれば、首を被写体人物の傾きとは逆の方向に１０度傾けた位置に骨格モデルの首の位置を設定する。これにより、自然な首の傾きを推定することができる。   The neck tilt setting unit 435 tilts the neck position of the skeleton model in the opposite direction to the tilt of the subject person by the neck bending angle determined based on the tilt angle of the subject person calculated by the tilt angle calculation unit 434 ( S44). For example, when the neck bending angle is set to 1/3 of the inclination angle of the subject person, the neck inclination setting unit 435 has a direction opposite to the inclination of the subject person if the subject person is inclined 30 degrees. The position of the neck of the skeleton model is set at a position tilted 10 degrees. Thereby, a natural neck inclination can be estimated.

ユーザ設定により脚または腕の認識モードが設定されている場合には（Ｓ４５でＹＥＳ）、領域取得部４３６は、当てはめた骨格モデルに基づいて、人物領域決定部３０が決定した人物領域から少なくとも頭および胴を除いた領域の外接矩形領域を取得する（Ｓ４６）。   When the leg or arm recognition mode is set by the user setting (YES in S45), the area acquisition unit 436 determines at least a head from the person area determined by the person area determination unit 30 based on the fitted skeleton model. Then, a circumscribed rectangular area excluding the body is obtained (S46).

例えば、図３４に示すような人物領域から頭および胴の領域２９１を除いた領域として、４つの領域２９２〜２９５が得られる。領域取得部４３６は、領域２９２〜２９５の各々について三次元空間中で外接矩形領域を計算することにより取得する。   For example, four regions 292 to 295 are obtained as regions obtained by removing the head and torso regions 291 from the person region as shown in FIG. The region acquisition unit 436 acquires each of the regions 292 to 295 by calculating a circumscribed rectangular region in the three-dimensional space.

なお、領域取得部４３６は、外接矩形領域ごとに、以下の値を計数する。つまり、領域取得部４３６は、外接矩形領域内に含まれる人物領域の座標数を計数する。また、領域取得部４３６は、骨格モデルにおいて左肩部を基準としたときに左肘部の稼動範囲に存在する人物領域の座標数および骨格モデルにおいて右肩部を基準としたときに右肘部の稼動範囲に存在する人物領域の座標数を計数する。また、領域取得部４３６は、骨格モデルにおいて左恥骨部を基準としたときに左膝部の稼動範囲に存在する人物領域の座標数および骨格モデルにおいて右恥骨部を基準としたときに右膝部の稼動範囲に存在する人物領域の座標数を計数する。また、領域取得部４３６は、１つ前のフレームにおける左手、右手、左脚、右脚、左肘、右肘および頭とそれぞれ重なり合いを有する部分における人物領域の座標数を計数する。これら計数した値は、以下に説明するＳ４８またはＳ５０の処理で用いられる。   Note that the area acquisition unit 436 counts the following values for each circumscribed rectangular area. That is, the area acquisition unit 436 counts the number of coordinates of the person area included in the circumscribed rectangular area. The region acquisition unit 436 also includes the number of human region coordinates in the operating range of the left elbow when the left shoulder is used as a reference in the skeleton model and the right elbow when the right shoulder is used as a reference in the skeleton model. The number of coordinates of the person area existing in the operating range is counted. In addition, the area acquisition unit 436 includes the number of coordinates of the person area existing in the operating range of the left knee when the left pubic part is used as a reference in the skeleton model and the right knee when the right pubic part is used as a reference in the skeleton model. The number of coordinates of the person area existing in the operating range is counted. In addition, the region acquisition unit 436 counts the number of coordinates of the human region in a portion that overlaps the left hand, right hand, left leg, right leg, left elbow, right elbow, and head in the previous frame. These counted values are used in the processing of S48 or S50 described below.

ユーザ設定により腕の認識モードが設定されている場合には（Ｓ４７でＹＥＳ）、検出部４３は、Ｓ４６の処理で取得された外接矩形領域のそれぞれについて、右腕または左腕か否かの判定を行い、右腕または左腕と判定された外接矩形領域の位置に、骨格モデルの右腕部または左腕部を移動させる（Ｓ４８）。   When the arm recognition mode is set by the user setting (YES in S47), the detection unit 43 determines whether each circumscribed rectangular area acquired in the process of S46 is a right arm or a left arm. Then, the right arm part or the left arm part of the skeleton model is moved to the position of the circumscribed rectangular area determined to be the right arm or the left arm (S48).

腕については、（１）移動、（２）出現、（３）結合、（４）分離および（５）消滅の５つの状態があると考え、検出部４３は、外接矩形領域が５つの状態のいずれに該当するかを判断する。ここで、（１）移動とは、前フレームで見えていた腕が移動した状態または同位置に静止している状態を示す。（２）出現とは、前フレームで見えていなかった腕が見えるようになった状態を示す。（３）結合とは、２本の腕が手の先でつながっている状態を示す。（４）分離とは、前フレームで結合状態にあった２本の腕の手の先が分かれた状態を示す。（５）消滅とは、前フレームで見えていた腕が見えなくなった状態を示す。   Regarding the arm, it is considered that there are five states of (1) movement, (2) appearance, (3) coupling, (4) separation, and (5) annihilation, and the detection unit 43 has five circumscribed rectangular regions. Determine which is the case. Here, (1) movement indicates a state in which the arm seen in the previous frame has moved or is still at the same position. (2) Appearance indicates a state in which an arm that was not visible in the previous frame can be seen. (3) Combined indicates a state where two arms are connected at the tip of the hand. (4) Separation refers to a state in which the tips of the hands of the two arms that were in the combined state in the previous frame are separated. (5) Disappearance indicates a state in which the arm that was visible in the previous frame is no longer visible.

（１）移動について
まず、前フレームから現フレームの間に腕が移動したか否かの判断方法について説明する。なお、ここでは、前フレームから現フレームの間に腕が静止している場合も、腕の移動と考える。 (1) Movement First, a method for determining whether or not the arm has moved between the previous frame and the current frame will be described. Here, even when the arm is stationary between the previous frame and the current frame, the movement of the arm is considered.

つまり、右腕移動判断部４３７は、領域取得部４３６が取得した外接矩形領域のうち、前フレームの距離画像について右腕と判断されている外接矩形領域と重なり合いを有し、かつ骨格モデルにおける右肩位置を基準とした場合の右肘の稼動範囲と重なり合いを有する外接矩形領域が存在するという右腕移動条件を満たす外接矩形領域の位置に、被写体人物の右腕が移動したと判断し、当該位置に骨格モデルの右腕を当てはめる。   That is, the right arm movement determination unit 437 has an overlap with the circumscribed rectangular region determined as the right arm in the distance image of the previous frame among the circumscribed rectangular regions acquired by the region acquisition unit 436, and the right shoulder position in the skeleton model If the right arm of the subject person has moved to the position of the circumscribed rectangular area that satisfies the right arm movement condition that there is a circumscribed rectangular area that overlaps with the operating range of the right elbow, the skeleton model Fit the right arm of.

また、左腕移動判断部４３８は、領域取得部４３６が取得した外接矩形領域のうち、前フレームの距離画像について左腕と判断されている外接矩形領域と重なり合いを有し、かつ骨格モデルにおける左肩位置を基準とした場合の左肘の稼動範囲と重なり合いを有する外接矩形領域が存在するという左腕移動条件を満たす外接矩形領域の位置に、被写体人物の左腕が移動したと判断し、当該位置に骨格モデルの左腕を当てはめる。   Further, the left arm movement determination unit 438 has an overlap with the circumscribed rectangular region determined as the left arm in the distance image of the previous frame among the circumscribed rectangular regions acquired by the region acquiring unit 436, and determines the left shoulder position in the skeleton model. It is determined that the left arm of the subject person has moved to the position of the circumscribed rectangular area that satisfies the left arm movement condition that there is a circumscribed rectangular area that overlaps with the operating range of the left elbow when it is used as a reference, and the skeleton model is moved to that position. Apply the left arm.

（２）出現について
次に、前フレームから現フレームの間に腕が出現したか否かの判断方法について説明する。 (2) Appearance Next, a method for determining whether or not an arm has appeared between the previous frame and the current frame will be described.

つまり、右腕出現判断部４３９は、領域取得部４３６が取得した外接矩形領域のうち、前フレームの距離画像について右腕以外の部分と判断されている部分と重なり合いを有しておらず、かつ、骨格モデルにおける右肩位置を基準とした場合の右肘の稼動範囲との重なり部分の体積が最大となる外接矩形領域が存在するという右腕出現条件を満たす外接矩形領域の位置に、被写体人物の右腕が出現したと判断し、当該位置に骨格モデルの右腕を当てはめる。   That is, the right arm appearance determination unit 439 does not overlap with a portion of the circumscribed rectangular region acquired by the region acquisition unit 436 that is determined to be a portion other than the right arm in the distance image of the previous frame, and the skeleton The right arm of the subject person is at the position of the circumscribed rectangular area that satisfies the right arm appearance condition that there is a circumscribed rectangular area where the volume of the overlapping part with the working range of the right elbow is maximized when the right shoulder position in the model is the reference. Judge that it appeared, and apply the right arm of the skeleton model to the position.

また、左腕出現判断部４４０は、領域取得部４３６が取得した外接矩形領域のうち、前フレームの距離画像について左腕以外の部分と判断されている部分と重なり合いを有しておらず、かつ、骨格モデルにおける左肩位置を基準とした場合の左肘の稼動範囲との重なり部分の体積が最大となる外接矩形領域が存在するという左腕出現条件を満たす外接矩形領域の位置に、被写体人物の左腕が出現したと判断し、当該位置に骨格モデルの左腕を当てはめる。   In addition, the left arm appearance determination unit 440 does not overlap with a part of the circumscribed rectangular area acquired by the area acquisition unit 436 that is determined to be a part other than the left arm in the distance image of the previous frame, and the skeleton The left arm of the subject person appears at the position of the circumscribed rectangular area that satisfies the left arm appearance condition that there is a circumscribed rectangular area where the volume of the overlapping portion with the working range of the left elbow when the left shoulder position in the model is the reference The left arm of the skeleton model is applied to the position.

（３）結合について
次に、前フレームから現フレームの間に両腕が結合したか否かの判断方法について説明する。なお、前フレームにおいて２本の腕が見えていない場合には、第１結合判断部４４１が処理を行ない、２本の腕が別々に見えている場合には、第２結合判断部４４２が処理を行なう。 (3) Connection Next, a method for determining whether or not both arms have been combined between the previous frame and the current frame will be described. When the two arms are not visible in the previous frame, the first combination determining unit 441 performs processing. When the two arms are separately viewed, the second combining determining unit 442 performs processing. To do.

つまり、第１結合判断部４４１は、前フレームの距離画像について被写体人物の右腕および左腕が出現していない場合において、領域取得部４３６が取得した外接矩形領域のうち、右腕出現条件および左腕出現条件を満たす外接矩形領域が存在する場合には、当該存在する外接矩形領域の位置において、被写体人物の両腕が結合していると判断し、当該位置に骨格モデルの両腕を結合した状態で当てはめる。   That is, the first combination determining unit 441, when the right arm and the left arm of the subject person have not appeared in the distance image of the previous frame, among the circumscribed rectangular regions acquired by the region acquiring unit 436, the right arm appearance condition and the left arm appearance condition If there is a circumscribed rectangular area that satisfies the condition, it is determined that both arms of the subject person are combined at the position of the existing circumscribed rectangular area, and are applied in a state where both arms of the skeleton model are combined at the position. .

また、第２結合判断部４４２は、前フレームの距離画像について被写体人物の右腕および左腕が別個に出現している場合において、領域取得部４３６が取得した外接矩形領域のうち、右腕移動条件および左腕移動条件を満たす外接矩形領域が存在する場合には、当該存在する外接矩形領域の位置において、被写体人物の両腕が結合していると判断し、当該位置に骨格モデルの両腕を結合した状態で当てはめる。   In addition, when the right arm and the left arm of the subject person appear separately in the distance image of the previous frame, the second combination determination unit 442 includes the right arm movement condition and the left arm in the circumscribed rectangular region acquired by the region acquisition unit 436. When there is a circumscribed rectangular area that satisfies the moving condition, it is determined that both arms of the subject person are combined at the position of the existing circumscribed rectangular area, and both arms of the skeleton model are combined at the position Apply with.

（４）分離について
次に、前フレームから現フレームの間に腕が分離したか否かの判断方法について説明する。 (4) Separation Next, a method for determining whether or not the arm has been separated between the previous frame and the current frame will be described.

つまり、第１分離判断部４４３は、前フレームの距離画像について被写体人物の両腕が結合している場合において、領域取得部４３６が取得した外接矩形領域のうち、右腕移動条件を満たす外接矩形領域と左腕移動条件を満たす外接矩形領域とが別個に存在する場合には、被写体人物の両腕が分離して、右腕移動条件を満たす外接矩形領域の位置に被写体人物の右腕が移動したと判断し、当該位置に骨格モデルの右腕を当てはめ、左腕移動条件を満たす外接矩形領域の位置に被写体人物の左腕が移動したと判断し、当該位置に骨格モデルの左腕を当てはめる。   That is, the first separation determination unit 443 performs a circumscribed rectangular region that satisfies the right arm movement condition among the circumscribed rectangular regions acquired by the region acquiring unit 436 when both arms of the subject person are combined with respect to the distance image of the previous frame. And the circumscribed rectangular area satisfying the left arm movement condition are determined to be separated from each other, and the right arm of the subject person has moved to the position of the circumscribed rectangular area satisfying the right arm movement condition. Then, the right arm of the skeleton model is applied to the position, it is determined that the left arm of the subject person has moved to the position of the circumscribed rectangular area that satisfies the left arm movement condition, and the left arm of the skeleton model is applied to the position.

（５）消滅について
最後に、前フレームから現フレームの間に腕が消滅したか否かの判断方法について説明する。 (5) Disappearance Finally, a method for determining whether or not the arm has disappeared between the previous frame and the current frame will be described.

つまり、消滅判断部４４４は、領域取得部４３６が取得した外接矩形領域のうち、右腕移動条件を満たす外接矩形領域が存在しない場合には、被写体人物の右腕が消滅したと判断し、骨格モデルの右腕を所定右腕位置に移動させ、左腕移動条件を満たす外接矩形領域が存在しない場合には、被写体人物の左腕が消滅したと判断し、骨格モデルの左腕を所定左腕位置に移動させる。   That is, the extinction determination unit 444 determines that the right arm of the subject person has disappeared when there is no circumscribed rectangular region that satisfies the right arm movement condition among the circumscribed rectangular regions acquired by the region acquisition unit 436, and the skeleton model When the right arm is moved to the predetermined right arm position and there is no circumscribed rectangular area that satisfies the left arm movement condition, it is determined that the left arm of the subject person has disappeared, and the left arm of the skeleton model is moved to the predetermined left arm position.

なお、以上説明した（１）〜（５）の判断処理は、前フレームでの腕の状態に応じて実行されたり実行されなかったりする。図３５は、（１）〜（５）の判断処理の実行の可否の判断基準を示すフローチャートである。   The determination processes (1) to (5) described above may or may not be executed depending on the arm state in the previous frame. FIG. 35 is a flowchart showing the criteria for determining whether or not to execute the determination processes (1) to (5).

つまり、前フレームにおいて、両腕が結合状態にあった場合には（Ｓ３０１でＹＥＳ）、現フレームで（４）分離、（１）移動または（５）消滅の可能性があるため、（４）分離、（１）移動、（５）消滅の順で腕の状態の判断が行われる（Ｓ３０２）。   That is, if both arms are in the combined state in the previous frame (YES in S301), there is a possibility of (4) separation, (1) movement, or (5) disappearance in the current frame. The state of the arm is determined in the order of separation, (1) movement, and (5) disappearance (S302).

前フレームにおいて、両腕が認識されており、かつ結合状態にない場合には（Ｓ３０３でＹＥＳ）、現フレームで（３）結合、（１）移動または（５）消滅の可能性があるため、（３）結合、（１）移動、（５）消滅の順で腕の状態の判断が行われる（Ｓ３０４）。   If both arms are recognized in the previous frame and are not in a combined state (YES in S303), there is a possibility of (3) connection, (1) movement, or (5) disappearance in the current frame. The arm state is determined in the order of (3) coupling, (1) movement, and (5) disappearance (S304).

前フレームにおいて、片腕のみが認識されている場合には（Ｓ３０５でＹＥＳ）、認識されている側の腕については、現フレームで（１）移動または（５）消滅の可能性があるため、（１）移動、（５）消滅の順で腕の状態の判断が行われる（Ｓ３０６）。また、認識されていない側の腕については、現フレームで（２）出現の可能性があるため、腕の（２）出現の判断が行われる（Ｓ３０７）。   If only one arm is recognized in the previous frame (YES in S305), the recognized arm may be (1) moved or (5) extinguished in the current frame ( The arm state is determined in the order of 1) movement and (5) disappearance (S306). Further, regarding the unrecognized side arm, there is a possibility of (2) appearance in the current frame, and therefore, determination of (2) appearance of the arm is made (S307).

前フレームにおいて、両腕とも見えていない場合には（Ｓ３０５でＮＯ）、現フレームで（２）出現または（３）結合の可能性があるため、（２）出現、（３）結合の順で腕の状態の判断が行われる（Ｓ３０８）。   If neither arm is visible in the previous frame (NO in S305), there is a possibility of (2) appearing or (3) joining in the current frame, so (2) appearing and (3) joining in this order. Determination of the state of the arm is performed (S308).

なお、Ｓ３０２、Ｓ３０４、Ｓ３０６〜Ｓ３０８の各処理において、いずれかの状態が満たされた時点でそれ以降の状態判断処理は実行されない。例えば、Ｓ３０２において、腕が分離していると判断された場合には、（１）移動および（５）消滅の可能性はなくなったものと判断され、移動の可能性および消滅の可能性の判断処理は実行されない。また、いずれの状態にも該当しない場合には、前フレームの状態が維持される。例えば、Ｓ３０２において、（４）分離、（１）移動および（５）消滅のいずれの可能性もないと判断された場合には、前フレームと同様に、現フレームにおいても両腕を合わせていると判断される。   In each process of S302, S304, and S306 to S308, the subsequent state determination process is not executed when any state is satisfied. For example, if it is determined in S302 that the arms are separated, it is determined that (1) movement and (5) the possibility of disappearance have disappeared, and the possibility of movement and the possibility of disappearance are determined. Processing is not performed. If none of the states is applicable, the state of the previous frame is maintained. For example, if it is determined in S302 that there is no possibility of (4) separation, (1) movement, and (5) disappearance, both arms are matched in the current frame as in the previous frame. It is judged.

なお、Ｓ４８においては、腕の状態の判断のみならず、以下に説明する（１）手の先の位置判定および（２）肘の位置判定も行われる。   In S48, not only determination of the arm state but also (1) position determination of the tip of the hand and (2) position determination of the elbow described below are performed.

（１）手の先の位置判定
両腕が結合状態でない場合には、右手判断部４４５および左手判断部４４６が以下の処理を実行し、両腕が結合状態である場合には、第２分離判断部４４７が以下の処理を実行する。 (1) Hand tip position determination When both arms are not in the combined state, the right hand determining unit 445 and the left hand determining unit 446 perform the following processing, and when both arms are in the combined state, the second separation is performed. The determination unit 447 executes the following processing.

つまり、右手判断部４４５は、右腕と判断されている領域について、当該領域の外接領域の上面、左面、右面および前面のそれぞれについて各面に最も近い位置を決定し、決定した位置の中から骨格モデルにおける右肩から最も遠い位置を右手の位置と判断し、当該位置に骨格モデルの右手を当てはめる。   That is, the right hand determination unit 445 determines the position closest to each surface for each of the upper surface, the left surface, the right surface, and the front surface of the circumscribed region of the region determined to be the right arm, and the skeleton is determined from the determined positions. The position farthest from the right shoulder in the model is determined as the position of the right hand, and the right hand of the skeleton model is applied to the position.

例えば、図３６に示すように、右手判断部４４５は、三次元空間中における右腕領域の外接矩形領域を考えた場合に、外接矩形領域の上面、左面、右面および前面のそれぞれについて各面に最も近い右腕の位置を決定する。これにより、４つの位置が決定される。右手判断部４４５は、４つの位置のうち、骨格モデルにおける右肩の位置から最も遠い位置を右手の位置と判断し、判断した位置に骨格モデルの右手を当てはめる。   For example, as shown in FIG. 36, when considering the circumscribed rectangular region of the right arm region in the three-dimensional space, the right-hand determining unit 445 is the most on each surface for each of the top surface, the left surface, the right surface, and the front surface of the circumscribed rectangular region. Determine the position of the near right arm. As a result, four positions are determined. The right hand determining unit 445 determines the position farthest from the position of the right shoulder in the skeleton model among the four positions as the right hand position, and applies the right hand of the skeleton model to the determined position.

また、左手判断部４４６は、左腕と判断されている領域について、当該領域の外接領域の上面、左面、右面および前面のそれぞれについて各面に最も近い位置を決定し、決定した位置の中から骨格モデルにおける左肩から最も遠い位置を左手の位置と判断し、当該位置に骨格モデルの左手を当てはめる。   Further, the left hand determining unit 446 determines a position closest to each surface for each of the upper surface, the left surface, the right surface, and the front surface of the circumscribed region of the region determined to be the left arm, and the skeleton is determined from the determined positions. The position farthest from the left shoulder in the model is determined as the position of the left hand, and the left hand of the skeleton model is applied to the position.

腕の領域の外接領域の上面、左面、右面および前面のいずれかに最も近い位置を手の先としており、下面および背面は考慮していない。被写体人物の輪郭部分においては、人物の下方向および後ろ方向にノイズが発生するためである。   The position closest to any of the upper surface, the left surface, the right surface, and the front surface of the circumscribed region of the arm region is the tip of the hand, and the lower surface and the back surface are not considered. This is because noise is generated in the downward direction and backward direction of the person in the contour portion of the subject person.

第２分離判断部４４７は、被写体人物の両腕が結合している場合において、両腕の先端から第３所定距離内に含まれる人物領域を正面から見た像である２次元の正面投影画像において、両腕が離れていれば被写体人物の両腕は分離していると判断し、骨格モデルの両腕を分離させる。   The second separation determination unit 447 is a two-dimensional front projection image that is an image of a person region included within a third predetermined distance from the tip of both arms when the arms of the subject person are coupled to each other. If both arms are separated, it is determined that both arms of the subject person are separated, and both arms of the skeleton model are separated.

例えば、図３７（ａ）に示すように画像を考えた場合に、その距離画像は図３７（ｂ）に示すような画像になる。この時、両腕の先端から第３所定距離内に含まれる人物領域の正面投影画像は図３７（ｃ）のようになる。図３７（ｃ）の正面投影画像では、１つの領域が示されているため、両腕は結合していると判断される。   For example, when an image is considered as shown in FIG. 37A, the distance image becomes an image as shown in FIG. At this time, the front projection image of the person region included within the third predetermined distance from the tips of both arms is as shown in FIG. Since one area is shown in the front projection image of FIG. 37 (c), it is determined that both arms are joined.

また、図３７（ｄ）に示すような画像を考えた場合に、その距離画像は図３７（ｅ）に示すような画像になる。この時、両腕の先端から第３所定距離内に含まれる人物領域の正面投影画像は図３７（ｆ）のようになる。図３７（ｆ）の正面投影画像では、２つの領域が示されているため、両腕は分離していると判断される。   Further, when an image as shown in FIG. 37 (d) is considered, the distance image becomes an image as shown in FIG. 37 (e). At this time, the front projection image of the person area included within the third predetermined distance from the tips of both arms is as shown in FIG. In the front projection image of FIG. 37 (f), since two regions are shown, it is determined that both arms are separated.

このように、両腕の先端部分のみを投影した正面投影画像を用いることより、両腕の先端部分以外の影響を受けることなく、両腕が分離しているか否かを正確に判断することができる。   In this way, by using a front projection image in which only the tip portions of both arms are projected, it is possible to accurately determine whether or not both arms are separated without being affected by other than the tip portions of both arms. it can.

両腕が離れていると判断された場合には、右手判断部４４５および左手判断部４４６が上述した処理を行なう。両腕が結合していると判断された場合には、両腕を１つの腕とみなして、右手判断部４４５または左手判断部４４６が上述した処理を行なう。これにより、手の先が求められる。   When it is determined that both arms are separated, the right hand determination unit 445 and the left hand determination unit 446 perform the above-described processing. When it is determined that both arms are combined, both arms are regarded as one arm, and the right hand determination unit 445 or the left hand determination unit 446 performs the above-described processing. Thereby, the tip of a hand is calculated | required.

（２）肘の位置判定
次に、右手判断部４４５および左手判断部４４６は、右肘および左肘の位置をそれぞれ判定する。 (2) Elbow Position Determination Next, the right hand determination unit 445 and the left hand determination unit 446 determine the positions of the right elbow and the left elbow, respectively.

つまり、骨格モデルから、肩肘間の距離および手肘間の距離は既知である。このため、図３８に示すように、右肩位置を中心として肩肘間の距離を半径とする球上の領域を右肘の候補領域とすることができる。また、右手位置を中心として手肘間の距離を半径とする球状の領域を右肘の候補領域とすることができる。つまり、右手判断部４４５は、右肩を基準とした右肘の候補領域と、右手を基準とした右肘の候補領域とが重なり合う位置に右肘が存在すると判断し、骨格モデルの右肘部をその位置に移動させる。   That is, the distance between the shoulder elbow and the distance between the wrist and elbow are known from the skeleton model. Therefore, as shown in FIG. 38, a region on the sphere having a radius between the shoulder elbows with the right shoulder position as the center can be set as a candidate region for the right elbow. In addition, a spherical region whose radius is the distance between the elbows with the right hand position as the center can be a right elbow candidate region. In other words, the right hand determination unit 445 determines that the right elbow exists at a position where the right elbow candidate region based on the right shoulder and the right elbow candidate region based on the right hand overlap, and the right elbow portion of the skeleton model Is moved to that position.

同様に、左手判断部４４６は、左肩を基準とした左肘の候補領域と、左手を基準とした左肘の候補領域とが重なり合う位置に左肘が存在すると判断し、骨格モデルの左肘部をその位置に移動させる。   Similarly, the left hand determination unit 446 determines that the left elbow exists at a position where the left elbow candidate region based on the left shoulder and the left elbow candidate region based on the left hand overlap, and the left elbow portion of the skeleton model Is moved to that position.

なお、２つの候補領域が重なり合う位置であっても、肘がその位置に来るはずがない場合には、右手判断部４４５または左手判断部４４６は、その位置に骨格モデルの肘部を移動させることはしない。例えば、図３９に示すように、胴体を内側とした場合に、肘が外側に折れ曲がっている場合には、その位置は正確な肘の位置であると判断し、骨格モデルの肘部３４０１を移動させる。逆に、肘が内側に折れ曲がっている場合には、そのような姿勢を肘がとることができないため、その位置は正確な肘の位置ではないと判断し、骨格モデルの肘部３４０２を移動させない。   In addition, even if the two candidate regions overlap, if the elbow cannot come to the position, the right hand determination unit 445 or the left hand determination unit 446 moves the elbow of the skeleton model to that position. Don't do it. For example, as shown in FIG. 39, when the torso is inside, and the elbow is bent outward, it is determined that the position is the exact elbow position, and the elbow part 3401 of the skeleton model is moved. Let Conversely, when the elbow is bent inward, the elbow cannot take such a posture, so the position is determined not to be an accurate elbow position, and the elbow portion 3402 of the skeleton model is not moved. .

再度、図３１を参照して、ユーザ設定により脚の認識モードが設定されている場合には（Ｓ４９でＹＥＳ）、検出部４３は、Ｓ４６の処理で取得された外接矩形領域のそれぞれについて、右脚または左脚か否かの判定を行い、右脚または左脚と判定された外接矩形領域の位置に、骨格モデルの右脚部または左脚部を移動させる。また、検出部４３は、右膝または左膝の位置を判定する（Ｓ５０）。以下、これらの処理について詳細に説明する。   Referring to FIG. 31 again, when the leg recognition mode is set by the user setting (YES in S49), the detection unit 43 applies the right to each circumscribed rectangular area acquired in the process of S46. It is determined whether the leg or the left leg, and the right leg or the left leg of the skeleton model is moved to the position of the circumscribed rectangular area determined as the right leg or the left leg. Further, the detection unit 43 determines the position of the right knee or the left knee (S50). Hereinafter, these processes will be described in detail.

つまり、脚判断部４４８は、骨格モデルにおける恥骨部よりも下の位置において、当該恥骨部から人物領域の先端までの距離が、骨格モデルにおける脚の長さに対応する所定の長さしきい値よりも大きい場合に、人物領域の先端が被写体人物の脚の先端であると判断し、人物領域の先端に骨格モデルの脚の先端を当てはめる。   That is, the leg determination unit 448 is a predetermined length threshold in which the distance from the pubic part to the tip of the person region corresponds to the leg length in the skeletal model at a position below the pubic part in the skeletal model. If it is larger than that, it is determined that the tip of the person region is the tip of the leg of the subject person, and the tip of the leg of the skeleton model is applied to the tip of the person region.

脚判断部４４８の処理について、図４０を参照して具体的に説明する。脚判断部４４８は、骨格モデルにおいて右恥骨部３５０１および左恥骨部３５０２よりも下の領域３５０３において、ｘ座標が最小となる人物領域の座標と、ｘ座標が最大となる人物領域の座標と、ｚ座標が最小となる人物領域の座標を決定する。つまり、ｘ座標が最小の人物領域の座標は、図４０に示すように両脚を左右に開いた場合の、右脚先端の座標である。また、ｘ座標が最大の人物領域の座標は、図４０に示すように両脚を左右に開いた場合の、左脚先端の座標である。また、ｚ座標が最小となる人物領域の座標は、両脚を前後方向に開いた場合の、一方の脚の先端の座標である。なお、ｚ座標が最大となる人物領域の座標は、ノイズの影響を受けているため、処理の対象外としている。   The processing of the leg determination unit 448 will be specifically described with reference to FIG. In the region 3503 below the right pubic portion 3501 and the left pubic portion 3502 in the skeleton model, the leg determination unit 448 has the coordinates of the person region where the x coordinate is minimum, the coordinates of the person region where the x coordinate is maximum, The coordinates of the person area that minimizes the z coordinate are determined. That is, the coordinates of the person region with the smallest x coordinate are the coordinates of the tip of the right leg when both legs are opened to the left and right as shown in FIG. Further, the coordinates of the person region having the maximum x coordinate are the coordinates of the tip of the left leg when both legs are opened to the left and right as shown in FIG. In addition, the coordinates of the person region where the z coordinate is minimum are the coordinates of the tip of one leg when both legs are opened in the front-rear direction. Note that the coordinates of the person region where the z coordinate is the maximum are not subject to processing because they are affected by noise.

脚判断部４４８は、右恥骨部３５０１からｘ座標が最小となる人物領域の座標までの距離が、脚の長さ×０．９以上であれば、ｘ座標が最小となる人物領域の座標を右脚の先端と判断する。   If the distance from the right pubic portion 3501 to the coordinate of the person region with the smallest x coordinate is equal to or longer than the leg length × 0.9, the leg determining unit 448 determines the coordinate of the person region with the smallest x coordinate. Judged as the tip of the right leg.

脚判断部４４８は、左恥骨部３５０２からｘ座標が最大となる人物領域の座標までの距離が、脚の長さ×０．９以上であれば、ｘ座標が最小となる人物領域の座標を左脚の先端と判断する。   If the distance from the left pubic portion 3502 to the coordinate of the person region with the maximum x coordinate is equal to or longer than the leg length × 0.9, the leg determination unit 448 determines the coordinate of the person region with the minimum x coordinate. Judged as the tip of the left leg.

脚判断部４４８は、右恥骨部３５０１または左恥骨部３５０２からｚ座標が最大となる人物領域の座標までの距離が、脚の長さ×０．９以上であれば、ｚ座標が最大となる人物領域の座標を右脚または左脚の先端と判断する。ここで、右恥骨部３５０１からｚ座標が最大となる人物領域の座標までの距離が左恥骨部３５０２からｚ座標が最大となる人物領域の座標までの距離よりも短ければ、ｚ座標が最大となる人物領域の座標を右脚の先端と判断し、逆の場合は、ｚ座標が最大となる人物領域の座標を左脚の先端と判断する。   If the distance from the right pubic portion 3501 or the left pubic portion 3502 to the coordinates of the person region having the maximum z coordinate is equal to or longer than the leg length × 0.9, the leg determination unit 448 has the maximum z coordinate. The coordinates of the person area are determined as the tip of the right leg or left leg. Here, if the distance from the right pubic portion 3501 to the coordinate of the human region where the z coordinate is maximum is shorter than the distance from the left pubic portion 3502 to the coordinate of the human region where the z coordinate is maximum, the z coordinate is maximum. The coordinate of the person area is determined as the tip of the right leg, and in the opposite case, the coordinate of the person area having the maximum z coordinate is determined as the tip of the left leg.

このように、人物の脚の先端は通常恥骨部よりも下の位置にあると考えられるため、恥骨部よりも下の位置から脚の先端を求めることにより、正確に脚の先端を求めることができる。   Thus, since it is considered that the tip of a person's leg is usually at a position below the pubic part, the tip of the leg can be obtained accurately by obtaining the tip of the leg from a position below the pubic part. it can.

次に、膝判断部４４９による膝の位置の判定処理について説明する。
膝判断部４４９は、図４１に示すように、骨格モデルにおいて恥骨部を基準として膝となり得る距離に存在する人物領域の座標のうち、最も高さが高い座標に被写体人物の膝があると判断し、最も高さが高い座標に骨格モデルの膝部を当てはめる。 Next, knee position determination processing by the knee determination unit 449 will be described.
As shown in FIG. 41, the knee determination unit 449 determines that the subject person's knee is at the highest coordinate among the coordinates of the human region existing at a distance that can be the knee with reference to the pubic part in the skeleton model. Then, fit the knee of the skeletal model to the highest coordinate.

なお、最も高さが高い座標にある膝が左膝なのか右膝なのかは以下のようにして行う。つまり、膝判断部４４９は、図４２のように、被写体人物を正面からみて３つに分けたエリア内のそれぞれにおいて、人物領域の座標から膝の上がり角度を求める。膝判断部４４９は、右脚エリア３６０１での膝の上がり角度の方が、左脚エリア３６０３での膝の上がり角度よりも大きい場合には、左膝が上がっていると判断し、逆の場合には、右膝が上がっていると判断する。膝判断部４４９は、左膝が上がっていると判断した場合には、左脚エリア３６０３での膝の上がり角度と中央エリア３６０２での膝の上がり角度のうち、最大の上がり角度を左膝の上がり角度と判断する。また、膝判断部４４９は、右膝が上がっていると判断した場合には、右脚エリア３６０１での膝の上がり角度と中央エリア３６０２での膝の上がり角度のうち、最大の上がり角度を右膝の上がり角度と判断する。   Whether the knee at the highest coordinate is the left knee or the right knee is determined as follows. That is, as shown in FIG. 42, the knee determination unit 449 obtains the knee rising angle from the coordinates of the person area in each of the areas divided into three when the subject person is viewed from the front. If the knee rise angle in the right leg area 3601 is larger than the knee rise angle in the left leg area 3603, the knee determination unit 449 determines that the left knee is up, and vice versa. It is determined that the right knee is up. If the knee determination unit 449 determines that the left knee is raised, the maximum rise angle of the knee rise angle in the left leg area 3603 and the knee rise angle in the center area 3602 is determined as the maximum rise angle of the left knee. Judged as a rising angle. Also, when the knee determination unit 449 determines that the right knee is raised, the right angle is set to the maximum of the knee lift angle in the right leg area 3601 and the knee lift angle in the center area 3602. Judged as the angle of knee rise.

このように、脚を３つのエリアに分けることにより、右脚エリア３６０１には右脚の座標のみが含まれ、左脚エリア３６０３には左脚の座標のみが含まれることとなる。このため、右膝を上げているのか左膝を上げているのかを正確に判断することができる。   Thus, by dividing the leg into three areas, the right leg area 3601 includes only the coordinates of the right leg, and the left leg area 3603 includes only the coordinates of the left leg. Therefore, it is possible to accurately determine whether the right knee is raised or the left knee is raised.

再度、図３１を参照して、脚判断部４４８は、脚の先端が地面よりも下になった場合には、脚の先端が地面上に来るように、脚の先端の位置を補正する（Ｓ５１）。例えば、膝の位置を中心として、骨格モデルから得られる膝から脚の先端までの長さを半径とする球と、地面とが交わる位置に、脚の先端を移動させる。   Referring to FIG. 31 again, leg determining unit 448 corrects the position of the tip of the leg so that the tip of the leg is on the ground when the tip of the leg is below the ground ( S51). For example, with the position of the knee as the center, the tip of the leg is moved to a position where a sphere having a radius from the knee to the tip of the leg obtained from the skeleton model intersects the ground.

このように、恥骨部を基準とすると膝の候補領域を絞ることができる。このため、候補領域の中で最も高い位置に膝があると判断することにより、正確に膝の位置を判断することができる。   In this way, the knee candidate region can be narrowed down based on the pubic bone. Therefore, by determining that the knee is at the highest position in the candidate area, the position of the knee can be accurately determined.

以上説明した処理により、骨格モデルにおける各関節の座標が決定される。ただし、補正部４５０は、前フレームからの動きが滑らかになるように、現フレームでの各関節の座標をｘ座標、ｙ座標およびｚ座標のそれぞれについて補正する。つまり、補正部４５０は、現フレームにおいて当てはめた骨格モデルの各座標を、当該座標と当該座標に対応する前フレームの距離画像における骨格モデルの座標との間の距離が大きいほど現フレームの座標に近づき、かつ距離が小さいほど前フレームの座標に近づくような、現フレームの座標と前フレームの座標との間の座標に補正する。   Through the processing described above, the coordinates of each joint in the skeleton model are determined. However, the correction unit 450 corrects the coordinates of each joint in the current frame for each of the x, y, and z coordinates so that the movement from the previous frame becomes smooth. That is, the correction unit 450 converts the coordinates of the skeleton model applied in the current frame to the coordinates of the current frame as the distance between the coordinates and the coordinates of the skeleton model in the distance image of the previous frame corresponding to the coordinates increases. Correction is made to a coordinate between the coordinates of the current frame and the coordinates of the previous frame so that the closer the distance is, the closer the coordinates of the previous frame are.

例えば、補正部４５０は、同一の関節について一軸（ｘ軸、ｙ軸またはｚ軸）方向の前フレームの座標と現フレームの座標との差を２点間の距離とした場合に、以下の（式１）により補正係数を計算する。次に、補正部４５０は、一軸方向の現フレームの座標を（式２）に従い補正する。   For example, when the correction unit 450 sets the difference between the coordinates of the previous frame and the coordinates of the current frame in one axis (x-axis, y-axis, or z-axis) direction for the same joint as the distance between the two points, The correction coefficient is calculated according to equation 1). Next, the correction unit 450 corrects the coordinates of the current frame in the uniaxial direction according to (Expression 2).

補正係数＝１５０．０（ｍｍ）／２点間の距離（ｍｍ） （式１）
補正後の座標＝（前フレームの座標×補正係数＋現フレームの座標）
／（補正係数＋１．０） （式２） Correction coefficient = 150.0 (mm) / 2 Distance between two points (mm) (Formula 1)
Coordinates after correction = (coordinates of previous frame x correction coefficient + coordinates of current frame)
/ (Correction coefficient +1.0) (Formula 2)

このような補正をすることにより、例えば、図４３に示すように、２点間の距離が大きいほど（関節位置が急激に動いたほど）、今回計算した座標に近づくような補正後の座標が得られ、２点間の距離が小さいほど（関節位置がゆっくりと動いたほど）、前回計算した座標に近づくような補正後の座標が得られる。また、補正後の座標は、必ず、前フレームの座標と現フレームの座標との間にあるため、滑らかな骨格モデルの動きが得られる。   By performing such correction, for example, as shown in FIG. 43, as the distance between the two points is larger (as the joint position is moved more rapidly), the corrected coordinates that are closer to the coordinates calculated this time are obtained. As a result, the smaller the distance between the two points is (the more slowly the joint position is moved), the corrected coordinate that is closer to the previously calculated coordinate is obtained. Also, since the corrected coordinates are always between the coordinates of the previous frame and the coordinates of the current frame, a smooth skeleton model movement can be obtained.

以上説明したように、本実施の形態によると、距離画像から得られる物体の座標に基づいて人物領域を決定し、その人物領域に骨格モデルを当てはめている。このため、人物にマーカーを設置することなく、人物の姿勢を高精度で検出することができる。   As described above, according to the present embodiment, a person area is determined based on the coordinates of an object obtained from a distance image, and a skeleton model is applied to the person area. Therefore, the posture of the person can be detected with high accuracy without installing a marker on the person.

また、被写体人物の身長に合致した骨格モデルを用いて被写体人物の姿勢を検出することができる。このため、被写体人物の身長が異なっていても人物の姿勢を高精度で検出することができる。   Further, the posture of the subject person can be detected using a skeleton model that matches the height of the subject person. For this reason, even if the height of the subject person is different, the posture of the person can be detected with high accuracy.

また、被写体人物中心軸決定部４１３は、被写体人物の水平方向の中心軸と前後方向の中心軸とから、各中心軸を通る平面の交線として被写体人物の中心軸を求めることができる。このため、被写体人物の中心軸を正確に求めることができる。被写体人物の中心軸を正確に求めることができると、被写体人物の身長を正確に推定することができる。   The subject person center axis determination unit 413 can obtain the center axis of the subject person as an intersection line of planes passing through the center axes from the center axis in the horizontal direction and the center axis in the front-rear direction of the subject person. For this reason, the central axis of the subject person can be accurately obtained. If the center axis of the subject person can be accurately obtained, the height of the subject person can be accurately estimated.

以上、本発明の実施の形態に係る姿勢検出装置について説明したが、本発明は、この実施の形態に限定されるものではない。   As described above, the attitude detection device according to the embodiment of the present invention has been described, but the present invention is not limited to this embodiment.

例えば、上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。   For example, each of the above devices may be specifically configured as a computer system including a microprocessor, ROM, RAM, hard disk drive, display unit, keyboard, mouse, and the like. A computer program is stored in the RAM or hard disk drive. Each device achieves its functions by the microprocessor operating according to the computer program. Here, the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function.

さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。   Furthermore, some or all of the constituent elements constituting each of the above-described devices may be configured by a single system LSI (Large Scale Integration). The system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically, a computer system including a microprocessor, ROM, RAM, and the like. . A computer program is stored in the RAM. The system LSI achieves its functions by the microprocessor operating according to the computer program.

さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。   Furthermore, some or all of the constituent elements constituting each of the above-described devices may be configured from an IC card that can be attached to and detached from each device or a single module. The IC card or module is a computer system that includes a microprocessor, ROM, RAM, and the like. The IC card or the module may include the super multifunctional LSI described above. The IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.

また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。   Further, the present invention may be the method described above. Further, the present invention may be a computer program that realizes these methods by a computer, or may be a digital signal composed of the computer program.

さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Blu-ray Disc（登録商標））、半導体メモリなどに記録したものとしても良い。また、これらの非一時的な記録媒体に記録されている上記デジタル信号であるとしても良い。   Furthermore, the present invention provides a non-transitory recording medium that can read the computer program or the digital signal, for example, a flexible disk, a hard disk, a CD-ROM, an MO, a DVD, a DVD-ROM, a DVD-RAM, a BD ( It may be recorded on a Blu-ray Disc (registered trademark), a semiconductor memory, or the like. The digital signal may be recorded on these non-temporary recording media.

また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。   In the present invention, the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。   The present invention may be a computer system including a microprocessor and a memory, wherein the memory stores the computer program, and the microprocessor operates according to the computer program.

また、上記プログラムまたは上記デジタル信号を上記非一時的な記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。   Further, by recording the program or the digital signal on the non-temporary recording medium and transferring it, or transferring the program or the digital signal via the network or the like, another independent computer It may be implemented by the system.

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。   The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.

本発明は、姿勢検出装置に適用でき、特に距離画像カメラから得られる距離画像に基づいて被写体人物の姿勢を検出することができる姿勢検出装置等に適用できる。   The present invention can be applied to a posture detection device, and in particular to a posture detection device that can detect the posture of a subject person based on a distance image obtained from a distance image camera.

１０ 距離画像取得部
１１ ノイズ除去部
２０ 座標計算部
２６ 再度図
３０ 人物領域決定部
３１ 物体座標判断部
３２ ラベリング処理部
３３ 決定部
４０ 姿勢検出部
４１ 身長推定部
４２ 選択部
４３ 検出部
５０ 記憶部
１００ 姿勢検出装置
２００ 距離画像カメラ
２０４ レンズ
２８１、２８２、２８４、２８５ 位置
２８３ 所定範囲
２９１〜２９５ 領域
３００ 人物
３０２ 机
３１０ 撮像領域
３１１ 人物検出エリア
３１２ 水平方向の中心軸
３１３、３１５ 平面
３１４ 前後方向の中心軸
３１６ 被写体人物の中心軸
４１１ 水平方向中心軸決定部
４１２ 前後方向中心軸決定部
４１３ 被写体人物中心軸決定部
４１４ 推定部
４３１ 平均座標算出部
４３２ 頭位置設定部
４３３ 腰位置設定部
４３４ 傾き角度算出部
４３５ 首傾き設定部
４３６ 領域取得部
４３７ 右腕移動判断部
４３８ 左腕移動判断部
４３９ 右腕出現判断部
４４０ 左腕出現判断部
４４１ 第１結合判断部
４４２ 第２結合判断部
４４３ 第１分離判断部
４４４ 消滅判断部
４４５ 右手判断部
４４６ 左手判断部
４４７ 第２分離判断部
４４８ 脚判断部
４４９ 膝判断部
４５０ 補正部
５００ 骨格モデル
５０１ 頭部
５０２ 首部
５０３ 右肩部
５０４ 右肘部
５０５ 右手部
５０６ 左肩部
５０７ 左肘部
５０８ 左手部
５０９ 腰部
５１０、３５０１ 右恥骨部
５１１ 右膝部
５１２ 右足部
５１３、３５０２ 左恥骨部
５１４ 左膝部
５１５ 左足部
６０１〜６０６ 座標
６１１〜６１５ ベクトル
６２１〜６２４、６４１、６４１Ａ 三角パッチ
６３１〜６３４ 法線ベクトル
６４０、６４０Ａ〜６４０Ｃ 座標
３４０１、３４０２ 肘部
３５０３ 領域
３６０１ 右脚エリア
３６０２ 中央エリア
３６０３ 左脚エリア
４１１１ 第１ヒストグラム生成部
４１１２ 第１最大度数算出部
４１１３ 第１積算出部
４１１４ 第１軸決定部
４１２１ 第２ヒストグラム生成部
４１２２ 第２最大度数算出部
４１２３ 第２積算出部
４１２４ 第２軸決定部 DESCRIPTION OF SYMBOLS 10 Distance image acquisition part 11 Noise removal part 20 Coordinate calculation part 26 FIG. 30 Human area determination part 31 Object coordinate judgment part 32 Labeling process part 33 Determination part 40 Posture detection part 41 Height estimation part 42 Selection part 43 Detection part 50 Storage part DESCRIPTION OF SYMBOLS 100 Posture detection apparatus 200 Distance image camera 204 Lens 281, 282, 284, 285 Position 283 Predetermined range 291-295 Area 300 Person 302 Desk 310 Imaging area 311 Person detection area 312 Horizontal central axis 313, 315 Plane 314 Center axis 316 Subject person's center axis 411 Horizontal direction center axis determination unit 412 Front / rear direction center axis determination unit 413 Subject person center axis determination unit 414 Estimation unit 431 Average coordinate calculation unit 432 Head position setting unit 433 Waist position setting unit 434 Tilt angle Calculation unit 435 Unit 436 region acquisition unit 437 right arm movement determination unit 438 left arm movement determination unit 439 right arm appearance determination unit 440 left arm appearance determination unit 441 first combination determination unit 442 second combination determination unit 443 first separation determination unit 444 disappearance determination unit 445 right hand determination Unit 446 left hand determination unit 447 second separation determination unit 448 leg determination unit 449 knee determination unit 450 correction unit 500 skeleton model 501 head 502 neck 503 right shoulder 504 right elbow 505 right hand 506 left shoulder 507 left elbow 508 left hand Part 509 Lumbar part 510, 3501 Right pubic part 511 Right knee part 512 Right foot part 513, 3502 Left pubic part 514 Left knee part 515 Left foot part 601-606 Coordinates 611-615 Vector 621-624, 641, 641A Triangular patch 631-634 Method Line vector 640, 640A-640C coordinates 3401, 3402 Elbow 3503 Area 3601 Right leg area 3602 Center area 3603 Left leg area 4111 First histogram generation unit 4112 First maximum power calculation unit 4113 First product calculation unit 4114 First axis determination unit 4121 Second histogram generation unit 4122 Second maximum frequency calculation unit 4123 Second product calculation unit 4124 Second axis determination unit

Claims (25)

各画素における輝度値がカメラから物体までの距離を示す距離画像を取得する距離画像取得部と、
前記距離画像取得部が取得した前記距離画像に基づいて、三次元空間中での物体の座標を計算する座標計算部と、
前記座標計算部が計算した物体の座標に基づいて、三次元空間中で所定の体積しきい値以上の体積を占める物体の領域である人物領域を決定する人物領域決定部と、
前記人物領域決定部が決定した前記人物領域に、人体の骨格をモデル化した骨格モデルを当てはめることにより被写体人物の姿勢を検出する姿勢検出部と
を備える姿勢検出装置。 A distance image acquisition unit that acquires a distance image in which the luminance value in each pixel indicates the distance from the camera to the object;
Based on the distance image acquired by the distance image acquisition unit, a coordinate calculation unit that calculates the coordinates of an object in a three-dimensional space;
Based on the coordinates of the object calculated by the coordinate calculation unit, a person region determination unit that determines a person region that is a region of an object that occupies a volume equal to or greater than a predetermined volume threshold in a three-dimensional space;
A posture detection apparatus comprising: a posture detection unit that detects a posture of a subject person by applying a skeleton model obtained by modeling a skeleton of a human body to the person region determined by the person region determination unit. さらに、身長ごとに骨格モデルを記憶している記憶部を備え、
前記姿勢検出部は、
前記人物領域の高さから前記被写体人物の身長を推定する身長推定部と、
前記記憶部に記憶されている前記骨格モデルの中から、前記身長推定部で推定された前記身長に最も近い身長の骨格モデルを選択する選択部と、
前記人物領域決定部で決定された前記人物領域に、前記選択部が選択した前記骨格モデルを当てはめることにより前記被写体人物の姿勢を検出する検出部とを有する
請求項１記載の姿勢検出装置。 In addition, it has a storage unit that stores the skeleton model for each height,
The posture detection unit
A height estimation unit that estimates the height of the subject person from the height of the person area;
A selection unit that selects a skeleton model having a height closest to the height estimated by the height estimation unit from the skeleton model stored in the storage unit;
The posture detection apparatus according to claim 1, further comprising: a detection unit that detects the posture of the subject person by applying the skeleton model selected by the selection unit to the person region determined by the person region determination unit. 前記身長推定部は、
前記人物領域を正面から見た像である二次元の正面画像において水平方向の中心を通る高さ方向の軸を、前記被写体人物の水平方向の中心軸と決定する水平方向中心軸決定部と、
前記人物領域を側面から見た像である二次元の側面画像において水平方向の中心を通る高さ方向の軸を、前記被写体人物の前後方向の中心軸と決定する前後方向中心軸決定部と、
前記水平方向中心軸決定部および前記前後方向中心軸決定部がそれぞれ決定した前記被写体人物の水平方向および前後方向の中心軸に基づいて、前記被写体人物の中心軸を決定する被写体人物中心軸決定部と、
前記被写体人物中心軸決定部が決定した前記被写体人物の中心軸上で最も高い位置にある前記人物領域の座標から地面までの距離を前記被写体人物の身長と推定する推定部とを有する
請求項２記載の姿勢検出装置。 The height estimating unit
A horizontal central axis determination unit that determines an axis in the height direction passing through a horizontal center in a two-dimensional front image that is an image of the person region viewed from the front, as a horizontal central axis of the subject person;
A front-rear direction central axis determination unit that determines an axis in the height direction passing through the center in the horizontal direction in a two-dimensional side image that is an image of the person region viewed from the side, as a center axis in the front-rear direction of the subject person;
The subject person central axis determination unit that determines the central axis of the subject person based on the horizontal axis and the front and rear center axis of the subject person determined by the horizontal direction central axis determination unit and the front and rear direction central axis determination unit, respectively. When,
3. An estimation unit configured to estimate the distance from the coordinates of the person region located at the highest position on the central axis of the subject person determined by the subject person central axis determination unit to the ground as the height of the subject person. The attitude detection device described. 前記水平方向中心軸決定部は、
前記正面画像において横軸が水平方向の座標を示し、縦軸が各水平方向の座標を有する前記人物領域の画素の度数を示す第１ヒストグラムを生成する第１ヒストグラム生成部と、
前記第１ヒストグラム生成部が生成した前記第１ヒストグラムにおける最大度数を算出する第１最大度数算出部と、
前記第１最大度数算出部が算出した前記最大度数に１未満の第１所定係数を掛けた値である第１積を算出する第１積算出部と、
前記第１積算出部が算出した前記第１積以上の度数を有する水平方向の座標の最小値と最大値との平均値を水平方向の座標とする前記被写体人物の高さ方向の軸を、前記被写体の水平方向の中心軸と決定する第１軸決定部とを有する
請求項３記載の姿勢検出装置。 The horizontal direction central axis determining unit is
A first histogram generating unit that generates a first histogram indicating the frequency of pixels of the person area in which the horizontal axis indicates horizontal coordinates in the front image and the vertical axis has horizontal coordinates;
A first maximum frequency calculation unit that calculates a maximum frequency in the first histogram generated by the first histogram generation unit;
A first product calculation unit that calculates a first product that is a value obtained by multiplying the maximum frequency calculated by the first maximum frequency calculation unit by a first predetermined coefficient less than 1.
An axis in the height direction of the subject person with an average value of a minimum value and a maximum value of horizontal coordinates having a frequency equal to or higher than the first product calculated by the first product calculating unit as horizontal coordinates, The posture detection apparatus according to claim 3, further comprising: a first axis determination unit that determines a central axis in a horizontal direction of the subject. 前記前後方向中心軸決定部は、
前記側面画像において横軸が前後方向の座標を示し、縦軸が各前後方向の座標を有する前記人物領域の画素の度数を示す第２ヒストグラムを生成する第２ヒストグラム生成部と、
前記第２ヒストグラム生成部が生成した前記第２ヒストグラムにおける最大度数を算出する第２最大度数算出部と、
前記第２最大度数算出部が算出した前記最大度数に１未満の第２所定係数を掛けた値である第２積を算出する第２積算出部と、
前記第２積算出部が算出した前記第２積以上の度数を有する前後方向の座標の最小値と最大値との平均値を前後方向の座標とする前記被写体人物の高さ方向の軸を、前記被写体の前後方向の中心軸と決定する第２軸決定部とを有する
請求項３または請求項４記載の姿勢検出装置。 The front-rear direction central axis determining unit is
A second histogram generating unit that generates a second histogram indicating the frequency of the pixels of the person area in which the horizontal axis indicates the coordinates in the front-rear direction and the vertical axis has the coordinates in the front-rear direction in the side image;
A second maximum frequency calculation unit that calculates a maximum frequency in the second histogram generated by the second histogram generation unit;
A second product calculation unit that calculates a second product that is a value obtained by multiplying the maximum frequency calculated by the second maximum frequency calculation unit by a second predetermined coefficient less than 1.
An axis in the height direction of the subject person with the average value of the minimum and maximum coordinates in the front-rear direction having a frequency equal to or higher than the second product calculated by the second product calculation unit as the front-rear direction coordinates, The posture detection apparatus according to claim 3, further comprising a center axis in the front-rear direction of the subject and a second axis determination unit that determines the center axis. 前記検出部は、
前フレームの距離画像について決定された三次元空間中での頭部の位置と同じ位置から第１所定距離内に含まれる前記人物領域の座標のうち、高さ方向に最も高い位置の座標から高さ方向に第２所定距離下がった位置を含む所定範囲内の前記人物領域の平均座標を算出する平均座標算出部と、
前記平均座標算出部が算出した前記人物領域の平均座標から高さ方向に前記第２所定距離上がった位置に、前記骨格モデルの頭部を当てはめる頭位置設定部とを有する
請求項３〜請求項５のいずれか１項に記載の姿勢検出装置。 The detector is
Among the coordinates of the person area included within the first predetermined distance from the same position as the position of the head in the three-dimensional space determined for the distance image of the previous frame, the coordinate from the highest position in the height direction to the height An average coordinate calculation unit that calculates an average coordinate of the person area within a predetermined range including a position that is lowered by a second predetermined distance in the vertical direction;
4. A head position setting unit that applies the head of the skeleton model to a position that is raised by the second predetermined distance in the height direction from the average coordinate of the person area calculated by the average coordinate calculation unit. The posture detection apparatus according to any one of 5. 前記検出部は、さらに、
前記頭位置設定部が設定した前記骨格モデルの頭部の位置を基準として、前記被写体人物中心軸決定部が決定した前記被写体人物の中心軸上に前記骨格モデルの腰部の位置を設定する腰位置設定部を有する
請求項６記載の姿勢検出装置。 The detection unit further includes:
A waist position that sets the waist position of the skeleton model on the center axis of the subject person determined by the subject person central axis determination unit with reference to the head position of the skeleton model set by the head position setting unit The posture detection apparatus according to claim 6, further comprising a setting unit. 前記検出部は、さらに、
前記頭位置設定部が設定した前記骨格モデルの頭部の位置と前記腰位置設定部が設定した前記骨格モデルの腰部の位置とから前記被写体人物の傾き角度を算出する傾き角度算出部と、
前記傾き角度算出部が算出した前記被写体人物の傾き角度に基づいて定められる首の曲がり角度だけ、前記骨格モデルの首の位置を前記被写体人物の傾きとは逆方向に傾ける首傾き設定部とを有する
請求項７記載の姿勢検出装置。 The detection unit further includes:
An inclination angle calculation unit for calculating an inclination angle of the subject person from the position of the head of the skeleton model set by the head position setting unit and the position of the waist of the skeleton model set by the waist position setting unit;
A neck tilt setting unit that tilts the neck position of the skeleton model in a direction opposite to the tilt of the subject person by a neck bending angle determined based on the tilt angle of the subject person calculated by the tilt angle calculation unit. The posture detection apparatus according to claim 7. 前記検出部は、さらに、
当てはめた前記骨格モデルに基づいて、前記人物領域決定部が決定した前記人物領域から少なくとも頭および胴を除いた領域の外接矩形領域を取得する領域取得部と、
前記領域取得部が取得した外接矩形領域のうち、前フレームの距離画像について右腕と判断されている外接矩形領域と重なり合いを有し、かつ前記骨格モデルにおける右肩位置を基準とした場合の右肘の稼動範囲と重なり合いを有する外接矩形領域が存在するという右腕移動条件を満たす外接矩形領域の位置に、前記被写体人物の右腕が移動したと判断し、当該位置に前記骨格モデルの右腕を当てはめる右腕移動判断部と、
前記領域取得部が取得した外接矩形領域のうち、前記前フレームの距離画像について左腕と判断されている外接矩形領域と重なり合いを有し、かつ前記骨格モデルにおける左肩位置を基準とした場合の左肘の稼動範囲と重なり合いを有する外接矩形領域が存在するという左腕移動条件を満たす外接矩形領域の位置に、前記被写体人物の左腕が移動したと判断し、当該位置に前記骨格モデルの左腕を当てはめる左腕移動判断部とを有する
請求項３〜請求項８のいずれか１項に記載の姿勢検出装置。 The detection unit further includes:
Based on the fitted skeleton model, an area acquisition unit that acquires a circumscribed rectangular area of an area excluding at least a head and a torso from the person area determined by the person area determination unit;
The right elbow in the circumscribed rectangular area acquired by the area acquiring unit overlaps with the circumscribed rectangular area determined to be the right arm for the distance image of the previous frame and is based on the right shoulder position in the skeleton model Right arm movement that determines that the right arm of the subject person has moved to the position of the circumscribed rectangular area that satisfies the right arm movement condition that there is a circumscribed rectangular area that overlaps the operating range of the subject, and applies the right arm of the skeleton model to the position A determination unit;
The left elbow in the circumscribed rectangular area acquired by the area acquiring unit overlaps with the circumscribed rectangular area determined to be the left arm for the distance image of the previous frame, and is based on the left shoulder position in the skeleton model Left arm movement that determines that the left arm of the subject person has moved to the position of the circumscribed rectangular area that satisfies the left arm moving condition that there is a circumscribed rectangular area that overlaps the operating range of the subject, and applies the left arm of the skeleton model to the position The posture detection device according to claim 3, further comprising: a determination unit. 前記検出部は、さらに、
前記領域取得部が取得した外接矩形領域のうち、前記前フレームの距離画像について右腕以外の部分と判断されている部分と重なり合いを有しておらず、かつ、前記骨格モデルにおける右肩位置を基準とした場合の右肘の稼動範囲との重なり部分の体積が最大となる外接矩形領域が存在するという右腕出現条件を満たす外接矩形領域の位置に、前記被写体人物の右腕が出現したと判断し、当該位置に前記骨格モデルの右腕を当てはめる右腕出現判断部と、
前記領域取得部が取得した外接矩形領域のうち、前記前フレームの距離画像について左腕以外の部分と判断されている部分と重なり合いを有しておらず、かつ、前記骨格モデルにおける左肩位置を基準とした場合の左肘の稼動範囲との重なり部分の体積が最大となる外接矩形領域が存在するという左腕出現条件を満たす外接矩形領域の位置に、前記被写体人物の左腕が出現したと判断し、当該位置に前記骨格モデルの左腕を当てはめる左腕出現判断部とを有する
請求項９記載の姿勢検出装置。 The detection unit further includes:
Of the circumscribed rectangular area acquired by the area acquisition unit, the distance image of the previous frame does not overlap with a part determined to be a part other than the right arm, and the right shoulder position in the skeleton model is used as a reference If the right arm of the subject person has appeared at the position of the circumscribed rectangular area that satisfies the right arm appearance condition that there is a circumscribed rectangular area where the volume of the overlapping portion with the operating range of the right elbow is maximum, A right arm appearance determination unit that applies the right arm of the skeleton model to the position;
Of the circumscribed rectangular area acquired by the area acquisition unit, the distance image of the previous frame does not overlap with a part determined to be a part other than the left arm, and the left shoulder position in the skeleton model is used as a reference. The left arm of the subject person has appeared at the position of the circumscribed rectangular area that satisfies the left arm appearance condition that there is a circumscribed rectangular area where the volume of the overlapping portion with the operating range of the left elbow is maximum, The posture detection apparatus according to claim 9, further comprising: a left arm appearance determination unit that applies a left arm of the skeleton model to a position. 前記検出部は、さらに、
前記前フレームの距離画像について前記被写体人物の右腕および左腕が出現していない場合において、前記領域取得部が取得した外接矩形領域のうち、前記右腕出現条件および前記左腕出現条件を満たす外接矩形領域が存在する場合には、当該存在する外接矩形領域の位置において、前記被写体人物の両腕が結合していると判断し、当該位置に前記骨格モデルの両腕を結合した状態で当てはめる第１結合判断部を有する
請求項１０記載の姿勢検出装置。 The detection unit further includes:
When the right image and the left arm of the subject person do not appear in the distance image of the previous frame, a circumscribed rectangular region satisfying the right arm appearance condition and the left arm appearance condition is selected from the circumscribed rectangular regions acquired by the region acquisition unit. If it exists, it is determined that the arms of the subject person are combined at the position of the existing circumscribed rectangular area, and the first combination determination is applied in a state where the arms of the skeleton model are combined at the position. The posture detection apparatus according to claim 10, further comprising a unit. 前記検出部は、さらに、
前記前フレームの距離画像について前記被写体人物の右腕および左腕が別個に出現している場合において、前記領域取得部が取得した外接矩形領域のうち、前記右腕移動条件および前記左腕移動条件を満たす外接矩形領域が存在する場合には、当該存在する外接矩形領域の位置において、前記被写体人物の両腕が結合していると判断し、当該位置に前記骨格モデルの両腕を結合した状態で当てはめる第２結合判断部を有する
請求項１１記載の姿勢検出装置。 The detection unit further includes:
A circumscribed rectangle that satisfies the right arm movement condition and the left arm movement condition among the circumscribed rectangular areas acquired by the area acquisition unit when the right arm and the left arm of the subject person appear separately in the distance image of the previous frame. If there is a region, it is determined that both arms of the subject person are coupled at the position of the circumscribed rectangular region, and the second model is applied with the arms of the skeleton model coupled to the position. The posture detection apparatus according to claim 11, further comprising a combination determination unit. 前記検出部は、さらに、
前記前フレームの距離画像について前記被写体人物の両腕が結合している場合において、前記領域取得部が取得した外接矩形領域のうち、前記右腕移動条件を満たす外接矩形領域と前記左腕移動条件を満たす外接矩形領域とが別個に存在する場合には、前記被写体人物の両腕が分離して、前記右腕移動条件を満たす外接矩形領域の位置に前記被写体人物の右腕が移動したと判断し、当該位置に前記骨格モデルの右腕を当てはめ、前記左腕移動条件を満たす外接矩形領域の位置に前記被写体人物の左腕が移動したと判断し、当該位置に前記骨格モデルの左腕を当てはめる第１分離判断部を有する
請求項１２記載の姿勢検出装置。 The detection unit further includes:
In the case where both arms of the subject person are coupled with respect to the distance image of the previous frame, the circumscribed rectangular area that satisfies the right arm movement condition and the left arm movement condition are satisfied among the circumscribed rectangular areas acquired by the area acquisition unit If the circumscribed rectangular area exists separately, it is determined that both arms of the subject person are separated and the right arm of the subject person has moved to the position of the circumscribed rectangular area that satisfies the right arm movement condition, A first separation determination unit that applies the right arm of the skeleton model to the position, determines that the left arm of the subject person has moved to a position of a circumscribed rectangular region that satisfies the left arm movement condition, and applies the left arm of the skeleton model to the position The posture detection apparatus according to claim 12. 前記検出部は、さらに、
前記領域取得部が取得した外接矩形領域のうち、前記右腕移動条件を満たす外接矩形領域が存在しない場合には、前記被写体人物の右腕が消滅したと判断し、前記骨格モデルの右腕を所定右腕位置に移動させ、前記左腕移動条件を満たす外接矩形領域が存在しない場合には、前記被写体人物の左腕が消滅したと判断し、前記骨格モデルの左腕を所定左腕位置に移動させる消滅判断部を有する
請求項１３記載の姿勢検出装置。 The detection unit further includes:
In the circumscribed rectangular area acquired by the area acquiring unit, if there is no circumscribed rectangular area that satisfies the right arm movement condition, it is determined that the right arm of the subject person has disappeared, and the right arm of the skeleton model is determined as a predetermined right arm position. When the circumscribed rectangular region that satisfies the left arm movement condition does not exist, it is determined that the left arm of the subject person has disappeared, and the disappearance determination unit moves the left arm of the skeleton model to a predetermined left arm position. Item 14. The posture detection apparatus according to Item 13. 前記検出部は、さらに、
右腕と判断されている領域について、当該領域の外接領域の上面、左面、右面および前面のそれぞれについて各面に最も近い位置を決定し、決定した位置の中から前記骨格モデルにおける右肩から最も遠い位置を右手の位置と判断し、当該位置に前記骨格モデルの右手を当てはめる右手判断部と、
左腕と判断されている領域について、当該領域の外接領域の上面、左面、右面および前面のそれぞれについて各面に最も近い位置を決定し、決定した位置の中から前記骨格モデルにおける左肩から最も遠い位置を左手の位置と判断し、当該位置に前記骨格モデルの左手を当てはめる左手判断部とを有する
請求項１４記載の姿勢検出装置。 The detection unit further includes:
For the area determined to be the right arm, determine the position closest to each face for each of the top, left, right, and front surfaces of the circumscribed area of the area, and from the determined position, the farthest from the right shoulder in the skeleton model A right hand determination unit that determines a position as a right hand position and applies the right hand of the skeleton model to the position;
For the area determined to be the left arm, the position closest to each surface is determined for each of the top, left, right and front surfaces of the circumscribed area of the area, and the position farthest from the left shoulder in the skeleton model from among the determined positions The posture detection apparatus according to claim 14, further comprising: a left hand determination unit that determines the position of the left hand as the left hand and applies the left hand of the skeleton model to the position. 前記検出部は、さらに、
前記被写体人物の両腕が結合している場合において、前記両腕の先端から第３所定距離内に含まれる前記人物領域を正面から見た像である２次元の正面投影画像において、両腕が離れていれば前記被写体人物の両腕は分離していると判断し、前記骨格モデルの両腕を分離させる第２分離判断部を有する
請求項１５記載の姿勢検出装置。 The detection unit further includes:
In the case where both arms of the subject person are coupled, in a two-dimensional front projection image that is an image of the person region included within a third predetermined distance from the front end of both arms as viewed from the front, The posture detection apparatus according to claim 15, further comprising a second separation determination unit that determines that both arms of the subject person are separated if they are separated from each other and separates both arms of the skeleton model. 前記検出部は、さらに、
前記骨格モデルにおける恥骨部よりも下の位置において、当該恥骨部から前記人物領域の先端までの距離が、前記骨格モデルにおける脚の長さに対応する所定の長さしきい値よりも大きい場合に、前記人物領域の先端が前記被写体人物の脚の先端であると判断し、前記人物領域の先端に前記骨格モデルの脚の先端を当てはめる脚判断部を有する
請求項１６記載の姿勢検出装置。 The detection unit further includes:
In a position below the pubic part in the skeleton model, when the distance from the pubic part to the tip of the person region is larger than a predetermined length threshold corresponding to the length of the leg in the skeleton model The posture detection apparatus according to claim 16, further comprising: a leg determination unit that determines that a tip of the person area is a tip of a leg of the subject person and applies a tip of the leg of the skeleton model to the tip of the person area. 前記検出部は、さらに、
前記骨格モデルにおいて恥骨部を基準として膝となり得る距離に存在する前記人物領域の座標のうち、最も高さが高い座標に前記被写体人物の膝があると判断し、前記最も高さが高い座標に前記骨格モデルの膝部を当てはめる膝判断部を有する
請求項１７記載の姿勢検出装置。 The detection unit further includes:
In the skeleton model, it is determined that the subject person's knee is at the highest coordinate among the coordinates of the person area existing at a distance that can be a knee with respect to the pubic bone, and the highest coordinate is obtained. The posture detection apparatus according to claim 17, further comprising a knee determination unit that applies a knee part of the skeleton model. 前記検出部は、さらに、
現フレームにおいて当てはめた骨格モデルの各座標を、当該座標と当該座標に対応する前フレームの距離画像における骨格モデルの座標との間の距離が大きいほど前記現フレームの座標に近づき、かつ前記距離が小さいほど前記前フレームの座標に近づくような、前記現フレームの座標と前記前フレームの座標との間の座標に補正する補正部を有する
請求項２〜請求項１８のいずれか１項に記載の姿勢検出装置。 The detection unit further includes:
The coordinates of the skeleton model fitted in the current frame are closer to the coordinates of the current frame as the distance between the coordinates and the coordinates of the skeleton model in the distance image of the previous frame corresponding to the coordinates is larger, and the distance is The correction part which correct | amends to the coordinate between the coordinate of the said present frame and the coordinate of the said previous frame so that it may approach the coordinate of the said previous frame, so that it is small. Attitude detection device. 前記距離画像取得部は、取得した前記距離画像上で所定サイズのウィンドウを走査し、当該ウィンドウ内の中心画素が示す距離との距離の差が所定の距離しきい値以下となる当該ウィンドウ内の前記中心画素を除く画素数を計数し、計数した前記画素数が所定の画素数しきい値未満であれば前記中心画素をノイズとして除去するノイズ除去部を有する
請求項１または請求項２記載の姿勢検出装置。 The distance image acquisition unit scans a window of a predetermined size on the acquired distance image, and the difference in distance from the distance indicated by the central pixel in the window is equal to or less than a predetermined distance threshold. The noise removal part which counts the number of pixels except the said center pixel and removes the said center pixel as noise if the counted number of pixels is less than a predetermined pixel number threshold value. Attitude detection device. 前記距離しきい値は、前記ウィンドウ内の前記中心画素ごとに設定され、当該中心画素が示す距離が大きいほど大きな値に設定される
請求項２０記載の姿勢検出装置。 The posture detection apparatus according to claim 20, wherein the distance threshold is set for each central pixel in the window, and is set to a larger value as the distance indicated by the central pixel is larger. 前記人物領域決定部は、
前記座標計算部が計算した物体の座標の各々について、当該座標と当該座標の近傍の２つの座標とを含む面の法線ベクトルが、前記カメラの撮像面を含む平面である有効角度面と交わる場合に、当該座標を物体の座標である物体座標と判断し、前記法線ベクトルが前記有効角度面と交わらない場合に、当該座標を前記物体座標ではないと判断する物体座標判断部と、
三次元空間を各々が所定体積を有する複数のブロックに分割したときに、互いに隣接する、前記物体座標判断部が判断した物体座標を含むブロックのラベルが同一のラベルとなるように、前記複数のブロックの各々にラベル付けを行うラベリング処理部と、
前記ラベリング処理部がラベル付けを行なったラベルごとに、当該ラベルが付されたブロックの体積の合計値が前記体積しきい値以上の場合に、当該ラベルが付されたブロックを人物領域と決定する決定部とを有する
請求項１〜請求項２１のいずれか１項に記載の姿勢検出装置。 The person area determination unit
For each of the coordinates of the object calculated by the coordinate calculation unit, the normal vector of the surface including the coordinate and two coordinates in the vicinity of the coordinate intersects the effective angle surface that is a plane including the imaging surface of the camera. An object coordinate determination unit that determines that the coordinate is not the object coordinate when the normal vector does not intersect the effective angle plane, the object coordinate is determined as the object coordinate that is the object coordinate;
When the three-dimensional space is divided into a plurality of blocks each having a predetermined volume, the plurality of blocks including the object coordinates determined by the object coordinate determination unit adjacent to each other are the same label. A labeling processor that labels each of the blocks;
For each label that has been labeled by the labeling processing unit, if the total volume of the blocks to which the label is attached is equal to or greater than the volume threshold value, the block to which the label is attached is determined as a person area. The posture detection apparatus according to any one of claims 1 to 21, further comprising a determination unit. 各画素における輝度値がカメラから物体までの距離を示す距離画像を撮像する距離画像カメラと、
請求項１〜請求項２２のいずれか１項に記載の姿勢検出装置とを備え、
距離画像取得部は、前記距離画像カメラから前記距離画像を取得する
距離検出システム。 A distance image camera that captures a distance image in which a luminance value at each pixel indicates a distance from the camera to an object;
The posture detection device according to any one of claims 1 to 22,
A distance image acquisition unit acquires the distance image from the distance image camera. 各画素における輝度値がカメラから物体までの距離を示す距離画像を取得する距離画像取得ステップと、
前記距離画像取得ステップにおいて取得された前記距離画像に基づいて、三次元空間中での物体の座標を計算する座標計算ステップと、
前記座標計算ステップにおいて計算された物体の座標に基づいて、三次元空間中で所定の体積しきい値以上の体積を占める物体の領域である人物領域を決定する人物領域決定ステップと、
前記人物領域決定ステップにおいて決定された前記人物領域に、人体の骨格をモデル化した骨格モデルを当てはめることにより被写体人物の姿勢を検出する姿勢検出ステップと
を含む姿勢検出方法。 A distance image acquisition step in which a luminance value at each pixel indicates a distance image indicating a distance from the camera to the object;
A coordinate calculation step of calculating coordinates of an object in a three-dimensional space based on the distance image acquired in the distance image acquisition step;
A person area determination step for determining a person area that is an area of an object that occupies a volume equal to or greater than a predetermined volume threshold in a three-dimensional space, based on the coordinates of the object calculated in the coordinate calculation step;
A posture detection method comprising: a posture detection step of detecting a posture of a subject person by applying a skeleton model obtained by modeling a skeleton of a human body to the person region determined in the person region determination step. 各画素における輝度値がカメラから物体までの距離を示す距離画像を取得する距離画像取得ステップと、
前記距離画像取得ステップにおいて取得された前記距離画像に基づいて、三次元空間中での物体の座標を計算する座標計算ステップと、
前記座標計算ステップにおいて計算された物体の座標に基づいて、三次元空間中で所定の体積しきい値以上の体積を占める物体の領域である人物領域を決定する人物領域決定ステップと、
前記人物領域決定ステップにおいて決定された前記人物領域に、人体の骨格をモデル化した骨格モデルを当てはめることにより被写体人物の姿勢を検出する姿勢検出ステップと
をコンピュータに実行させるためのプログラム。 A distance image acquisition step in which a luminance value at each pixel indicates a distance image indicating a distance from the camera to the object;
A coordinate calculation step of calculating coordinates of an object in a three-dimensional space based on the distance image acquired in the distance image acquisition step;
A person area determination step for determining a person area that is an area of an object that occupies a volume equal to or greater than a predetermined volume threshold in a three-dimensional space, based on the coordinates of the object calculated in the coordinate calculation step;
A program for causing a computer to execute a posture detection step of detecting a posture of a subject person by applying a skeleton model obtained by modeling a skeleton of a human body to the person region determined in the person region determination step.
JP2010273034A 2010-12-07 2010-12-07 Posture detection system Pending JP2012120647A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010273034A JP2012120647A (en) 2010-12-07 2010-12-07 Posture detection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010273034A JP2012120647A (en) 2010-12-07 2010-12-07 Posture detection system

Publications (1)

Publication Number Publication Date
JP2012120647A true JP2012120647A (en) 2012-06-28

Family

ID=46502773

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010273034A Pending JP2012120647A (en) 2010-12-07 2010-12-07 Posture detection system

Country Status (1)

Country Link
JP (1) JP2012120647A (en)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101307984B1 (en) 2012-09-04 2013-09-26 전남대학교산학협력단 Method of robust main body parts estimation using descriptor and machine learning for pose recognition
JP2014023728A (en) * 2012-07-27 2014-02-06 Shimizu Corp Vital function monitoring system
WO2014024364A1 (en) * 2012-08-09 2014-02-13 パナソニック株式会社 Object detection device, object detection method, and program
JP2014072880A (en) * 2012-10-02 2014-04-21 Nippon Telegr & Teleph Corp <Ntt> Video communication system and video communication method
JP2014068714A (en) * 2012-09-28 2014-04-21 Kitasato Institute Joint angle measuring system
KR20140123394A (en) * 2013-04-12 2014-10-22 삼성전자주식회사 Imaging apparatus and controlling method thereof
JP2014240800A (en) * 2013-06-12 2014-12-25 株式会社ブリヂストン Inspection auxiliary device
WO2015122079A1 (en) * 2014-02-14 2015-08-20 株式会社ソニー・コンピュータエンタテインメント Information processing device and information processing method
JP2015153179A (en) * 2014-02-14 2015-08-24 株式会社ソニー・コンピュータエンタテインメント Information processor and information processing method
JP2015153180A (en) * 2014-02-14 2015-08-24 株式会社ソニー・コンピュータエンタテインメント Information processor and information processing method
JP2015167008A (en) * 2013-07-30 2015-09-24 キヤノン株式会社 Pose estimation device, pose estimation method and program
WO2016021152A1 (en) * 2014-08-06 2016-02-11 パナソニック株式会社 Orientation estimation method, and orientation estimation device
JP2016123586A (en) * 2014-12-26 2016-07-11 オムロン株式会社 Apparatus and method for acquiring body information
JP2016200858A (en) * 2015-04-07 2016-12-01 ソニー株式会社 Information processing device, information processing method, and program
CN107004256A (en) * 2014-11-20 2017-08-01 原子能和能源替代品委员会 The method and apparatus that real-time adaptive for noise depth or anaglyph is filtered
WO2017170264A1 (en) * 2016-03-28 2017-10-05 株式会社３Ｄ ｂｏｄｙ Ｌａｂ Skeleton specifying system, skeleton specifying method, and computer program
JP2018048890A (en) * 2016-09-21 2018-03-29 株式会社日立製作所 Posture estimation system, posture estimation device, and distance image camera
JP2018105638A (en) * 2016-12-22 2018-07-05 三菱電機株式会社 Monitoring device
WO2018185807A1 (en) * 2017-04-03 2018-10-11 富士通株式会社 Distance information processing device, distance information processing method, and distance information processing program
WO2018207351A1 (en) 2017-05-12 2018-11-15 富士通株式会社 Distance image processing device, distance image processing system, distance image processing method, and distance image processing program
WO2018207365A1 (en) 2017-05-12 2018-11-15 富士通株式会社 Distance image processing device, distance image processing system, distance image processing method, and distance image processing program
CN110610517A (en) * 2019-09-18 2019-12-24 电子科技大学 Method for detecting heat source center in three-dimensional space
EP3136314B1 (en) * 2015-08-27 2020-08-05 Arkite NV Quality control system for a working area of an operational process
CN111591847A (en) * 2020-03-27 2020-08-28 重庆厚齐科技有限公司 Elevator safety multimedia warning interaction system and monitoring method
CN111680562A (en) * 2020-05-09 2020-09-18 北京中广上洋科技股份有限公司 Human body posture identification method and device based on skeleton key points, storage medium and terminal
JP2021068932A (en) * 2019-10-17 2021-04-30 キヤノン株式会社 Information processing device, control method thereof, and program
JPWO2021095094A1 (en) * 2019-11-11 2021-05-20
CN112836682A (en) * 2021-03-04 2021-05-25 广东建邦计算机软件股份有限公司 Method and device for identifying object in video, computer equipment and storage medium
CN112836667A (en) * 2021-02-20 2021-05-25 上海吉盛网络技术有限公司 Method for judging falling and retrograde of passenger on ascending escalator
CN113796853A (en) * 2020-06-16 2021-12-17 广州印芯半导体技术有限公司 Optical image comparison system and comparison method thereof
WO2021255846A1 (en) * 2020-06-17 2021-12-23 日本電気株式会社 Image processing device, image processing method, and program
WO2022049820A1 (en) * 2020-09-02 2022-03-10 株式会社日立国際電気 Skeleton detection system
CN114224322A (en) * 2021-10-25 2022-03-25 上海工程技术大学 Scoliosis assessment method based on human skeleton key points
CN114612939A (en) * 2022-03-25 2022-06-10 珠海视熙科技有限公司 Sitting posture identification method and device based on TOF camera and intelligent desk lamp
KR20220091039A (en) * 2020-12-23 2022-06-30 한국과학기술연구원 Method and device for protecting image portrait rights based on posture recognition
JP7233631B1 (en) 2022-06-01 2023-03-07 株式会社ジースポート posture improvement system

Cited By (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014023728A (en) * 2012-07-27 2014-02-06 Shimizu Corp Vital function monitoring system
WO2014024364A1 (en) * 2012-08-09 2014-02-13 パナソニック株式会社 Object detection device, object detection method, and program
JP2014035302A (en) * 2012-08-09 2014-02-24 Panasonic Corp Object detection device, object detection method and program
KR101307984B1 (en) 2012-09-04 2013-09-26 전남대학교산학협력단 Method of robust main body parts estimation using descriptor and machine learning for pose recognition
JP2014068714A (en) * 2012-09-28 2014-04-21 Kitasato Institute Joint angle measuring system
JP2014072880A (en) * 2012-10-02 2014-04-21 Nippon Telegr & Teleph Corp <Ntt> Video communication system and video communication method
KR20140123394A (en) * 2013-04-12 2014-10-22 삼성전자주식회사 Imaging apparatus and controlling method thereof
KR102203884B1 (en) * 2013-04-12 2021-01-15 삼성전자주식회사 Imaging apparatus and controlling method thereof
JP2014240800A (en) * 2013-06-12 2014-12-25 株式会社ブリヂストン Inspection auxiliary device
JP2015167008A (en) * 2013-07-30 2015-09-24 キヤノン株式会社 Pose estimation device, pose estimation method and program
US10380759B2 (en) 2013-07-30 2019-08-13 Canon Kabushiki Kaisha Posture estimating apparatus, posture estimating method and storing medium
WO2015122079A1 (en) * 2014-02-14 2015-08-20 株式会社ソニー・コンピュータエンタテインメント Information processing device and information processing method
JP2015153179A (en) * 2014-02-14 2015-08-24 株式会社ソニー・コンピュータエンタテインメント Information processor and information processing method
JP2015153180A (en) * 2014-02-14 2015-08-24 株式会社ソニー・コンピュータエンタテインメント Information processor and information processing method
US10210629B2 (en) 2014-02-14 2019-02-19 Sony Interactive Entertainment Inc. Information processor and information processing method
US20170011519A1 (en) * 2014-02-14 2017-01-12 Sony Interactive Entertainment Inc. Information processor and information processing method
WO2016021152A1 (en) * 2014-08-06 2016-02-11 パナソニック株式会社 Orientation estimation method, and orientation estimation device
JP2017535884A (en) * 2014-11-20 2017-11-30 コミサリヤ・ア・レネルジ・アトミク・エ・オ・エネルジ・アルテルナテイブ Method and apparatus for real-time adaptive filtering of noisy depth or parallax images
CN107004256A (en) * 2014-11-20 2017-08-01 原子能和能源替代品委员会 The method and apparatus that real-time adaptive for noise depth or anaglyph is filtered
CN107004256B (en) * 2014-11-20 2020-10-27 原子能和能源替代品委员会 Method and apparatus for real-time adaptive filtering of noisy depth or parallax images
JP2016123586A (en) * 2014-12-26 2016-07-11 オムロン株式会社 Apparatus and method for acquiring body information
JP2016200858A (en) * 2015-04-07 2016-12-01 ソニー株式会社 Information processing device, information processing method, and program
EP3136314B1 (en) * 2015-08-27 2020-08-05 Arkite NV Quality control system for a working area of an operational process
WO2017170264A1 (en) * 2016-03-28 2017-10-05 株式会社３Ｄ ｂｏｄｙ Ｌａｂ Skeleton specifying system, skeleton specifying method, and computer program
JPWO2017170264A1 (en) * 2016-03-28 2019-02-07 株式会社３Ｄ ｂｏｄｙ Ｌａｂ Skeletal identification system, skeleton identification method, and computer program
JP2018048890A (en) * 2016-09-21 2018-03-29 株式会社日立製作所 Posture estimation system, posture estimation device, and distance image camera
JP2018105638A (en) * 2016-12-22 2018-07-05 三菱電機株式会社 Monitoring device
JPWO2018185807A1 (en) * 2017-04-03 2019-12-26 富士通株式会社 Distance information processing apparatus, distance information processing method, and distance information processing program
CN110476037A (en) * 2017-04-03 2019-11-19 富士通株式会社 Range information processing unit, range information processing method and range information processing routine
WO2018185807A1 (en) * 2017-04-03 2018-10-11 富士通株式会社 Distance information processing device, distance information processing method, and distance information processing program
US11195296B2 (en) 2017-04-03 2021-12-07 Fujitsu Limited Information processing apparatus, method of processing distance information, and recording medium recording distance information processing program
US11138419B2 (en) 2017-05-12 2021-10-05 Fujitsu Limited Distance image processing device, distance image processing system, distance image processing method, and non-transitory computer readable recording medium
WO2018207365A1 (en) 2017-05-12 2018-11-15 富士通株式会社 Distance image processing device, distance image processing system, distance image processing method, and distance image processing program
WO2018207351A1 (en) 2017-05-12 2018-11-15 富士通株式会社 Distance image processing device, distance image processing system, distance image processing method, and distance image processing program
US11087493B2 (en) 2017-05-12 2021-08-10 Fujitsu Limited Depth-image processing device, depth-image processing system, depth-image processing method, and recording medium
CN110610517A (en) * 2019-09-18 2019-12-24 电子科技大学 Method for detecting heat source center in three-dimensional space
JP2021068932A (en) * 2019-10-17 2021-04-30 キヤノン株式会社 Information processing device, control method thereof, and program
JP7358186B2 (en) 2019-10-17 2023-10-10 キヤノン株式会社 Information processing device, its control method and program
JP7283571B2 (en) 2019-11-11 2023-05-30 日本電気株式会社 Human state detection device, human state detection method and program
JPWO2021095094A1 (en) * 2019-11-11 2021-05-20
CN111591847A (en) * 2020-03-27 2020-08-28 重庆厚齐科技有限公司 Elevator safety multimedia warning interaction system and monitoring method
CN111591847B (en) * 2020-03-27 2024-04-30 重庆厚齐科技有限公司 Elevator safety multimedia warning interaction system and monitoring method
CN111680562A (en) * 2020-05-09 2020-09-18 北京中广上洋科技股份有限公司 Human body posture identification method and device based on skeleton key points, storage medium and terminal
CN113796853A (en) * 2020-06-16 2021-12-17 广州印芯半导体技术有限公司 Optical image comparison system and comparison method thereof
JP7364077B2 (en) 2020-06-17 2023-10-18 日本電気株式会社 Image processing device, image processing method, and program
WO2021255846A1 (en) * 2020-06-17 2021-12-23 日本電気株式会社 Image processing device, image processing method, and program
JP7421452B2 (en) 2020-09-02 2024-01-24 株式会社日立国際電気 Skeleton detection system
WO2022049820A1 (en) * 2020-09-02 2022-03-10 株式会社日立国際電気 Skeleton detection system
KR102531287B1 (en) * 2020-12-23 2023-05-12 한국과학기술연구원 Method and device for protecting image portrait rights based on posture recognition
KR20220091039A (en) * 2020-12-23 2022-06-30 한국과학기술연구원 Method and device for protecting image portrait rights based on posture recognition
CN112836667A (en) * 2021-02-20 2021-05-25 上海吉盛网络技术有限公司 Method for judging falling and retrograde of passenger on ascending escalator
CN112836667B (en) * 2021-02-20 2022-11-15 上海吉盛网络技术有限公司 Method for judging falling and reverse running of passengers going upstairs escalator
CN112836682A (en) * 2021-03-04 2021-05-25 广东建邦计算机软件股份有限公司 Method and device for identifying object in video, computer equipment and storage medium
CN112836682B (en) * 2021-03-04 2024-05-28 广东建邦计算机软件股份有限公司 Method, device, computer equipment and storage medium for identifying object in video
CN114224322A (en) * 2021-10-25 2022-03-25 上海工程技术大学 Scoliosis assessment method based on human skeleton key points
CN114612939B (en) * 2022-03-25 2023-01-10 珠海视熙科技有限公司 Sitting posture identification method and device based on TOF camera and intelligent desk lamp
CN114612939A (en) * 2022-03-25 2022-06-10 珠海视熙科技有限公司 Sitting posture identification method and device based on TOF camera and intelligent desk lamp
JP7233631B1 (en) 2022-06-01 2023-03-07 株式会社ジースポート posture improvement system
JP2023176999A (en) * 2022-06-01 2023-12-13 株式会社ジースポート posture improvement system

Similar Documents

Publication Publication Date Title
JP2012120647A (en) Posture detection system
US9898651B2 (en) Upper-body skeleton extraction from depth maps
EP2854099B1 (en) Information processing device and information processing method
US9594950B2 (en) Depth mapping with enhanced resolution
JP5873442B2 (en) Object detection apparatus and object detection method
CN103608844B (en) The full-automatic model calibration that dynamically joint connects
JP6816058B2 (en) Parameter optimization device, parameter optimization method, program
US20120056982A1 (en) Depth camera based on structured light and stereo vision
KR20150079585A (en) System and method for deriving accurate body size measures from a sequence of 2d images
CN106471523B (en) Color identification using infrared imaging
Munn et al. 3D point-of-regard, position and head orientation from a portable monocular video-based eye tracker
US20130069939A1 (en) Character image processing apparatus and method for footskate cleanup in real time animation
US11885611B2 (en) Detection device, processing device, equipment, detection method, and detection program
JP3732757B2 (en) Image recognition method and image recognition apparatus
Ye et al. Gait analysis using a single depth camera
US20220395193A1 (en) Height estimation apparatus, height estimation method, and non-transitory computer readable medium storing program
Swadzba et al. Tracking objects in 6D for reconstructing static scenes
US20220366716A1 (en) Person state detection apparatus, person state detection method, and non-transitory computer readable medium storing program
Desai et al. Combining skeletal poses for 3D human model generation using multiple Kinects
Azhar et al. Significant body point labeling and tracking
JP7024876B2 (en) Detection device, processing device, detection method, and processing program
WO2018173205A1 (en) Information processing system, method for controlling same, and program
KR20150073754A (en) Motion training apparatus and method for thereof
Cheng et al. Capturing human motion in natural environments
TW201738827A (en) Recognition method of human body posture in real time which is implemented by an identification system comprising an image capturing unit and a processing unit