JP2017122690A - Method for correcting coordinates of human being measuring system - Google Patents
Method for correcting coordinates of human being measuring system Download PDFInfo
- Publication number
- JP2017122690A JP2017122690A JP2016002689A JP2016002689A JP2017122690A JP 2017122690 A JP2017122690 A JP 2017122690A JP 2016002689 A JP2016002689 A JP 2016002689A JP 2016002689 A JP2016002689 A JP 2016002689A JP 2017122690 A JP2017122690 A JP 2017122690A
- Authority
- JP
- Japan
- Prior art keywords
- human
- coordinate
- coordinate system
- depth camera
- calibration method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
本発明は、デプスカメラを用いてヒトの動作又は姿勢を計測するヒト計測システムの座標校正方法に関する。 The present invention relates to a coordinate calibration method for a human measurement system that measures a human motion or posture using a depth camera.
モーションキャプチャ（ｍｏｔｉｏｎ ｃａｐｔｕｒｅ）は、ヒトの動作をデジタルデータとしてコンピュータに取り込む技術であり、モーションキャプチャによりコンピュータに取り込まれたデータは、ヒトの動作の解析や、コンピュータグラフィックス（ＣＧ）アニメーションのキャラクターに、ヒトのような動きを与えるためなどに利用されている。
モーションキャプチャの技術は、当初は、マーカーが身体の各部に配されたスーツを着用し、ステレオカメラで撮影して各部のマーカーの３次元座標を記録する方法等が主流であり、マーカー及び複数のカメラを利用したものが広く使われてきたが、近年においては、マーカーを利用しないマーカレスのキャプチャ技術や、複数のカメラを使用せずにヒトの骨格点の３次元座標を取得できる技術も開発されている。
Motion capture is a technology that captures human motions as digital data into a computer. Data captured by motion capture can be used as a human motion analysis or computer graphics (CG) animation character. It is used to give human-like movements.
The technology of motion capture is mainly to wear a suit in which markers are placed on each part of the body, record with a stereo camera, and record the three-dimensional coordinates of the markers in each part. Cameras have been widely used, but in recent years, markerless capture technology that does not use markers and technology that can acquire 3D coordinates of human skeleton points without using multiple cameras have been developed. ing.
例えば、米国マイクロソフトから２０１２年に発売された「Ｋｉｎｅｃｔ ｆｏｒ Ｗｉｎｄｏｗｓ」（以下、キネクトＶ１ともいう）は、赤外線プロジェクターと赤外線カメラとを備え、赤外線プロジェクターにより投光された赤外線パターンを赤外線カメラで読み取り、そのパターンのゆがみから各部までの距離情報を得ることができ、更にその距離情報に基づき、ヒトの輪郭を認識したり、ヒトの複数の部位点の位置を把握することができる。 For example, “Kinect for Windows” (hereinafter also referred to as “Kinect V1”) released in 2012 by Microsoft in the United States includes an infrared projector and an infrared camera, reads an infrared pattern projected by the infrared projector with an infrared camera, The distance information from the distortion of the pattern to each part can be obtained, and further, based on the distance information, the outline of the person can be recognized and the positions of a plurality of part points of the person can be grasped.
本発明者らは、前述したキネクトＶ１や他のデプスカメラ（距離カメラ）を用いた計測システムにより、ヒトの動作又は姿勢の解析を行うことを検討したところ、デプスカメラを設置する際のカメラの向きの精度が、後の解析の難易に大きく影響することを知見した。
斯かる問題を解消するには、デプスカメラにより距離の情報を取得する３次元空間内に、基準となる棒や板等を正確に鉛直方向又は水平方向に延在するように配置し、それを基準にして座標系を校正する方法が考えられるが、校正の基準とする棒や板等の基準物体を正確に鉛直又は水平をとって配置し撮像するには手間が掛かる。
特許文献１には、平面板に対して複数の半球が配置されるキャリブレーションパターンを、複数の距離カメラで撮像することにより、画像の統合等に必要なカメラパラメータを推定するキャリブレーションを行う、キャリブレーション及びキャリブレーション装置が記載されている。また、特許文献２には、一つの移動可能な球体を用いて、複数のカメラのキャリブレーションを行う、キャリブレーション及びキャリブレーション装置が記載されている。
しかし、特許文献１及び２に記載の方法は、何れも異なる方向から撮像する複数の距離カメラを前提とする技術であり、また特許文献１においては、キャリブレーションパターン、特許文献２においては、移動可能な球体の設置に手間が掛かる。
The inventors of the present invention have studied the analysis of human motion or posture by the measurement system using the above-described Kinect V1 or another depth camera (distance camera). It was found that the accuracy of the orientation greatly affects the difficulty of later analysis.
In order to solve such a problem, in a three-dimensional space where distance information is acquired by a depth camera, a reference bar or plate is arranged so as to extend accurately in the vertical direction or the horizontal direction. Although a method of calibrating the coordinate system based on the reference can be considered, it takes time and effort to accurately place a reference object such as a bar or plate as a reference for calibration in a vertical or horizontal position.
In Patent Document 1, a calibration pattern in which a plurality of hemispheres are arranged on a plane plate is captured by a plurality of distance cameras, thereby performing calibration for estimating camera parameters necessary for image integration and the like. A calibration and calibration apparatus is described. Patent Document 2 describes a calibration and calibration apparatus that performs calibration of a plurality of cameras using one movable sphere.
However, the methods described in Patent Documents 1 and 2 are technologies based on the premise of a plurality of distance cameras that capture images from different directions. In Patent Document 1, a calibration pattern is used. In Patent Document 2, movement is performed. It takes time to install a possible sphere.
従って、本発明は、ヒト計測システムの座標の簡便な校正方法に関する。 Accordingly, the present invention relates to a simple calibration method for coordinates of a human measurement system.
本発明は、デプスカメラを用いてヒトの動作又は姿勢を計測するヒト計測システムの座標校正方法であって、前記デプスカメラにより得られる距離画像の座標系を、該距離画像に含まれる屋内平面部のデータに基づき、実験室座標系に校正する、ヒト計測システムの座標校正方法を提供するものである（以下、この発明を第１発明ともいう）。 The present invention relates to a coordinate calibration method for a human measurement system that measures a human motion or posture using a depth camera, and a coordinate system of a distance image obtained by the depth camera is an indoor plane portion included in the distance image. Based on this data, a coordinate calibration method for a human measurement system is provided that calibrates to a laboratory coordinate system (hereinafter, the present invention is also referred to as a first invention).
また、本発明は、デプスカメラを用いてヒトの動作又は姿勢を計測するヒト計測システムの座標校正方法であって、デプスカメラにより距離の計測が可能な計測空間内でヒトの動作又は姿勢を撮像するステップと、前記計測空間内に実験室座標系上の座標が既知のオブジェを配置し、該オブジェをデプスカメラで撮像するステップと、オブジェを撮像した距離画像を用いて、ヒトの動作又は姿勢を撮像した距離画像の座標系を実験室座標系に校正するステップを有する、ヒト計測システムの座標校正方法を提供するものである（以下、この発明を第２発明ともいう）。 The present invention also relates to a coordinate calibration method for a human measurement system that measures a human motion or posture using a depth camera, and images the human motion or posture in a measurement space in which a distance can be measured by the depth camera. A step of arranging an object whose coordinates on the laboratory coordinate system are known in the measurement space, imaging the object with a depth camera, and using a distance image obtained by imaging the object, a human motion or posture The present invention provides a coordinate calibration method for a human measurement system, which includes a step of calibrating a coordinate system of a distance image obtained by imaging the image to a laboratory coordinate system (hereinafter, the present invention is also referred to as a second invention).
また本発明は、デプスカメラを用いてヒトの動作又は姿勢を計測するヒト計測システムの座標校正方法であって、請求項１〜４の何れか１項に記載の計測システムの座標校正方法における校正と、請求項５又は６に記載の計測システムの座標校正方法における校正と両者を行う、ヒト計測システムの座標校正方法を提供するものである。 Further, the present invention is a coordinate calibration method for a human measurement system that measures a human motion or posture using a depth camera, and the calibration in the coordinate calibration method for a measurement system according to any one of claims 1 to 4. Further, the present invention provides a coordinate calibration method for a human measurement system that performs both calibration and the calibration in the coordinate calibration method for a measurement system according to claim 5 or 6.
本発明のヒト計測システムの座標校正方法によれば、デプスカメラにより得られる距離画像の座標系を簡便に実験室座標系に校正でき、ヒトの動作や姿勢の計測結果に基づく動作や姿勢の解析を精度よく行うことができる。また、デプスカメラの設置時に高い精度が必要なくなり、設置の向き等の自由度が高まる。また、デプスカメラやそれを設置するための支持体等に高い堅牢性が要求されなくなり、ヒトの動作や姿勢の計測に必要なコストや労力が軽減される。 According to the coordinate calibration method of the human measurement system of the present invention, the coordinate system of the distance image obtained by the depth camera can be easily calibrated to the laboratory coordinate system, and the motion and posture analysis based on the measurement result of the human motion and posture. Can be performed with high accuracy. Moreover, high accuracy is not required when installing the depth camera, and the degree of freedom of the installation direction and the like is increased. In addition, high robustness is not required for the depth camera and the support for installing the depth camera, and the cost and labor necessary for measuring human movement and posture are reduced.
以下本発明を、その好ましい実施形態に基づき図面を参照しながら説明する。
本発明に用いるデプスカメラとは、３次元空間をカメラで撮像することにより、該３次元空間内の多数の点までの距離の情報を取得可能なものであり、好ましくは、多数の点までの距離の情報を距離画像として得られるものである。このようなデプスカメラとしては、前述したキネクトＶ１や、キネクトＶ１の後継機種として米国マイクロソフトから２０１４年に発売された「Ｋｉｎｅｃｔ ｆｏｒ Ｗｉｎｄｏｗｓ」（以下、キネクトＶ２ともいう）等を好ましく用いることができる。キネクトＶ２は、デプスカメラに、投光した赤外線が反射して戻ってくる時間から距離情報を得る「Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ」という方式が採用されている。なお、距離カメラによってヒトの身体の形状を抽出し、骨格を予測し、骨格点の３次元座標（以下３Ｄ座標ともいう）を取得することは一般的技術であり、そのため、本発明は、キネクトＶ１，２を用いることなく、他のデプスカメラを用いても実施可能である。以下、キネクトＶ１，Ｖ２を包括してキネクトともいう。
The present invention will be described below based on preferred embodiments with reference to the drawings.
The depth camera used in the present invention is a camera capable of acquiring information on distances to a large number of points in the three-dimensional space by imaging the three-dimensional space with the camera. The distance information can be obtained as a distance image. As such a depth camera, the above-mentioned Kinect V1 or “Kinect for Windows” (hereinafter also referred to as Kinect V2) released from Microsoft in the US as a successor model of Kinect V1 in 2014 can be preferably used. Kinect V2 employs a method called “Time of Flight” that obtains distance information from the time when the projected infrared light is reflected back to the depth camera. Note that it is a common technique to extract the shape of a human body with a distance camera, predict the skeleton, and acquire the three-dimensional coordinates (hereinafter also referred to as 3D coordinates) of the skeletal points. The present invention can also be implemented using other depth cameras without using V1 and V2. Hereinafter, Kinects V1 and V2 are collectively referred to as Kinect.
本発明は、デプスカメラを用いてヒトの動作又は姿勢を計測するヒト計測システムの座標校正方法である。ヒトの動作としては、ヒトが歩く動作（歩行動作）、走る動作、立ち上がる動作、座る動作、飛び跳ねる動作、うなずく動作、踊りや体操の中に含まれる各種の動作（足や手を挙げたり降ろしたりする動作）、道具の利用（例えば、化粧道具による化粧動作や箒などを用いた清掃動作）等の多様な動作が挙げられる。動作の計測の例としては、歩行中の歩幅や歩行速度、歩行その他の動作中における身体の各部（例えば骨格点等）の位置変化（最大変位や速度、加速度など）、およびそれら各部の距離や角度の計測等が含まれる。姿勢の計測の例としては、立位又は座位におけるヒトの各部（例えば骨格点等）の位置やその変化の計測、および各部の距離や角度の計測等が含まれる。
姿勢の計測のためのデプスカメラの撮像は、静止画の撮像であっても良い。
The present invention is a coordinate calibration method for a human measurement system that measures a human motion or posture using a depth camera. Human movements include human walking (walking), running, standing up, sitting, jumping, nodding, and various actions included in dance and gymnastics (lifting and dropping feet and hands, etc.) Various operations such as using a tool (for example, a makeup operation using a makeup tool or a cleaning operation using a wrinkle). Examples of movement measurement include stride length and walking speed during walking, position changes (such as skeletal points) of body parts during walking and other movements (maximum displacement, speed, acceleration, etc.), distances between these parts, Angle measurement etc. are included. Examples of posture measurement include measurement of the position of each human part (for example, a skeletal point) in a standing or sitting position and changes thereof, and measurement of the distance and angle of each part.
The imaging of the depth camera for the posture measurement may be a still image.
本発明（第１発明）の好ましい実施態様においては、デプスカメラにより得られる距離画像の座標系を、該距離画像に含まれる屋内平面部のデータに基づき、実験室座標系に校正する。
図面を参照して、より具体的に説明すると、図１に示すように、キネクト等のデプスカメラ１を、必要に応じて三脚等の支持体２に支持させた状態で設置し、デプスカメラ１により、３次元空間Ｋの距離画像を得る。図１に示すハッチングを付した側面視台形状の３次元空間Ｋは、デプスカメラ１により各点までの距離を計測可能な空間であり、この３次元空間Ｋ内においてヒトの動作や姿勢を撮像することで、該ヒトを含む距離画像が得られ、該距離画像からヒトの骨格点の抽出が可能である。
In a preferred embodiment of the present invention (first invention), the coordinate system of the distance image obtained by the depth camera is calibrated to the laboratory coordinate system based on the data of the indoor plane portion included in the distance image.
More specifically, referring to the drawings, as shown in FIG. 1, a depth camera 1 such as a kinect is installed in a state of being supported by a support 2 such as a tripod as required, and the depth camera 1 Thus, a distance image of the three-dimensional space K is obtained. The hatched three-dimensional space K shown in FIG. 1 is a space in which the distance to each point can be measured by the depth camera 1, and human motions and postures are imaged in the three-dimensional space K. Thus, a distance image including the person is obtained, and a human skeleton point can be extracted from the distance image.
図２（ａ）に示す距離画像は、図１に示すように、デプスカメラ１の位置に対して、ヒト３が、当該３次元空間Ｋよりも遠方にいる状態で撮像して得られた距離画像であり、ヒト１は写っていないが、デプスカメラ１から、３次元空間Ｋ内に存する床面や壁上の各点までの距離が色彩の差として表われている。図２（ａ）中に、符号Ｐ１で示す黒色部分は、距離を計測可能な３次元空間Ｋ内におけるデプスカメラ１の近くに位置する床部分を示し、符号Ｐ２で示す黒色部分は、距離を計測可能な３次元空間Ｋより遠方に位置する部分を示している。図２（ｂ）は、デプスカメラ１と同方向に向けたカラーカメラ１により撮影したカラー画像を白黒の線図化して示す図である。キネクトは、デプスカメラ１とともにカラーカメラを備えている。 The distance image shown in FIG. 2A is a distance obtained by imaging the human 3 in a state far from the three-dimensional space K with respect to the position of the depth camera 1, as shown in FIG. Although it is an image and the person 1 is not shown, the distance from the depth camera 1 to each point on the floor or wall existing in the three-dimensional space K is expressed as a color difference. In FIG. 2A, the black portion indicated by reference numeral P1 indicates a floor portion located near the depth camera 1 in the three-dimensional space K where the distance can be measured, and the black portion indicated by reference numeral P2 indicates the distance. A portion located farther from the measurable three-dimensional space K is shown. FIG. 2B is a diagram showing a color image captured by the color camera 1 oriented in the same direction as the depth camera 1 in a black and white diagram. Kinect is equipped with a depth camera 1 and a color camera.
デプスカメラ１により得られる距離画像は、ロール軸（ｘ軸）、ピッチ軸（ｙ軸）及びヨー軸（ｚ軸）からなる３次元座標系（以下、この「カメラ座標系」ともいう）を有している。このカメラ座標系は、デプスカメラが正対する向きがロール軸、デプスカメラの水平軸がピッチ軸、デプスカメラの鉛直軸がヨー軸となる座標系である。 The distance image obtained by the depth camera 1 has a three-dimensional coordinate system (hereinafter also referred to as “camera coordinate system”) including a roll axis (x axis), a pitch axis (y axis), and a yaw axis (z axis). doing. This camera coordinate system is a coordinate system in which the direction in which the depth camera faces is the roll axis, the horizontal axis of the depth camera is the pitch axis, and the vertical axis of the depth camera is the yaw axis.
また上記のカメラ座標系は、設置したキネクト等のデプスカメラ１の位置を原点として、デプスカメラ１の向きによって規定されるものである。そのため、デプスカメラ１を設置する際に、カメラ座標系と実験室座標系とは一致しない場合が多い。そのため、本発明（第１発明）においては、デプスカメラ１により得られる距離画像に含まれる屋内平面部のデータに基づき、カメラ座標系と実験室座標系とが一致するように校正を行う。
屋内平面部の「屋内」とは、建物内の空間であり、実験室や、工場や研究所内の部屋、体育館、デパートやスーパーマーケット等の商業施設や店舗内の空間内等が含まれる。屋内の平面部は、そのような屋内の床、天井、壁、扉、窓等であり、屋内の床、天井又は壁であることが好ましく、屋内の床であることが更に好ましい。屋内の床及び天井は、比較的正確に水平面とされており、屋内の壁は、比較的正確に鉛直と平行な面とされているため、これらを用いて座標系を校正することで、簡便に座標系を実験室座標系に校正でき、ヒトの動作や姿勢を計測や分析を容易とすることができる。
The camera coordinate system is defined by the orientation of the depth camera 1 with the position of the installed depth camera 1 such as a kinect as the origin. Therefore, when the depth camera 1 is installed, the camera coordinate system and the laboratory coordinate system often do not match. Therefore, in the present invention (first invention), calibration is performed so that the camera coordinate system and the laboratory coordinate system coincide with each other based on the indoor plane data included in the distance image obtained by the depth camera 1.
The “indoor” in the indoor plane portion is a space in a building and includes a laboratory, a room in a factory or laboratory, a gymnasium, a commercial facility such as a department store or a supermarket, or a space in a store. The indoor flat portion is such an indoor floor, ceiling, wall, door, window or the like, preferably an indoor floor, ceiling or wall, and more preferably an indoor floor. Indoor floors and ceilings are relatively accurately leveled, and indoor walls are relatively accurately parallel to the vertical plane, so it is convenient to calibrate the coordinate system using them. In addition, the coordinate system can be calibrated to the laboratory coordinate system, and human movement and posture can be easily measured and analyzed.
ここで、「実験室座標系」とは、実験室の鉛直軸に平行となる様にヨー軸（Ｚ軸）、実験室の水平面内に平行となる様に、ロール軸（Ｘ軸）及びピッチ軸（Ｙ軸）を定めた座標系であり、当然ながら、ヒトの動作や姿勢を計測や分析する場所を、特定の実験室に限定するものはない。例えば、ヒトの動作や姿勢を計測や分析する場所は、研究施設や学校の実験室等の狭義の実験室の他、工場や研究所内の部屋、体育館、デパートやスーパーマーケット等の商業施設、店舗等の空間であっても良い。
また実験室座標系の２軸、ロール軸、ヨー軸は、歩行路と平行な壁面に対してそれぞれ平行になることが、実験室座標系上の座標に基づく分析が容易となる観点から、より好ましい。
Here, the “laboratory coordinate system” means the yaw axis (Z axis) so as to be parallel to the vertical axis of the laboratory, the roll axis (X axis) and the pitch so as to be parallel to the horizontal plane of the laboratory. It is a coordinate system in which an axis (Y axis) is defined, and of course, there is nothing that limits a place where a human motion or posture is measured or analyzed to a specific laboratory. For example, human movements and postures are measured and analyzed in laboratories such as research facilities and school laboratories, as well as rooms in factories and laboratories, gymnasiums, commercial facilities such as department stores and supermarkets, stores, etc. It may be a space.
From the viewpoint of easy analysis based on coordinates on the laboratory coordinate system, the two axes of the laboratory coordinate system, the roll axis, and the yaw axis are parallel to the wall surface parallel to the walking path. preferable.
カメラ座標系を、屋内平面部のデータに基づき実験室座標系と一致させる方法としては、例えば、図２（ａ）に示すように、距離画像中の屋内平面部を示す一定領域Ｐ１内の３以上の点の３次元座標から該領域Ｐ１を含む平面の式（ｌｘ＋ｍｙ＋ｚ＝ｃ）を求めた後、該平面に垂直な法線ベクトルを求め、カメラ座標系の各軸（ｘ軸，ｙ軸，ｚ軸）を、その法線ベクトルの向きが、実験室座標系の高さ方向軸（ｚ’軸）と平行になるように合わせる方法が挙げられる。また、他の方法として、床面内の二つのベクトルを求め、それらのベクトルの外積から法線ベクトルを求める方法を用いることもできる。 As a method of matching the camera coordinate system with the laboratory coordinate system based on the data of the indoor plane portion, for example, as shown in FIG. 2A, 3 in the fixed region P1 indicating the indoor plane portion in the distance image is used. After obtaining the formula (lx + my + z = c) of the plane including the region P1 from the three-dimensional coordinates of the above points, a normal vector perpendicular to the plane is obtained, and each axis (x axis, y axis, (z axis) may be adjusted so that the direction of the normal vector is parallel to the height axis (z ′ axis) of the laboratory coordinate system. As another method, a method of obtaining two vectors in the floor and obtaining a normal vector from the outer product of these vectors can be used.
カメラ座標系を実験室座標系に校正する際には、カメラ座標系の実験室座標系への校正に伴い、距離画像から得られるカメラ座標系上のヒトの骨格点の座標も、実験室座標系上の骨格点の座標へと変換する。
本発明（第１発明）によれば、このようにしてカメラ座標系を実験室座標系に校正することにより、デプスカメラ１を設置する際に向きを正確に水平や鉛直に合わせなくても、実験室座標系上の静止した骨格点の座標又は経時的に変化する骨格点の座標等として、ヒトの姿勢や動作を計測することができ、その計測や分析が容易となる。例えば、カメラ座標系で、骨格点の変位を視たときには、水平面に対する変位が不明となるが、実験室座標系で、骨格点の変位を視たときには、水平面に対する変位が判別可能となる。
When calibrating the camera coordinate system to the laboratory coordinate system, along with the calibration of the camera coordinate system to the laboratory coordinate system, the coordinates of the human skeleton point on the camera coordinate system obtained from the distance image are also the laboratory coordinates. Convert to the coordinates of the skeleton point on the system.
According to the present invention (the first invention), by calibrating the camera coordinate system to the laboratory coordinate system in this way, when the depth camera 1 is installed, it is not necessary to accurately align the direction horizontally or vertically. The posture and motion of a human can be measured as the coordinates of a stationary skeletal point on the laboratory coordinate system or the coordinates of a skeletal point that changes over time, and the measurement and analysis are facilitated. For example, when the displacement of the skeleton point is viewed in the camera coordinate system, the displacement relative to the horizontal plane is unknown, but when the displacement of the skeleton point is viewed in the laboratory coordinate system, the displacement relative to the horizontal plane can be determined.
上述したカメラ座標系から実験室座標系への校正は、デプスカメラ１に接続したコンピュータ４により行うことができる。コンピュータ４は、公知のコンピュータと同様に、ＣＰＵ等からなる中央演算部、ＲＡＭ，ＳＳＤ，ＨＤＤ等の記憶装置、液晶モニタ等の表示装置、マウスやキーボード等の入力装置を備えている。デプスカメラ１として、キネクトを用いた場合、マイクロソフト社が提供するｗｉｎｄｏｗｓ（登録商標）をＯＳ（オペレーションシステム）として動作するソフトウエアにより、該キネクトから距離画像の取得が可能であり、またその距離画像に基づくヒトの骨格点を抽出も可能である。また、マイクロソフト社から、キネクト用のソフトウエアの開発ツールとして、Ｋｉｎｅｃｔ ｆｏｒ ｗｉｎｄｏｗｓ ＳＤＫが提供されており、そのソフトを使用することにより容易に、キネクトにより得た距離画像や該距離画像から得られたヒトの骨格点の座標の経時変化を記憶装置に記録することができ、またそれを動画として再生することができる。さらに、ヒトの骨格点の座標の経時変化を示す動画の座標軸を総て実験室座標系へと変換するプログラムを入力し、実行することができる。 Calibration from the camera coordinate system to the laboratory coordinate system described above can be performed by the computer 4 connected to the depth camera 1. The computer 4 includes a central processing unit including a CPU and the like, a storage device such as a RAM, an SSD, and an HDD, a display device such as a liquid crystal monitor, and an input device such as a mouse and a keyboard, as in a known computer. When Kinect is used as the depth camera 1, a distance image can be obtained from the Kinect using software that operates Windows (registered trademark) provided by Microsoft as an OS (operation system). It is also possible to extract human skeleton points based on. In addition, Microsoft has provided Kinect for Windows SDK as a software development tool for Kinect. By using the software, it was easy to use the distance image obtained by Kinect and obtained from the distance image. Changes in the coordinates of human skeleton points over time can be recorded in a storage device, and can be reproduced as moving images. Furthermore, it is possible to input and execute a program for converting all the coordinate axes of a moving image showing the time-dependent changes in the coordinates of human skeleton points into a laboratory coordinate system.
本発明（第２発明）の好ましい実施態様は、本発明の第１発明と同様に、デプスカメラを用いてヒトの動作又は姿勢を計測するヒト計測システムの座標校正方法であるが、デプスカメラにより距離の計測が可能な３次元空間内でヒトの動作又は姿勢を撮像するステップ（以下、第１ステップともいう）と、その３次元空間内に実験室座標系上の座標が既知のオブジェを配置し、該オブジェをデプスカメラで撮像するステップ（以下、第２ステップともいう）と、オブジェを撮像した距離画像を用いて、ヒトの動作又は姿勢を撮像した距離画像の座標系を実験室座標系に校正するステップ（以下、第３ステップともいう）とを有する。 A preferred embodiment of the present invention (second invention) is a coordinate measurement method of a human measurement system that measures a human motion or posture using a depth camera, similar to the first invention of the present invention. A step of imaging a human motion or posture in a three-dimensional space in which distance can be measured (hereinafter also referred to as a first step), and an object whose coordinates on the laboratory coordinate system are known in the three-dimensional space Then, a step of imaging the object with a depth camera (hereinafter also referred to as a second step), and a distance image obtained by imaging the object using a distance image obtained by imaging the object, a coordinate system of the distance image obtained by imaging a human motion or posture And a step of calibrating (hereinafter also referred to as a third step).
第１ステップにおいては、例えば、キネクトＶ１等のデプスカメラを用いて、図１に示す３次元空間Ｋ内において、歩行（動作）するヒトを撮像し、動作に伴い変化する距離画像及び該距離画像に基づくヒトの骨格点の変化を記録する。
第２ステップは、第１ステップの前若しくは後又は第１ステップと同時に行う。第２ステップは、第１ステップ１回に対して１回行っても良いが、第２ステップ１回に対して第１ステップを複数回、例えば２回以上５０回以下行っても良い。
オブジェ６は、実験室座標の少なくともロール軸およびピッチ軸の座標が既知である必要があるが、全軸の座標が既知であっても良い。オブジェ６は、デプスカメラからの距離を計測可能な空間であればどこでも良いが、図７に示すように、ヒトの歩行路５の中心線５１上に配置することが好ましい。その場合、図７に示すようにオブジェが球体や円筒であると、中心や中心線の座標を外表面の複数の点の座標から算出可能であるため好ましい。
In the first step, for example, using a depth camera such as Kinect V1, a person walking (moving) is imaged in the three-dimensional space K shown in FIG. Record changes in human skeletal points based on.
The second step is performed before or after the first step or simultaneously with the first step. The second step may be performed once for each first step, but the first step may be performed a plurality of times, for example, 2 times or more and 50 times or less for one second step.
The object 6 needs to know at least the roll axis and pitch axis coordinates of the laboratory coordinates, but the coordinates of all axes may be known. The object 6 may be anywhere as long as the distance from the depth camera can be measured. However, it is preferable to place the object 6 on the center line 51 of the human walking path 5 as shown in FIG. In that case, it is preferable that the object is a sphere or cylinder as shown in FIG. 7 because the coordinates of the center and the center line can be calculated from the coordinates of a plurality of points on the outer surface.
第３ステップにおいては、デプスカメラ１の配置位置を原点とした場合は、該原点とオブジェ６の中心や中心線とを結ぶ線分を、ヨー軸（ｚ軸）回りに回転させて、実験室座標系における奥行き方向の軸と重ねることにより、実験室座標系における奥行き方向の軸と歩行路の延在方向（中心線５１の延在方向と同じ）とが平行となり、歩行中のヒトが、デプスカメラ１をほぼ正対することになる。歩行中のヒトをデプスカメラ１と正対させることで、歩行中におけるヒトの各部の骨格点の変位が、より容易に把握することが可能となる。
第２ステップで使用するオブジェとしては、図１１（ａ）に示すように、棒状あるいは板状のオブジェ６Ａを、歩行路５に対して直交する向きに配して、該オブジェ６Ａの両端部６ｅ，６ｅの座標から歩行路５の幅方向中心位置を算出させたり、図１１（ｂ）に示すように、歩行路５の両側に２つのオブジェ６Ｂ，６Ｂを配して、２つのオブジェ６Ｂ，６Ｂの座標から、歩行路５の幅方向中心位置を算出させたりすることもできる。
In the third step, when the arrangement position of the depth camera 1 is the origin, the line segment connecting the origin and the center or center line of the object 6 is rotated around the yaw axis (z axis), and the laboratory By overlapping with the axis in the depth direction in the coordinate system, the axis in the depth direction in the laboratory coordinate system and the extending direction of the walking path (same as the extending direction of the center line 51) are parallel, The depth camera 1 is almost directly facing. By making the human being walking directly face the depth camera 1, it is possible to more easily grasp the displacement of the skeletal point of each part of the human during walking.
As an object used in the second step, as shown in FIG. 11A, a rod-like or plate-like object 6A is arranged in a direction orthogonal to the walking path 5, and both end portions 6e of the object 6A are arranged. , 6e to calculate the center position in the width direction of the walking path 5, or, as shown in FIG. 11B, two objects 6B, 6B are arranged on both sides of the walking path 5, and the two objects 6B, The center position in the width direction of the walking path 5 can be calculated from the coordinates of 6B.
本発明（第２発明）によれば、このようにしてカメラ座標系を実験室座標系に校正することにより、デプスカメラ１を設置する際に向きを正確に歩行路の延在方向に合わせなくても、歩行路５の延在方向と実験室座標系上の奥行き方向の軸とを平行とすることができ、歩行路を歩行するヒトの骨格点等の変位の様子を、ヒトのほぼ正面から観測することができ、ヒトの動作の計測やその分析が容易となる。例えば、補正前の座標系では、歩行方向と歩行路の関係が不明であるが、補正後の座標では、歩行方向と歩行路の関係を判別できるようになる。上述したカメラ座標系から実験室座標系への校正は、第１発明の実施例と同様に、デプスカメラ１に接続したパーソナルコンピュータ４により行うことができ、その校正プログラムも、キネクト用のソフトの開発ツールであるＫｉｎｅｃｔ ｆｏｒ ｗｉｎｄｏｗｓ ＳＤＫを用いて作成することができる。 According to the present invention (second invention), the camera coordinate system is calibrated to the laboratory coordinate system in this way, so that the direction of the depth camera 1 is not accurately aligned with the extending direction of the walking path. However, the extension direction of the walking path 5 and the axis in the depth direction on the laboratory coordinate system can be made parallel, and the state of displacement of a human skeleton point or the like walking along the walking path This makes it easy to measure and analyze human movements. For example, in the coordinate system before correction, the relationship between the walking direction and the walking path is unknown, but in the corrected coordinates, the relationship between the walking direction and the walking path can be determined. The calibration from the camera coordinate system to the laboratory coordinate system described above can be performed by the personal computer 4 connected to the depth camera 1 as in the first embodiment of the present invention. It can be created using Kinect for Windows SDK, which is a development tool.
上述した実施形態に関し、本発明は更に以下のヒト計測システムの座標校正方法を開示する。
＜１＞
デプスカメラを用いてヒトの動作又は姿勢を計測するヒト計測システムの座標校正方法であって、
前記デプスカメラにより得られる距離画像の座標系を、該距離画像に含まれる屋内平面部のデータに基づき、実験室座標系に校正する、ヒト計測システムの座標校正方法。
＜２＞
前記距離画像の座標系及び前記距離画像から得られる該座標系上のヒトの骨格点の座標を、前記屋内平面部のデータに基づき、実験室座標系及び該実験室座標系上の骨格点の座標に変換する、前記＜１＞に記載のヒト計測システムの座標校正方法。
＜３＞
前記実験室座標系の２軸は水平面と平行である、前記＜１＞又は＜２＞に記載のヒト計測システムの座標校正方法。
＜４＞
前記屋内平面部が、建物の部屋内の床、天井又は壁である前記＜１＞〜＜３＞の何れか１に記載のヒト計測システムの座標校正方法。
＜５＞
デプスカメラを用いてヒトの動作又は姿勢を計測するヒト計測システムの座標校正方法であって、
前記デプスカメラにより距離の計測が可能な３次元空間内でヒトの動作又は姿勢を撮像するステップと、
前記３次元空間内に、実験室座標の少なくともロール軸およびピッチ軸の座標が既知であるオブジェを配置し、該オブジェを前記デプスカメラで撮像するステップと、
オブジェを撮像した距離画像を用いて、ヒトの動作又は姿勢を撮像した距離画像の座標系を実験室座標系に校正するステップとを有する、ヒト計測システムの座標校正方法。
＜６＞
前記ヒトの動作又は姿勢を撮像した距離画像の座標系を、その奥行方向が、前記実験室座標系におけるヒトの正面又はその延在方向と平行となるように校正する、前記＜５＞に記載のヒト計測システムの座標校正方法。
＜７＞
前記ヒトの動作又は姿勢を撮像した距離画像の座標系を、その奥行方向が、前記実験室座標系におけるヒトの正面又はその延在方向と一致するように校正する、前記＜６＞に記載のヒト計測システムの座標校正方法。
＜８＞
オブジェをヒトの正面又はその延在方向と平行に配置する前記＜５＞〜＜７＞の何れか１に記載のヒト計測システムの座標校正方法。
＜９＞
オブジェをヒトの正面又はその延在方向と一致するように配置する前記＜５＞〜＜７＞の何れか１に記載のヒト計測システムの座標校正方法。
＜１０＞
デプスカメラを用いてヒトの動作又は姿勢を計測するヒト計測システムの座標校正方法であって、
前記＜１＞〜＜４＞の何れか１に記載のヒト計測システムの座標校正方法における校正と、前記＜５＞〜＜９＞の何れか１に記載のヒト計測システムの座標校正方法における校正とを行う、ヒト計測システムの座標校正方法。
＜１１＞
デプスカメラがキネクトである前記＜１＞〜＜１０＞の何れか１に記載のヒト計測システムの座標校正方法。
＜１２＞
キネクトがキネクトＶ１又はキネクトＶ２である前記＜１１＞に記載のヒト計測システムの座標校正方法。
＜１３＞
ヒトの動作が歩行である、＜１＞〜＜１２＞の何れか１に記載のヒト計測システムの座標校正方法。
＜１４＞
前記＜１３＞に記載のヒト計測システムの座標校正方法を用いた、ヒト歩行特性解析方法。
In relation to the above-described embodiment, the present invention further discloses the following coordinate calibration method for a human measurement system.
<1>
A coordinate calibration method for a human measurement system that measures a human motion or posture using a depth camera,
A coordinate calibration method for a human measurement system, wherein a coordinate system of a distance image obtained by the depth camera is calibrated to a laboratory coordinate system based on indoor plane data included in the distance image.
<2>
Based on the data of the indoor plane portion, the coordinate system of the distance image and the coordinates of the human skeleton point on the coordinate system obtained from the distance image are the coordinates of the laboratory coordinate system and the skeleton point on the laboratory coordinate system. The coordinate calibration method of the human measurement system according to <1>, wherein the coordinate calibration method is converted into coordinates.
<3>
The coordinate measurement method for a human measurement system according to <1> or <2>, wherein the two axes of the laboratory coordinate system are parallel to a horizontal plane.
<4>
The coordinate calibration method for a human measurement system according to any one of <1> to <3>, wherein the indoor flat portion is a floor, a ceiling, or a wall in a room of a building.
<5>
A coordinate calibration method for a human measurement system that measures a human motion or posture using a depth camera,
Imaging a human movement or posture in a three-dimensional space in which distance measurement is possible with the depth camera;
Placing in the three-dimensional space an object whose coordinates of at least roll axis and pitch axis of laboratory coordinates are known, and imaging the object with the depth camera;
A coordinate calibration method for a human measurement system, comprising: using a distance image obtained by imaging an object to calibrate a coordinate system of a distance image obtained by imaging a human motion or posture to a laboratory coordinate system.
<6>
The coordinate system of the distance image obtained by imaging the human motion or posture is calibrated so that the depth direction thereof is parallel to the front of the human or the extending direction thereof in the laboratory coordinate system. Coordinate calibration method for human measurement system.
<7>
The coordinate system of the distance image obtained by imaging the human motion or posture is calibrated so that the depth direction thereof coincides with the front of the human in the laboratory coordinate system or the extending direction thereof, according to <6>. Coordinate calibration method for human measurement system.
<8>
The coordinate calibration method for a human measurement system according to any one of the above <5> to <7>, wherein the object is arranged in parallel with the front of the human or the extending direction thereof.
<9>
The coordinate calibration method for a human measurement system according to any one of <5> to <7>, wherein the object is arranged so as to coincide with the front of the human or the extending direction thereof.
<10>
A coordinate calibration method for a human measurement system that measures a human motion or posture using a depth camera,
Calibration in the coordinate calibration method of the human measurement system according to any one of <1> to <4> and calibration in the coordinate calibration method of the human measurement system according to any one of <5> to <9> The coordinate calibration method of the human measurement system.
<11>
The coordinate calibration method for a human measurement system according to any one of <1> to <10>, wherein the depth camera is a kinect.
<12>
The coordinate calibration method for a human measurement system according to <11>, wherein the kinetic is kinetic V1 or kinetic V2.
<13>
The coordinate calibration method for a human measurement system according to any one of <1> to <12>, wherein the human motion is walking.
<14>
A human gait characteristic analysis method using the coordinate calibration method of the human measurement system according to <13>.
以下、本発明を実施例を用いて更に詳細に説明する。本発明は、以下の実施例により何ら制限されるものではない。
〔実施例１，水平の確保〕
図３に示すように、デプスカメラ１及びコンピュータ４を用いて、ヒトの歩行解析用のヒト計測システムを構成した。このヒト計測システムは、ヒトの動作としてヒトの歩行を計測し、その計測結果に基づき歩行の解析を可能とするものである。デプスカメラ１としては前述したキネクトＶ１を用いた。コンピュータ４は、ＯＳ（オペレーションシステム）としてマイクロソフト社のＷｉｎｄｏｗｓ（登録商標）を搭載しており、動作記録プログラムを作成して該ＯＳ上で動作させた。動作記録プログラムは、Ｋｉｎｅｃｔ ｆｏｒ Ｗｉｎｄｏｗｓ ＳＤＫ １．７（２０１３年３月発表）のバージョンで作成した。動作記録プログラムにより、キネクトＶ１により得られる距離画像及び歩行中のヒトの骨格点の座標の経時変化を記録した。
なお、図３には、単一のキネクトを用いた例を示すが同様の操作に複数のキネクトを用いても構わない。例えば、ヒト３の背中側にもキネクトを設置したり、ヒト３の側方（進行方向に対して左右方向の一方又は両方）にもカメラを配置したり、観察の死角となり得る箇所にキネクトを複数設置しても構わない。
Hereinafter, the present invention will be described in more detail with reference to examples. The present invention is not limited in any way by the following examples.
[Example 1, ensuring horizontality]
As shown in FIG. 3, a human measurement system for human gait analysis was configured using a depth camera 1 and a computer 4. This human measurement system measures human gait as a human motion, and enables analysis of gait based on the measurement result. As the depth camera 1, the kinetic V1 described above was used. The computer 4 is loaded with Microsoft Windows (registered trademark) as an OS (operation system), and an operation recording program is created and operated on the OS. The operation recording program was created with a version of Kinect for Windows SDK 1.7 (announced in March 2013). With the motion recording program, the distance image obtained by Kinect V1 and the time-dependent changes in the coordinates of the human skeleton point during walking were recorded.
Although FIG. 3 shows an example in which a single kinetic is used, a plurality of kinetics may be used for the same operation. For example, a kinect is placed on the back side of the human 3, a camera is placed on the side of the human 3 (one or both of the left and right directions with respect to the traveling direction), and a kinect is placed at a position that can be a blind spot for observation. You may install more than one.
図３に示すように、歩行路の中心線の延長線上に、デプスカメラ１としてキネクトＶ１を設置し、被験者に、デプスカメラ１に向かって約５ｍの歩行路を自由に歩行してもらい、歩行中におけるヒトの骨格点の変動を記録した。
デプスカメラ１を設置する際には、デプスカメラ１のロール角（ｙｚ平面の角度）、ピッチ角（ｘｚ平面の角度）、ヨー角（ｘｙ平面の角度）は任意に設置した。
後述する第２発明の実施例で正対（ヨー角）の確保のために、デプスカメラ１は歩行路の中心線の延長線上に設置してある。ただし、歩行路の中心線からの距離がわかっていれば必ずしも中心である必要はない。
デプスカメラ１によって測定される結果の座標系は、デプスカメラ１を原点としてカメラの向きによって規定され、一般に実験室座標系と一致はしない。そのため、座標の校正を行った。
As shown in FIG. 3, Kinect V1 is installed as a depth camera 1 on the extended line of the center line of the walking path, and the subject freely walks on the walking path of about 5 m toward the depth camera 1 to walk. Changes in human skeletal points were recorded.
When installing the depth camera 1, the roll angle (angle of the yz plane), the pitch angle (angle of the xz plane), and the yaw angle (angle of the xy plane) of the depth camera 1 were arbitrarily set.
The depth camera 1 is installed on an extension line of the center line of the walking path in order to ensure the correct facing (yaw angle) in an embodiment of the second invention described later. However, if the distance from the center line of the walking path is known, the center is not necessarily required.
The resulting coordinate system measured by the depth camera 1 is defined by the orientation of the camera with the depth camera 1 as the origin, and generally does not match the laboratory coordinate system. Therefore, the coordinates were calibrated.
得られた距離画像（デプス画像）を図２（ａ）に示す。歩行計測や姿勢計測を行う際には、通常、床面が存在するため、座標の校正に用いる屋内平面部としては床面を利用した。具体的には、図２（ａ）に示した破線領域の３Ｄ座標（図４も参照）を床面の式の算出に利用して、床面の式（ｌｘ＋ｍｙ＋ｚ＝ｃ）を得た。床面の式の取得には、最小二乗法を利用した。得られた床面の式、０．０１３＊ｘ＋０．０６７＊ｙ＋ｚ＝０．８６１から、該床面の法線ベクトルｎ＝（−０．０１２，−０．０６７，０．９９８）を得た。床の鉛直が精度よく出ていると仮定すると、ｙｚ平面で傾き、ロール角３．８°、ｘｚ平面で傾き、ピッチ角０．７°傾きを有していることが求められる。
そして、床面が平らになるように、これらの傾きを座標変換によってそれぞれ補正することで、図５に示すように床面が水平となるように座標系の補正が可能である。このように座標系を補正することで、歩行の測定を精度よく行うことができる。例えば、デプスカメラ１としてのキネクトＶ１で得た距離画像から得られた歩行中の骨格点の軌跡の一例を図６（ａ）に示す。図６（ａ）に示す補正前の座標系上の骨格点の変位を視ると、ヒトが徐々に降下しまっているように見えるが、図６（ｂ）に示す補正後の座標系上の骨格点の変位を視るとヒトが床面に対して平行に歩行しているようになり、補正が機能していることが分かる。このことから、このように補正を施すことで、歩行速度、歩幅、歩行周期といった、歩行のパラメータや体の傾きといった姿勢のパラメータを精度よく測定することができるようになる。
The obtained distance image (depth image) is shown in FIG. When performing walking measurement and posture measurement, since the floor surface is usually present, the floor surface is used as the indoor flat portion used for coordinate calibration. Specifically, the 3D coordinates (see also FIG. 4) of the broken line region shown in FIG. 2A are used for the calculation of the floor surface formula to obtain the floor surface formula (lx + my + z = c). The least squares method was used to obtain the floor formula. The normal vector n = (− 0.012, −0.067, 0.998) of the floor surface was obtained from the obtained floor surface equation, 0.013 * x + 0.067 * y + z = 0.661. . Assuming that the vertical of the floor is accurate, it is required to have an inclination on the yz plane, a roll angle of 3.8 °, an inclination on the xz plane, and a pitch angle of 0.7 °.
Then, by correcting these inclinations by coordinate transformation so that the floor is flat, the coordinate system can be corrected so that the floor is horizontal as shown in FIG. By correcting the coordinate system in this way, walking can be measured with high accuracy. For example, FIG. 6A shows an example of the trajectory of the skeletal point during walking obtained from the distance image obtained by the kinetic V1 as the depth camera 1. Looking at the displacement of the skeleton point on the coordinate system before correction shown in FIG. 6A, it seems that the human is gradually descending, but on the coordinate system after correction shown in FIG. 6B. Looking at the displacement of the skeletal points, it can be seen that the human is walking parallel to the floor surface and that the correction is functioning. Therefore, by performing the correction in this way, posture parameters such as walking parameters such as walking speed, stride, and walking cycle, and posture parameters such as body tilt can be accurately measured.
〔実施例２，正対の確保〕
実施例１と同様に、歩行路の中心線の延長戦上に、デプスカメラ１としてキネクトＶ１を設置し、被験者に、デプスカメラ１に向かって約５ｍの歩行路を自由に歩行してもらい、前述した動作記録プログラムにより、キネクトＶ１により得られる距離画像及び歩行中のヒトの骨格点の座標の経時変化を記録した。
[Embodiment 2, ensuring the opposite]
As in Example 1, the kinetic V1 is installed as the depth camera 1 on the extended game of the center line of the walking path, and the subject is allowed to walk freely along the walking path of about 5 m toward the depth camera 1, With the action recording program described above, the distance image obtained by Kinect V1 and the time-dependent changes in the coordinates of the human skeleton point during walking were recorded.
次いで、図７に示すように、その歩行路におけるデプスカメラ１から離れた位置における中心位置に、ヨー角校正用のオブジェ６を設置し、デプスカメラ１で、オブジェ６を撮像して、図８（ａ）に示す距離画像を得た。オブジェ６としては、直径約１５ｃｍの球体を用い、水平な床面に対して鉛直に自立させた棒状支持体の先端に配置した。オブジェとしての球体６の中心座標を、図８（ａ）に示す距離画像（デプス像）の球体領域の座標に対して球の式〔（ｘ−ａ）2＋（ｙ−ｂ）2＋（ｚ−ｃ）2＝ｒ2〕を最小二乗法によってフィッティングさせることで得た〔図９（ａ）〕。フィッティングを行う前に、実施例１で説明した方法で、ロール角、ピッチ角の補正を行った。得られた球面の式〔（ｘ−（−０．４４７））2＋（ｙ−２．４８６）2＋（ｚ−０．１９１）2＝０．０６８2〕から、オブジェとしての球体の中心座標（−０．４４７，２．４８６，０．１９１）が得られる。カメラ座標系の座標原点であるデプスカメラ１が、歩行路５の中心線５１の延長線上にあるため、ｘｙ平面の傾き、ヨー角は１．０°として求められる。この傾きを座標変換によって補正することで、オブジェ６としての球体が、図９（ｂ）に示すように、デプスカメラ１に対して正対するようになる。
このように補正することで、歩行の測定を精度よく行うことができる。デプスカメラ１としてのキネクトＶ１で得た距離画像から得られた歩行中の頭部の骨格点の軌跡の一例を図１０に示す。図１０（ａ）に示す補正前の座標系上の骨格点の変位を視ると、ヒトが歩行路に対して斜めに歩いているように見えるが、図１０（ｂ）に示す補正後の座標系上の骨格点の変位を視ると、ヒトが床面に対しておよそ平行に歩行しているようになり、補正が機能していることが分かる。このように補正を施すことで、歩行速度、歩幅、歩行周期といった歩行のパラメータや体の傾きといった姿勢のパラメータを精度よく測定することができるようになる。
Next, as shown in FIG. 7, an object 6 for yaw angle calibration is installed at the center position at a position away from the depth camera 1 on the walking path, and the object 6 is imaged by the depth camera 1. The distance image shown in (a) was obtained. As the object 6, a sphere having a diameter of about 15 cm was used, and it was arranged at the tip of a rod-like support that was self-supported vertically with respect to a horizontal floor surface. The central coordinates of the sphere 6 as an object are expressed by the sphere equation [(x−a) 2 + (y−b) 2 + () with respect to the coordinates of the sphere region of the distance image (depth image) shown in FIG. z-c) 2 = r 2 ] was obtained by fitting by the least square method [FIG. 9 (a)]. Prior to fitting, the roll angle and pitch angle were corrected by the method described in the first embodiment. From the obtained spherical equation [(x − (− 0.447)) 2 + (y−2.486) 2 + (z−0.191) 2 = 0.068 2 ], the center of the sphere as an object The coordinates (−0.447, 2.486, 0.191) are obtained. Since the depth camera 1 which is the coordinate origin of the camera coordinate system is on the extension line of the center line 51 of the walking path 5, the inclination of the xy plane and the yaw angle are obtained as 1.0 °. By correcting this inclination by coordinate transformation, the sphere as the object 6 faces the depth camera 1 as shown in FIG. 9B.
By correcting in this way, walking can be measured with high accuracy. An example of the trajectory of the skeletal point of the head during walking obtained from the distance image obtained by the kinetic V1 as the depth camera 1 is shown in FIG. Looking at the displacement of the skeleton point on the coordinate system before correction shown in FIG. 10 (a), it seems that a human is walking diagonally with respect to the walking path, but after correction shown in FIG. 10 (b). Looking at the displacement of the skeletal points on the coordinate system, it can be seen that the human is walking approximately parallel to the floor surface and that the correction is functioning. By performing the correction in this way, it becomes possible to accurately measure walking parameters such as walking speed, step length, and walking cycle and posture parameters such as body tilt.
なお、実施例２では、オブジェ６を歩行路５の中心線５１上に設置したが、歩行路中の中心線からの距離が分かっていれば必ずしもオブジェ６を中心に設置する必要はない。またオブジェ６は１つで十分であるが、１つ以上設置してもよい。また、２つのオブジェを利用する場合は、デプスカメラの位置が未知でもよい。 In the second embodiment, the object 6 is installed on the center line 51 of the walking path 5. However, if the distance from the center line in the walking path is known, it is not always necessary to install the object 6 at the center. One object 6 is sufficient, but one or more objects 6 may be provided. Further, when two objects are used, the position of the depth camera may be unknown.
１ キネクト（デプスカメラ）
２ 支持体
３ ヒト
４ コンピュータ
５ 歩行路
６ オブジェ
Ｋ ３次元空間
1 Kinect (depth camera)
2 Support 3 Human 4 Computer 5 Walkway 6 Object K 3D Space
Claims (8)
前記デプスカメラにより得られる距離画像の座標系を、該距離画像に含まれる屋内平面部のデータに基づき、実験室座標系に校正する、ヒト計測システムの座標校正方法。 A coordinate calibration method for a human measurement system that measures a human motion or posture using a depth camera,
A coordinate calibration method for a human measurement system, wherein a coordinate system of a distance image obtained by the depth camera is calibrated to a laboratory coordinate system based on indoor plane data included in the distance image.
デプスカメラにより距離の計測が可能な３次元空間内でヒトの動作又は姿勢を撮像するステップと、
前記３次元空間内に実験室座標の少なくともロール軸およびピッチ軸の座標が既知であるオブジェを配置し、該オブジェをデプスカメラで撮像するステップと、
オブジェを撮像した距離画像を用いて、ヒトの動作又は姿勢を撮像した距離画像の座標系を実験室座標系に校正するステップとを有する、ヒト計測システムの座標校正方法。 A coordinate calibration method for a human measurement system that measures a human motion or posture using a depth camera,
Imaging a human motion or posture in a three-dimensional space capable of measuring distance by a depth camera;
Placing an object whose coordinates of at least the roll axis and the pitch axis of laboratory coordinates are known in the three-dimensional space, and imaging the object with a depth camera;
A coordinate calibration method for a human measurement system, comprising: using a distance image obtained by imaging an object to calibrate a coordinate system of a distance image obtained by imaging a human motion or posture to a laboratory coordinate system.
請求項１〜４の何れか１項に記載の計測システムの座標校正方法における校正と、請求項５〜７の何れか１項に記載の計測システムの座標校正方法における校正と両者を行う、ヒト計測システムの座標校正方法。 A coordinate calibration method for a human measurement system that measures a human motion or posture using a depth camera,
A human who performs both the calibration in the coordinate calibration method of the measurement system according to any one of claims 1 to 4 and the calibration in the coordinate calibration method of the measurement system according to any one of claims 5 to 7. Coordinate calibration method for measurement system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016002689A JP2017122690A (en) | 2016-01-08 | 2016-01-08 | Method for correcting coordinates of human being measuring system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016002689A JP2017122690A (en) | 2016-01-08 | 2016-01-08 | Method for correcting coordinates of human being measuring system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017122690A true JP2017122690A (en) | 2017-07-13 |
Family
ID=59306596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016002689A Pending JP2017122690A (en) | 2016-01-08 | 2016-01-08 | Method for correcting coordinates of human being measuring system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017122690A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108895964A (en) * | 2018-07-09 | 2018-11-27 | 南京农业大学 | A kind of high-throughput hothouse plants phenotype measuring system based on Kinect Auto-calibration |
| CN112075926A (en) * | 2020-10-14 | 2020-12-15 | 然道红宝儿(北京)健康科技有限公司 | Human body motion system and internal organ system measuring method and device based on infrared image |
| DE102022107223A1 (en) | 2021-04-06 | 2022-10-06 | Omron Corporation | SOIL SURFACE CONDITION DETECTION DEVICE, DISTANCE MEASURING DEVICE EQUIPPED WITH SOIL SURFACE CONDITION DETECTION METHOD AND SOIL SURFACE CONDITION DETECTION PROGRAM |
| DE102022107215A1 (en) | 2021-04-06 | 2022-10-06 | Omron Corporation | Output control device, this comprehensive distance measuring device, output control method and output control program |
-
2016
- 2016-01-08 JP JP2016002689A patent/JP2017122690A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108895964A (en) * | 2018-07-09 | 2018-11-27 | 南京农业大学 | A kind of high-throughput hothouse plants phenotype measuring system based on Kinect Auto-calibration |
| CN112075926A (en) * | 2020-10-14 | 2020-12-15 | 然道红宝儿(北京)健康科技有限公司 | Human body motion system and internal organ system measuring method and device based on infrared image |
| CN112075926B (en) * | 2020-10-14 | 2024-04-26 | 然道红宝儿(北京)健康科技有限公司 | Human body movement system and viscera system measurement method and device based on infrared image |
| DE102022107223A1 (en) | 2021-04-06 | 2022-10-06 | Omron Corporation | SOIL SURFACE CONDITION DETECTION DEVICE, DISTANCE MEASURING DEVICE EQUIPPED WITH SOIL SURFACE CONDITION DETECTION METHOD AND SOIL SURFACE CONDITION DETECTION PROGRAM |
| DE102022107215A1 (en) | 2021-04-06 | 2022-10-06 | Omron Corporation | Output control device, this comprehensive distance measuring device, output control method and output control program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Clark et al. | Three-dimensional cameras and skeleton pose tracking for physical function assessment: A review of uses, validity, current developments and Kinect alternatives | |
| Liu et al. | Tracking-based 3D human skeleton extraction from stereo video camera toward an on-site safety and ergonomic analysis | |
| Haggag et al. | Real time ergonomic assessment for assembly operations using kinect | |
| EP2718668B1 (en) | Sensor positioning for 3d scanning | |
| JP4136859B2 (en) | Position and orientation measurement method | |
| KR100871595B1 (en) | A system for measuring flying information of globe-shaped object using the high speed camera | |
| Puthenveetil et al. | Computer-automated ergonomic analysis based on motion capture and assembly simulation | |
| JP5187878B2 (en) | Object measurement system | |
| JP2017122690A (en) | Method for correcting coordinates of human being measuring system | |
| JP6897787B2 (en) | Posture recognition system, image correction program and image correction method | |
| JPWO2013111229A1 (en) | Camera calibration apparatus, camera calibration method, and camera calibration program | |
| JP2019041261A (en) | Image processing system and setting method of image processing system | |
| US20130179119A1 (en) | Data collection and point cloud generation system and method | |
| KR20140003265A (en) | Method for measuring movement angle of joint | |
| Chin et al. | Accuracy and reliability of optimum distance for high performance Kinect Sensor | |
| JP4205004B2 (en) | Calibration method | |
| KR20190022198A (en) | Method for calibrating posture of lower body using wearable sensors, and computer readable medium for performing the method | |
| Goffredo et al. | A markerless sub-pixel motion estimation technique to reconstruct kinematics and estimate the centre of mass in posturography | |
| Burbano et al. | 3D cameras benchmark for human tracking in hybrid distributed smart camera networks | |
| JP2005241323A (en) | Imaging system and calibration method | |
| TWI484138B (en) | Track laser scanning equipment and method | |
| D'Alfonso et al. | On the use of IMUs in the PnP Problem | |
| CN109813283A (en) | Three-dimensional camera and stereophotogrammetric survey method | |
| WO2018134866A1 (en) | Camera calibration device | |
| JP2014117409A (en) | Method and apparatus for measuring body joint position |