JP7147848B2 - Processing device, posture analysis system, processing method, and processing program - Google Patents
Processing device, posture analysis system, processing method, and processing program Download PDFInfo
- Publication number
- JP7147848B2 JP7147848B2 JP2020533388A JP2020533388A JP7147848B2 JP 7147848 B2 JP7147848 B2 JP 7147848B2 JP 2020533388 A JP2020533388 A JP 2020533388A JP 2020533388 A JP2020533388 A JP 2020533388A JP 7147848 B2 JP7147848 B2 JP 7147848B2
- Authority
- JP
- Japan
- Prior art keywords
- point cloud
- cloud data
- principal component
- unit
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Description
本発明は、処理装置、姿勢解析システム、処理方法、及び処理プログラムに関する。 The present invention relates to a processing device, a posture analysis system, a processing method, and a processing program.
物体を検出する技術として、例えば、下記の特許文献1に記載された技術があるが、物体を検出する技術は、物体の全部又は一部の形状あるいは姿勢を高精度に検出することが望まれている。
As a technique for detecting an object, for example, there is a technique described in
本発明の態様に従えば、物体上の各点の位置情報による第1点群データを主成分分析した第1主成分の方向を求める算出部と、第1点群データから第1主成分の方向に交差する領域内の点を抽出した第2点群データを生成する第1生成部と、第2点群データから、第1主成分の方向の複数の位置において特徴量をそれぞれ算出する特徴量算出部と、特徴量の第1主成分の方向の変化に基づいて、第1点群データの範囲を再設定する再設定部と、第2点群データにより物体の情報を生成する第2生成部と、を備え、算出部は、再設定部が再設定した第1点群データの範囲に含まれる第1点群データにより第1主成分の方向を求める、処理装置が提供される。
本発明の態様に従えば、物体上の各点の位置情報による第1点群データを主成分分析した第1主成分の方向を求める算出部と、第1点群データから第1主成分の方向に交差する領域内の点を抽出した第2点群データを生成する第1生成部と、第2点群データから特徴量を算出する特徴量算出部と、第2点群データにより物体の情報を生成する第2生成部と、を備え、特徴量算出部は、特徴量として第2点群データの最短経路を算出する、処理装置が提供される。
本発明の態様に従えば、物体上の各点の位置情報による第1点群データを主成分分析した第1主成分の方向を求める算出部と、第1点群データから第1主成分の方向に交差する領域内の点を抽出した第2点群データを生成する第1生成部と、第2点群データにより物体の情報を生成する第2生成部と、を備え、第2生成部は、物体の第1部位に関して設定される領域の第1主成分と、物体の第1部位と異なる第2部位に関して設定される領域の第1主成分とに基づいて、第1部位と第2部位との接続部分に関する情報を生成する、処理装置が提供される。
本発明の態様に従えば、物体上の各点の位置情報による第1点群データに基づく複数の因子から特徴因子を抽出し、特徴因子におけるベクトルの方向を求める算出部と、方向に交差する領域内の点を抽出した第2点群データを生成する第1生成部と、第2点群データにより物体の情報を生成する第2生成部と、を備え、算出部は、主成分分析によって特徴因子を抽出したベクトルの方向を求め、第2生成部は、物体の第1部位に関して設定される領域の特徴因子と、物体の第1部位と異なる第2部位に関して設定される領域の特徴因子とに基づいて、第1部位と第2部位との接続部分に関する情報を生成する、処理装置が提供される。
本発明の態様に従えば、物体上の各点の位置情報による第1点群データを主成分分析した第1主成分の方向を求める算出部と、第1点群データから第1主成分の方向に交差する領域内の点を抽出した第2点群データを生成する第1生成部と、第2点群データにより物体の情報を生成する第2生成部と、を備える処理装置が提供される。
According to the aspect of the present invention, a calculation unit for obtaining the direction of the first principal component by principal component analysis of the first point cloud data based on the position information of each point on the object; A first generating unit that generates second point cloud data by extracting points in a region that intersects with a direction; a quantity calculation unit; a resetting unit that resets the range of the first point cloud data based on a change in the direction of the first principal component of the feature quantity; a generation unit, wherein the calculation unit obtains the direction of the first principal component from the first point cloud data included in the range of the first point cloud data reset by the resetting unit.
According to the aspect of the present invention, a calculation unit for obtaining the direction of the first principal component by principal component analysis of the first point cloud data based on the position information of each point on the object; A first generation unit that generates second point cloud data by extracting points in an area that intersects with a direction; a feature amount calculation unit that calculates a feature amount from the second point cloud data; a second generation unit that generates information, and the feature amount calculation unit calculates the shortest path of the second point cloud data as the feature amount.
According to the aspect of the present invention, a calculation unit for obtaining the direction of the first principal component by principal component analysis of the first point cloud data based on the position information of each point on the object; a first generation unit that generates second point cloud data by extracting points in an area that intersects a direction; and a second generation unit that generates object information based on the second point cloud data, the second generation unit is based on the first principal component of the region set for the first portion of the object and the first principal component of the region set for the second portion different from the first portion of the object, the first portion and the second A processing device is provided that generates information about connections with sites.
According to the aspect of the present invention, a calculating unit that extracts feature factors from a plurality of factors based on the first point cloud data based on the position information of each point on the object and obtains the direction of the vector in the feature factors; A first generation unit that generates second point cloud data by extracting points in the region, and a second generation unit that generates object information based on the second point cloud data. The direction of the vector from which the feature factor is extracted is obtained, and the second generation unit generates the feature factor of the area set for the first part of the object and the feature factor of the area set for the second part different from the first part of the object. A processing device is provided for generating information about a connection between a first portion and a second portion based on and.
According to the aspect of the present invention, a calculation unit for obtaining the direction of the first principal component by principal component analysis of the first point cloud data based on the position information of each point on the object, and the first principal component from the first point cloud data Provided is a processing device comprising: a first generation unit that generates second point cloud data by extracting points in an area that intersects with the direction of; and a second generation unit that generates object information based on the second point cloud data be done.
本発明の態様に従えば、物体上の各点の位置情報による第1点群データに基づく複数の因子から特徴因子を抽出し、特徴因子におけるベクトルの方向を求める算出部と、方向に交差する領域内の点を抽出した第2点群データを生成する第1生成部と、第2点群データにより物体の情報を生成する第2生成部と、を備える処理装置が提供される。 According to the aspect of the present invention, a calculating unit that extracts a feature factor from a plurality of factors based on first point cloud data based on position information of each point on an object and obtains the direction of a vector in the feature factor; A processing device is provided that includes a first generation unit that generates second point cloud data by extracting points in an area that is to be measured, and a second generation unit that generates object information from the second point cloud data.
本発明の態様に従えば、上記態様の処理装置と、物体上の各点の位置情報による第1点群データの生成に用いられる点群データを取得する点群取得部と、を備える姿勢解析システムが提供される。 According to an aspect of the present invention, a posture comprising: the processing device according to the aspect ; An analysis system is provided.
本発明の態様に従えば、物体上の各点の位置情報による第1点群データを主成分分析した第1主成分の方向を求めることと、第1点群データから第1主成分の方向に交差する領域内の点を抽出した第2点群データを生成することと、第2点群データから、第1主成分の方向の複数の位置において特徴量をそれぞれ算出することと、特徴量の第1主成分の方向の変化に基づいて、第1点群データの範囲を再設定することと、第2点群データにより物体の情報を生成することと、を含み、第1主成分の方向の算出では、再設定された第1点群データの範囲に含まれる第1点群データにより第1主成分の方向を求める、処理方法が提供される。
本発明の態様に従えば、物体上の各点の位置情報による第1点群データを主成分分析した第1主成分の方向を求めることと、第1点群データから第1主成分の方向に交差する領域内の点を抽出した第2点群データを生成することと、第2点群データにより物体の情報を生成することと、を含む処理方法が提供される。
According to the aspect of the present invention, the direction of the first principal component is obtained by principal component analysis of the first point cloud data based on the position information of each point on the object, and the direction of the first principal component from the first point cloud data. Generating second point cloud data by extracting points in a region that intersects with , calculating feature quantities at a plurality of positions in the direction of the first principal component from the second point cloud data, and calculating feature quantities resetting the range of the first point cloud data based on a change in orientation of the first principal component of the first principal component; and generating object information from the second point cloud data; In calculating the direction, a processing method is provided for obtaining the direction of the first principal component from the first point cloud data included in the reset range of the first point cloud data.
According to the aspect of the present invention, the direction of the first principal component is obtained by principal component analysis of the first point cloud data based on the position information of each point on the object, and the direction of the first principal component is obtained from the first point cloud data. A processing method is provided that includes generating second point cloud data that extracts points in a region that intersects directions, and generating object information from the second point cloud data.
本発明の態様に従えば、コンピュータに、物体上の各点の位置情報による第1点群データを主成分分析した第1主成分の方向を求めることと、第1点群データから第1主成分の方向に交差する領域内の点を抽出した第2点群データを生成することと、第2点群データから、第1主成分の方向の複数の位置において特徴量をそれぞれ算出することと、特徴量の第1主成分の方向の変化に基づいて、第1点群データの範囲を再設定することと、第2点群データにより物体の情報を生成することと、を実行させ、第1主成分の方向の算出では、再設定された第1点群データの範囲に含まれる第1点群データにより第1主成分の方向を求める、処理プログラムが提供される。
本発明の態様に従えば、コンピュータに、物体上の各点の位置情報による第1点群データを主成分分析した第1主成分の方向を求めることと、第1点群データから第1主成分の方向に交差する領域内の点を抽出した第2点群データを生成することと、第2点群データから特徴量を算出することと、第2点群データにより物体の情報を生成することと、を実行させ、特徴量の算出では、特徴量として第2点群データの最短経路を算出する、処理プログラムが提供される。
本発明の態様に従えば、コンピュータに、物体上の各点の位置情報による第1点群データを主成分分析した第1主成分の方向を求めることと、第1点群データから第1主成分の方向に交差する領域内の点を抽出した第2点群データを生成することと、第2点群データにより物体の情報を生成することと、を実行させ、物体の情報の生成では、物体の第1部位に関して設定される領域の第1主成分と、物体の第1部位と異なる第2部位に関して設定される領域の第1主成分とに基づいて、第1部位と第2部位との接続部分に関する情報を生成する、処理プログラムが提供される。
本発明の態様に従えば、コンピュータに、物体上の各点の位置情報による第1点群データに基づく複数の因子から特徴因子を抽出し、特徴因子におけるベクトルの方向を求めることと、方向に交差する領域内の点を抽出した第2点群データを生成することと、第2点群データにより物体の情報を生成することと、を実行させ、ベクトルの方向の算出では、主成分分析によって特徴因子を抽出したベクトルの方向を求め、物体の情報の生成では、物体の第1部位に関して設定される領域の特徴因子と、物体の第1部位と異なる第2部位に関して設定される領域の特徴因子とに基づいて、第1部位と第2部位との接続部分に関する情報を生成する、処理プログラムが提供される。
本発明の態様に従えば、コンピュータに、物体上の各点の位置情報による第1点群データを主成分分析した第1主成分の方向を求めることと、第1点群データから第1主成分の方向に交差する領域内の点を抽出した第2点群データを生成することと、第2点群データにより物体の情報を生成することと、を実行させる処理プログラムが提供される。
According to the aspect of the present invention, the computer obtains the direction of the first principal component by principal component analysis of the first point cloud data based on the position information of each point on the object, and obtains the direction of the first principal component from the first point cloud data. Generating second point cloud data by extracting points in an area intersecting with the direction of the component, and calculating feature amounts at a plurality of positions in the direction of the first principal component from the second point cloud data. , resetting the range of the first point cloud data based on a change in the direction of the first principal component of the feature quantity, and generating object information from the second point cloud data; In calculating the direction of one principal component, a processing program is provided for obtaining the direction of the first principal component from the first point cloud data included in the reset range of the first point cloud data.
According to the aspect of the present invention, the computer obtains the direction of the first principal component by principal component analysis of the first point cloud data based on the position information of each point on the object, and obtains the direction of the first principal component from the first point cloud data. Generating second point cloud data by extracting points in an area intersecting with the component direction, calculating a feature amount from the second point cloud data, and generating object information from the second point cloud data A processing program is provided for executing (1) and (2), and calculating the shortest path of the second point cloud data as the feature amount in the calculation of the feature amount.
According to the aspect of the present invention, the computer obtains the direction of the first principal component by principal component analysis of the first point cloud data based on the position information of each point on the object, and obtains the direction of the first principal component from the first point cloud data. Generating second point cloud data by extracting points in an area intersecting with the direction of the component, and generating object information from the second point cloud data, and generating the object information, Based on the first principal component of the region set for the first portion of the object and the first principal component of the region set for the second portion different from the first portion of the object, the first portion and the second portion are determined. A processing program is provided for generating information about the connecting portion of the.
According to the aspect of the present invention, the computer extracts feature factors from a plurality of factors based on the first point cloud data based on the position information of each point on the object, obtains the direction of the vector in the feature factor; Generating second point cloud data by extracting points in the intersecting region and generating object information from the second point cloud data are executed, and in calculating the direction of the vector, principal component analysis The direction of the vector from which the feature factor is extracted is obtained, and in the generation of the object information, the feature factor of the area set for the first part of the object and the feature of the area set for the second part different from the first part of the object are obtained. A processing program is provided that generates information about a connection between a first portion and a second portion based on a factor.
According to the aspect of the present invention, the computer obtains the direction of the first principal component by principal component analysis of the first point cloud data based on the position information of each point on the object, and obtains the direction of the first principal component from the first point cloud data. A processing program is provided for generating second point cloud data by extracting points in an area intersecting the direction of a principal component, and generating object information from the second point cloud data.
以下、実施形態について図面を参照しながら説明する。図面においては実施形態を説明するため、一部分を大きく又は強調して表すなど適宜縮尺を変更して表現している。図面においては、XYZ座標系を用いて図中の方向を説明する図がある。このXYZ座標系においては、水平面に平行な平面をXZ平面とする。このXZ平面において人体Mの肩幅の方向をX方向と表記し、X方向に直交する方向をZ方向と表記する。XZ平面に垂直な方向はY方向と表記する。X方向、Y方向及びZ方向のそれぞれは、図中の矢印の指す方向が+方向であり、矢印の指す方向とは反対の方向が-方向であるとして説明する。 Hereinafter, embodiments will be described with reference to the drawings. In the drawings, in order to describe the embodiments, the scale is appropriately changed, such as by enlarging or emphasizing a portion. In the drawings, there are diagrams for explaining the directions in the drawings using the XYZ coordinate system. In this XYZ coordinate system, the plane parallel to the horizontal plane is the XZ plane. In this XZ plane, the direction of the shoulder width of the human body M is expressed as the X direction, and the direction orthogonal to the X direction is expressed as the Z direction. A direction perpendicular to the XZ plane is referred to as a Y direction. Regarding each of the X direction, Y direction, and Z direction, the direction indicated by the arrow in the drawing is the + direction, and the direction opposite to the direction indicated by the arrow is the − direction.
[第1実施形態]
第1実施形態について説明する。図1は、第1実施形態に係る処理装置1Aの一例を示す図である。図1は、実施形態に係る姿勢解析システムSYSの一例についても示している。処理装置1A及び姿勢解析システムSYSは、物体Mの姿勢情報及び形状情報の一方又は双方を生成する。本実施形態においては、物体Mとして人体を例に挙げて説明するが、物体Mが、例えば動物、人型又は人以外の動物型のロボット、若しくは動物型以外のロボットであってもよい。以下、物体Mを人体Mと称して説明する。[First embodiment]
A first embodiment will be described. FIG. 1 is a diagram showing an example of a
人体Mは、後述する位置検出部2の検出の対象となる対象領域AR(例、位置検出部2の検出領域、視野)において、所定の静止姿勢(例、指定されたポーズ、起立した状態)の状態であってもよいし、移動(例、変化、動作)している状態であってもよい。人体Mは、例えば、移動に伴って姿勢と形状との一方又は双方が変化する。移動する人体Mは、例えば、バレエ、フェンシング、野球、サッカー、ゴルフ、剣道、アメリカンフットボール、アイスホッケー、又は体操などのスポーツ、ランニング、エクササイズ、ヨガ、ボディビル、ファッションショーなどのウォーキング又はポージング、ゲーム、トレーニング、ダンス、伝統芸能、人物認証、若しくは仕事において動作する人体である。人体Mには、人体Mに付帯する別の物体(例、衣類、装着物、運動器具、防具)を含んでもよい。
The human body M assumes a predetermined stationary posture (eg, a specified pose, standing state) in a target area AR (eg, detection area, field of view of the position detection section 2) to be detected by the
処理装置1A(又は姿勢解析システムSYS)は、例えば、形状評価装置、動作検出装置、運動評価装置、モーションキャプチャ装置、動作検出システム、運動支援システムなどである。姿勢解析システムSYSは、処理装置1Aと、位置検出部2とを含む。位置検出部2は、一例として点群取得部である。姿勢解析システムSYSは、複数の処理装置1Aあるいは複数の位置検出部2(例、点群取得部)を備えてもよい。本実施形態の処理装置1A(又は姿勢解析システムSYS)は、2つの位置検出部2を備えている。なお、2つの位置検出部2は、互いに同一の構成を有しているが、互いに異なる構成を有していてもよい。2つの位置検出部2の一方は、人体Mの表面側(例、+Z側)に視点が設定され、他方は、人体Mの裏面側(例、-Z側)に視点が設定される。2つの位置検出部2は、人体Mを中心として対称に配置されてもよいし、非対称に配置されてもよい。そして、処理装置1A(又は姿勢解析システムSYS)は、人体Mの表面から得られた基準点群データPFに基づいて、人体Mの形状又は姿勢の情報である三次元データを生成する。基準点群データPFは、人体Mの形状(例、三次元形状)を表す情報である。
The
処理装置1Aは、図1に示すように、生成部11と、第1生成部12と、第2生成部13と、算出部14と、記憶部15とを備える。処理装置1Aの一部又は全体は、携帯可能な装置(例、情報端末、スマートフォン、タブレット、カメラ付き携帯電話、ウェアラブル端末)でもよい。また、処理装置1Aの一部又は全体は、据え置き型の装置(例、デスクトップ型パソコン)でもよい。
The
次に、処理装置1Aを構成する各部について説明する。生成部11は、人体M上の各点の位置情報である基準点群データPF(例、図4参照)から、第1領域R1内(例、図5参照)の各点を抽出して第1点群データP1を生成する。算出部14は、生成部11が生成した第1点群データP1を主成分分析することにより第1点群データP1における第1主成分D1(例、図5参照)の方向を算出する。そして、第1生成部12は、第1点群データP1から、算出部14が算出した第1主成分D1の方向に交差する面である平面RS2A(例、図5参照)を有する第2領域R2内(例、図5参照)の点を抽出して第2点群データP2を生成する。第2生成部13は、第1生成部12が生成した第2点群データP2により人体Mの情報を生成する。これら生成部11、第1生成部12、第2生成部13、及び算出部14の詳細については後述する。なお、図4に示す第1領域R1は、基準点群データPFで構成される基準領域より小さい領域である。
Next, each part which comprises 1 A of processing apparatuses is demonstrated. The
記憶部15は、例えば、揮発性又は不揮発性のメモリ、ハードディスク(HDD)、ソリッドステートドライブ(SSD)などである。処理装置1A(又は姿勢解析システムSYS)は、表示部3と、入力部4とを備える。表示部3は、処理装置1Aから出力される画像のデータに基づいて、この画像を表示する。例えば、処理装置1Aは、第2生成部13が生成した人体Mに関するモデル画像又は人体Mに関する推定画像のデータを表示部3に出力する。そして、表示部3は、処理装置1Aから出力された推定画像のデータに基づいて、推定画像を表示する。表示部3は、例えば、液晶ディスプレイ、有機ELディスプレイを含む。
The
入力部4は、処理装置1Aに対する各種情報(例、データ、指令)の入力に利用される。ユーザは、入力部4を操作することによって、処理装置1Aに対して各種情報を入力可能である。入力部4は、例えば、キーボード、マウス、トラックボール、タッチパッド、及び音声入力デバイス(例、マイク)の少なくとも一つを含む。なお、表示部3及び入力部4は、タッチパネルでもよい。処理装置1A(又は姿勢解析システムSYS)は、表示部3を備えなくてもよい。例えば、処理装置1Aは、画像等のデータを、通信を介して他の表示部又は表示装置へ出力し、この表示部等が画像を表示してもよい。また、処理装置1A(姿勢解析システムSYS)は、入力部4を備えなくてもよい。例えば、処理装置1Aは、各種の指令、情報が通信を介して入力される形態でもよい。
The
位置検出部2は、人体Mの位置情報を検出する。位置検出部2は、人体Mの位置情報として、人体Mの表面上の各点の三次元座標を含む点群データを検出する。位置検出部2は、図1に示すように、検出部21と、基準点群データ生成部22と、記憶部23とを備える。記憶部23は、例えば、揮発性又は不揮発性のメモリ、ハードディスク(HDD)、ソリッドステートドライブ(SSD)などである。なお、位置検出部2は、記憶部23を備えなくてもよい。
The
検出部21は、例えば携帯型の装置(携帯機器)の少なくとも一部である。検出部21は、据え置き型の装置の少なくとも一部でもよい。基準点群データ生成部22は、処理装置1Aの外部の装置に設けられてもよい(例、外部接続されてもよい)。例えば、位置検出部2は、処理装置1Aの外部の装置であって、検出部21と基準点群データ生成部22と記憶部23とを内蔵してもよい。位置検出部2の一部又は全体は、携帯可能な装置(例、情報端末、スマートフォン、タブレット、カメラ付き携帯電話、ウェアラブル端末)でもよい。また、位置検出部2の一部又は全体は、据え置き型の装置(例、定点カメラ)でもよい。
The
図2は、位置検出部2(例、点群取得部)の検出部21の一例を示す図である。検出部21は、人体Mの位置情報としてデプスを検出する。検出部21は、デプスセンサ(例、デプスカメラ)を含む。検出部21は、所定の点から、対象領域ARに配置される人体Mの表面における各点までのデプス(例、位置情報、距離、奥行き、深度)を検出する。所定の点は、例えば、検出部21による検出の基準になる位置の点(例、視点、検出元の点、検出部21の位置を表す点、後述する撮像素子26の画素の位置)である。
FIG. 2 is a diagram showing an example of the
検出部21は、照射部24、光学系25、及び撮像素子26を備える。照射部24は、対象領域AR(空間、検出領域)に光La(例、パターン光、照射光、パルス光)を照射(例、投影)する。光学系25は、例えば結像光学系(撮像光学系)を含む。撮像素子26は、例えば、CMOSイメージセンサあるいはCCDイメージセンサを含む。撮像素子26は、2次元的に配列された複数の画素を有する。撮像素子26は、光学系25を介して、人体Mを含む対象領域ARを撮像する。撮像素子26は、光Laの照射によって対象領域ARの人体Mから放射される光Lb(例、反射光、戻り光、透過光)を検出する。光Lbは、例えば赤外光を含む。
The
検出部21は、照射部24から照射される光Laのパターン(例、強度分布)と、撮像素子26によって検出された光Lbのパターン(例、強度分布、撮像画像)とに基づいて、撮像素子26の各画素に対応する対象領域AR上の点(この場合、人体M上の点)から、撮像素子26の各画素までのデプスを検出する。検出部21は、その検出結果として、対象領域AR(例、人体M)におけるデプスの分布を表したデプスマップ(例、デプス画像、奥行き情報、距離情報)を例えば基準点群データ生成部22(図1参照)に出力する。
The
なお、検出部21は、TOF(time of flight)法によってデプスを検出するデバイスでもよい。検出部21は、TOF法以外の手法でデプスを検出するデバイスでもよい。検出部21は、例えば、レーザスキャナ(例、レーザ測距器)を含み、レーザスキャンによってデプスを検出してもよい。検出部21は、例えば、位相差センサを含み、位相差法によってデプスを検出してもよい。検出部21は、例えば、DFD(depth from defocus)法によってデプスを検出してもよい。
Note that the
なお、検出部21は、赤外光あるいは赤外光以外の光(例、可視光)を人体Mに照射し、人体Mから出射する光(人体Mで反射する光、例、可視光)を検出してもよい。検出部21は、照射部24から照射される光Laに代えて、例えば音波(例、超音波)などのエネルギー波を用いてもよい。検出部21は、例えばステレオカメラなどを含み、複数の視点から人体Mを検出(例、撮像)してもよい。検出部21は、複数の視点から人体Mを撮像した撮像画像を用いて、三角測量によってデプスを検出してもよい。検出部21は、光学的な手法以外の手法(例、超音波によるスキャン)でデプスを検出してもよい。
The
図1に戻り、検出部21の検出結果(例、デプスマップ)は、記憶部23に記憶されてもよいし、記憶されなくてもよい。基準点群データ生成部22は、検出部21が検出したデプスに基づいて、人体Mの位置情報として基準点群データPFを生成する。基準点群データ生成部22は、人体Mの位置情報として基準点群データPFを生成する点群処理を実行する。
Returning to FIG. 1 , the detection result (eg, depth map) of the
基準点群データPFは、対象領域ARにおける人体M上の複数の点の3次元座標を含む。基準点群データPFは、人体Mの周囲の物体(例、壁、床)上の複数の点の3次元座標を含んでもよい。基準点群データ生成部22は、検出部21が検出した位置情報(例、デプス)に基づいて、人体Mに関する基準点群データPFを算出する。基準点群データ生成部22は、記憶部23に記憶されている検出部21の検出結果を読み出して、基準点群データPFを算出する。なお、基準点群データ生成部22は、人体Mのモデル情報(例、形状情報)として基準点群データPFを生成してもよい。
The reference point cloud data PF includes three-dimensional coordinates of a plurality of points on the human body M in the target area AR. The reference point cloud data PF may include three-dimensional coordinates of a plurality of points on objects around the human body M (eg walls, floors). The reference point cloud
検出部21は、例えば、検出結果に相当するデプスマップ(例、デプス画像)を出力する。このデプスマップは、検出部21によるデプスの測定値の空間分布を表す情報(例、画像)である。デプスマップは、対象領域ARの各点におけるデプスを階調値で表したグレースケールの画像であってもよい。デプスマップがグレースケールの画像である場合には、階調値が相対的に高い部分(例、白い部分、明るい部分)は、デプスが相対的に小さい部分(位置検出部2から相対的に近い部分)である。デプスマップにおいて、階調値が相対的に低い部分(例、黒い部分、暗い部分)は、デプスが相対的に大きい部分(位置検出部2から相対的に遠い部分)である。なお、デプスマップは、例えばRGBの画像であってもよい。
The
ここで、基準点群データ生成部22は、検出部21からデプスマップのデータを受け取り、又は記憶部23からデプスマップのデータを読み出し、基準点群データPFを算出する。記憶部23がない場合、基準点群データ生成部22は、検出部21からデプスマップのデータを受け取ったタイミングで(例、リアルタイムで)基準点群データPFを算出する。
Here, the reference point cloud
例えば、基準点群データ生成部22は、デプスマップの各画素の階調値(デプスの測定値)に基づいて、各画素に相当する実空間上の点の3次元座標を算出する。以下の説明において、適宜、1つの点の三次元座標を点データと称する。基準点群データPFは、複数の点データを一組にしたデータである。基準点群データ生成部22は、例えば対象領域ARの全体の点群データに対してセグメント化、パターン認識などを施して、人体Mの基準点群データPFを抽出する。
For example, the reference point cloud
また、基準点群データPFは、例えば、人体Mの少なくとも一部の輪郭(例、シルエット)を表す情報を含む。基準点群データPFは、例えば、人体Mの各関節の伸び又は曲がりが表れた情報を含む。基準点群データPFは、人体Mの各部の位置関係を特定可能な情報を含んでもよい。例えば、基準点群データPFは、人体Mの各部の位置情報(例、絶対位置、相対位置、座標)を含んでもよい。人体Mの各部の位置情報は、例えば、人体Mの末端部分(例、手先、足先、頭)の位置、及び、人体Mの関節(例、肩、肘、手首、膝)の位置の一方又は双方であってもよい。人体Mの各部の位置情報は、例えば、人体Mの末端部分と関節との間の部分(例、首、指)の位置、及び、人体Mの関節と関節との間の部分(例、前腕、上腕、大腿(上肢)、下腿(下肢))の位置の一方又は双方であってもよい。 Further, the reference point cloud data PF includes, for example, information representing at least a part of the contour (eg, silhouette) of the human body M. The reference point cloud data PF includes, for example, information representing the extension or bending of each joint of the human body M. The reference point cloud data PF may include information that can identify the positional relationship of each part of the human body M. For example, the reference point cloud data PF may include position information of each part of the human body M (eg, absolute position, relative position, coordinates). The position information of each part of the human body M is, for example, one of the positions of the terminal parts of the human body M (eg, fingers, toes, head) and the positions of the joints of the human body M (eg, shoulders, elbows, wrists, knees). or both. The position information of each part of the human body M is, for example, the position of the part between the terminal part of the human body M and the joint (eg, neck, fingers), and the part between the joints of the human body M (eg, the forearm). , upper arm, thigh (upper limb), lower leg (lower limb)) or both.
対象領域ARにおける鉛直方向(Y方向)及び水平面内で直交する2方向(X方向、Z方向)は、既知の情報として例えば基準点群データ生成部22に予め与えられている。基準点群データ生成部22が生成した基準点群データPFにおいて、X、Y、Zの各方向は上記既知の情報に基づいて設定される。なお、人体Mが移動している場合、人体Mの移動方向は、対象領域AR(例、位置検出部2の視野)に対して所定の方向(例、X方向)に予め定められていてもよい。
The vertical direction (Y direction) in the target area AR and two orthogonal directions (X direction and Z direction) in the horizontal plane are given in advance to the reference point
図1において、位置検出部2は、処理装置1Aの外部に設けられている。処理装置1Aは、位置検出部2と無線又は有線により通信可能に接続される。位置検出部2は、基準点群データ生成部22が生成した基準点群データPFを処理装置1Aに出力する。処理装置1Aは、位置検出部2が出力した基準点群データPFを受け取って(受信して)処理する。
In FIG. 1, the
なお、処理装置1Aは、位置検出部2からの基準点群データPFを、通信を介することなく取得してもよい。例えば、処理装置1Aは、不揮発性メモリなどの記憶媒体を介して、位置検出部2の基準点群データPFを取得してもよい。例えば、位置検出部2の記憶部23は、位置検出部2から取り外して携帯可能なカード型の補助記憶装置、又はUSBメモリなどの記憶媒体でもよい。処理装置1Aから取り外された記憶部15を位置検出部2に接続させて基準点群データPFを記憶部15に取り込み、この記憶部15を処理装置1Aに戻すことにより基準点群データPFを取得してもよい。
Note that the
図3は、処理装置1Aの一例を示す機能ブロック図である。処理装置1Aは、図1に示した生成部11、第1生成部12、第2生成部13、算出部14、及び記憶部15の他に、第1設定部111と、特徴抽出部112と、第2設定部113と、特徴量算出部114と、判定部115と、再設定部116とを備える。記憶部15は、処理装置1Aで処理される元データ、及び処理装置1Aで処理されたデータ(例、処理装置1Aで生成されたデータ)を記憶する。記憶部15は、位置検出部2から受け取った基準点群データPFを記憶する。記憶部15は、基準点群データPFの元データとして、検出部21から出力されるデプスマップを記憶してもよい。この場合、位置検出部2の基準点群データ生成部22は、記憶部15からデプスマップのデータを読み出して基準点群データPFを算出してもよい。
FIG. 3 is a functional block diagram showing an example of the
生成部11は、記憶部15に記憶されている基準点群データPFから、第1領域R1内の点を抽出して第1点群データP1を生成する第1点群データ生成処理を実行する。第1設定部111は、生成部11が第1点群データP1を生成するための第1領域R1を設定する第1領域設定処理を実行する。
The
図4は、人体Mの基準点群データPFを示し、基準点群データPFに対して第1領域R1を設定した図である。図4に示すように、第1領域R1は、三次元の空間である。第1設定部111は、例えば、表示部3に基準点群データPFの画像を表示させておき、その画像に対してユーザが入力部4で所望の範囲を指定することにより第1領域R1を設定する。表示部3に表示する基準点群データPFの画像は、ユーザによる入力部4の操作によって三次元的に向きを変えられるようにしてもよい。
FIG. 4 shows the reference point cloud data PF of the human body M, and is a diagram in which the first region R1 is set for the reference point cloud data PF. As shown in FIG. 4, the first region R1 is a three-dimensional space. For example, the first setting unit 111 causes the
また、第1設定部111は、基準点群データPFの画像のうちユーザが入力部4で指定したポイントを中心として、あらかじめ設定された範囲(例、X方向300mm、Y方向500mm、Z方向300mm)を第1領域R1として設定してもよい。このポイントを中心として設定する範囲は、記憶部15に記憶されていてもよい。また、記憶部15には複数の範囲が記憶されている状態で、ユーザがいずれかの範囲を第1領域R1として入力部4により指定する構成であってもよい。
In addition, the first setting unit 111 sets a preset range (eg, 300 mm in the X direction, 500 mm in the Y direction, 300 mm in the Z direction) around the point specified by the user in the
また、第1設定部111は、基準点群データPFの画像のうちユーザが入力部4で指定したポイントを中心として、人体Mの身長に対してY方向(例、鉛直方向)に所定の割合(例、20%)の範囲を第1領域R1として設定してもよい。所定の割合は、固定値として予め設定されていてもよいし、記憶部15に記憶されている複数の割合からユーザが入力部4により選択してもよいし、ユーザが所定の割合を入力部4により入力してもよい。
Further, the first setting unit 111 sets a predetermined ratio in the Y direction (for example, the vertical direction) with respect to the height of the human body M, centering on the point specified by the user with the
また、第1設定部111は、位置検出部2が取得している人体Mの画像データ(この場合、元データ)を用いて、この画像データに対してセグメンテーション(領域分割)を行い、ユーザが入力部4により複数の領域のうちいずれか1つ又は複数選択することで基準点群データPFに対応する部分が第1領域R1として設定されてもよい。複数の領域は、人体Mを構成する部分ごとに分割されてもよいし、規格化された領域ごとに分割されてもよい。
In addition, the first setting unit 111 uses the image data of the human body M acquired by the position detection unit 2 (original data in this case) to perform segmentation (area division) on this image data, so that the user can A portion corresponding to the reference point cloud data PF may be set as the first region R1 by selecting one or more of the plurality of regions using the
また、人体Mの画像データから、画像内における同一又は似た特徴量(例、グレースケール画像の階調、RGB画像の色、模様、柄)を持つグループごとに1つの領域としてセグメンテーションを行ってもよい。複数の領域は、例えば、人体Mの画像データから、人体Mを構成する部分をそれぞれパターンマッチング等により抽出して記憶部15に記憶されてもよい。また、複数の領域は、基準点群データPFの画像に重ねて表示部3に表示され、ユーザが入力部4によりいずれかの領域を選択することで第1領域R1が設定されてもよい。
Further, from the image data of the human body M, segmentation is performed as one region for each group having the same or similar feature amount (eg, gray scale image gradation, RGB image color, pattern, pattern) in the image. good too. The plurality of regions may be stored in the
また、第1設定部111は、入力部4により人体Mの外形特徴Q(図4参照)を文字入力(例、腕、膝、太腿など)することにより、人体Mの外形特徴Qを含む範囲を第1領域R1として設定してもよい。外形特徴Qは、人体Mを構成する部分として、位置検出部2の検出部21が撮像した人体Mの撮像データあるいは基準点群データ生成部22が生成した基準点群データPFから抽出可能な人体Mの外形的な部分である。外形特徴Qは、人体Mにおいて、例えば、頭、首、肩、上腕、前腕、肘、手のひら、腰、臀部、股間、大腿、下腿、膝、かかとなどがある。外形特徴Qは、人体Mの表面において、例えば、所定方向に延びている、突出している、凹んでいる、くびれている、又は折れ曲がっているなど、形状上の特徴を有している。特徴抽出部112は、例えば、位置検出部2が取得している人体Mの画像データから、例えばパターンマッチング等により外形特徴Qを抽出してもよいし、基準点群データ生成部22が生成した基準点群データPFから、例えば近接する点どうしを結んだ際における三次元上の方向の変化から抽出してもよい。第1設定部111は、特徴抽出部112が抽出した外形特徴Qに基づいて、基準点群データPFのうち予め決められた範囲を第1領域R1として設定する。第1設定部111は、外形特徴Qを含める範囲(例、外形特徴Qを含む大きな領域)を人体Mの撮像データから判断して第1領域R1として設定してもよいし、外形特徴Qを中心としてX方向、Y方向、Z方向に予め決められた範囲(例、X方向300mm、Y方向500mm、Z方向300mm)を第1領域R1として設定してもよい。図4では、外形特徴Qとして「大腿」を抽出し、この「大腿」を含めて「臀部(股間)」の一部から「足首」までを含む範囲を第1領域R1として設定している。予め決められた範囲は、ユーザ等によって記憶部15に記憶されている。第1設定部111が設定した第1領域R1に関する第1領域データRD1は、記憶部15に記憶される。
In addition, the first setting unit 111 includes the external feature Q of the human body M by inputting the external feature Q (see FIG. 4) of the human body M using the
生成部11は、第1設定部111が設定した第1領域R1内に存在する各点を抽出して第1点群データP1を生成する。第1点群データP1は、記憶部15に記憶されてもよい。なお、第1設定部111及び特徴抽出部112の一方又は双方は、生成部11に含まれてもよい。また、第1設定部111及び特徴抽出部112の一方又は双方は、処理装置1Aになくてもよい。この場合、生成部11は、基準点群データPFから予め決められた1つ又は複数の範囲を自動的に第1領域R1として設定してもよい。なお、第1領域R1は、人体Mの一部を含む領域であってもよいし、人体Mの全部を含む領域であってもよい。第1領域R1は、例えば、人体Mを上下方向(例、Y方向)に分割された領域であってもよいし、前後方向(例、Z方向)に分割された領域であってもよい。
The
図5は、上記した第1領域R1の第1点群データP1から第1主成分D1を算出し、第1主成分D1を用いて第2領域R2を設定した図である。算出部14は、生成部11が生成した第1点群データP1を主成分分析することにより第1主成分D1の方向を算出する第1主成分算出処理を実行する。主成分分析は、例えば、相関のある多数の変数から相関のない少数で全体のばらつきを最もよく表す主成分と呼ばれる変数を合成する多変量解析の一手法である。本実施形態では、第1領域R1における第1点群データP1の分散が最も大きくなる方向に軸をとり、これを第1主成分D1としている。
FIG. 5 is a diagram in which the first principal component D1 is calculated from the first point cloud data P1 of the first region R1, and the second region R2 is set using the first principal component D1. The
第1主成分D1は、多変量解析により算出された特徴因子の一例である。算出部14は、多変量解析により第1点群データP1に基づく複数の因子から特徴因子(例、第1主成分D1)を抽出し、この特徴因子におけるベクトルの方向(例、第1主成分D1の方向)を算出する。算出部14は、主成分分析以外の多変量解析により第1点群データP1に基づく複数の因子(例、変数)から特徴因子を抽出し、この特徴因子におけるベクトルの方向を算出してもよい。本実施形態では、多変量解析として主成分分析により第1主成分D1の方向を算出する処理を例に挙げて説明する。
The first principal component D1 is an example of a feature factor calculated by multivariate analysis. The
第1生成部12は、記憶部15に記憶されている第1点群データP1から、算出部14が算出した第1主成分D1の方向に交差する平面RS2A(例、面、図5参照)を有する1つ又は複数の第2領域R2(R2A、R2B、・・・、R2M)内の各点を抽出して第2点群データP2A、P2B、・・・P2M(例、図6参照)を生成する処理を実行する。平面RS2Aは、例えば、第1主成分D1の方向と直交する。平面(例、面)を有する第2領域R2は、第1主成分D1の方向に厚みを持つ領域(例、空間)である。第2領域R2は、例えば、略平面、直方体、円柱、楕円柱、多面体などである。
From the first point cloud data P1 stored in the
なお、平面RS2Aが用いられることに限定されず、第1主成分D1の方向に交差する面であれば任意な面に設定可能であり、例えば、第1主成分D1の方向に直交しない平面、又は曲面であってもよい。平面RS2Aは、第1主成分D1の方向から見て平面RS2A近傍の点群をカバーする広さに設定される。 Note that the use of the plane RS2A is not limited to the plane RS2A, and any plane that intersects the direction of the first principal component D1 can be set. Or it may be a curved surface. The plane RS2A is set to have a width that covers the point group near the plane RS2A when viewed from the direction of the first principal component D1.
第2設定部113は、第1生成部12が第2点群データP2を生成するための人体Mに対する第2領域R2を設定する第2領域設定処理を実行する。第2領域R2は、三次元の空間である。1つの第2領域R2は、第1領域R1より小さい。ただし、第2領域R2は、第1領域R1と同一であってもよい。第2設定部113は、第1主成分D1の方向における第2領域R2の長さ(この場合、厚さ)を設定する。第2領域R2は、平面RS2Aから、第2設定部113が設定した第1主成分D1の方向の長さで区画される三次元の空間である。
The second setting unit 113 executes second region setting processing for setting a second region R2 for the human body M for the
第2設定部113は、先に設定した第2領域R2Aに対して第1主成分D1の方向の異なる位置に新たな第2領域R2Bを設定し、第1主成分D1の一端(一端側)から他端(他端側)に向けて順次新たな第2領域R2B、・・・、R2Mを設定する。すなわち、第2設定部113は、第1主成分D1の方向に沿って複数の第2領域R2A、R2B、・・・、R2Mを設定する。複数の第2領域R2A、R2B、・・・、R2Mは、それぞれ平面RS2A、RS2B、・・・、RS2Mを有する領域である。平面RS2A、RS2B、・・・、RS2Mは、それぞれが同一の広さであってもよいし、各平面RS2A等の近傍に存在する点群に合わせて異なる広さであってもよい。このように、第2設定部113は、第1主成分D1の方向において先に設定した第2領域R2(例、第2領域R2A)の位置とは異なる位置に新たな第2領域R2(例、第2領域R2B)を設定する。 The second setting unit 113 sets a new second region R2B at a position different in the direction of the first principal component D1 from the previously set second region R2A, and sets a new second region R2B at one end (one end side) of the first principal component D1. New second regions R2B, . That is, the second setting unit 113 sets a plurality of second regions R2A, R2B, . . . , R2M along the direction of the first principal component D1. The plurality of second regions R2A, R2B, . . . , R2M are regions having planes RS2A, RS2B, . The planes RS2A, RS2B, . In this way, the second setting unit 113 sets the new second region R2 (eg, , second region R2B).
複数の第2領域R2A、R2B、・・・、R2Mは、第1主成分D1の方向の長さが同一であってもよいし、互いに異なってもよい。第2設定部113は、複数の第2領域R2A等の第1主成分D1の方向における長さを、予め決められた長さ(例、10mm)に設定してもよいし、第1領域R1内の第1主成分D1の長さに基づいて所定の比率(例、第1主成分D1の長さの5%)で設定してもよい。所定の比率は、記憶部15に記憶されていてもよいし、ユーザが入力部4により設定してもよい。第2設定部113は、複数の第2領域R2A、R2B、・・・、R2Mを第1主成分D1の方向に沿って順次並べて設定する。第2設定部113は、複数の第2領域R2A、R2B、・・・、R2Mが互いに接した状態で設定してもよいし、互いに隙間(例、間隔)を開けた状態で設定してもよい。また、第2設定部113は、複数の第2領域R2A、R2B、・・・、R2Mを互いに一部重複させて設定してもよい。
The plurality of second regions R2A, R2B, . . . , R2M may have the same length in the direction of the first principal component D1, or may differ from each other. The second setting unit 113 may set the length of the plurality of second regions R2A and the like in the direction of the first principal component D1 to a predetermined length (eg, 10 mm), or the length of the first region R1 It may be set at a predetermined ratio (for example, 5% of the length of the first principal component D1) based on the length of the first principal component D1. The predetermined ratio may be stored in the
また、複数の第2領域R2の1つ又は全部は分析対象領域である。複数の第2領域R2の全部が分析対象領域である場合、第2領域R2A、R2B、・・・、R2Mは、第1部分領域、第2部分領域、・・・、第M(Mは正の整数)部分領域である。また、これら第1から第M部分領域は、第1から第M分割領域、又は第1から第M小領域である。第2設定部113が設定した第2領域R2に関する第2領域データRD2は、記憶部15に記憶されてもよい。
Also, one or all of the plurality of second regions R2 are analysis target regions. When all of the plurality of second regions R2 are analysis target regions, the second regions R2A, R2B, . ) subregion. Also, these first to Mth partial areas are the first to Mth divided areas or the first to Mth small areas. Second region data RD2 related to second region R2 set by second setting unit 113 may be stored in
第1生成部12は、第2設定部113が設定した第2領域R2A、R2B、・・・、R2M内に存在する各点をそれぞれ抽出して第2点群データP2(P2A、P2B、・・・、P2M)を生成する。第2点群データP2は、記憶部15に記憶されてもよい。なお、第2設定部113は、第1生成部12に含まれてもよい。また、第2設定部113は、処理装置1Aになくてもよい。この場合、第1生成部12は、第1点群データP1から予め決められた1つ又は複数の範囲を自動的に第2領域R2として設定してもよい。
, R2M set by the second setting unit 113, and generates second point cloud data P2 (P2A, P2B, . . . ). , P2M). The second point cloud data P2 may be stored in the
特徴量算出部114は、複数の第2点群データP2(P2A、P2B、・・・、P2M)のそれぞれから特徴量を算出する特徴量算出処理を実行する。特徴量算出部114は、例えば、各第2点群データP2から特徴量として最短経路をそれぞれ算出する。
The feature
図6は、第2点群データP2Aについて最短経路を算出した一例を示す図である。特徴量算出部114は、例えば、第2点群データP2A内に存在する点群(例、複数の点データ)を第1主成分D1の方向に写像して、第1主成分D1の方向に直交する仮想平面上の点群データとし、この仮想平面上に展開された点群に対して、所定形状をあてはめる手法(所定形状のフィッティング)、又は最小二乗法等の手法により最短経路を算出する(図7参照)。所定形状は、例えば連続的に変化する形状である。この所定形状としては、例えば、楕円、長円、円、曲線形状のいずれかであってもよいし、これらの形状が組み合わされた形状であってもよい。
FIG. 6 is a diagram showing an example of calculating the shortest path for the second point cloud data P2A. For example, the feature
特徴量算出部114は、上記した手法により算出した最短経路の長さ(最短経路長)を算出する。特徴量算出部114が算出した最短経路長は、記憶部15に記憶されてもよい。なお、特徴量算出部114は、特徴量として最短経路を算出することに限定されない。特徴量算出部114は、特徴量として、例えば、仮想平面上に展開された点群で囲まれた面積であってもよいし、第2点群データP2Aで囲まれる空間の体積であってもよい。また、特徴量算出部114は、楕円推定(楕円形状をあてはめる手法)に代えて、変形例として以下の手法を適用可能である。例えば、特徴量算出部114は、第2点群データP2(例、P2A)から凸包を求め、この凸包に含まれる点間をB-スプライン曲線により補完して第2点群データP2の特徴量(例、外周長)を算出してもよい。ここで、凸包は、第2点群データP2で与えられた各点を含む最小の凸集合である。第2点群データP2から求められた凸包は、第2点群データP2に含まれる点を含む全ての凸集合の交わり、あるいは第2点群データP2に含まれる点の凸結合全体の成す集合として定義可能である。凸集合とは、例えば、物体(本実施例では第2点群データP2)に含まれる任意の二点に対し、それら二点を結ぶ線分上の任意の点がまたその物体に含まれることをいう。凸結合とは、例えば、和が1となるような非負係数を持つ点(例、ベクトル、スカラー)の線型結合である。また、B-スプライン曲線とは、例えば、与えられた複数の点とノットベクトルから定義される滑らかな曲線である。
The feature
ここで、特徴量算出部114は、仮想平面上における第1主成分D1の位置を算出してもよい。特徴量算出部114は、例えば、仮想平面上に展開された点群に対して、楕円形状を用いてフィッティング処理した場合、その楕円形状の中心を第1主成分D1の位置として算出してもよい。また、特徴量算出部114が算出した最短経路長は、人体Mにおけるその部位の外周の長さに相当すると推定可能である。
Here, the
また、第2点群データP2のデータ量が少ない場合がある。例えば、位置検出部2により人体Mの基準点群データPFを取得する際に、1方向から人体Mを撮像すると、その方向において影となる裏面側の画像が取得できず、その結果、基準点群データ生成部22で、裏面側の点群がないまま基準点群データPFが生成されることがある。
Also, the data amount of the second point cloud data P2 may be small. For example, when the
図7は、第2点群データP2について最短経路を算出した他の例を示す図である。図1に示す処理装置1A(又は姿勢解析システムSYS)では、2つ(複数)の検出部21を備える構成を示しているが、検出部21が1つであってもよい。このような処理装置1A(又は姿勢解析システムSYS)において、1つの検出部21から-Z方向(例、図1参照)を視点として人体Mを撮像すると、人体Mの表面側(例、+Z側)が撮像されるが、人体Mの裏面側(例、-Z側)が撮像されない。そのため、基準点群データ生成部22により基準点群データPF(この場合、人体Mの裏面側の点群はない)が生成され、この基準点群データPFに基づいて第2点群データP2A1(図7参照)が抽出されても裏面側の点群がないままとなる。しかしながら、人体Mの主要部分(例、頭、首、胴、脚、腕)は、長手方向と直交する平面上の外形がほぼ楕円形状であると仮定することが可能である。従って、特徴量算出部114は、第2点群データP2A1に対して楕円形状でフィッティング処理を行うことにより最短経路を算出してもよい(図7参照)。また、特徴量算出部114は、楕円形状の中心を第1主成分D1Aの位置として算出してもよい。また、図7に示すように裏面側の点群がない場合、先に点群データを取得した第1方向(例、-Z方向)と異なる第2方向(例、+Z方向)から検出部21により人体Mを撮像して、基準点群データ生成部22により第2方向における点群データを生成させ、さらに、基準点群データ生成部22により第1方向を視点とする点群データ(例、図7)と第2方向を視点とする点群データとを合成(例、マージ)して基準点群データPFを生成させてもよい。このように合成された基準点群データPFは、例えば、図6に示す第2点群データP2Aのように、人体Mの表面側(例、-Z側)と裏面側(例、+Z側)とに点群を有する。
FIG. 7 is a diagram showing another example of calculating the shortest path for the second point cloud data P2. Although the
そして、判定部115は、隣り合う第2領域R2(例、R2AとR2B)の第2点群データP2(例、P2AとP2B)に基づいて特徴量算出部114によりそれぞれ算出された2つの特徴量(例、最短経路長)を比較して、変化量が所定値を超えるか否かを判定する判定処理を実行する。
Then, the
図8は、第1主成分D1の方向の位置と最短経路長との関係を示すグラフ図である。判定部115は、例えば、横軸が第1主成分D1、縦軸が最短経路長であるグラフを作成し(図8参照)、特徴量の変化量が所定値を超えるか否かを判定する。この所定値は、予め記憶部15に記憶されていてもよい。判定部115は、変化量が所定値を超えるか否かを判定することに代えて、1次微分が変化するか否かを判定してもよい。
FIG. 8 is a graph showing the relationship between the position in the direction of the first principal component D1 and the shortest path length. For example, the
判定部115は、変化量が所定値を超える、あるいは1次微分が変化すると判定したポイントPA、PBを特徴点(例、変化点)として抽出する(図8参照)。判定部115は、第1主成分D1の方向において、最短経路長が大きく変化する部位、あるいは最短経路長が増加から減少又は減少から増加に変わる部位をポイントPA、PBとして抽出する。判定部115が抽出したポイントPA、PBは、記憶部15に記憶される。
The
再設定部116は、判定部115により変化量が所定値を超える、あるいは1次微分が変化すると判定された場合に、その判定に用いた隣り合う第2領域R2の一方又は双方を、先に設定した第1領域R1から除外し、変化量が所定値を超えない範囲について、新たな第1領域R11を設定する再設定処理を実行する。再設定部116は、この再設定処理によって先の第1領域R1より範囲が狭い新たな第1領域R11を設定することができる。
When the
図9は、新たに設定された第1領域R11に基づいて第2領域R21を設定した図である。再設定部116は、例えば、複数の第2領域R2のうちポイントPA、PBより外側の第2領域R2を除外し、判定部115が抽出したポイントPA、PBに挟まれた第2領域R2における第1主成分D1の方向の範囲を新たな第1領域R11として設定する(図8、図9参照)。 FIG. 9 is a diagram in which the second region R21 is set based on the newly set first region R11. The resetting unit 116, for example, excludes the second regions R2 outside the points PA and PB among the plurality of second regions R2, The range in the direction of the first principal component D1 is set as a new first region R11 (see FIGS. 8 and 9).
そして、生成部11は、再設定部116が新たな第1領域R11を設定すると、基準点群データPFから第1領域R11内の点を抽出して第1点群データP11を生成する。算出部14は、第1点群データP11から主成分分析により第1主成分D11を算出する(図9参照)。第2設定部113は、第1主成分D11の方向に沿って1つ又は複数の第2領域R21(R21A、・・・、R21E)を設定する(図9参照)。
Then, when the resetting unit 116 sets the new first region R11, the
第1生成部12は、第2領域R21A、・・・、R21E内に存在する各点をそれぞれ抽出して第2点群データP21A、・・・、P21Eを生成する。特徴量算出部114は、第2点群データP21A等から特徴量である最短経路長を算出する。判定部115は、隣り合う第2領域R21における特徴量の変化量が所定値を超えるか否かを判定する。判定部115により所定値を超えると判定された場合は、上記のように再設定部116が新たに第1領域を設定し、上記の処理が繰り返される。
The
図10は、新たな第2領域R21について第1主成分D11の方向の位置と最短経路長との関係を示すグラフ図である。なお、第1主成分D11は、図10に示す第1主成分D1に対して、PA、PBに挟まれた範囲に相当する。判定部115により隣り合う第2領域R21における特徴量の変化量が所定値を超えない場合(図10参照)、そのときの第2点群データP21A、・・・、P21E、及び第1主成分D11の方向及び位置は、記憶部15に記憶されてもよい。また、新たな第1領域R11においては、第1主成分D11に沿った最短経路長の変化が小さい、あるいは最短経路長が増加から減少又は減少から増加に変化しないことが推定されたことになる(図10参照)。
FIG. 10 is a graph showing the relationship between the position in the direction of the first principal component D11 and the shortest path length for the new second region R21. Note that the first principal component D11 corresponds to the range sandwiched between PA and PB with respect to the first principal component D1 shown in FIG. When the
なお、上記した生成部11から再設定部116までの繰り返しの処理において、判定部115は、特徴量の変化量を同一の所定値を用いて判定してもよいし、異なる所定値を用いて判定してもよい。例えば、判定部115は、1つ前に用いた所定値より小さい所定値を用いて判定してもよい。なお、特徴量算出部114及び判定部115の一方又は双方は、第2設定部113又は第1生成部12に含まれてもよい。また、特徴量算出部114及び判定部115の一方又は双方は、処理装置1Aになくてもよい。この場合、第1生成部12は、1つ又は複数の第2領域R2から第2点群データP2を生成するだけでもよい。また、再設定部116は、第1設定部111又は生成部11に含まれてもよい。判定部115が処理装置1Aにない場合は、再設定部116は、処理装置1Aになくてもよい。
Note that in the above-described repeated processing from the
第2生成部13は、第1生成部12が生成した第2点群データP2に基づいて、人体Mの三次元モデル及び人体Mの姿勢情報の一方又は双方を生成する生成処理を実行する。第2生成部13は、図3に示すように、姿勢推定部117と、モデル生成部118と、レンダリング処理部119とを備える。姿勢推定部117は、第1生成部12が生成した第2点群データP2に基づいて、人体Mの姿勢を推定する姿勢推定処理を実行する。姿勢推定部117は、例えば、人体Mのうち第2領域R2(R2A等)における対象部分(例、分析対象部分、対象部位)の位置情報を生成する。
The
姿勢推定部117は、例えば、第2点群データP2から得られる人体Mの対象部分(対象部位)の形状に対して、認識処理(例、パターン認識、形状認識、骨格認識)を実行する。姿勢推定部117は、認識処理によって、上記の対象部分の位置情報を生成する。対象部分の位置情報は、例えば、対象部分を代表する点の座標(例、3次元座標)を含む。姿勢推定部117は、上記の認識処理によって、対象部分を表す点の座標を算出する。姿勢推定部117は、対象部分を表す点の座標を記憶部15に記憶させる。姿勢推定部117は、主成分分析を行った後の第2点群データP2を用いるので、対象部分を高精度に推定可能である。
The
姿勢推定部117は、上記認識処理の結果として、対象部分の位置と、対象部分の情報(例、属性情報、名称(例、大腿、上腕))と、2つの対象部分(例、大腿と下腿、下腿と足首から足先の部分、上腕と前腕)の接続関係を示す接続情報とを一組にした姿勢情報(例、骨格情報、スケルトンデータ)を生成する。姿勢推定部117は、上記姿勢情報を記憶部15に記憶させる。
姿勢推定部117は、上記姿勢情報に基づいて、人体Mの姿勢を推定する。姿勢推定部117は、接続関係がある一対の対象部分を結ぶ第1線と、第1線に接続され、接続関係がある一対の特徴部分を結ぶ第2線との相対位置(例、角度)に基づいて、第1線及び第2線を含む部分の姿勢を推定する。姿勢推定部117は、対象部分について上述のように姿勢を推定することで、人体Mの一部又は全体の姿勢を高精度に推定する。
The
なお、姿勢推定部117は、人体Mなどの姿勢を定義した姿勢定義情報を参照して、姿勢を推定してもよい。上記の姿勢定義情報は、例えば、姿勢の種類を表す情報と、各対象部分の相対位置を定義する情報とを一組にした情報である。姿勢の種類を表す情報は、例えば、起立姿勢、座位姿勢など姿勢の名称である。姿勢推定部117は、上記姿勢情報と上記姿勢定義情報とを照合して、人体Mの姿勢を推定(識別)してもよい。
また、姿勢推定部117は、物体における複数の対象領域(例、第2領域R2、分析対象領域)により推定された物体(本実施形態では人体M)の各部位の姿勢から接続部分(人体Mにおける関節位置)の推定を行ってもよい。物体における複数の対象領域は、関節を挟んで互いに接続された部位(例、頭と首、肩と上腕、上腕と前腕、臀部と大腿、大腿と下腿)である。
In addition, the
図11(A)及び(B)は、本実施形態に係る第2生成部13(例、姿勢推定部117)により物体(本実施形態では人体M)の姿勢を推定する一例を示す図である。図11を参照して、姿勢推定部117が人体Mにおいて関節位置の推定を行う例について、関節Kとして「膝」を例に挙げて説明する。姿勢推定部117は、物体(本実施形態では人体M)の一部(例、対象領域)である第1部位Q1(この場合、大腿)に関して第2領域R21を設定する際の第1主成分D11と、人体Mの他の一部であって第1部位Q1とは異なる第2部位Q2(この場合、下腿)に関して第2領域R121を設定する際の第1主成分D111とに基づいて、第1部位Q1と第2部位Q2との接続部分である関節Kに関する情報を生成する。上記実施形態のように人体Mの「大腿」を対象部位(第1部位Q1)としてその姿勢(例、位置、方向、長さ)が高精度で推定された後、本実施形態の手法により他の対象部位(第2部位Q2)である「下腿」を外形特徴として含むように第1領域を設定する。この第1領域は、「大腿」を対象とした際の第1領域R1(又は新たな第1領域R11)の一部、あるいは第1領域R1のうち第1領域R11を除いた領域の一部又は全部を含んでもよい。また、「下腿」を含む第1領域は、例えば、図4に示す第1領域R1であってもよい。そして、第1領域が設定されると、上記した実施形態と同様に、第1主成分の算出、第2領域の設定、第2点群データの生成及び特徴量の算出、といった処理が繰り返された後、図11(A)に示すように、「下腿」を対象部位(第2部位Q2)とした第1領域R111から第1主成分D111が算出され、第2領域R121から生成された第2点群データを用いることにより、第2部位Q2である「下腿」の姿勢(例、位置、方向、長さ)が姿勢推定部117によって高精度で推定される。
FIGS. 11A and 11B are diagrams showing an example of estimating the posture of an object (human body M in this embodiment) by the second generator 13 (eg, posture estimator 117) according to this embodiment. . An example in which the
続いて、姿勢推定部117は、図11(B)に示すように、「大腿」(第1部位Q1)を対象部位として第2領域R21が設定された際の第1主成分D11と、「下腿」(第2部位Q2)を対象部位として第2領域R121が設定された際の第1主成分D111とを仮想的にそれぞれ延長させる。第1主成分D11と第1主成分D111とは、互いに交差せず、平行かつ離間する平面にそれぞれ沿っている場合、又はねじれの位置関係にある場合のいずれであってもよい。そして、姿勢推定部117は、第1主成分D11と第1主成分D111との距離が最短となるように線分LXを算出し、その中点を「大腿」(第1部位Q1)と「下腿」(第2部位Q2)との接続部分である関節K(膝)として推定する。なお、姿勢推定部117は、第1主成分D11と第1主成分D111とをそれぞれ延長した際、両者が交差する場合は、その交点を関節K(膝)として推定する。なお、姿勢推定部117は、線分LXの中点を関節Kと推定することに限定されない。姿勢推定部117は、線分LXの中点以外を関節Kと推定してもよく、例えば、関節Kを「大腿」(第1部位Q1)又は「下腿」(第2部位Q2)に近づけるように、線分LXを所定の割合(例、3:7)で分割した点を関節Kとして推定してもよいし、第1主成分D11上の点、又は第1主成分D111の点であってもよい。
Next, as shown in FIG. 11B, the
さらに、モデル生成部118は、上記姿勢情報に基づいて、人体Mのモデル情報を生成するモデル生成処理を実行する。モデル情報は、例えば3次元のCGモデルデータであり、人体Mの形状情報を含む。モデル生成部118は、第1生成部12が生成した第2点群データP2に基づいて、人体Mのモデル情報を算出する。モデル生成部118は、形状情報としてサーフェス情報を算出するサーフェス処理を実行する。サーフェス情報は、例えばポリゴンデータ、ベクタデータ、及びドローデータの少なくとも1つを含む。サーフェス情報は、人体Mの表面上の複数の点の座標と、複数の点間の連結情報とを含む。連結情報(例、属性情報)は、例えば、人体M表面の稜線(例、エッジ)に相当する線の両端の点を互いに関連付ける情報を含む。また、連結情報は、例えば、人体M表面の輪郭に相当する複数の線を互いに関連付ける情報を含む。
Further, the
モデル生成部118は、サーフェス処理において、第2点群データP2に含まれる複数の点から選択される点とその近傍の点との間の面を推定する。モデル生成部118は、サーフェス処理において、第2点群データP2を点間の平面情報を持つポリゴンデータに変換する。モデル生成部118は、例えば、最小二乗法を用いたアルゴリズムにより、点群データをポリゴンデータへ変換する。モデル生成部118は、算出したサーフェス情報を記憶部15に記憶させる。
In the surface processing, the
なお、モデル情報は、人体Mのテクスチャ情報を含んでもよい。モデル生成部118は、3次元の点座標及びその関連情報で規定された面のテクスチャ情報を生成してもよい。テクスチャ情報は、例えば、物体表面の文字や図形、模様、質感、パターン、凹凸を規定する情報、特定の画像、及び色彩(例、有彩色、無彩色)の少なくとも1つの情報を含む。モデル生成部118は、生成したテクスチャ情報を記憶部15に記憶させてもよい。
Note that the model information may include texture information of the human body M. FIG. The
また、モデル情報は、画像の空間情報(例、照明条件、光源情報)を含んでもよい。光源情報は、人体Mに対して光(例、照明光)を照射する光源の位置、この光源から人体Mへ光が照射される方向(照射方向)、この光源から照射される光の波長、及びこの光源の種類のうち少なくとも1項目の情報を含む。モデル生成部118は、例えば、ランバート反射を仮定したモデル、アルベド(Albedo)推定を含むモデルなどを利用して、光源情報を算出してもよい。モデル生成部118は、生成した空間情報を記憶部15に記憶させてもよい。モデル生成部118は、テクスチャ情報と空間情報との一方又は双方を生成しなくてもよい。
The model information may also include image spatial information (eg, lighting conditions, light source information). The light source information includes the position of the light source that irradiates the human body M with light (eg, illumination light), the direction in which the light is radiated from the light source to the human body M (irradiation direction), the wavelength of the light radiated from the light source, and at least one item of information among the types of this light source. The
レンダリング処理部119は、例えば、グラフィックス プロセッシング ユニット(GPU)を含む。なお、レンダリング処理部119は、CPU及びメモリが画像処理プログラムに従って各処理を実行する態様でもよい。レンダリング処理部119は、例えば、描画処理、テクスチャマッピング処理、シェーディング処理の少なくとも一つの処理を行う。
The
レンダリング処理部119は、描画処理において、例えば、生成されたモデル情報の形状情報に定められた形状を任意の視点から見た推定画像(例、再構築画像)を算出できる。レンダリング処理部119は、例えば、描画処理によって、モデル情報(例、形状情報)からモデル形状(例、推定画像)を再構成できる。レンダリング処理部119は、算出した推定画像のデータを記憶部15に記憶させてもよい。
In the drawing process, the
レンダリング処理部119は、テクスチャマッピング処理において、例えば、推定画像上の物体の表面に、モデル情報のテクスチャ情報が示す画像を貼り付けた推定画像を算出できる。レンダリング処理部119は、推定画像上の物体の表面に、対象物と別のテクスチャを貼り付けた推定画像を算出することができる。レンダリング処理部119は、シェーディング処理において、例えば、モデル情報の光源情報が示す光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。レンダリング処理部119は、シェーディング処理において、例えば、任意の光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。
In the texture mapping process, the
なお、第2生成部13は、姿勢推定部117、モデル生成部118、及びレンダリング処理部119を備えなくてもよい。また、姿勢推定部117、モデル生成部118、及びレンダリング処理部119の少なくとも1つは、第2生成部13外の処理装置1A内に備えてもよい。また、姿勢推定部117、モデル生成部118、及びレンダリング処理部119の少なくとも1つは、処理装置1Aの外部に設けられて、処理装置1Aと通信可能に接続されてもよい。
Note that the
処理装置1A(又は姿勢解析システムSYS)は、上記した第2生成部13が生成した人体Mの情報に基づいて、ユーザが入力部4を操作することにより、表示部3で表示する人体Mの三次元モデルあるいは姿勢情報について視点の切り替えを行うことができる。また、処理装置1A(又は姿勢解析システムSYS)は、第2生成部13が生成した人体Mの情報に基づいて体型計測などを行い、その計測結果に基づいて体型のスコア化も可能である。例えば、処理装置1Aは、人体Mの情報(例、点群を含む姿勢情報など)に基づき計測した人体Mの体型の計測結果を絶対的又は相対的な数値で表したスコアを表示部3に表示させることが可能である。なお、このスコアは、表の形式又は時系列(例、横軸が時間又は日にち)のグラフの形式などを用いて表示部3に表示される。なお、処理装置1Aは、ユーザの人体Mの情報に基づくスコアと、事前に記憶部15に記憶されている教師となる人体Mの情報に基づくスコアとを比較した結果を表示部3に表示させてもよいし、記憶部15に記憶されているユーザの過去のスコアと現在において計測したスコアとを比較した結果を表示部3に表示させてもよい。なお、ユーザの人体Mの情報と教師となる人体Mの情報とを重ねて表示部3に表示させてもよい。教師となる人体Mの情報は、ユーザの習熟度に基づいた教師の情報を用いることが可能なように複数あり、それらの情報は記憶部15に記憶されている。処理装置1Aは、ユーザの習熟度に基づいて教師となる人体Mの情報を変更することが可能である。また、人体Mの各部位(例、大腿、上腕)について外周の寸法(例、大腿周りの長さ)を表示部3に表示させることができる。なお、特徴量算出部114が算出した最短経路長を用いて、各部位の外周の寸法としてもよい。人体Mの各部位の寸法を表示させる場合、時系列に表示させてもよいし、時系列で人体Mの一部又は全体の三次元モデルを表示部3に表示させてもよい。
The
次に、本実施形態に係る処理方法について説明する。図12は、本実施形態に係る処理方法の一例を示すフローチャートである。図12のフローチャートを説明するに際して、上記した図1から図10等を適宜用いる。処理装置1A(又は姿勢解析システムSYS)は、物体(この場合、人体M)の基準点群データPFを取得する(ステップS1)。ステップS1において、基準点群データPFは、位置検出部2からまとめて1つのファイルとして処理装置1Aに送られてもよいし、複数のファイルとして分割されて順次処理装置1Aに送られてもよい。
Next, a processing method according to this embodiment will be described. FIG. 12 is a flow chart showing an example of a processing method according to this embodiment. 1 to 10 described above will be used as appropriate when explaining the flowchart of FIG. The
続いて、処理装置1Aの第1設定部111は、基準点群データPFから第1領域R1を設定し、生成部11は、第1領域R1内の点を抽出して第1点群データP1を生成する(ステップS2)。ステップS2において、設定された第1領域R1の大きさ及び位置に関する画像が、基準点群データPFに重ねた状態で表示部3に表示されてもよい。また、ステップS2において、第1点群データP1を基準点群データPFから分離した状態で表示部3に表示させてもよいし、基準点群データPFのうち第1点群データP1の部分の色を他の部分から変えた状態で、あるいは第1点群データP1の部分を点滅させた状態で表示部3に表示させてもよい。なお、上記したように、第1領域R1は、基準点群データPFからラフに切り出した状態である。第1領域R1は、例えば、ユーザが分析を希望する部位を含んだ広い領域として設定される。
Subsequently, the first setting unit 111 of the
続いて、算出部14は、第1点群データP1に対して主成分分析により第1主成分D1の方向を算出する(ステップS3)。ステップS3において、算出部14は、第1主成分D1の方向から見た第1主成分D1の位置、及び第1主成分D1の長さを算出してもよい。そして、第2設定部113は、第1主成分D1に直交する面(例、平面RS2A)を有する第2領域R2(R2A)を設定する(ステップS4)。ステップS4において、設定された第2領域R2の大きさ及び位置に関する画像が、第1点群データP1又は基準点群データPFに重ねた状態で表示部3に表示されてもよい。
Subsequently, the
続いて、第1生成部12は、第1点群データP1から第2領域R2内の点を抽出して第2点群データP2を生成する(ステップS5)。ステップS5において、第2点群データP2を第1点群データP1又は基準点群データPFから分離した状態で表示部3に表示させてもよいし、第1点群データP1又は基準点群データPFのうち第2点群データP2の部分の色を他の部分から変えた状態で、あるいは第2点群データP2の部分を点滅させた状態で表示部3に表示させてもよい。
Subsequently, the
続いて、第2生成部13は、第2点群データP2から人体Mの情報を生成する(ステップS6)。ステップS5において、第2生成部13は、人体Mの三次元モデル及び姿勢情報の一方又は双方を人体Mの情報として表示部3に表示させてもよい。
Subsequently, the
三次元モデル及び姿勢情報(例、骨格情報、スケルトンデータ)は、ユーザによる入力部4の操作によっていずれか一方を表示部3に表示させるように切り替え可能であってもよいし、三次元モデルと姿勢情報とを表示部3に並べて表示させてもよい。また、人体Mの各部位のそれぞれについて、外形寸法などの数値を三次元モデルと併せて表示部3に表示させてもよいし、特定の外形寸法について経時的な変化を併せて表示部3に表示させてもよい。
The three-dimensional model and posture information (eg, skeletal information, skeleton data) may be switched by the user's operation of the
図13及び図14は、本実施形態に係る処理方法の他の例を示すフローチャートである。このフローチャートにおいて、ステップS1からS5は上記した図12に示す処理とほぼ同様であるので説明を省略又は簡略化する。なお、図13のフローチャートのステップS4では、第2設定部113が複数の第2領域R2を設定する。例えば、ステップS4において、第2設定部113は、第1主成分D1の方向に沿って複数の第2領域R2を順次設定する。 13 and 14 are flowcharts showing another example of the processing method according to this embodiment. In this flow chart, steps S1 to S5 are substantially the same as the processing shown in FIG. 12, so description thereof will be omitted or simplified. It should be noted that in step S4 of the flowchart of FIG. 13, the second setting unit 113 sets a plurality of second regions R2. For example, in step S4, the second setting unit 113 sequentially sets a plurality of second regions R2 along the direction of the first principal component D1.
第2設定部113は、第1主成分D1の方向における第2領域R2の長さ(この場合、厚さ)を設定するが、この長さが短いと(この場合、厚さが薄いと)第2領域R2の数が増えるので、データ量の観点からその後の処理負担が増加する。従って、第2設定部113は、処理装置1Aの処理能力に基づいて、第2領域R2の数、又は第1主成分D1の方向の長さを設定してもよい。
The second setting unit 113 sets the length (thickness in this case) of the second region R2 in the direction of the first principal component D1. Since the number of second regions R2 increases, the subsequent processing load increases from the viewpoint of data amount. Therefore, the second setting unit 113 may set the number of the second regions R2 or the length in the direction of the first principal component D1 based on the processing capability of the
ステップS5に続いて、特徴量算出部114は、第2点群データP2から特徴量として最短経路長を算出する(ステップS11)。続いて、第1生成部12又は特徴量算出部114は、最短経路長を算出した第2点群データP2の第2領域R2が最後の第2領域R2か否かを判断する(ステップS12)。最後の第2領域R2でない場合(ステップS12のNO)、ステップS4に戻り、第2設定部113は、先に設定した第2領域R2に対して次の第2領域R2を設定する。最後の第2領域R2である場合(ステップS12のYES)、判定部115は、隣り合う第2領域R2において最短経路長を比較して変化量を抽出する(ステップS13)。
Following step S5, the
続いて、判定部115は、最短経路長の変化量が所定値を超えるか否かを判断する(ステップS14)。変化量が所定値を超える場合(ステップS14のNO)、再設定部116は、その判定に用いた隣り合う第2領域R2の一方又は双方を、先に設定した第1領域R1から除外し、変化量が所定値を超えない範囲を新たな第1領域に設定する(ステップS15)。そして、ステップS2からステップS14までの処理が繰り返される。この一連の処理により、最短経路長の変化量が大きい部分が除外されて、ユーザが求める部位(分析対象領域)をロバスト性が高く高精度で形状又は姿勢を推定することが可能となる。
Subsequently, the
また、変化量が所定値を超えない場合(ステップS14のYES)、第2生成部13は、第2点群データP2から人体Mの情報を生成する(ステップS16)。このステップS16は、図12に示すステップS6と同様であるため、説明を省略する。
If the amount of change does not exceed the predetermined value (YES in step S14), the
なお、図13及び図14に示すフローチャートでは、ステップS5からステップS12の処理において、複数の第2領域R2を順次設定して最短経路長を算出しているが、この処理に限定されない。例えば、ステップS5において、第2設定部113により複数の第2領域R2を設定し、ステップS6において、第1生成部12は、複数の第2領域R2のそれぞれから点群(点データ)を抽出して複数の第2点群データP2を生成し、ステップS11において、特徴量算出部114は、複数の第2点群データP2のそれぞれから最短経路長を算出するといった、最短経路長の算出を複数の第2点群データP2に対して並行して行ってもよい。
In addition, in the flowcharts shown in FIGS. 13 and 14, in the processing from step S5 to step S12, the shortest path length is calculated by sequentially setting the plurality of second regions R2, but the processing is not limited to this. For example, in step S5, the second setting unit 113 sets a plurality of second regions R2, and in step S6, the
[第2実施形態]
次に、第2実施形態について説明する。図15は、第2実施形態に係る処理装置の一例を示す図である。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図15に示す処理装置1Bは、位置検出部2(例、点群取得部)が処理装置1Bの内部に設けられる(内蔵される)。この処理装置1Bは、1つのユニット(パッケージ)内に基準点群データPFを取得する機能を含む。処理装置1Bは、例えば、ノート型パソコンが用いられ、検出部21は、ノート型パソコンに搭載されているカメラが用いられる。[Second embodiment]
Next, a second embodiment will be described. FIG. 15 is a diagram illustrating an example of a processing device according to the second embodiment; In this embodiment, the same reference numerals are given to the same configurations as those of the above-described embodiment, and the description thereof will be omitted or simplified. In the
処理装置1Bは、別に位置検出部2を用意する必要がなく、携帯時等において利便性を有する。なお、処理装置1Bにおいて、位置検出部2の記憶部23は、処理装置1Bが備える記憶部15と兼用されてもよい。すなわち、記憶部23は、処理装置1Bになくてもよい。
The
[第3実施形態]
次に、第3実施形態について説明する。図16は、第3実施形態に係る処理装置の一例を示す図である。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図16に示す処理装置1Cは、位置検出部2(例、点群取得部)の基準点群データ生成部22及び記憶部23が処理装置1Cの内部に設けられる(内蔵される)。そして、検出部21は、処理装置1Cの外部に設けられる態様である。検出部21は、人体M(物体)を撮像可能な構成を有すればよく、例えば、カメラ、撮像機能を有する携帯端末(例、スマートフォン、タブレット)であってもよい。検出部21は、人体Mの位置情報として、デプスマップを処理装置1C(基準点群データ生成部22)に出力する。[Third embodiment]
Next, a third embodiment will be described. FIG. 16 is a diagram illustrating an example of a processing device according to the third embodiment; In this embodiment, the same reference numerals are given to the same configurations as those of the above-described embodiment, and the description thereof will be omitted or simplified. In the
処理装置1Cは、物体(この場合、人体M)を撮像可能な検出部21を用意するだけで、検出部21から人体Mの画像を取得することにより容易に基準点群データPFを生成することができ、撮像機能を持たないノート型パソコン又はデスクトップ型パソコンを用いることができる。なお、処理装置1Cにおいて、位置検出部2の記憶部23は、処理装置1Cが備える記憶部15と兼用されてもよい。すなわち、記憶部23は、処理装置1Cになくてもよい。
The
次に、本実施形態における表示部3に表示される画面などについて説明する。図17から図23は、第1から第3実施形態において、表示部3に表示される画面の一例を示す図である。図17から図23は、例えば、上記した実施形態を人体Mの体型計測に応用した場合の体型計測アプリケーションの画面を例示している。図17は、体型計測アプリケーションの開始画面SAである。この開始画面SAには、「Mesurement」、「User Infomation」、「History」、「Configuration」、「Close」等のアイコンが表示され、ユーザが所望する操作が可能となっている。なお、この体型計測アプリケーションにおいて、ユーザ名は「test」としている。
Next, screens and the like displayed on the
ユーザが開始画面SAの「Mesurement」のアイコンを選択すると、図18に示すように、計測画面SBが表示され、「DeviceStatus」がOKの場合には、上記した実施形態のように、位置検出部2の検出部21による人体Mの撮像が可能な状態を示す。「DeviceStatus」がOKの場合、計測画面SBにおける「Device1」などのアイコンの下方に、上記した位置検出部2で撮像される画像が表示される。また、「DeviceStatus」がNGの場合、図18の計測画面SBが表示される。なお、位置検出部2あるいは検出部21を複数用いる場合は、「Device1」「Device2」・・・のアイコンの下方に位置検出部2の位置、機種名等を表示させてもよい。なお、上記の処理装置は、「DeviceStatus」の状態に関係なく、「Device1」「Device2」・・・のアイコンの下方に、それぞれの位置検出部2で撮像した画像を表示部3に表示させてもよい。また、上記の処理装置は、計測画面SBに、位置検出部2等により人体Mを撮像すべき方向を教示する教示画像を表示させてもよい。
When the user selects the "Measurement" icon on the start screen SA, the measurement screen SB is displayed as shown in FIG. 18. If "DeviceStatus" is OK, the
計測画面SBには「PoseModel」のアイコンの下方に、撮像時に人体Mに要求する姿勢の画像を表示している。ユーザは、この姿勢の画像を参酌することにより撮像時の姿勢を容易に把握することができる。また、ユーザが「PoseModel」のアイコン又は姿勢の画像を操作することにより、計測画面SBに表示される姿勢を変更できる。変更時には、「PoseModel1」、「PoseModel2」・・・といったアイコンと、アイコンに関連付けられている姿勢の画像とが表示される。 An image of the posture required of the human body M at the time of imaging is displayed below the "PoseModel" icon on the measurement screen SB. The user can easily grasp the posture at the time of imaging by referring to the image of this posture. In addition, the user can change the posture displayed on the measurement screen SB by operating the “PoseModel” icon or the posture image. At the time of change, icons such as "PoseModel1", "PoseModel2", etc., and pose images associated with the icons are displayed.
図18において、ユーザが計測画面SBの「Capture1」のアイコンを選択すると、例えば、「Device1」に示される位置検出部2あるいは検出部21により人体Mの撮像を行い、その撮像データから基準点群データ生成部22が基準点群データPFを生成する。生成した基準点群データPFは、計測画面SBにおいて「Device1」のアイコンの下方に表示されてもよい。
In FIG. 18, when the user selects the "Capture1" icon on the measurement screen SB, for example, the
また、ユーザが開始画面SAの「User Infomation」のアイコンを選択すると、図19に示すように、ユーザ管理画面SCが表示され、ユーザ情報の登録や編集、削除を行うことができる。例えば、ユーザ情報を登録する場合には、図20に示すような新規ユーザ登録画面SC1のウインドウを表示させることができる。新規のユーザが、新規ユーザ登録画面SC1のウインドウに所定事項を入力することで、この体型計測アプリケーションの各種データを管理可能となる。 When the user selects the "User Information" icon on the start screen SA, a user management screen SC is displayed as shown in FIG. 19, and user information can be registered, edited, and deleted. For example, when registering user information, a new user registration screen SC1 window as shown in FIG. 20 can be displayed. A new user can manage various data of this body measurement application by inputting predetermined items in the window of the new user registration screen SC1.
ユーザが開始画面SAの「History」のアイコンを選択すると、図21に示すように、過去の計測結果リストを含むデータ履歴画面SDが表示される。データ履歴画面SDには、ユーザにおける人体Mの部位の外周寸法などが計測した日付に関連づけられて表示される。図21に示すデータ履歴画面SDでは、「LeftUpperArm」、「Waist」の外周寸法が計測した日付に関連づけられて表示されている。「LeftUpperArm」、「Waist」の外周寸法は、上記した実施形態の説明において、第2領域R2が「LeftUpperArm」(左上腕)、「Waist」(ウェスト、胴)であるときの第2点群データP2から生成された三次元モデルから取得される。すなわち、本実施形態では、主成分分析された第2点群データP2から三次元モデルが生成されるので、「LeftUpperArm」、「Waist」の外周寸法が精度よく計測されている。 When the user selects the "History" icon on the start screen SA, a data history screen SD including a list of past measurement results is displayed as shown in FIG. On the data history screen SD, the perimeter dimensions of the parts of the human body M for the user are displayed in association with the date of measurement. In the data history screen SD shown in FIG. 21, the outer circumference dimensions of "LeftUpperArm" and "Waist" are displayed in association with the date of measurement. The outer circumference dimensions of "LeftUpperArm" and "Waist" are the second point cloud data when the second region R2 is "LeftUpperArm" (upper left arm) and "Waist" (waist, trunk) in the above description of the embodiment. It is obtained from the 3D model generated from P2. That is, in the present embodiment, since a three-dimensional model is generated from the second point cloud data P2 subjected to principal component analysis, the outer peripheral dimensions of "LeftUpperArm" and "Waist" are accurately measured.
ユーザがデータ履歴画面SDの「Waist」のアイコンを選択すると、図22に示すように、計測位置調整画面SD1が表示される。計測位置調整画面SD1は、データ履歴画面SDに表示される数値を調整(変更)する画面である。計測位置調整画面SD1には、「Position Result」に基準位置(+0)から+方向(上方)及び-方向(下方)に複数の位置と、その位置での外周の寸法が並べて表示されている。図22に示す計測位置調整画面SD1は、基準位置(+0)が選択されている。ユーザは、他の位置(例、+2、-3)のアイコンを選択することにより、データ履歴画面SDに表示される数値を調整(変更)することができる。なお、計測位置調整画面SD1では、選択されている位置を画像上で示す水平方向の水平指示線Hが表示されている。水平指示線Hは、ユーザが選択した位置に応じて移動する。計測位置調整画面SD1では、人体Mの中心における鉛直方向を示す鉛直指示線Vが表示されている。 When the user selects the "Waist" icon on the data history screen SD, a measurement position adjustment screen SD1 is displayed as shown in FIG. The measurement position adjustment screen SD1 is a screen for adjusting (changing) the numerical values displayed on the data history screen SD. On the measurement position adjustment screen SD1, a plurality of positions in the + direction (upward) and - direction (downward) from the reference position (+0) and the outer circumference dimensions at the positions are displayed side by side in "Position Result". The reference position (+0) is selected on the measurement position adjustment screen SD1 shown in FIG. The user can adjust (change) the numerical values displayed on the data history screen SD by selecting icons at other positions (eg, +2, -3). In addition, on the measurement position adjustment screen SD1, a horizontal direction line H indicating the selected position on the image is displayed. The horizontal pointing line H moves according to the position selected by the user. In the measurement position adjustment screen SD1, a vertical indicator line V indicating the vertical direction at the center of the human body M is displayed.
続いて、ユーザが開始画面SAの「Configuration」のアイコンを選択すると、図23に示すように、カメラ位置調整画面SEが表示される。カメラ位置調整画面SEでは、例えば、データの保存場所の設定、カメラ位置の調整等のデバイス(例、位置検出部2)の諸設定を行うことができる。 Subsequently, when the user selects the "Configuration" icon on the start screen SA, a camera position adjustment screen SE is displayed as shown in FIG. On the camera position adjustment screen SE, for example, various settings of the device (for example, the position detection unit 2) such as setting of the data storage location and adjustment of the camera position can be performed.
以上のように、本実施形態によれば、物体(例、人体M)の一部又は全部について高精度に三次元モデル又は姿勢情報を生成することができる。物体が人体Mである場合、人体Mの各部位の三次元形状が高精度で生成されるので、人体M各部位のサイズ(外周の寸法)を容易かつ精度よく取得できる。また、本実施形態によれば、人体Mの各部位の姿勢情報が高精度で生成されるので、運動時(例、バレエ、野球、ゴルフ)における人体Mの各部位の姿勢(例、大腿の向き、上腕の向き、バレエのフォーム、ピッチングフォーム、バッティングフォーム、ゴルフスイングのフォーム)を容易かつ精度よく取得できる。 As described above, according to the present embodiment, a three-dimensional model or posture information can be generated with high accuracy for part or all of an object (eg, human body M). When the object is the human body M, the three-dimensional shape of each part of the human body M is generated with high accuracy, so the size (perimeter dimension) of each part of the human body M can be obtained easily and accurately. Further, according to the present embodiment, since the posture information of each part of the human body M is generated with high accuracy, the posture of each part of the human body M (eg, thighs) during exercise (eg, ballet, baseball, golf) can be generated. orientation, upper arm orientation, ballet form, pitching form, batting form, golf swing form) can be obtained easily and accurately.
なお、上記した処理装置1A(又は姿勢解析システムSYS)は、位置検出部2を2以上備えてもよい。また、姿勢解析システムSYSは、2以上の処理装置1A、1B、1Cを備えてもよい。
Note that the
上記した実施形態において、処理装置1A、1B、1Cの生成部11、第1生成部12、第2生成部13、算出部14、第1設定部111、特徴抽出部112、第2設定部113、特徴量算出部114、判定部115、再設定部116、姿勢推定部117、モデル生成部118、レンダリング処理部119、及び位置検出部2の基準点群データ生成部22は、プログラムがコンピュータに読み込まれることにより、ソフトウェアとハードウェア資源とが協働した具体的手段として実現されてもよい。
In the above-described embodiments, the
また、上述の実施形態において、処理装置1A、1B、1Cは、例えばコンピュータシステムを含む。処理装置1A、1B、1Cは、記憶部15に記憶されている処理プログラムを読み出し、この処理プログラムに従って各種の処理を実行する。この処理プログラムは、例えば、コンピュータに、物体上の各点の位置情報による第1点群データを主成分分析した第1主成分の方向を求めることと、第1点群データから第1主成分の方向に交差する領域内の点を抽出した第2点群データを生成することと、第2点群データにより物体の情報を生成することと、を実行させる。このプログラムは、コンピュータ読み取り可能な記憶媒体(例、非一時的な記録媒体、non-transitory tangible media)に記録されて提供されてもよい。
Also, in the above-described embodiments, the
なお、実施形態について説明したが、本発明の技術範囲は、上述の実施形態などで説明した内容に限定されない。上述の実施形態などで説明した要件の1つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、実施形態において示した各処理の実行順序は、前の処理の出力を後の処理で用いない限り、任意の順序で実現可能である。また、上記した実施形態における処理に関して、便宜上「まず」、「次に」、「続いて」、「そして」等を用いて説明したとしても、この順序で実施することが必須ではない。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。 Although the embodiments have been described, the technical scope of the present invention is not limited to the contents described in the above-described embodiments. One or more of the requirements described in the above embodiments and the like may be omitted. Also, the requirements described in the above-described embodiments and the like can be combined as appropriate. Also, the execution order of each process shown in the embodiment can be implemented in any order as long as the output of the previous process is not used in the subsequent process. Further, even if the processing in the above-described embodiment is described using “first”, “next”, “following”, “and”, etc. for convenience, it is not essential to perform the processing in this order. In addition, as long as it is permitted by laws and regulations, the disclosure of all the documents cited in the above-described embodiments and the like is used as part of the description of the text.
なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の1つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、日本特許出願である特願2018-143688、及び、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。 It should be noted that the technical scope of the present invention is not limited to the aspects described in the above embodiments and the like. One or more of the requirements described in the above embodiments and the like may be omitted. Also, the requirements described in the above-described embodiments and the like can be combined as appropriate. In addition, as long as it is permitted by law, the disclosure of Japanese Patent Application No. 2018-143688 and all the documents cited in the above-described embodiments and the like are incorporated into the description of the text.
D1、D11・・・第1主成分 M・・・人体(物体) K・・・関節(接続部分) LX・・・線分 P1、P11・・・第1点群データ P2、P2A~P2M・・・第2点群データ PF・・・基準点群データ Q・・・外形特徴 Q1・・・第1部位 Q2・・・第2部位 R1、R11・・・第1領域 R2、R2A、R2B~R2M、R21A~R21E・・・第2領域 RS2A・・・平面(面) SYS・・・姿勢解析システム 1A、1B、1C・・・処理装置 2・・・位置検出部(点群取得部) 11・・・生成部 12・・・第1生成部 13・・・第2生成部 14・・・算出部 22・・・基準点群データ生成部 111・・・第1設定部 112・・・特徴抽出部 113・・・第2設定部 114・・・特徴量算出部 115・・・判定部 116・・・再設定部
D1, D11 First principal component M Human body (object) K Joint (connection part) LX Line segment P1, P11 First point cloud data P2, P2A to P2M・Second point cloud data PF Reference point cloud data Q Outline feature Q1 First part Q2 Second part R1, R11 First area R2, R2A, R2B~ R2M, R21A to R21E Second area RS2A Plane (surface) SYS
Claims (25)
前記第1点群データから前記第1主成分の方向に交差する領域内の点を抽出した第2点群データを生成する第1生成部と、
前記第2点群データから、前記第1主成分の方向の複数の位置において特徴量をそれぞれ算出する特徴量算出部と、
前記特徴量の前記第1主成分の方向の変化に基づいて、前記第1点群データの範囲を再設定する再設定部と、
前記第2点群データにより前記物体の情報を生成する第2生成部と、を備え、
前記算出部は、前記再設定部が再設定した前記第1点群データの範囲に含まれる前記第1点群データにより前記第1主成分の方向を求める、処理装置。 a calculation unit that obtains the direction of the first principal component by principal component analysis of the first point cloud data based on the position information of each point on the object;
a first generation unit that generates second point cloud data by extracting points in a region that intersects the direction of the first principal component from the first point cloud data;
a feature amount calculation unit that calculates feature amounts at a plurality of positions in the direction of the first principal component from the second point cloud data;
a resetting unit that resets the range of the first point cloud data based on a change in the direction of the first principal component of the feature amount;
a second generation unit that generates information about the object from the second point cloud data ;
The processing device , wherein the calculation unit obtains the direction of the first principal component from the first point cloud data included in the range of the first point cloud data reset by the resetting unit.
前記第2点群データを含む前記領域の1つは、前記第1点群データの範囲より小さい、請求項1に記載の処理装置。 The first point cloud data is data of a range smaller than a range including all point data based on position information of each point on the object,
2. The processing device of claim 1, wherein one of said regions containing said second point cloud data is smaller than the extent of said first point cloud data.
前記第1設定部は、前記外形特徴を含めて前記第1点群データの範囲を設定する、請求項5に記載の処理装置。 Having a feature extraction unit for extracting the external shape feature of the object,
6. The processing device according to claim 5, wherein said first setting unit sets the range of said first point cloud data including said outline feature.
前記第1生成部は、複数の前記領域内の点を抽出して前記第2点群データを生成する、請求項7又は請求項8に記載の処理装置。 The second setting unit sets the plurality of regions at mutually different positions in the direction of the first principal component,
9. The processing device according to claim 7, wherein said first generation unit extracts a plurality of points within said region to generate said second point cloud data.
前記第1点群データから前記第1主成分の方向に交差する領域内の点を抽出した第2点群データを生成する第1生成部と、 a first generation unit that generates second point cloud data by extracting points in a region that intersects the direction of the first principal component from the first point cloud data;
前記第2点群データから特徴量を算出する特徴量算出部と、 a feature amount calculation unit that calculates a feature amount from the second point cloud data;
前記第2点群データにより前記物体の情報を生成する第2生成部と、を備え、 a second generation unit that generates information about the object from the second point cloud data;
前記特徴量算出部は、前記特徴量として前記第2点群データの最短経路を算出する、処理装置。 The processing device, wherein the feature amount calculation unit calculates a shortest path of the second point cloud data as the feature amount.
前記位置情報による前記第1点群データの生成に用いられる点群データを生成する点群データ生成部と、を有する請求項1から請求項14のいずれか一項に記載の処理装置。 a position detection unit that detects the position information of each point on the object;
15. The processing apparatus according to any one of claims 1 to 14 , further comprising a point cloud data generation unit that generates point cloud data used to generate the first point cloud data based on the position information.
前記第1点群データから前記第1主成分の方向に交差する領域内の点を抽出した第2点群データを生成する第1生成部と、 a first generation unit that generates second point cloud data by extracting points in a region that intersects the direction of the first principal component from the first point cloud data;
前記第2点群データにより前記物体の情報を生成する第2生成部と、を備え、 a second generation unit that generates information about the object from the second point cloud data;
前記第2生成部は、前記物体の第1部位に関して設定される前記領域の前記第1主成分と、前記物体の前記第1部位と異なる第2部位に関して設定される前記領域の前記第1主成分とに基づいて、前記第1部位と前記第2部位との接続部分に関する情報を生成する、処理装置。 The second generator generates the first principal component of the region set with respect to a first portion of the object and the first principal component of the region set with respect to a second portion different from the first portion of the object. a processing device that generates information about a connecting portion between the first portion and the second portion based on the components.
前記方向に交差する領域内の点を抽出した第2点群データを生成する第1生成部と、 a first generation unit that generates second point cloud data by extracting points in an area that intersects with the direction;
前記第2点群データにより前記物体の情報を生成する第2生成部と、を備え、 a second generation unit that generates information about the object from the second point cloud data;
前記算出部は、主成分分析によって前記特徴因子を抽出した前記ベクトルの前記方向を求め、 The calculation unit obtains the direction of the vector from which the feature factor is extracted by principal component analysis,
前記第2生成部は、前記物体の第1部位に関して設定される前記領域の前記特徴因子と、前記物体の前記第1部位と異なる第2部位に関して設定される前記領域の前記特徴因子とに基づいて、前記第1部位と前記第2部位との接続部分に関する情報を生成する、処理装置。 The second generator is configured based on the feature factor of the region set for a first portion of the object and the feature factor of the region set for a second portion different from the first portion of the object. to generate information about a connecting portion between the first portion and the second portion.
物体上の各点の位置情報による第1点群データの生成に用いられる点群データを取得する点群取得部と、を備える姿勢解析システム。 A processing apparatus according to any one of claims 1 to 19 ;
A posture analysis system comprising: a point cloud acquisition unit that acquires point cloud data used to generate first point cloud data based on position information of each point on an object.
前記第1点群データから前記第1主成分の方向に交差する領域内の点を抽出した第2点群データを生成することと、
前記第2点群データから、前記第1主成分の方向の複数の位置において特徴量をそれぞれ算出することと、
前記特徴量の前記第1主成分の方向の変化に基づいて、前記第1点群データの範囲を再設定することと、
前記第2点群データにより前記物体の情報を生成することと、を含み、
前記第1主成分の方向の算出では、再設定された前記第1点群データの範囲に含まれる前記第1点群データにより前記第1主成分の方向を求める、処理方法。 Obtaining the direction of the first principal component by principal component analysis of the first point cloud data based on the position information of each point on the object;
generating second point cloud data by extracting points in a region intersecting the direction of the first principal component from the first point cloud data;
calculating feature amounts at a plurality of positions in the direction of the first principal component from the second point cloud data;
resetting the range of the first point cloud data based on a change in the direction of the first principal component of the feature quantity;
generating information of the object from the second point cloud data ;
In the calculation of the direction of the first principal component, the direction of the first principal component is obtained from the first point cloud data included in the reset range of the first point cloud data .
物体上の各点の位置情報による第1点群データを主成分分析した第1主成分の方向を求めることと、
前記第1点群データから前記第1主成分の方向に交差する領域内の点を抽出した第2点群データを生成することと、
前記第2点群データから、前記第1主成分の方向の複数の位置において特徴量をそれぞれ算出することと、
前記特徴量の前記第1主成分の方向の変化に基づいて、前記第1点群データの範囲を再設定することと、
前記第2点群データにより前記物体の情報を生成することと、を実行させ、
前記第1主成分の方向の算出では、再設定された前記第1点群データの範囲に含まれる前記第1点群データにより前記第1主成分の方向を求める、処理プログラム。 to the computer,
Obtaining the direction of the first principal component by principal component analysis of the first point cloud data based on the position information of each point on the object;
generating second point cloud data by extracting points in a region intersecting the direction of the first principal component from the first point cloud data;
calculating feature amounts at a plurality of positions in the direction of the first principal component from the second point cloud data;
resetting the range of the first point cloud data based on a change in the direction of the first principal component of the feature quantity;
generating information of the object from the second point cloud data ;
A processing program , wherein in calculating the direction of the first principal component, the direction of the first principal component is obtained from the first point cloud data included in the reset range of the first point cloud data .
物体上の各点の位置情報による第1点群データを主成分分析した第1主成分の方向を求めることと、 Obtaining the direction of the first principal component by principal component analysis of the first point cloud data based on the position information of each point on the object;
前記第1点群データから前記第1主成分の方向に交差する領域内の点を抽出した第2点群データを生成することと、 generating second point cloud data by extracting points in a region intersecting the direction of the first principal component from the first point cloud data;
前記第2点群データから特徴量を算出することと、 calculating a feature amount from the second point cloud data;
前記第2点群データにより前記物体の情報を生成することと、を実行させ、 generating information of the object from the second point cloud data;
前記特徴量の算出では、前記特徴量として前記第2点群データの最短経路を算出する、処理プログラム。 A processing program, wherein in calculating the feature amount, a shortest path of the second point cloud data is calculated as the feature amount.
物体上の各点の位置情報による第1点群データを主成分分析した第1主成分の方向を求めることと、 Obtaining the direction of the first principal component by principal component analysis of the first point cloud data based on the position information of each point on the object;
前記第1点群データから前記第1主成分の方向に交差する領域内の点を抽出した第2点群データを生成することと、 generating second point cloud data by extracting points in a region intersecting the direction of the first principal component from the first point cloud data;
前記第2点群データにより前記物体の情報を生成することと、を実行させ、 generating information of the object from the second point cloud data;
前記物体の情報の生成では、前記物体の第1部位に関して設定される前記領域の前記第1主成分と、前記物体の前記第1部位と異なる第2部位に関して設定される前記領域の前記第1主成分とに基づいて、前記第1部位と前記第2部位との接続部分に関する情報を生成する、処理プログラム。 In the generation of the information of the object, the first principal component of the area set with respect to the first part of the object and the first principal component of the area set with respect to a second part different from the first part of the object A processing program for generating information about a connecting portion between the first portion and the second portion based on principal components.
物体上の各点の位置情報による第1点群データに基づく複数の因子から特徴因子を抽出し、前記特徴因子におけるベクトルの方向を求めることと、 Extracting a feature factor from a plurality of factors based on first point cloud data with position information of each point on the object, and determining the direction of the vector in the feature factor;
前記方向に交差する領域内の点を抽出した第2点群データを生成することと、 generating second point cloud data by extracting points in an area intersecting the direction;
前記第2点群データにより前記物体の情報を生成することと、を実行させ、 generating information of the object from the second point cloud data;
前記ベクトルの前記方向の算出では、主成分分析によって前記特徴因子を抽出した前記ベクトルの前記方向を求め、 In calculating the direction of the vector, the direction of the vector from which the feature factor is extracted is obtained by principal component analysis;
前記物体の情報の生成では、前記物体の第1部位に関して設定される前記領域の前記特徴因子と、前記物体の前記第1部位と異なる第2部位に関して設定される前記領域の前記特徴因子とに基づいて、前記第1部位と前記第2部位との接続部分に関する情報を生成する、処理プログラム。 In the generation of information of the object, the feature factor of the region set for a first portion of the object and the feature factor of the region set for a second portion different from the first portion of the object. a processing program for generating information about a connecting portion between the first portion and the second portion based on the
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022150449A JP7447956B2 (en) | 2018-07-31 | 2022-09-21 | Processing device, attitude analysis system, and program |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018143688 | 2018-07-31 | ||
JP2018143688 | 2018-07-31 | ||
PCT/JP2019/027710 WO2020026765A1 (en) | 2018-07-31 | 2019-07-12 | Processing device, posture analysis system, processing method and processing program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022150449A Division JP7447956B2 (en) | 2018-07-31 | 2022-09-21 | Processing device, attitude analysis system, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020026765A1 JPWO2020026765A1 (en) | 2021-08-02 |
JP7147848B2 true JP7147848B2 (en) | 2022-10-05 |
Family
ID=69230645
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020533388A Active JP7147848B2 (en) | 2018-07-31 | 2019-07-12 | Processing device, posture analysis system, processing method, and processing program |
JP2022150449A Active JP7447956B2 (en) | 2018-07-31 | 2022-09-21 | Processing device, attitude analysis system, and program |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022150449A Active JP7447956B2 (en) | 2018-07-31 | 2022-09-21 | Processing device, attitude analysis system, and program |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP7147848B2 (en) |
WO (1) | WO2020026765A1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008519357A (en) | 2004-11-05 | 2008-06-05 | 本田技研工業株式会社 | Human posture estimation with data-driven probability propagation |
JP2016206026A (en) | 2015-04-23 | 2016-12-08 | 株式会社デンソー | Object recognition device |
-
2019
- 2019-07-12 JP JP2020533388A patent/JP7147848B2/en active Active
- 2019-07-12 WO PCT/JP2019/027710 patent/WO2020026765A1/en active Application Filing
-
2022
- 2022-09-21 JP JP2022150449A patent/JP7447956B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008519357A (en) | 2004-11-05 | 2008-06-05 | 本田技研工業株式会社 | Human posture estimation with data-driven probability propagation |
JP2016206026A (en) | 2015-04-23 | 2016-12-08 | 株式会社デンソー | Object recognition device |
Non-Patent Citations (1)
Title |
---|
高田 智,LIDARを用いた歩行者検出のための輪郭形状に基づく特徴記述,第23回 画像センシングシンポジウム SSII2017 [USB] The 23rd Symposium on Sensing via Image Information,日本,画像センシング技術研究会,2017年06月07日 |
Also Published As
Publication number | Publication date |
---|---|
JP7447956B2 (en) | 2024-03-12 |
WO2020026765A1 (en) | 2020-02-06 |
JP2022171943A (en) | 2022-11-11 |
JPWO2020026765A1 (en) | 2021-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108475439B (en) | Three-dimensional model generation system, three-dimensional model generation method, and recording medium | |
US9159134B2 (en) | Method and apparatus for estimating a pose | |
KR102346320B1 (en) | Fast 3d model fitting and anthropometrics | |
JP6392756B2 (en) | System and method for obtaining accurate body size measurements from a two-dimensional image sequence | |
JP6369811B2 (en) | Gait analysis system and gait analysis program | |
US10360444B2 (en) | Image processing apparatus, method and storage medium | |
JP2019096113A (en) | Processing device, method and program relating to keypoint data | |
KR101499698B1 (en) | Apparatus and Method for providing three dimensional model which puts on clothes based on depth information | |
US20130069939A1 (en) | Character image processing apparatus and method for footskate cleanup in real time animation | |
CN113474816A (en) | Elastic dynamic projection mapping system and method | |
US11885611B2 (en) | Detection device, processing device, equipment, detection method, and detection program | |
KR101557492B1 (en) | Apparatus and Method for generating user's three dimensional body model based on depth information | |
KR101499699B1 (en) | Apparatus and Method for generating user's three dimensional body model based on depth information | |
JP7024876B2 (en) | Detection device, processing device, detection method, and processing program | |
JP7200994B2 (en) | Processing device, detection device, processing method, and processing program | |
JP7147848B2 (en) | Processing device, posture analysis system, processing method, and processing program | |
US20240013415A1 (en) | Methods and systems for representing a user | |
JP5876121B2 (en) | Image processing apparatus, method, and program | |
JP7234595B2 (en) | Detection device, processing device, detection method, and processing program | |
JP2022037506A (en) | Detection device, processing device, detection method, and processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220322 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220905 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7147848 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |