JP7234595B2 - Detection device, processing device, detection method, and processing program - Google Patents

Detection device, processing device, detection method, and processing program Download PDF

Info

Publication number
JP7234595B2
JP7234595B2 JP2018216403A JP2018216403A JP7234595B2 JP 7234595 B2 JP7234595 B2 JP 7234595B2 JP 2018216403 A JP2018216403 A JP 2018216403A JP 2018216403 A JP2018216403 A JP 2018216403A JP 7234595 B2 JP7234595 B2 JP 7234595B2
Authority
JP
Japan
Prior art keywords
detection
deformation
detection unit
spatial frequency
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018216403A
Other languages
Japanese (ja)
Other versions
JP2020086636A (en
Inventor
源洋 中川
幹也 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2018216403A priority Critical patent/JP7234595B2/en
Publication of JP2020086636A publication Critical patent/JP2020086636A/en
Application granted granted Critical
Publication of JP7234595B2 publication Critical patent/JP7234595B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Description

本発明は、検出装置、処理装置、検出方法、及び処理プログラムに関する。 The present invention relates to a detection device, a processing device, a detection method, and a processing program.

物体を検出する技術として、例えば下記の特許文献１に記載された技術がある。検出される物体は、第１物体（例、人体）と、第１物体に付帯する第２物体物（例、服）とを含む場合がある。第１物体の情報を取得する場合、例えば、第２物体の変形が及ぼす影響を低減可能なことが望まれる。 As a technique for detecting an object, for example, there is a technique described in Patent Document 1 below. Objects to be detected may include a first object (eg, a human body) and a second object (eg, clothes) attached to the first object. When acquiring information on the first object, for example, it is desirable to be able to reduce the influence of deformation of the second object.

特開２０１０－１３４５４６号公報JP 2010-134546 A

本発明の態様に従えば、第１物体と、第１物体に付帯した第２物体とを含む物体を検出する検出部と、検出部の検出結果に基づいて、物体の空間周波数成分を算出する算出部と、算出部の算出結果に基づいて、第２物体の変形を検出する変形検出部と、検出部の検出結果および変形検出部の検出結果に基づいて、第１物体のモデル情報を生成するモデル生成部と、を備え、算出部は、第１方向における物体の空間周波数成分と、第１方向と交差する第２方向における物体の空間周波数成分とを算出し、変形検出部は、算出部から得られる第１方向の物体の空間周波数成分と第２方向の物体の空間周波数成分との比較によって、第２物体が変形した領域を検出する、検出装置が提供される。
本発明の態様に従えば、第１物体と、第１物体に付帯した第２物体とを含む物体を検出する検出部と、検出部の検出結果に基づいて、物体の空間周波数成分を算出する算出部と、算出部の算出結果に基づいて、第２物体の変形を検出する変形検出部と、検出部の検出結果および変形検出部の検出結果に基づいて、第１物体のモデル情報を生成するモデル生成部と、を備え、第１物体は人体を含み、モデル生成部は、第１物体のモデル情報として、人体の骨格と姿勢との一方または双方を表す情報を生成する、検出装置が提供される。
本発明の態様に従えば、第１物体と、第１物体に付帯した第２物体とを含む物体を検出する検出部と、検出部の検出結果に基づいて、物体の空間周波数成分を算出する算出部と、算出部の算出結果に基づいて、第２物体の変形を検出する変形検出部と、検出部の検出結果および変形検出部の検出結果に基づいて、第１物体のモデル情報を生成するモデル生成部と、を備え、算出部は、物体の領域ごとに空間周波数成分が極大となるピーク周波数を算出し、変形検出部は、算出部が算出したピーク周波数が閾値を超える物体の領域を検出し、モデル生成部は、変形検出部が検出した領域を物体から除外した領域に対する検出部の検出結果に基づいて、第１物体のモデル情報を生成し、第１物体は人体を含み、閾値は、人体において隣り合う関節の間隔に基づいて設定される、検出装置が提供される。
本発明の態様に従えば、第１物体と、第１物体に付帯した第２物体とを含む物体を検出する検出部と、検出部の検出結果に基づいて、物体の空間周波数成分を算出する算出部と、算出部の算出結果に基づいて、第２物体の変形を検出する変形検出部と、検出部の検出結果および変形検出部の検出結果に基づいて、第１物体のモデル情報を生成するモデル生成部と、を備え、変形検出部は、第１物体の表面から離れる変形をした第２物体の領域を検出する、検出装置が提供される。
本発明の態様に従えば、第１物体と、第１物体に付帯した第２物体とを含む物体を検出する検出部と、検出部の検出結果に基づいて、物体の空間周波数成分を算出する算出部と、算出部の算出結果に基づいて、第２物体の変形を検出する変形検出部と、検出部の検出結果および変形検出部の検出結果に基づいて、第１物体のモデル情報を生成するモデル生成部と、を備える検出装置が提供される。 According to the aspect of the present invention, the detection unit detects an object including a first object and a second object attached to the first object, and the spatial frequency component of the object is calculated based on the detection result of the detection unit. a calculation unit, a deformation detection unit for detecting deformation of the second object based on the calculation result of the calculation unit, and generating model information of the first object based on the detection result of the detection unit and the detection result of the deformation detection unit a model generation unit that calculates the spatial frequency components of the object in a first direction and the spatial frequency components of the object in a second direction that intersects with the first direction; A detection device is provided for detecting a deformed region of a second object by comparing the spatial frequency components of the object in the first direction and the spatial frequency components of the object in the second direction obtained from the part.
According to the aspect of the present invention, the detection unit detects an object including a first object and a second object attached to the first object, and the spatial frequency component of the object is calculated based on the detection result of the detection unit. a calculation unit, a deformation detection unit for detecting deformation of the second object based on the calculation result of the calculation unit, and generating model information of the first object based on the detection result of the detection unit and the detection result of the deformation detection unit wherein the first object includes a human body, the model generating unit generates information representing one or both of the skeleton and posture of the human body as model information of the first object, wherein the detecting device provided.
According to the aspect of the present invention, the detection unit detects an object including a first object and a second object attached to the first object, and the spatial frequency component of the object is calculated based on the detection result of the detection unit. a calculation unit, a deformation detection unit for detecting deformation of the second object based on the calculation result of the calculation unit, and generating model information of the first object based on the detection result of the detection unit and the detection result of the deformation detection unit a model generation unit that calculates a peak frequency at which the spatial frequency component is maximized for each region of the object; and a deformation detection unit that calculates the peak frequency calculated by the calculation unit exceeds a threshold value the model generation unit generates model information of the first object based on the detection result of the detection unit for the area obtained by excluding the area detected by the deformation detection unit from the object, the first object including a human body, A detection device is provided in which the threshold is set based on the spacing of adjacent joints in the human body.
According to the aspect of the present invention, the detection unit detects an object including a first object and a second object attached to the first object, and the spatial frequency component of the object is calculated based on the detection result of the detection unit. a calculation unit, a deformation detection unit for detecting deformation of the second object based on the calculation result of the calculation unit, and generating model information of the first object based on the detection result of the detection unit and the detection result of the deformation detection unit and a model generator for generating a model, wherein the deformation detector detects regions of the second object that are deformed away from the surface of the first object.
According to the aspect of the present invention, the detection unit detects an object including a first object and a second object attached to the first object, and the spatial frequency component of the object is calculated based on the detection result of the detection unit. a deformation detection unit that detects deformation of the second object based on the calculation result of the calculation unit; and model information of the first object based on the detection result of the detection unit and the detection result of the deformation detection unit. and a model generator for generating.

本発明の態様に従えば、第１物体と、第１物体に付帯した第２物体とを含む物体を検出した検出結果に基づいて、物体の空間周波数成分を算出する算出部と、算出部の算出結果に基づいて、第２物体の変形を検出する変形検出部と、物体を検出した検出結果および変形検出部の検出結果に基づいて、第１物体のモデル情報を生成するモデル生成部と、を備え、算出部は、第１方向における物体の空間周波数成分と、第１方向と交差する第２方向における物体の空間周波数成分とを算出し、変形検出部は、算出部から得られる第１方向の物体の空間周波数成分と第２方向の物体の空間周波数成分との比較によって、第２物体が変形した領域を検出する、処理装置が提供される。
本発明の態様に従えば、第１物体と、第１物体に付帯した第２物体とを含む物体を検出した検出結果に基づいて、物体の空間周波数成分を算出する算出部と、算出部の算出結果に基づいて、第２物体の変形を検出する変形検出部と、物体を検出した検出結果および変形検出部の検出結果に基づいて、第１物体のモデル情報を生成するモデル生成部と、を備える処理装置が提供される。 According to the aspect of the present invention, a calculation unit for calculating a spatial frequency component of an object based on a detection result of detecting an object including a first object and a second object attached to the first object; a deformation detection unit that detects deformation of the second object based on the calculation result; a model generation unit that generates model information of the first object based on the detection result of the object and the detection result of the deformation detection unit; The calculation unit calculates the spatial frequency components of the object in a first direction and the spatial frequency components of the object in a second direction intersecting the first direction, and the deformation detection unit calculates the first A processing unit is provided for detecting regions where the second object is deformed by comparing the spatial frequency components of the object in the direction and the spatial frequency components of the object in the second direction.
According to an aspect of the present invention, a calculation unit for calculating a spatial frequency component of an object based on a detection result of detecting an object including a first object and a second object attached to the first object; a deformation detection unit that detects deformation of the second object based on the calculation result of; and a model generation unit that generates model information of the first object based on the detection result of the object and the detection result of the deformation detection unit. is provided.

本発明の態様に従えば、第１物体と、第１物体に付帯した第２物体とを含む物体を検出することと、物体を検出した検出結果に基づいて、第１方向における物体の空間周波数成分と、第１方向と交差する第２方向における物体の空間周波数成分とを算出することと、物体の空間周波数成分の算出結果に基づいて、第１方向の物体の空間周波数成分と第２方向の物体の空間周波数成分との比較によって、第２物体が変形した領域を検出することと、物体を検出した検出結果および第２物体が変形した領域の検出結果に基づいて、第１物体のモデル情報を生成することと、を含む検出方法が提供される。
本発明の態様に従えば、第１物体と、第１物体に付帯した第２物体とを含む物体を検出することと、物体を検出した検出結果に基づいて、物体の空間周波数成分を算出することと、物体の空間周波数成分の算出結果に基づいて、第２物体の変形を検出することと、物体を検出した検出結果および第２物体の変形の検出結果に基づいて、第１物体のモデル情報を生成することと、を含む検出方法が提供される。 According to an aspect of the present invention, an object including a first object and a second object attached to the first object is detected, and based on the detection result of detecting the object, the spatial frequency of the object in the first direction and a spatial frequency component of the object in a second direction that intersects the first direction; A model of the first object is detected based on the detection result of detecting the object and the detection result of the area where the second object is deformed, by comparing with the spatial frequency component of the object of Generating information is provided.
According to the aspect of the present invention, an object including a first object and a second object attached to the first object is detected, and the spatial frequency component of the object is calculated based on the detection result of detecting the object. detecting the deformation of the second object based on the calculation result of the spatial frequency component of the object; and detecting the deformation of the first object based on the detection result of the object and the detection result of the deformation of the second object. Generating model information is provided.

本発明の態様に従えば、コンピュータに、第１物体と、第１物体に付帯した第２物体とを含む物体を検出した検出結果に基づいて、第１方向における物体の空間周波数成分と、第１方向と交差する第２方向における物体の空間周波数成分とを算出することと、物体の空間周波数成分の算出結果に基づいて、第１方向の物体の空間周波数成分と第２方向の物体の空間周波数成分との比較によって、第２物体が変形した領域を検出することと、物体を検出した検出結果および第２物体が変形した領域の検出結果に基づいて、第１物体のモデル情報を生成することと、を実行させる処理プログラムが提供される。
本発明の態様に従えば、コンピュータに、人体を含む第１物体と、第１物体に付帯した第２物体とを含む物体を検出した検出結果に基づいて、物体の空間周波数成分を算出することと、物体の空間周波数成分の算出結果に基づいて、第２物体の変形を検出することと、物体を検出した検出結果および第２物体の変形の検出結果に基づいて、第１物体のモデル情報として、人体の骨格と姿勢との一方または双方を表す情報を生成することと、を実行させる処理プログラムが提供される。
本発明の態様に従えば、コンピュータに、人体を含む第１物体と、第１物体に付帯した第２物体とを含む物体を検出した検出結果に基づいて、物体の空間周波数成分を算出し、物体の領域ごとに空間周波数成分が極大となるピーク周波数を算出することと、物体の空間周波数成分の算出結果に基づいて、第２物体の変形を検出し、算出したピーク周波数が、人体において隣り合う関節の間隔に基づいて設定され閾値を超える物体の領域を検出することと、物体を検出した検出結果およびピーク周波数が閾値を超える物体の領域を物体から除外した領域に対する検出結果に基づいて、第１物体のモデル情報を生成することと、を実行させる処理プログラムが提供される。
本発明の態様に従えば、コンピュータに、第１物体と、第１物体に付帯した第２物体とを含む物体を検出した検出結果に基づいて、物体の空間周波数成分を算出することと、物体の空間周波数成分の算出結果に基づいて、第２物体の変形を検出することと、物体を検出した検出結果および第２物体の変形の検出結果に基づいて、第１物体のモデル情報を生成することと、を実行させる処理プログラムが提供される。 According to the aspect of the present invention, the computer, based on the detection result of the object including the first object and the second object attached to the first object, the spatial frequency component of the object in the first direction, calculating the spatial frequency components of the object in a second direction intersecting with the first direction; Detecting a deformed region of the second object by comparison with the frequency component, and generating model information of the first object based on the detection result of the object and the detection result of the deformed region of the second object. A processing program is provided for performing and.
According to the aspect of the present invention, the computer calculates the spatial frequency component of the object based on the detection result of detecting the object including the first object including the human body and the second object attached to the first object. and detecting the deformation of the second object based on the calculation result of the spatial frequency component of the object, and model information of the first object based on the detection result of detecting the object and the detection result of the deformation of the second object. As a processing program for generating information representing one or both of a skeleton and a posture of a human body, a processing program is provided.
According to the aspect of the present invention, the computer calculates the spatial frequency component of the object based on the detection result of detecting the object including the first object including the human body and the second object attached to the first object, calculating the peak frequency at which the spatial frequency component is maximum for each region of the object; detecting the deformation of the second object based on the calculation result of the spatial frequency component of the object; Detecting an object area that is set based on the distance between matching joints and exceeds the threshold, and based on the detection result of detecting the object and the detection result of the area excluding the area of the object whose peak frequency exceeds the threshold from the object, A processing program is provided for generating model information for a first object.
According to an aspect of the present invention, the computer calculates the spatial frequency component of the object based on the detection result of detecting the object including the first object and the second object attached to the first object; Detecting deformation of the second object based on the calculation result of the spatial frequency component of the object, and generating model information of the first object based on the detection result of detecting the object and the detection result of the deformation of the second object. A processing program is provided for performing and.

第１実施形態に係る検出装置を示す図である。It is a figure which shows the detection apparatus which concerns on 1st Embodiment. 第１実施形態に係る検出部を示す図である。It is a figure which shows the detection part which concerns on 1st Embodiment. （Ａ）および（Ｂ）は、第１実施形態に係る物体の変形を示す図である。(A) and (B) are diagrams showing deformation of an object according to the first embodiment. （Ａ）から（Ｃ）は、第１実施形態に係る算出部および変形検出部の処理を示す図である。3A to 3C are diagrams showing processing of a calculation unit and a deformation detection unit according to the first embodiment; FIG. 第１実施形態に係る姿勢推定部の処理を示す図である。FIG. 5 is a diagram showing processing of a posture estimation unit according to the first embodiment; 第１実施形態に係る検出方法を示すフローチャートである。4 is a flow chart showing a detection method according to the first embodiment; 第２実施形態に係る検出装置を示す図である。It is a figure which shows the detection apparatus which concerns on 2nd Embodiment. （Ａ）および（Ｂ）は、第２実施形態に係る算出部および変形検出部の処理を示す図である。(A) and (B) are diagrams showing processing of a calculation unit and a deformation detection unit according to the second embodiment. 第３実施形態に係る検出装置を示す図である。It is a figure which shows the detection apparatus which concerns on 3rd Embodiment. 第４実施形態に係る検出装置を示す図である。It is a figure which shows the detection apparatus which concerns on 4th Embodiment.

［第１実施形態］
第１実施形態について説明する。図１は、第１実施形態に係る検出装置を示す図である。検出装置１（検出システム）は、例えば、モーションキャプチャ装置、動作検出システム、運動支援システムなどである。検出装置１は、物体Ｍを検出する。物体Ｍは、第１物体Ｍ１と、第１物体Ｍ１に付帯した第２物体Ｍ２とを含む。例えば、物体Ｍは、その構成部を動かして動作する物体又は静止する物体である。図１において、第１物体Ｍ１は人体であり、第２物体Ｍ２は人体の少なくとも一部を覆う衣服である。以下の説明において、適宜、第１物体Ｍ１を人体Ｍ１とし、第２物体Ｍ２を付帯物Ｍ２とする。 [First embodiment]
A first embodiment will be described. FIG. 1 is a diagram showing a detection device according to the first embodiment. The detection device 1 (detection system) is, for example, a motion capture device, a motion detection system, an exercise support system, or the like. A detection device 1 detects an object M. FIG. The object M includes a first object M1 and a second object M2 attached to the first object M1. For example, the object M may be a moving object or a stationary object by moving its components. In FIG. 1, the first object M1 is a human body, and the second object M2 is clothing covering at least part of the human body. In the following description, the first object M1 is assumed to be the human body M1, and the second object M2 is assumed to be the accessory M2.

人体Ｍ１は、例えば、フェンシング、野球、サッカー、ゴルフ、テニス、剣道、アメリカンフットボール、アイスホッケー、又は体操などのスポーツ、ランニング、エクササイズ、ヨガ、ボディビル、ファッションショーなどのウォーキング又はポージング、ゲーム、人物認証、若しくは仕事などにおいて動作する人体である。人体Ｍ１は、静止した人体でもよい。また、物体Ｍは、人体でなくてもよく、例えば、人以外の動物、人型または人以外の動物型のロボット、若しくは動物型以外のロボットでもよい。 The human body M1 is, for example, sports such as fencing, baseball, soccer, golf, tennis, kendo, American football, ice hockey, or gymnastics, walking or posing such as running, exercise, yoga, bodybuilding, fashion shows, games, and people. It is a human body that operates in authentication or work. The human body M1 may be a stationary human body. Also, the object M may not be a human body, and may be, for example, an animal other than a human, a human-like or animal-like robot, or a non-animal robot.

図１の符号Ｍ１ａは、人体Ｍ１において付帯物Ｍ２に覆われた被覆部である。被覆部Ｍ１ａは、付帯物Ｍ２が人体Ｍ１の表面に沿って覆う場合、人体Ｍ１の形状を仮想的に表す。付帯物Ｍ２（例、衣服、タオル、たすき、紙）は、例えば人体Ｍ１よりも容易に変形する物体である。例えば、付帯物Ｍ２は、動き、風又は重力によって容易に変形して、その一部が人体Ｍ１の表面から浮き上がる（離れる）。図１の符号Ｍ２ａは、付帯物Ｍ２において人体Ｍ１の表面から浮き上がるように変形した変形領域（例、人体Ｍ１の少なくとも一部に付帯された初期状態の領域とは異なる領域）である。 Reference symbol M1a in FIG. 1 denotes a covered portion of the human body M1 covered with an accessory M2. The covering portion M1a virtually represents the shape of the human body M1 when the accessory M2 covers along the surface of the human body M1. The accessory M2 (eg, clothes, towel, sash, paper) is an object that deforms more easily than the human body M1, for example. For example, the appendage M2 is easily deformed by movement, wind, or gravity, and part of it rises (separates) from the surface of the human body M1. Reference M2a in FIG. 1 denotes a deformed region (eg, a region different from the initial region attached to at least a part of the human body M1) deformed so as to rise from the surface of the human body M1 in the accessory M2.

以下の説明において、図１などに示すＸＹＺ直交座標系を参照する。このＸＹＺ直交座標系において、Ｙ方向は鉛直方向（重力が働く方向）である。Ｘ方向およびＺ方向は、それぞれ水平方向である。Ｘ、Ｙ、Ｚの各方向において、適宜、矢印が指す側を＋側（例、＋Ｙ側）と称し、その反対側を－側（例、－Ｙ側）と称する。例えば、＋Ｙ側は鉛直方向の上方であり、－Ｙ側は鉛直方向の下方である。 In the following description, the XYZ orthogonal coordinate system shown in FIG. 1 and the like will be referred to. In this XYZ orthogonal coordinate system, the Y direction is the vertical direction (the direction in which gravity acts). The X and Z directions are each horizontal. In each of the X, Y, and Z directions, the side indicated by the arrow is called the + side (eg, +Y side), and the opposite side is called the - side (eg, -Y side). For example, the +Y side is vertically upward and the -Y side is vertically downward.

検出装置１は、検出部２と処理装置３とを備える。検出部２は、物体Ｍを検出する。検出部２は、検出装置１による検出の対象となる対象領域ＡＲ（例、検出装置１の検出領域、視野）に配置された物体Ｍ（人体Ｍ１）を検出する。本実施形態において、検出部２は、物体Ｍの各点の位置情報を検出する位置検出部を含む。検出部２は、人体Ｍ１の位置情報の例として、人体Ｍ１の表面上の各点の三次元座標を含む点群データを検出する。検出部２は、第１検出部４と、点群データ生成部５とを含む。 The detection device 1 includes a detection unit 2 and a processing device 3 . The detection unit 2 detects an object M. FIG. The detection unit 2 detects an object M (human body M1) placed in a target area AR (eg, detection area or field of view of the detection apparatus 1) to be detected by the detection apparatus 1. FIG. In this embodiment, the detection unit 2 includes a position detection unit that detects position information of each point of the object M. FIG. The detection unit 2 detects point cloud data including three-dimensional coordinates of each point on the surface of the human body M1 as an example of the positional information of the human body M1. The detector 2 includes a first detector 4 and a point cloud data generator 5 .

第１検出部４は、例えば携帯型の装置（携帯機器）の少なくとも一部である。第１検出部４は、据え置き型の装置の少なくとも一部でもよい。第１検出部４は、処理装置３の内部に設けられてもよい（例、内蔵されてもよい）。また、点群データ生成部５は、処理装置３の外部の装置に設けられてもよい（例、外部接続されてもよい）。例えば、検出部２は、処理装置３の外部の装置であって、第１検出部４で構成されてもよいし、第１検出部４と点群データ生成部５とを内蔵してもよい。上記位置検出部は、第１検出部４および点群データ生成部５を含んでもよく、この場合、検出部２が位置検出部でもよい。また、上記位置検出部は、第１検出部４を含み、点群データ生成部５を含まなくてもよい。検出装置１の一部または全体は、携帯可能な装置（例、情報端末、スマートフォン、タブレット、カメラ付き携帯電話、ウェアラブル端末）でもよい。また、検出装置１の一部または全体は、据え置き型の装置（例、定点カメラ）でもよい。 The first detector 4 is, for example, at least part of a portable device (portable device). The first detector 4 may be at least part of a stationary device. The first detection unit 4 may be provided inside the processing device 3 (for example, it may be built in). Also, the point cloud data generation unit 5 may be provided in a device external to the processing device 3 (for example, may be externally connected). For example, the detection unit 2 may be a device external to the processing device 3 and may be composed of the first detection unit 4, or may include the first detection unit 4 and the point cloud data generation unit 5. . The position detection section may include the first detection section 4 and the point cloud data generation section 5. In this case, the detection section 2 may be the position detection section. Further, the position detection unit may include the first detection unit 4 and may not include the point cloud data generation unit 5 . A part or the whole of the detection device 1 may be a portable device (eg, information terminal, smart phone, tablet, camera-equipped mobile phone, wearable terminal). Also, part or the whole of the detection device 1 may be a stationary device (for example, a fixed point camera).

図２は、第１実施形態に係る検出部を示す図である。第１検出部４は、人体Ｍ１の位置情報としてデプスを検出する。第１検出部４は、例えばデプスセンサ（デプスカメラ）を含む。第１検出部４は、所定の点から、対象領域ＡＲに配置される物体の表面における各点までのデプス（位置情報、距離、奥行き、深度）を検出する。所定の点は、例えば、第１検出部４による検出の基準になる位置の点（例、視点、検出元の点、第１検出部４の位置を表す点、後述する撮像素子８の画素の位置）である。 FIG. 2 is a diagram showing a detection unit according to the first embodiment. The first detection unit 4 detects the depth as the positional information of the human body M1. The first detection unit 4 includes, for example, a depth sensor (depth camera). The first detection unit 4 detects the depth (position information, distance, depth, depth) from a predetermined point to each point on the surface of the object placed in the target area AR. The predetermined point is, for example, a point at a position that serves as a reference for detection by the first detection unit 4 (e.g., a viewpoint, a detection source point, a point representing the position of the first detection unit 4, a pixel of the image sensor 8 described later). position).

第１検出部４は、照射部６、光学系７、及び撮像素子８を備える。照射部６は、対象領域ＡＲ（空間、検出領域）に光Ｌａ（例、パターン光、照射光）を照射（例、投影）する。光学系７は、例えば結像光学系（撮像光学系）を含む。撮像素子８は、例えば、ＣＭＯＳイメージセンサあるいはＣＣＤイメージセンサを含む。撮像素子８は、２次元的に配列された複数の画素を有する。撮像素子８は、光学系７を介して、対象領域ＡＲを撮像する。撮像素子８は、光Ｌａの照射によって対象領域ＡＲの物体から放射される光Ｌｂ（赤外光、戻り光、反射光）を検出する。 The first detection unit 4 includes an irradiation unit 6 , an optical system 7 and an imaging device 8 . The irradiation unit 6 irradiates (eg, projects) light La (eg, pattern light, irradiation light) onto a target area AR (space, detection area). The optical system 7 includes, for example, an imaging optical system (imaging optical system). The imaging element 8 includes, for example, a CMOS image sensor or a CCD image sensor. The imaging element 8 has a plurality of pixels arranged two-dimensionally. The imaging element 8 images the target area AR via the optical system 7 . The imaging element 8 detects light Lb (infrared light, return light, reflected light) emitted from an object in the target area AR by the irradiation of the light La.

第１検出部４は、例えば、照射部６から照射される光Ｌａのパターン（例、強度分布）と、撮像素子８によって検出された光Ｌｂのパターン（強度分布、撮像画像）とに基づいて、撮像素子８の各画素に対応する対象領域ＡＲ上の点から、撮像素子８の各画素までのデプスを検出する。第１検出部４は、その検出結果として、対象領域ＡＲにおけるデプスの分布を表したデプスマップ（例、デプス画像、奥行き情報、距離情報）を処理装置３（図１参照）に出力する。第１検出部４は、人体Ｍ１の位置情報として、デプスマップを処理装置３に出力する。 The first detection unit 4, for example, based on the pattern (eg, intensity distribution) of the light La emitted from the irradiation unit 6 and the pattern (intensity distribution, captured image) of the light Lb detected by the imaging device 8 , the depth from a point on the target area AR corresponding to each pixel of the image sensor 8 to each pixel of the image sensor 8 is detected. As the detection result, the first detection unit 4 outputs a depth map (eg, depth image, depth information, distance information) representing the depth distribution in the target area AR to the processing device 3 (see FIG. 1). The first detection unit 4 outputs the depth map to the processing device 3 as the positional information of the human body M1.

なお、第１検出部４は、TOF（time of flight）法によってデプスを検出するデバイスでもよい。第１検出部４は、TOF法以外の手法でデプスを検出するデバイスでもよい。第１検出部４は、例えば、レーザスキャナ（例、レーザ測距器）を含み、レーザスキャンによってデプスを検出してもよい。第１検出部４は、例えば、位相差センサを含み、位相差法によってデプスを検出してもよい。第１検出部４は、例えば、DFD(depth from defocus)法によってデプスを検出してもよい。また、第１検出部４は、例えばステレオカメラを含み、複数の視点から対象物ＯＢを撮像した撮像画像を用いて、三角測量によってデプスを検出してもよい。 Note that the first detection unit 4 may be a device that detects depth by a TOF (time of flight) method. The first detection unit 4 may be a device that detects depth by a method other than the TOF method. The first detection unit 4 may include, for example, a laser scanner (for example, a laser rangefinder) and detect the depth by laser scanning. The first detection unit 4 may include, for example, a phase difference sensor and detect depth by a phase difference method. The first detection unit 4 may detect the depth by, for example, a DFD (depth from defocus) method. Further, the first detection unit 4 may include, for example, a stereo camera, and detect the depth by triangulation using captured images obtained by capturing the object OB from a plurality of viewpoints.

なお、第１検出部４は、赤外光以外の光（例、可視光）を物体Ｍに照射し、物体Ｍから出射する光（例、可視光）を検出してもよい。第１検出部４は、例えばステレオカメラなどを含み、複数の視点から物体Ｍを検出（例、撮像）してもよい。第１検出部４は、複数の視点から物体Ｍを撮像した撮像画像を用いて、三角測量によってデプスを検出してもよい。第１検出部４は、光学的な手法以外の手法（例、超音波を用いたスキャン）でデプスを検出してもよい。 Note that the first detection unit 4 may irradiate the object M with light other than infrared light (eg, visible light) and detect the light emitted from the object M (eg, visible light). The first detection unit 4 may include, for example, a stereo camera, etc., and may detect (eg, image) the object M from a plurality of viewpoints. The first detection unit 4 may detect the depth by triangulation using captured images obtained by capturing the object M from a plurality of viewpoints. The first detection unit 4 may detect the depth by a method other than an optical method (for example, scanning using ultrasonic waves).

図１の説明に戻り、点群データ生成部５は、第１検出部４が検出したデプスに基づいて、人体Ｍ１の位置情報として物体の点群データを生成する。図１において、第１検出部４が処理装置３の外部に設けられ（外付けされ、外部接続され）、点群データ生成部５が処理装置３の内部に設けられる（内蔵される）。処理装置３は、第１検出部４と通信可能に接続される。第１検出部４は、その検出結果を処理装置３に出力する。処理装置３は、第１検出部４から出力された検出結果を処理する。 Returning to the description of FIG. 1 , the point cloud data generation unit 5 generates point cloud data of an object as position information of the human body M1 based on the depth detected by the first detection unit 4 . In FIG. 1, the first detection unit 4 is provided outside the processing device 3 (externally attached and externally connected), and the point cloud data generation unit 5 is provided inside the processing device 3 (built-in). The processing device 3 is communicably connected to the first detector 4 . The first detector 4 outputs the detection result to the processor 3 . The processing device 3 processes the detection results output from the first detection unit 4 .

処理装置３は、点群データ生成部５、算出部１１、変形検出部１２、モデル生成部１３、及び記憶部１４を備える。記憶部１４は、例えば、不揮発性のメモリ、ハードディスク（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）などである。記憶部１４は、処理装置３で処理される元データ、及び処理装置３で処理されたデータ（例、処理装置３で生成されたデータ）を記憶する。記憶部１４は、点群データの元データとして、第１検出部４から出力されるデプスマップを記憶する。デプスマップは、例えば、対象領域ＡＲの各点におけるデプスを階調値で表したグレースケールの画像で表される。この画像において、各画素は対象領域ＡＲの各点に対応し、各画素の階調値は対象領域ＡＲの各点におけるデプスに対応する。 The processing device 3 includes a point cloud data generation unit 5 , a calculation unit 11 , a deformation detection unit 12 , a model generation unit 13 and a storage unit 14 . The storage unit 14 is, for example, a nonvolatile memory, hard disk (HDD), solid state drive (SSD), or the like. The storage unit 14 stores original data processed by the processing device 3 and data processed by the processing device 3 (eg, data generated by the processing device 3). The storage unit 14 stores the depth map output from the first detection unit 4 as the original data of the point cloud data. The depth map is represented by, for example, a grayscale image in which the depth at each point of the target area AR is represented by a gradation value. In this image, each pixel corresponds to each point in the target area AR, and the gradation value of each pixel corresponds to the depth at each point in the target area AR.

点群データ生成部５は、物体Ｍの位置情報として点群データを生成する点群処理を実行する。点群データ生成部５は、記憶部１４からデプスマップを読み出し、デプスマップから平面画像への透視変換などによって、点群データを算出する。点群データ生成部５は、デプスマップの各画素の階調値（デプスの測定値）に基づいて、各画素に相当する実空間上の点の３次元座標を算出する。以下の説明において、適宜、１つの点の三次元座標を点データと称する。点群データは、複数の点データを一組にしたデータである。 The point cloud data generation unit 5 performs point cloud processing for generating point cloud data as position information of the object M. FIG. The point cloud data generation unit 5 reads out the depth map from the storage unit 14 and calculates point cloud data by perspective transformation from the depth map to a plane image. The point cloud data generation unit 5 calculates the three-dimensional coordinates of the point on the real space corresponding to each pixel based on the gradation value (measured value of depth) of each pixel of the depth map. In the following description, three-dimensional coordinates of one point will be referred to as point data as appropriate. Point cloud data is a set of point data.

実施形態に係る処理装置３は、物体Ｍの位置情報（例、点群データ）に基づいて、物体Ｍの少なくとも一部のモデル情報を生成する。モデル情報は、例えば３次元のＣＧモデルデータであり、物体Ｍの形状情報を含む。第１物体Ｍ１（人体Ｍ１）の形状情報は、例えば、人体Ｍ１の骨格と姿勢との一方または双方を表す情報を含む。第１物体Ｍ１の形状情報は、第１物体Ｍ１の形状を表す点群データとサーフェス情報との一方または双方を含んでもよい。人体Ｍ１のサーフェス情報については、後に図７等で説明する。また、モデル情報は、物体Ｍの少なくとも一部のテクスチャ情報を含んでもよい。テクスチャ情報は、例えば、物体表面の文字や図形、模様、質感、パターン、凹凸を規定する情報、特定の画像、及び色彩（例、有彩色、無彩色）の少なくとも１つの情報を含む。 The processing device 3 according to the embodiment generates model information of at least a part of the object M based on the position information of the object M (eg, point cloud data). The model information is, for example, three-dimensional CG model data, and includes shape information of the object M. The shape information of the first object M1 (human body M1) includes, for example, information representing one or both of the skeleton and posture of the human body M1. The shape information of the first object M1 may include one or both of point cloud data representing the shape of the first object M1 and surface information. The surface information of the human body M1 will be described later with reference to FIG. 7 and the like. Also, the model information may include texture information of at least a part of the object M. FIG. The texture information includes, for example, at least one information of characters, figures, patterns, textures, patterns, irregularities on the surface of the object, specific images, and colors (eg, chromatic and achromatic colors).

図１において、人体Ｍ１の動き等によって付帯物Ｍ２が時間的に変形した変形領域Ｍ２ａは、人体Ｍ１の表面から離れて浮き上がっている。この場合、物体Ｍ（付帯物Ｍ２および人体Ｍ１）の外形は、変形領域Ｍ２ａの部分において人体Ｍ１の外形とかけ離れている。実施形態に係る処理装置３は、検出部２の検出結果に基づいて、付帯物Ｍ２の変形領域Ｍ２ａの少なくとも一部を検出（例、推定、特定、判別）する。そして、処理装置３は、検出した変形領域Ｍ２ａを物体Ｍから除外した部分に対する検出部２の検出結果に基づいて、人体Ｍ１のモデル情報を生成する。そのため、処理装置３は、人体Ｍ１の高精度なモデル情報を取得可能である。 In FIG. 1, a deformed region M2a in which the accessory M2 is temporally deformed due to the movement of the human body M1 or the like floats away from the surface of the human body M1. In this case, the outer shape of the object M (attachment M2 and human body M1) is far from the outer shape of the human body M1 in the deformation region M2a. The processing device 3 according to the embodiment detects (eg, estimates, specifies, determines) at least part of the deformation area M2a of the accessory M2 based on the detection result of the detection unit 2 . Then, the processing device 3 generates model information of the human body M1 based on the detection result of the detection unit 2 for the portion where the detected deformation region M2a is excluded from the object M. FIG. Therefore, the processing device 3 can acquire highly accurate model information of the human body M1.

次に、図１、図３（Ａ）および（Ｂ）、並びに図４（Ａ）から（Ｃ）を参照しつつ、処理装置３において、付帯物Ｍ２の変形を検出する処理について説明する。図３（Ａ）および図３（Ｂ）は、第１実施形態に係る物体の変形を示す図である。図３（Ａ）には、概念図として、物体Ｍにおいて変形した変形部Ｍ３を示した。符号ＭＦは、変形部Ｍ３の表面を平面で近似した近似平面である。近似平面ＭＦは、変形部Ｍ３の表面の各点からの距離の二乗和が最小になる平面である。符号Ｄ１は、近似平面ＭＦに平行な方向から選択される第１方向である。符号Ｄ２は、近似平面ＭＦに平行、かつ第１方向Ｄ１と交差（例、直交）する方向から選択される第２方向である。符号Ｄ３は、近似平面ＭＦに直交する方向に設定される第３方向である。 Next, referring to FIGS. 1, 3(A) and 3(B), and 4(A) to 4(C), processing for detecting deformation of the accessory M2 in the processing device 3 will be described. 3A and 3B are diagrams showing deformation of an object according to the first embodiment. FIG. 3A shows a deformed portion M3 deformed in the object M as a conceptual diagram. Reference MF is an approximate plane that approximates the surface of the deformed portion M3 with a plane. The approximate plane MF is a plane that minimizes the sum of the squares of the distances from each point on the surface of the deformed portion M3. Reference D1 is a first direction selected from directions parallel to the approximation plane MF. Reference D2 is a second direction selected from directions parallel to the approximate plane MF and crossing (for example, perpendicular to) the first direction D1. Reference D3 is a third direction set in a direction perpendicular to the approximate plane MF.

また、符号Ｆは、変形部Ｍ３に働く力（例、張力）である。力Ｆの方向は、例えば既知である。例えば、力Ｆが重力である場合、力Ｆの方向は、鉛直方向である。ここでは、力Ｆの方向が第１方向Ｄ１であるとする。変形部Ｍ３には、力Ｆ（例、張力）によって、しわＭ４（変形）が発生する。しわＭ４は、凸部Ｍ４ａと凹部Ｍ４ｂとを含む。凸部Ｍ４ａは、近似平面ＭＦに対して、第３方向Ｄ３の一方側（例、物体Ｍの外側）に向かって突出した部分である。凹部Ｍ４ｂは、近似平面ＭＦに対して、第３方向Ｄ３の一方側（例、物体Ｍの外側）に向かって窪んだ部分である。凸部Ｍ４ａおよび凹部Ｍ４ｂは、それぞれ、力Ｆに平行な第１方向Ｄ１に延びている。凸部Ｍ４ａと凹部Ｍ４ｂとは、第１方向Ｄ１に交差する第２方向Ｄ２に並んでいる。 Reference character F denotes a force (eg, tension) acting on the deformation portion M3. The direction of force F is known, for example. For example, if force F is gravity, the direction of force F is vertical. Here, it is assumed that the direction of the force F is the first direction D1. A wrinkle M4 (deformation) is generated in the deformed portion M3 by a force F (eg, tension). The crease M4 includes a convex portion M4a and a concave portion M4b. The convex portion M4a is a portion that protrudes toward one side (eg, the outside of the object M) in the third direction D3 with respect to the approximate plane MF. The concave portion M4b is a portion that is recessed toward one side in the third direction D3 (for example, the outside of the object M) with respect to the approximate plane MF. The convex portion M4a and the concave portion M4b each extend in a first direction D1 parallel to the force F. The protrusion M4a and the recess M4b are arranged in a second direction D2 intersecting the first direction D1.

第３方向Ｄ３における変形部Ｍ３の表面の位置（座標）は、第１方向Ｄ１において変化量が小さい。例えば、凸部Ｍ４ａにおける第３方向Ｄ３の座標は、第１方向Ｄ１においてほぼ一定である。また、凹部Ｍ４ｂにおける第３方向Ｄ３の座標は、第１方向Ｄ１においてほぼ一定である。変形部Ｍ３の表面の空間周波数成分は、第１方向Ｄ１において、低周波数成分の比率が高い。また、第３方向Ｄ３における変形部Ｍ３の表面の位置（座標）は、第２方向Ｄ２において、第１方向Ｄ１に比べて変化量が大きい。変形部Ｍ３の表面の空間周波数成分は、第２方向Ｄ２において、第１方向Ｄ１に比べて高周波数成分の比率が高い。 The position (coordinates) of the surface of the deformation portion M3 in the third direction D3 has a small amount of change in the first direction D1. For example, the coordinates of the convex portion M4a in the third direction D3 are substantially constant in the first direction D1. Also, the coordinates of the recess M4b in the third direction D3 are substantially constant in the first direction D1. The spatial frequency components on the surface of the deformation portion M3 have a high ratio of low frequency components in the first direction D1. In addition, the position (coordinates) of the surface of the deformation portion M3 in the third direction D3 has a larger amount of change in the second direction D2 than in the first direction D1. Spatial frequency components on the surface of the deformation portion M3 have a higher ratio of high frequency components in the second direction D2 than in the first direction D1.

図３（Ｂ）の符号Ｍ２ｂは、変形領域Ｍ２ａの一部の領域（以下、部分領域という）である。部分領域Ｍ２ｂは、図３（Ａ）の変形部Ｍ３に相当する。図３（Ｂ）において、変形領域Ｍ２ａは、鉛直方向（Ｙ方向）の重力を受けて変形しており、図３（Ａ）の第１方向は、例えば図３（Ｂ）のＹ方向である。変形領域Ｍ２ａにおいて、しわＭ４はＹ方向と交差する方向（例、Ｘ方向）に並んでいる。図３（Ａ）の第２方向Ｄ２は、例えば、図３（Ｂ）のＸ方向である。部分領域Ｍ２ｂの空間周波数成分は、Ｘ方向（第２方向Ｄ２）において、Ｙ方向（第１方向Ｄ１）に比べて高周波数成分の比率が高い。 Reference M2b in FIG. 3B is a partial area (hereinafter referred to as a partial area) of the deformation area M2a. The partial region M2b corresponds to the deformed portion M3 in FIG. 3(A). In FIG. 3(B), the deformation area M2a is deformed by receiving gravity in the vertical direction (Y direction), and the first direction in FIG. 3(A) is, for example, the Y direction in FIG. 3(B). . In the deformation area M2a, the wrinkles M4 are arranged in a direction crossing the Y direction (for example, the X direction). The second direction D2 in FIG. 3A is, for example, the X direction in FIG. 3B. The spatial frequency components of the partial region M2b have a higher ratio of high frequency components in the X direction (second direction D2) than in the Y direction (first direction D1).

実施形態に係る処理装置３（図１参照）は、物体Ｍの空間周波数の異方性に基づいて、物体Ｍの変形を検出する。算出部１１は、検出部２の検出結果に基づいて、物体Ｍの空間周波数成分を算出する。例えば、検出部２は物体Ｍの各点の位置を検出し、算出部１１は、検出部２が検出した位置を用いて物体Ｍの空間周波数を算出する。以下の説明において、適宜、物体Ｍの少なくとも一部の空間周波数成分を算出する処理を、周波数解析処理と称する。変形検出部１２は、算出部１１の算出結果に基づいて、第２物体Ｍ２の変形を検出（推定）する。以下の説明において、適宜、物体Ｍの少なくとも一部の変形を検出する処理を、変形検出処理と称する。 The processing device 3 (see FIG. 1) according to the embodiment detects deformation of the object M based on the anisotropy of the spatial frequency of the object M. FIG. The calculator 11 calculates the spatial frequency component of the object M based on the detection result of the detector 2 . For example, the detection unit 2 detects the position of each point of the object M, and the calculation unit 11 calculates the spatial frequency of the object M using the positions detected by the detection unit 2 . In the following description, the process of calculating spatial frequency components of at least a part of the object M will be referred to as frequency analysis process as appropriate. The deformation detection unit 12 detects (estimates) the deformation of the second object M2 based on the calculation result of the calculation unit 11 . In the following description, processing for detecting deformation of at least a portion of the object M will be referred to as deformation detection processing as appropriate.

図４（Ａ）から（Ｃ）は、第１実施形態に係る算出部および変形検出部の処理を示す図である。算出部１１は、点群データ生成部５が生成した点群データを検出部２の検出結果として用いて、周波数解析処理を実行する。算出部１１は、点群データ生成部５が生成した点群データを記憶部１４から読み出して、周波数解析処理を実行する。算出部１１は、検出部２の検出結果（例、点群データ）を用いたフーリエ変換によって、各空間周波数に対する空間周波数成分（パワー）の分布（パワースペクトル）を算出する。算出部１１は、二次元のフーリエ変換によって、図３（Ａ）に示した第１方向Ｄ１における空間周波数成分と、第２方向Ｄ２における空間周波数成分とを算出する。 FIGS. 4A to 4C are diagrams showing the processing of the calculator and the deformation detector according to the first embodiment. The calculation unit 11 uses the point cloud data generated by the point cloud data generation unit 5 as the detection result of the detection unit 2 to perform frequency analysis processing. The calculation unit 11 reads the point cloud data generated by the point cloud data generation unit 5 from the storage unit 14 and executes frequency analysis processing. The calculation unit 11 calculates the distribution (power spectrum) of spatial frequency components (power) for each spatial frequency by Fourier transform using the detection result (eg, point cloud data) of the detection unit 2 . The calculator 11 calculates the spatial frequency component in the first direction D1 and the spatial frequency component in the second direction D2 shown in FIG. 3A by two-dimensional Fourier transform.

算出部１１は、物体Ｍの領域ごとに、周波数解析処理を実行する。図４（Ａ）の符号ＡＲ２は、図１の対象領域ＡＲから選択される領域である。算出部１１は、対象領域ＡＲを複数の領域に分割し、分割された複数の領域の１つを領域ＡＲ２（解析対象の領域）として選択する。領域ＡＲ２は、例えば、図３（Ｂ）の部分領域Ｍ２ｂに相当する。 The calculation unit 11 executes frequency analysis processing for each region of the object M. FIG. A reference AR2 in FIG. 4A is an area selected from the target area AR in FIG. The calculation unit 11 divides the target area AR into a plurality of areas, and selects one of the plurality of divided areas as an area AR2 (area to be analyzed). The area AR2 corresponds to the partial area M2b in FIG. 3B, for example.

周波数解析処理において、算出部１１は、物体Ｍを複数の領域に分割した各領域の点群データに基づいて、領域ごとの近似平面ＭＦ（図３（Ａ）参照）を算出する。例えば、算出部１１は、各領域の点群データに対して最小二乗法を適用して、近似平面ＭＦを算出する。算出部１１は、近似平面ＭＦを、予め設定された第１方向Ｄ１（例、鉛直方向、Ｙ方向）に平行という条件を満たす平面として算出する。算出部１１は、近似平面ＭＦに平行、かつ予め設定された第１方向Ｄ１（例、鉛直方向、Ｙ方向）に直交する方向を第２方向Ｄ２（例、水平方向、Ｘ方向）に設定する。 In the frequency analysis process, the calculator 11 calculates an approximate plane MF (see FIG. 3A) for each region based on the point cloud data of each region obtained by dividing the object M into a plurality of regions. For example, the calculator 11 applies the method of least squares to the point cloud data of each region to calculate the approximate plane MF. The calculator 11 calculates the approximate plane MF as a plane that satisfies the condition of being parallel to a preset first direction D1 (eg, vertical direction, Y direction). The calculator 11 sets a direction parallel to the approximate plane MF and orthogonal to a preset first direction D1 (eg, vertical direction, Y direction) as a second direction D2 (eg, horizontal direction, X direction). .

算出部１１は、各領域の点群データに対して二次元フーリエ変換を施し、予め設定された第１方向Ｄ１および設定した第２方向Ｄ２に基づいて、第１方向Ｄ１の空間周波数成分と、第２方向Ｄ２の空間周波数成分とを算出する。図４（Ｂ）のＫｙは、実空間上のＹ方向に対応する周波数空間（周波数領域）上の方向（以下、第１軸方向と称する）である。図４（Ｂ）のＫｘは、実空間上のＸ方向に対応する周波数空間上の方向（以下、第２軸方向と称する）である。 The calculation unit 11 performs a two-dimensional Fourier transform on the point cloud data of each region, and based on the preset first direction D1 and the preset second direction D2, the spatial frequency component in the first direction D1, A spatial frequency component in the second direction D2 is calculated. Ky in FIG. 4B is a direction in the frequency space (frequency domain) corresponding to the Y direction in the real space (hereinafter referred to as the first axis direction). Kx in FIG. 4B is a direction in frequency space corresponding to the X direction in real space (hereinafter referred to as a second axis direction).

図４（Ｂ）の符号ＡＲ３は、図４（Ａ）のしわＭ４に対応する周波数空間上の領域である。符号Ｐ１は、しわＭ４に対応する領域ＡＲ３においてパワーが極値（この場合、極大）となるピーク周波数である。符号Ｋｐは、直流成分に対応する原点０とピーク周波数Ｐ１とを結ぶ方向である。図４（Ｃ）には、方向Ｋｐの座標（空間周波数）に対するパワーの分布を表すパワースペクトルを示した。 A reference AR3 in FIG. 4B is a region on the frequency space corresponding to the wrinkle M4 in FIG. 4A. The symbol P1 is the peak frequency at which the power has an extreme value (maximum in this case) in the area AR3 corresponding to the wrinkle M4. The symbol Kp is the direction connecting the origin 0 corresponding to the DC component and the peak frequency P1. FIG. 4C shows a power spectrum representing the power distribution with respect to the coordinates (spatial frequency) of the direction Kp.

算出部１１は、物体Ｍの領域ごとに、空間周波数に対するパワーの分布を表すパワースペクトルを算出する。パワースペクトルの原点およびその周囲には、直流成分に対応するパワーの極大を有する低周波数成分の分布が表れる。算出部１１は、パワースペクトルにおいて低周波数成分の分布を除く領域からパワーが極大となるピーク周波数Ｐ１を検出する。付帯物Ｍ２（衣類）に発生するしわＭ４の実空間上のスケール（サイズ）は、付帯物Ｍ２の材質（例、物性値）に基づいて予め調べておくことができる。算出部１１は、しわＭ４のスケールに対応して予め設定される空間周波数のバンドにおいてパワーが極大となる場合に、パワーが極大となる位置をしわＭ４に対応するピーク周波数Ｐ１として検出してもよい。 The calculator 11 calculates, for each region of the object M, a power spectrum representing the distribution of power with respect to spatial frequencies. At and around the origin of the power spectrum, a distribution of low-frequency components with power maxima corresponding to DC components appears. The calculation unit 11 detects the peak frequency P1 at which the power is maximized from a region excluding the distribution of low frequency components in the power spectrum. The real-space scale (size) of wrinkles M4 occurring in the accessory M2 (clothing) can be checked in advance based on the material (eg, physical property value) of the accessory M2. When the power is maximum in a spatial frequency band preset corresponding to the scale of the wrinkle M4, the calculation unit 11 detects the position where the power is maximum as the peak frequency P1 corresponding to the wrinkle M4. good.

算出部１１は、第１軸方向Ｋｙにおけるピーク周波数Ｐ１の座標を、第１方向における物体Ｍの空間周波数成分が極大となる第１周波数ｆ１として算出する。また、算出部１１は、第２軸方向Ｋｘにおけるピーク周波数Ｐ１の座標を、第２方向における物体Ｍの空間周波数成分が極大となる第２周波数ｆ２として算出する。算出部１１は、算出した第１周波数ｆ１および第２周波数ｆ２を、部分領域Ｍ２ｂの位置および大きさを示す情報と関連付けて、記憶部１４に記憶させる。 The calculator 11 calculates the coordinates of the peak frequency P1 in the first axial direction Ky as the first frequency f1 at which the spatial frequency component of the object M in the first direction is maximum. The calculator 11 also calculates the coordinates of the peak frequency P1 in the second axial direction Kx as the second frequency f2 at which the spatial frequency component of the object M in the second direction is maximum. The calculation unit 11 stores the calculated first frequency f1 and second frequency f2 in the storage unit 14 in association with information indicating the position and size of the partial region M2b.

変形検出部１２は、算出部１１から得られる第１方向Ｄ１（Ｙ方向）の物体Ｍの空間周波数成分と第２方向Ｄ２（Ｘ方向）の物体Ｍの空間周波数成分との比較によって、第２物体Ｍ２（付帯物Ｍ２、衣類）が変形した変形領域Ｍ２ａを検出する。図３（Ｂ）で説明したように、付帯物Ｍ２に第１方向Ｄ１の力Ｆが作用した場合、付帯物Ｍ２の変形によるしわＭ４は、第１方向Ｄ１に交差する第２方向Ｄ２に並び、変形によって第１方向Ｄ１と第２方向Ｄ２とで空間周波数成分の異方性が表れる。変形検出部１２は、空間周波数成分の異方性に基づいて、第２物体Ｍ２（付帯物Ｍ２、衣類）が変形した変形領域Ｍ２ａを検出する。例えば、第１方向Ｄ１が鉛直方向（Ｙ方向）に設定され、第２方向Ｄ２が水平方向（Ｘ方向）に設定される場合、変形検出部１２は、変形領域Ｍ２ａとして、第２物体Ｍ２が時間的な変化（この場合、重力）によって変形した領域を検出する。 The deformation detection unit 12 compares the spatial frequency component of the object M in the first direction D1 (Y direction) and the spatial frequency component of the object M in the second direction D2 (X direction) obtained from the calculation unit 11 to determine the second A deformation area M2a in which the object M2 (accessory M2, clothing) is deformed is detected. As described with reference to FIG. 3B, when the force F in the first direction D1 acts on the accessory M2, the wrinkles M4 due to the deformation of the accessory M2 are aligned in the second direction D2 intersecting the first direction D1. , deformation causes anisotropy of spatial frequency components in the first direction D1 and the second direction D2. The deformation detection unit 12 detects a deformation region M2a in which the second object M2 (accessory M2, clothing) is deformed based on the anisotropy of the spatial frequency components. For example, when the first direction D1 is set in the vertical direction (Y direction) and the second direction D2 is set in the horizontal direction (X direction), the deformation detection unit 12 detects the second object M2 as the deformation area M2a. A region deformed by temporal change (in this case, gravity) is detected.

変形検出部１２は、物体Ｍにおいて第２周波数ｆ２が基準値の第１周波数ｆ１以上である領域を、第２物体Ｍ２が変形した変形領域Ｍ２ａと判別する。変形検出部１２は、物体Ｍの部分領域Ｍ２ｂごとに、記憶部１４から第１周波数ｆ１および第２周波数ｆ２を読み出す。変形検出部１２は、第１周波数ｆ１と第２周波数ｆ２とを比較し、第２周波数ｆ２が第１周波数ｆ１以上であると判定した場合に、部分領域Ｍ２ｂが変形領域Ｍ２ａに属すると判定する。 The deformation detection unit 12 determines a region in the object M in which the second frequency f2 is equal to or higher than the first frequency f1 of the reference value as a deformation region M2a in which the second object M2 is deformed. The deformation detection unit 12 reads the first frequency f1 and the second frequency f2 from the storage unit 14 for each partial region M2b of the object M. FIG. The deformation detection unit 12 compares the first frequency f1 and the second frequency f2, and when determining that the second frequency f2 is equal to or higher than the first frequency f1, determines that the partial region M2b belongs to the deformation region M2a. .

変形検出部１２は、分割された複数の領域（部分領域Ｍ２ｂ）のそれぞれについて、変形領域Ｍ２ａに属するか否かを判定することによって、変形領域Ｍ２ａの少なくとも一部を検出する。変形検出部１２は、変形検出処理の処理結果として、部分領域Ｍ２ｂが変形領域Ｍ２ａに属するか否かを示す属性情報（例、フラグ）を生成する。変形検出部１２は、部分領域Ｍ２ｂの位置と上記属性情報とを関連付けて記憶部１４に記憶させる。 The deformation detection unit 12 detects at least part of the deformation region M2a by determining whether each of the plurality of divided regions (partial regions M2b) belongs to the deformation region M2a. As a result of the deformation detection process, the deformation detection unit 12 generates attribute information (for example, a flag) indicating whether the partial region M2b belongs to the deformation region M2a. The deformation detection unit 12 causes the storage unit 14 to store the position of the partial region M2b and the attribute information in association with each other.

図１の説明に戻り、モデル生成部１３は、検出部２の検出結果および変形検出部１２の検出結果に基づいて、第１物体Ｍ１のモデル情報を生成する。モデル生成部１３は、変形検出部１２が検出した変形領域Ｍ２ａ（変形した付帯物Ｍ２）を物体Ｍから除外した領域に対する検出部２の検出結果に基づいて、第１物体Ｍ１のモデル情報を生成する。例えば、モデル生成部１３は、変形検出部１２が検出した変形領域Ｍ２ａの位置情報を第１物体Ｍ１の位置情報として用いないで、第１物体Ｍ１のモデル情報を生成する。モデル生成部１３は、第１物体Ｍ１を変形領域Ｍ２ａと区別して、第１物体Ｍ１のモデル情報を生成する。モデル生成部１３は、変形領域Ｍ２ａが第１物体Ｍ１と異なる物体（第２物体Ｍ２、付帯物Ｍ２）に属する領域（部分）であると判別（識別）して、第１物体Ｍ１のモデル情報を生成する。 Returning to the description of FIG. 1 , the model generation unit 13 generates model information of the first object M1 based on the detection result of the detection unit 2 and the detection result of the deformation detection unit 12 . The model generation unit 13 generates model information of the first object M1 based on the detection result of the detection unit 2 for the area obtained by excluding the deformation area M2a (deformed incidental object M2) detected by the deformation detection unit 12 from the object M. do. For example, the model generation unit 13 generates model information of the first object M1 without using the position information of the deformation area M2a detected by the deformation detection unit 12 as the position information of the first object M1. The model generation unit 13 generates model information of the first object M1 by distinguishing the first object M1 from the deformation area M2a. The model generation unit 13 determines (identifies) that the deformation area M2a is an area (part) belonging to an object (second object M2, accessory M2) different from the first object M1, and generates model information of the first object M1. to generate

本実施形態に係るモデル生成部１３は、第１物体Ｍ１のモデル情報として、人体Ｍ１の骨格と姿勢との一方または双方を表す情報を生成する。モデル生成部１３は、点群データ生成部５と姿勢推定部１６とを含む。姿勢推定部１６は、人体Ｍ１の少なくとも一部の姿勢を推定する姿勢推定処理を実行する。ここで、図１および図５を参照しつつ、姿勢推定処理について説明する。図５は、第１実施形態に係る姿勢推定部の処理を示す図である。 The model generator 13 according to the present embodiment generates information representing one or both of the skeleton and posture of the human body M1 as the model information of the first object M1. The model generator 13 includes a point cloud data generator 5 and a posture estimator 16 . The posture estimation unit 16 performs posture estimation processing for estimating the posture of at least part of the human body M1. Here, posture estimation processing will be described with reference to FIGS. 1 and 5. FIG. FIG. 5 is a diagram illustrating processing of a posture estimation unit according to the first embodiment;

姿勢推定部１６は、点群データ生成部５が生成した点群データに基づいて、姿勢推定処理を実行する。姿勢推定部１６は、点群データから得られる人体Ｍ１の形状に対して、認識処理（例、パターン認識、形状認識、骨格認識）を実行する。姿勢推定部１６は、認識処理によって、人体Ｍ１の特徴部分（例、特徴点）の位置情報を生成する。人体Ｍ１の特徴部分は、例えば、人体Ｍ１のうち他の部分と区別可能な部分である。人体Ｍ１の特徴部分は、例えば、人体Ｍ１の末端部（手先、足先、頭部）と、関節と、末端部とその隣の関節との間の中間部と、隣り合う２つの関節の間の中間部と、の少なくとも１つを含む。特徴部分の位置情報は、例えば、特徴部分を代表する点の座標（例、３次元座標）を含む。 The posture estimation unit 16 executes posture estimation processing based on the point cloud data generated by the point cloud data generation unit 5 . The posture estimation unit 16 performs recognition processing (eg, pattern recognition, shape recognition, skeleton recognition) on the shape of the human body M1 obtained from the point cloud data. The posture estimation unit 16 generates position information of characteristic portions (eg, characteristic points) of the human body M1 through recognition processing. A characteristic part of the human body M1 is, for example, a part of the human body M1 that can be distinguished from other parts. The characteristic portions of the human body M1 are, for example, the end portions (hands, feet, and head) of the human body M1, joints, intermediate portions between the end portions and adjacent joints, and between two adjacent joints. and at least one of The feature position information includes, for example, coordinates (eg, three-dimensional coordinates) of a point representing the feature.

図５において、符号Ｑ１から符号Ｑ９は、それぞれ、姿勢推定部１６が推定した特徴部分に相当する。符号Ｑ１は頭部であり、符号Ｑ２は肩、符号Ｑ３は背中（背骨中央）、符号Ｑ４は腰、符号Ｑ５は膝、符号Ｑ６は足首、符号Ｑ７は肘、符号Ｑ８は手首、符号Ｑ９は手先である。 In FIG. 5 , symbols Q1 to Q9 respectively correspond to feature portions estimated by the posture estimation unit 16 . Symbol Q1 is the head, symbol Q2 is the shoulder, symbol Q3 is the back (center of the spine), symbol Q4 is the waist, symbol Q5 is the knee, symbol Q6 is the ankle, symbol Q7 is the elbow, symbol Q8 is the wrist, symbol Q9 is. It is the minions.

ここで、変形領域Ｍ２ａが第１物体Ｍ１に属するものとして特徴部分を推定する場合を想定する。図５の符号Ｑｘは、変形領域Ｍ２ａが第１物体Ｍ１に属するものとして、推定される背中（背骨中央）である。図５において、人体Ｍ１は前かがみの姿勢であり、変形領域Ｍ２ａは、人体Ｍ１の腹から前方に垂れた部分である。変形領域Ｍ２ａを人体Ｍ１の腹とし、腹側の表面と背側の表面との中間に背骨が存在するとした場合、背中Ｑｘの位置は、背中Ｑ３と比べて人体Ｍ１の腹側にシフトした位置として推定される。 Here, it is assumed that the characteristic portion is estimated assuming that the deformation area M2a belongs to the first object M1. Reference character Qx in FIG. 5 indicates the estimated back (center of the spine) assuming that the deformation area M2a belongs to the first object M1. In FIG. 5, the human body M1 is in a slouching posture, and the deformation region M2a is a portion of the human body M1 that hangs forward from the belly. Assuming that the deformation area M2a is the belly of the human body M1 and that the spine exists between the ventral surface and the dorsal surface, the position of the back Qx is shifted to the ventral side of the human body M1 compared to the back Q3. is estimated as

本実施形態に係る姿勢推定部１６は、変形領域Ｍ２ａの少なくとも一部を、第１物体Ｍ１（人体Ｍ１）と異なる物体（付帯物Ｍ２）に属する部分であると識別し、第１物体Ｍ１から除外して姿勢推定処理を実行するので、特徴部分（例、背中Ｑ３）を高精度に推定可能である。姿勢推定部１６は、上記認識処理の結果として、各特徴部分の位置と、各特徴部分の情報（例、属性情報、名称（背中、腰））と、２つの特徴部分の接続関係を示す接続情報とを一組にした姿勢情報（例、骨格情報、スケルトンデータ）を生成する。姿勢推定部１６は、上記姿勢情報を図１の記憶部１４に記憶させる。 The posture estimating unit 16 according to the present embodiment identifies at least part of the deformation area M2a as belonging to an object (accompanying object M2) different from the first object M1 (human body M1). Since the posture estimation process is performed by excluding it, it is possible to estimate the characteristic portion (eg, back Q3) with high accuracy. As a result of the recognition process, the posture estimating unit 16 generates the position of each characteristic portion, the information of each characteristic portion (eg, attribute information, name (back, waist)), and the connection indicating the connection relationship between the two characteristic portions. Posture information (for example, skeleton information, skeleton data) is generated as a set of information. The posture estimation unit 16 causes the storage unit 14 in FIG. 1 to store the posture information.

姿勢推定部１６は、上記姿勢情報に基づいて、人体Ｍ１の姿勢を推定する。姿勢推定部１６は、接続関係がある一対の特徴部分を結ぶ第１線と、第１線に接続され、接続関係がある一対の特徴部分を結ぶ第２線との相対位置（例、角度）に基づいて、第１線および第２線を含む部分の姿勢を推定する。ここで、上記第１線は膝Ｑ５と腰Ｑ４とを結ぶ大腿部Ｑ１１であるとし、上記第２線は、腰Ｑ４と背中Ｑ３とを結ぶ背骨Ｑ１２であるとする。姿勢推定部１６は、大腿部Ｑ１１と背骨Ｑ１２とがなす角度αを算出する。姿勢推定部１６は、大腿部Ｑ１１と背骨Ｑ１２とがなす角度αが閾値以下である場合、腰が曲がった姿勢であると判定する。姿勢推定部１６は、大腿部Ｑ１１と背骨Ｑ１２とがなす角度αが閾値よりも大きい場合、腰が伸びた姿勢であると判定する。 The posture estimation unit 16 estimates the posture of the human body M1 based on the posture information. The posture estimation unit 16 calculates the relative position (eg, angle) between a first line connecting a pair of characteristic portions having a connection relationship and a second line connected to the first line and connecting the pair of characteristic portions having a connection relationship. , estimate the pose of the portion containing the first and second lines. Here, the first line is the thigh Q11 connecting the knee Q5 and the waist Q4, and the second line is the spine Q12 connecting the waist Q4 and the back Q3. The posture estimator 16 calculates the angle α between the thigh Q11 and the spine Q12. The posture estimating unit 16 determines that the waist is bent when the angle α between the thigh Q11 and the spine Q12 is equal to or less than a threshold. The posture estimating unit 16 determines that the waist is stretched when the angle α between the thigh Q11 and the spine Q12 is larger than a threshold.

姿勢推定部１６は、人体Ｍ１の予め設定された各特徴部分について上述のように姿勢を推定することで、人体Ｍ１の一部または全体の姿勢を推定する。姿勢推定部１６は、変形領域Ｍ２ａの少なくとも一部を第１物体Ｍ１から除外して姿勢推定処理を実行するので、人体Ｍ１において隣り合う特徴部分の相対位置を高精度に推定することができ、姿勢を高精度に推定することができる。 The posture estimation unit 16 estimates the posture of a part or the whole of the human body M1 by estimating the posture of each preset characteristic portion of the human body M1 as described above. The posture estimation unit 16 executes posture estimation processing while excluding at least part of the deformation area M2a from the first object M1. The posture can be estimated with high accuracy.

なお、姿勢推定部１６は、物体の姿勢を定義した姿勢定義情報を参照して、姿勢を推定してもよい。上記の姿勢定義情報は、例えば、姿勢の種類を表す情報と、各特徴部分の相対位置を定義する情報とを一組にした情報である。姿勢の種類を表す情報は、例えば、歩行姿勢、座位、ヨガのポーズ名など姿勢の名称である。各特徴部分の相対位置を定義する情報は、例えば、大腿部Ｑ１１と背骨Ｑ１２とがなす角度αの範囲あるいは閾値である。姿勢推定部１６は、上記姿勢情報と上記姿勢定義情報とを照合して、人体Ｍ１の姿勢を推定（識別）してもよい Note that the posture estimation unit 16 may estimate the posture by referring to posture definition information that defines the posture of the object. The posture definition information is, for example, a set of information representing the type of posture and information defining the relative position of each characteristic portion. The information representing the type of posture is, for example, the name of the posture, such as walking posture, sitting posture, or yoga pose name. The information defining the relative position of each characteristic portion is, for example, the range or threshold of the angle α between the thigh Q11 and the spine Q12. The posture estimation unit 16 may compare the posture information and the posture definition information to estimate (identify) the posture of the human body M1.

次に、上述の検出装置１の動作に基づいて、実施形態に係る検出方法について説明する。図６は、第１実施形態に係る検出方法を示すフローチャートである。検出装置１の構成については、適宜、図１を参照する。ステップＳ１において、検出部２は、物体Ｍの各点の位置情報を検出する。ステップＳ１の処理は、ステップＳ２の処理およびステップＳ３の処理を含む。ステップＳ２において、第１検出部４は、所定の点（例、視点、第１検出部４の位置）から各点までのデプスを検出する。ステップＳ３において、点群データ生成部５は、デプスの検出結果に基づいて、点群データを生成する。 Next, a detection method according to the embodiment will be described based on the operation of the detection device 1 described above. FIG. 6 is a flow chart showing the detection method according to the first embodiment. For the configuration of the detection device 1, refer to FIG. 1 as appropriate. In step S1, the detection unit 2 detects position information of each point of the object M. As shown in FIG. The process of step S1 includes the process of step S2 and the process of step S3. In step S2, the first detection unit 4 detects the depth from a predetermined point (eg, viewpoint, position of the first detection unit 4) to each point. In step S3, the point cloud data generator 5 generates point cloud data based on the depth detection result.

ステップＳ４において、算出部１１は、位置情報に基づいて物体Ｍの空間周波数成分を算出する。算出部１１は、点群データ生成部５が生成した点群データを位置情報として用いて、上記の周波数解析処理を実行する。算出部１１は、物体Ｍを複数の領域に分割し、分割された領域（例、部分領域Ｍ２ｂ）ごとに周波数解析処理を実行する（図４参照）。算出部１１は、物体Ｍの領域ごとに、第１方向Ｄ１の物体Ｍの空間周波数成分と、第２方向Ｄ２の物体Ｍの空間周波数成分とを算出する。算出部１１は、第１方向Ｄ１の物体Ｍの空間周波数成分が極大となる第１周波数ｆ１（図４参照）を算出する。また、算出部１１は、第２方向Ｄ２の物体Ｍの空間周波数成分が極大となる第２周波数ｆ２（図４参照）を算出する。 In step S4, the calculator 11 calculates the spatial frequency components of the object M based on the position information. The calculation unit 11 uses the point cloud data generated by the point cloud data generation unit 5 as position information to perform the frequency analysis process described above. The calculation unit 11 divides the object M into a plurality of regions, and executes frequency analysis processing for each divided region (eg, partial region M2b) (see FIG. 4). The calculation unit 11 calculates the spatial frequency components of the object M in the first direction D1 and the spatial frequency components of the object M in the second direction D2 for each region of the object M. FIG. The calculator 11 calculates the first frequency f1 (see FIG. 4) at which the spatial frequency component of the object M in the first direction D1 is maximized. The calculator 11 also calculates a second frequency f2 (see FIG. 4) at which the spatial frequency component of the object M in the second direction D2 is maximized.

ステップＳ５において、変形検出部１２は、物体Ｍの空間周波数成分に基づいて第２物体Ｍ２の変形を検出する。変形検出部１２は、ステップＳ４において算出部１１が算出した空間周波数成分に基づいて、上記の変形検出処理を実行する。変形検出部１２は、部分領域Ｍ２ｂ（図４参照）ごとに、第１周波数ｆ１と第２周波数ｆ２とを比較し、第２周波数ｆ２が第１周波数ｆ１以上である場合に、この部分領域Ｍ２ｂが変形領域Ｍ２ａ（図１参照）に属すると判定する。 In step S<b>5 , the deformation detection unit 12 detects deformation of the second object M<b>2 based on the spatial frequency components of the object M. The deformation detection unit 12 executes the deformation detection process described above based on the spatial frequency components calculated by the calculation unit 11 in step S4. The deformation detection unit 12 compares the first frequency f1 and the second frequency f2 for each partial region M2b (see FIG. 4), and if the second frequency f2 is equal to or higher than the first frequency f1, the partial region M2b belongs to the deformation area M2a (see FIG. 1).

ステップＳ６において、モデル生成部１３は、変形の検出結果に基づいて第１物体Ｍ１のモデル情報を生成する。ステップＳ６の処理は、ステップＳ７の処理およびステップＳ８の処理を含む。ステップＳ７において、姿勢推定部１６は、第２物体Ｍ２が変形した領域を除外して物体Ｍの特徴部分を検出する。姿勢推定部１６は、ステップＳ５において変形検出部１２が検出した変形領域Ｍ２ａを物体Ｍから除外した領域が第１物体Ｍ１に属する領域であると識別して、物体Ｍ（第１物体Ｍ１）の特徴部分を検出する（図５参照）。そして、ステップＳ８において、姿勢推定部１６は、特徴部分の相対位置に基づいて第１物体Ｍ１の姿勢を推定する。 In step S6, the model generator 13 generates model information of the first object M1 based on the deformation detection result. The process of step S6 includes the process of step S7 and the process of step S8. In step S7, the posture estimation unit 16 detects the characteristic portion of the object M, excluding the area where the second object M2 is deformed. The posture estimation unit 16 identifies the area obtained by excluding the deformation area M2a detected by the deformation detection unit 12 in step S5 from the object M as an area belonging to the first object M1, and determines the shape of the object M (first object M1). Detect the feature (see FIG. 5). Then, in step S8, the posture estimation unit 16 estimates the posture of the first object M1 based on the relative positions of the characteristic portions.

本実施形態に係る検出装置１は、空間周波数成分に基づいて物体Ｍの変形を検出し、変形の検出結果に基づいて第１物体Ｍ１のモデル情報を生成するので、第２物体Ｍ２の変形が第１物体Ｍ１のモデル情報に及ぼす影響を低減可能である。例えば、検出装置１は、変形領域Ｍ２ａを除外して第１物体Ｍ１のモデル情報を生成する場合、第１物体Ｍ１の高精度なモデル情報を取得可能である。例えば、図１において、第２物体Ｍ２（例、付帯物Ｍ２）は、第１物体Ｍ１（例、人体Ｍ１）の表面に沿う部分が第１物体Ｍ１の形状を近似的に表すが、変形領域Ｍ２ａにおいて第１物体Ｍ１との形状の差が大きいことがある。検出装置１は、変形領域Ｍ２ａを除外して第１物体Ｍ１の形状を検出することによって、第１物体Ｍ１の形状を高精度に検出することができ、例えば第１物体Ｍ１の姿勢を高精度に推定することができる。 The detection device 1 according to this embodiment detects the deformation of the object M based on the spatial frequency components, and generates the model information of the first object M1 based on the deformation detection result. It is possible to reduce the influence on the model information of the first object M1. For example, when generating the model information of the first object M1 by excluding the deformation region M2a, the detection device 1 can acquire highly accurate model information of the first object M1. For example, in FIG. 1, the second object M2 (eg, accessory M2) has a portion along the surface of the first object M1 (eg, human body M1) that approximately represents the shape of the first object M1. In some cases, M2a has a large difference in shape from the first object M1. The detection device 1 can detect the shape of the first object M1 with high accuracy by detecting the shape of the first object M1 while excluding the deformation area M2a. can be estimated to

なお、本実施形態に係る算出部１１は、点群データに基づいて空間周波数成分を算出するが、デプスマップに対してフーリエ変換を施して空間周波数成分を算出してもよい。また、本実施形態に係る検出装置１は、第１方向Ｄ１の空間周波数成分と第２方向Ｄ２の空間周波数成分との比較によって変形領域Ｍ２ａを検出するが、検出部２による物体Ｍの検出タイミングが異なる複数の検出結果で空間周波数成分を比較して、変形領域Ｍ２ａを検出してもよい。 Note that the calculation unit 11 according to the present embodiment calculates the spatial frequency components based on the point cloud data, but the spatial frequency components may be calculated by applying a Fourier transform to the depth map. Further, the detection device 1 according to the present embodiment detects the deformation area M2a by comparing the spatial frequency components in the first direction D1 and the spatial frequency components in the second direction D2. The deformation area M2a may be detected by comparing the spatial frequency components of a plurality of detection results with different values.

例えば、検出部２は、第１タイミングと、第１タイミングと異なる第２タイミングとのそれぞれにおいて物体Ｍを検出してもよい。算出部１１は、第１タイミングにおける検出部２の検出結果に基づいて、物体Ｍの第１空間周波数成分を算出してもよい。また、算出部１１は、第２タイミングにおける検出部２の検出結果に基づいて、物体Ｍの第２空間周波数成分を算出してもよい。変形検出部１２は、第１空間周波数成分と第２空間周波数成分との比較によって、変形領域Ｍ２ａの少なくとも一部を検出してもよい。例えば、変形検出部１２は、物体Ｍの一部の領域に関して、第１空間周波数成分（パワー）がピークとなる空間周波数に対して、第２空間周波数成分（パワー）がピークとなる空間周波数が高周波数へシフトしている場合、この領域が第２タイミングにおいて変形していると判定してもよい。 For example, the detection unit 2 may detect the object M at a first timing and at a second timing different from the first timing. The calculator 11 may calculate the first spatial frequency component of the object M based on the detection result of the detector 2 at the first timing. Further, the calculator 11 may calculate the second spatial frequency component of the object M based on the detection result of the detector 2 at the second timing. The deformation detection unit 12 may detect at least part of the deformation region M2a by comparing the first spatial frequency component and the second spatial frequency component. For example, the deformation detection unit 12 determines that the spatial frequency at which the second spatial frequency component (power) peaks relative to the spatial frequency at which the first spatial frequency component (power) peaks is If there is a shift to higher frequencies, it may be determined that this region is deformed at the second timing.

本実施形態において、第１方向Ｄ１は鉛直方向に設定されるが、第１方向Ｄ１は、鉛直方向と異なる方向に設定されてもよい。第１方向Ｄ１は、第２物体Ｍ２（付帯物Ｍ２）に力が働くと想定される方向に設定されてもよい。例えば、第１方向Ｄ１は、第２物体Ｍ２（付帯物Ｍ２）に水平方向の力が働くことが想定される場合、水平方向に設定されてもよい。また、第１方向Ｄ１および第２方向Ｄ２は、予め設定されてもよいし、検出部２の検出結果に基づいて設定されてもよい。例えば、検出部２の検出結果に対してフーリエ変換を施して得られるパワースペクトル（図４（Ｂ）、（Ｃ）参照）において、パワーが極大となるピーク周波数Ｐ１と原点０とを結ぶ方向（Ｋｐ）に対応する実空間上の方向を第２方向とし、第２方向に交差（例、直交）する方向を第１方向に設定してもよい。 In this embodiment, the first direction D1 is set in the vertical direction, but the first direction D1 may be set in a direction different from the vertical direction. The first direction D1 may be set in a direction in which a force is assumed to act on the second object M2 (attachment M2). For example, the first direction D1 may be set horizontally when it is assumed that a force in the horizontal direction acts on the second object M2 (attachment M2). Also, the first direction D1 and the second direction D2 may be set in advance, or may be set based on the detection result of the detection unit 2 . For example, the direction ( Kp) may be set as the second direction, and a direction intersecting (for example, perpendicular to) the second direction may be set as the first direction.

［第２実施形態］
次に、第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図７は、第２実施形態に係る検出装置を示す図である。図８は、第２実施形態に係る算出部および変形検出部の処理を示す図である。 [Second embodiment]
Next, a second embodiment will be described. In this embodiment, the same reference numerals are given to the same configurations as those of the above-described embodiment, and the description thereof will be omitted or simplified. FIG. 7 is a diagram showing a detection device according to the second embodiment. FIG. 8 is a diagram showing processing of a calculation unit and a deformation detection unit according to the second embodiment.

本実施形態に係る検出装置１は、例えば第１物体Ｍ１の微細な構造（例、髪の毛、皮膚のしわ、頭部）に対応する検出結果の少なくとも一部を除外して、第１物体Ｍ１のモデル情報を生成する。本実施形態に係るモデル生成部１３は、点群データ生成部５とサーフェス情報生成部１７とを備える。点群データ生成部５は、第１実施形態で説明したように、第１検出部４が検出した物体Ｍのデプスに基づいて、物体Ｍの形状情報として点群データを生成する。 The detection device 1 according to the present embodiment removes at least part of the detection results corresponding to, for example, the fine structure of the first object M1 (eg, hair, skin wrinkles, head), and Generate model information. The model generator 13 according to this embodiment includes a point cloud data generator 5 and a surface information generator 17 . The point cloud data generation unit 5 generates point cloud data as shape information of the object M based on the depth of the object M detected by the first detection unit 4, as described in the first embodiment.

算出部１１は、物体Ｍの領域ごとに、空間周波数成分が極大となるピーク周波数を算出する。図８において、符号ＡＲ４は、人体Ｍ１の頭部の領域であり、髪の毛などの微細な構造を含む。符号Ｐ２は、領域ＡＲ４に対応するパワースペクトルにおいて、パワーが極大となるピーク周波数である。ｆ３は、第１軸方向Ｋｙにおけるピーク周波数Ｐ２の座標（空間周波数）である。ｆ４は、第２軸方向Ｋｘにおけるピーク周波数Ｐ２の座標（空間周波数）である。ピーク周波数Ｐ２の空間周波数は、原点０からピーク周波数Ｐ２までの距離（ｆ３の二乗とｆ４の二乗との和の平方根）で表される。例えば、髪の毛は衣服のしわに比べて微細な構造であり、ピーク周波数Ｐ２は、ピーク周波数Ｐ１よりも高周波数である。 The calculation unit 11 calculates, for each region of the object M, the peak frequency at which the spatial frequency component is maximized. In FIG. 8, reference AR4 is the region of the head of the human body M1, which includes fine structures such as hair. Reference P2 is the peak frequency at which the power is maximized in the power spectrum corresponding to the area AR4. f3 is the coordinate (spatial frequency) of the peak frequency P2 in the first axial direction Ky. f4 is the coordinate (spatial frequency) of the peak frequency P2 in the second axial direction Kx. The spatial frequency of the peak frequency P2 is represented by the distance from the origin 0 to the peak frequency P2 (the square root of the sum of the square of f3 and the square of f4). For example, hair has a finer structure than wrinkles in clothes, and the peak frequency P2 is higher than the peak frequency P1.

算出部１１は、物体Ｍの領域ごとに、空間周波数成分（パワー）が極大となるピーク周波数を算出する。変形検出部１２は、算出部１１が算出したピーク周波数が閾値Ｖ１を超える物体Ｍの領域（以下、高周波領域と称する）を検出する。閾値Ｖ１は、例えば、人体Ｍ１における可動域のスケールに相当する空間周波数未満に設定される。人体Ｍ１における可動域のスケールは、例えば、隣り合う関節の間隔（例、肘と肩との間隔）である。図８において、ピーク周波数Ｐ２は、原点を中心として半径が閾値Ｖ１の円の領域ＡＲ５の外側に配置される。この場合、変形検出部１２は、ピーク周波数Ｐ２に対応する領域ＡＲ４を高周波領域として検出（特定）する。領域ＡＲ４は、例えば、人体Ｍ１の可動域（腕、足、首）に比べて微細な構造が支配的な領域と推定される。 The calculator 11 calculates, for each region of the object M, the peak frequency at which the spatial frequency component (power) is maximized. The deformation detection unit 12 detects a region of the object M in which the peak frequency calculated by the calculation unit 11 exceeds the threshold value V1 (hereinafter referred to as a high frequency region). The threshold V1 is set, for example, below the spatial frequency corresponding to the scale of the range of motion of the human body M1. The scale of the range of motion in the human body M1 is, for example, the interval between adjacent joints (eg, the interval between the elbow and the shoulder). In FIG. 8, the peak frequency P2 is located outside a circular area AR5 centered at the origin and having a radius V1. In this case, the deformation detection unit 12 detects (identifies) the area AR4 corresponding to the peak frequency P2 as the high frequency area. The area AR4 is presumed to be an area in which, for example, fine structures are dominant compared to the range of motion (arms, legs, neck) of the human body M1.

モデル生成部は、変形検出部１２が検出した高周波領域を物体Ｍから除外した領域に対する検出部２の検出結果に基づいて、第１物体Ｍ１のモデル情報を生成する。サーフェス情報生成部１７は、第１物体Ｍ１のモデル情報（例、形状情報）としてサーフェス情報を算出するサーフェス処理を実行する。 The model generation unit generates model information of the first object M1 based on the detection result of the detection unit 2 for the area obtained by excluding the high frequency area detected by the deformation detection unit 12 from the object M. The surface information generator 17 performs surface processing to calculate surface information as model information (eg, shape information) of the first object M1.

サーフェス情報は、例えばポリゴンデータ、ベクタデータ、及びドローデータの少なくとも１つを含む。サーフェス情報は、物体の表面上の複数の点の座標と、複数の点間の連結情報とを含む。連結情報（例、属性情報）は、例えば、物体表面の稜線（例、エッジ）に相当する線の両端の点を互いに関連付ける情報を含む。また、連結情報は、例えば、物体表面（サーフェス）の輪郭に相当する複数の線を互いに関連付ける情報を含む。 Surface information includes, for example, at least one of polygon data, vector data, and draw data. The surface information includes coordinates of points on the surface of the object and connection information between the points. The connection information (eg, attribute information) includes, for example, information that associates points at both ends of lines corresponding to ridges (eg, edges) on the surface of the object. The connection information also includes, for example, information that associates a plurality of lines corresponding to the outline of the object surface (surface) with each other.

サーフェス情報生成部１７は、高周波領域を物体Ｍから除外した領域に対する検出部２の検出結果（例、点群データ）に基づいて、サーフェス処理を実行する。例えば、サーフェス情報生成部１７は、変形検出部１２が検出した高周波領域に関する点群データを用いないで、サーフェス処理を実行する。サーフェス情報生成部１７は、サーフェス処理において、点群データに含まれる複数の点から選択される点とその近傍の点との間の面を推定する。 The surface information generation unit 17 performs surface processing based on the detection result (for example, point cloud data) of the detection unit 2 for the area obtained by excluding the high frequency area from the object M. FIG. For example, the surface information generator 17 performs surface processing without using the point cloud data regarding the high-frequency region detected by the deformation detector 12 . In the surface processing, the surface information generator 17 estimates a plane between a point selected from a plurality of points included in the point cloud data and its neighboring points.

また、サーフェス情報生成部１７は、サーフェス処理において、点群データを点間の平面情報を持つポリゴンデータに変換する。サーフェス情報生成部１７は、例えば、最小二乗法を用いたアルゴリズムにより、点群データをポリゴンデータへ変換する。このアルゴリズムは、例えば、点群処理ライブラリに公開されているアルゴリズムを適用したものでもよい。サーフェス情報生成部１７は、算出したサーフェス情報を記憶部１４に記憶させる。 In surface processing, the surface information generator 17 converts the point cloud data into polygon data having plane information between points. The surface information generation unit 17 converts the point cloud data into polygon data by, for example, an algorithm using the least squares method. This algorithm may be, for example, an algorithm published in the point cloud processing library. The surface information generation unit 17 stores the calculated surface information in the storage unit 14 .

なお、モデル情報は、物体Ｍのテクスチャ情報を含んでもよい。モデル生成部１３は、３次元の点座標及びその関連情報で規定された面のテクスチャ情報を生成してもよい。テクスチャ情報は、例えば、物体表面の文字や図形、模様、質感、パターン、凹凸を規定する情報、特定の画像、及び色彩（例、有彩色、無彩色）の少なくとも１つの情報を含む。モデル生成部１３は、生成したテクスチャ情報を記憶部１４に記憶させてもよい。 Note that the model information may include texture information of the object M. FIG. The model generator 13 may generate surface texture information defined by three-dimensional point coordinates and related information. The texture information includes, for example, at least one information of characters, figures, patterns, textures, patterns, irregularities on the surface of the object, specific images, and colors (eg, chromatic and achromatic colors). The model generation unit 13 may store the generated texture information in the storage unit 14 .

また、モデル情報は、画像の空間情報（例、照明条件、光源情報）を含んでもよい。光源情報は、物体Ｍに対して光（例、照明光）を照射する光源の位置、この光源から物体Ｍへ光が照射される方向（照射方向）、この光源から照射される光の波長、及びこの光源の種類のうち少なくとも１項目の情報を含む。モデル生成部１３は、例えば、ランバート反射を仮定したモデル、アルベド（Albedo）推定を含むモデルなどを利用して、光源情報を算出してもよい。モデル生成部１３は、生成した空間情報を記憶部１４に記憶させてもよい。モデル生成部１３は、テクスチャ情報と空間情報との一方または双方を生成しなくてもよい。 The model information may also include image spatial information (eg, lighting conditions, light source information). The light source information includes the position of the light source that irradiates the object M with light (eg, illumination light), the direction in which the light is emitted from the light source to the object M (irradiation direction), the wavelength of the light emitted from the light source, and at least one item of information among the types of this light source. The model generation unit 13 may calculate light source information using, for example, a model that assumes Lambertian reflection, a model that includes albedo estimation, or the like. The model generation unit 13 may store the generated spatial information in the storage unit 14 . The model generator 13 may not generate one or both of texture information and spatial information.

本実施形態に係る検出装置１は、例えば第１物体Ｍ１の微細な構造（例、髪の毛、皮膚のしわ）に対応する検出結果の少なくとも一部を除外して、第１物体Ｍ１のモデル情報を生成する。この場合、検出装置１は、第１物体Ｍ１の外形を推定する上で、第１物体Ｍ１の微細な構造がノイズとして影響を及ぼすことを低減可能である。また、上記した各実施形態において、検出装置１のモデル生成部１３は、変形検出部１２によって特定された変形領域Ｍ２ａの部分を他の部分（被覆部Ｍ１ａ、人体Ｍ１）に対して強調したモデル情報を生成してもよい。例えば、モデル生成部１３は、変形領域Ｍ２ａを相対的に強調した画像を生成し、その生成した画像を人体Ｍ１のモデル情報に重畳させて変形領域Ｍ２ａが強調された新たなモデル情報を生成する。 The detection device 1 according to the present embodiment excludes at least part of the detection results corresponding to, for example, the fine structure of the first object M1 (eg, hair, wrinkles on the skin), and obtains the model information of the first object M1. Generate. In this case, the detection device 1 can reduce the influence of the fine structure of the first object M1 as noise when estimating the outer shape of the first object M1. Further, in each of the above-described embodiments, the model generation unit 13 of the detection device 1 generates a model in which the portion of the deformation region M2a specified by the deformation detection unit 12 is emphasized with respect to other portions (the covering portion M1a and the human body M1). information may be generated. For example, the model generation unit 13 generates an image in which the deformation region M2a is relatively emphasized, and superimposes the generated image on the model information of the human body M1 to generate new model information in which the deformation region M2a is emphasized. .

［第３実施形態］
次に、第３実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図９は、第３実施形態に係る検出装置を示す図である。本実施形態に係る検出装置１は、例えば第１物体Ｍ１のモデル情報に基づいてレンダリング処理を実行し、レンダリング処理によって得られる画像を表示する。本実施形態に係る検出装置１（検出システム）は、モデル生成部１３と、レンダリング処理部１８（レンダリング処理装置、情報処理装置）と、入力装置１９と、表示装置２０とを備える。 [Third embodiment]
Next, a third embodiment will be described. In this embodiment, the same reference numerals are given to the same configurations as those of the above-described embodiment, and the description thereof will be omitted or simplified. FIG. 9 is a diagram showing a detection device according to the third embodiment. The detection device 1 according to the present embodiment executes rendering processing based on model information of the first object M1, for example, and displays an image obtained by the rendering processing. A detection device 1 (detection system) according to this embodiment includes a model generation unit 13 , a rendering processing unit 18 (rendering processing device, information processing device), an input device 19 , and a display device 20 .

レンダリング処理部１８は、例えば、グラフィックス プロセッシング ユニット（GPU）を含む。なお、レンダリング処理部１８は、ＣＰＵおよびメモリが画像処理プログラムに従って各処理を実行する態様でもよい。レンダリング処理部１８は、例えば、描画処理、テクスチャマッピング処理、シェーディング処理の少なくとも一つの処理を行う。 The rendering processor 18 includes, for example, a graphics processing unit (GPU). Note that the rendering processing unit 18 may be configured such that the CPU and memory execute each process according to an image processing program. The rendering processing unit 18 performs, for example, at least one of drawing processing, texture mapping processing, and shading processing.

レンダリング処理部１８は、描画処理において、例えば、モデル情報の形状情報に定められた形状を任意の視点から見た推定画像（例、再構築画像）を算出できる。以下の説明において、形状情報が示す形状をモデル形状という。レンダリング処理部１８は、例えば、描画処理によって、モデル情報（例、形状情報）からモデル形状（例、推定画像）を再構成できる。レンダリング処理部１８は、例えば、算出した推定画像のデータを記憶部１４に記憶させる。 In the drawing process, the rendering processing unit 18 can calculate an estimated image (eg, a reconstructed image) of the shape defined in the shape information of the model information viewed from an arbitrary viewpoint. In the following description, a shape indicated by shape information is called a model shape. The rendering processing unit 18 can, for example, reconstruct a model shape (eg, estimated image) from model information (eg, shape information) by drawing processing. The rendering processing unit 18 stores, for example, the calculated estimated image data in the storage unit 14 .

また、レンダリング処理部１８は、テクスチャマッピング処理において、例えば、推定画像上の物体の表面に、モデル情報のテクスチャ情報が示す画像を貼り付けた推定画像を算出できる。レンダリング処理部１８は、推定画像上の物体の表面に、対象物と別のテクスチャを貼り付けた推定画像を算出することができる。 Also, in the texture mapping process, the rendering processing unit 18 can calculate an estimated image in which, for example, an image indicated by the texture information of the model information is pasted on the surface of the object on the estimated image. The rendering processing unit 18 can calculate an estimated image in which a texture different from that of the target object is applied to the surface of the object on the estimated image.

レンダリング処理部１８は、シェーディング処理において、例えば、モデル情報の光源情報が示す光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。また、レンダリング処理部１８は、シェーディング処理において、例えば、任意の光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。 In the shading process, the rendering processing unit 18 can calculate an estimated image in which, for example, shadows formed by the light source indicated by the light source information of the model information are added to the object on the estimated image. Also, in the shading processing, the rendering processing unit 18 can calculate an estimated image by adding a shadow formed by an arbitrary light source to an object on the estimated image, for example.

入力装置１９は、処理装置３に対する各種情報（例、データ、指令）の入力に利用される。ユーザは、入力装置１９を操作することによって、処理装置３に対して各種情報を入力可能である。入力装置１９は、例えば、キーボード、マウス、トラックボール、タッチパネル、及び音声入力デバイス（例、マイク）の少なくとも一つを含む。 The input device 19 is used to input various information (eg, data, instructions) to the processing device 3 . A user can input various information to the processing device 3 by operating the input device 19 . The input device 19 includes, for example, at least one of a keyboard, mouse, trackball, touch panel, and voice input device (eg, microphone).

表示装置２０は、処理装置３から出力される画像のデータに基づいて、この画像を表示する。例えば、処理装置３は、レンダリング処理部１８が生成した推定画像のデータを表示装置２０に出力する。表示装置２０は、処理装置３から出力された推定画像のデータに基づいて、推定画像を表示する。表示装置２０は、例えば、液晶ディスプレイを含む。表示装置２０および入力装置１９は、タッチパネルなどでもよい。 The display device 20 displays the image based on the image data output from the processing device 3 . For example, the processing device 3 outputs the estimated image data generated by the rendering processing unit 18 to the display device 20 . The display device 20 displays the estimated image based on the estimated image data output from the processing device 3 . Display device 20 includes, for example, a liquid crystal display. The display device 20 and the input device 19 may be touch panels or the like.

本実施形態に係るモデル生成部１３は、物体Ｍから変形領域Ｍ２ａの少なくとも一部を除いた物体（例、第１物体Ｍ１、人体Ｍ１）の形状を表すモデル情報を生成する。レンダリング処理部１８は、例えば、変形領域Ｍ２ａが人体Ｍ１の形状に及ぼす影響を低減した推定画像を生成可能である。ユーザは、例えば、衣服の変形の影響が低減された人体Ｍ１の推定画像を見ることができる。 The model generation unit 13 according to the present embodiment generates model information representing the shape of an object (eg, first object M1, human body M1) obtained by excluding at least part of the deformation region M2a from the object M. The rendering processing unit 18 can generate, for example, an estimated image in which the influence of the deformation area M2a on the shape of the human body M1 is reduced. The user can see, for example, an estimated image of the human body M1 in which the effects of deformation of clothes are reduced.

なお、検出装置１は、入力装置１９を備えなくてもよい。例えば、検出装置１は、各種の指令、情報が通信を介して入力される形態でもよい。また、検出装置１は、表示装置２０を備えなくてもよい。例えば、検出装置１は、レンダリング処理により生成された推定画像のデータを通信を介して表示装置へ出力し、この表示装置が推定画像を表示してもよい。レンダリング処理部１８は、図９において処理装置３に設けられるが、処理装置３の外部の装置に設けられてもよい。上記外部の装置は、処理装置３と通信可能に接続されるクラウドコンピュータでもよい。 Note that the detection device 1 does not have to include the input device 19 . For example, the detection device 1 may be configured such that various commands and information are input via communication. Also, the detection device 1 may not include the display device 20 . For example, the detection device 1 may output data of an estimated image generated by rendering processing to a display device via communication, and the display device may display the estimated image. Although the rendering processing unit 18 is provided in the processing device 3 in FIG. 9 , it may be provided in a device external to the processing device 3 . The above external device may be a cloud computer communicably connected to the processing device 3 .

［第４実施形態］
次に、第４実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１０は、第３実施形態に係る検出装置を示す図である。本実施形態において、検出部２は、第１検出部４及び第２検出部２１を含む。第２検出部２１は、物体Ｍを撮像する撮像部であり、撮像によって物体Ｍを検出する。第２検出部２１は、例えば、物体Ｍのカラー画像（例、ＲＧＢ画像）または白黒画像（例、グレイ画像）を取得する。 [Fourth embodiment]
Next, a fourth embodiment will be described. In this embodiment, the same reference numerals are given to the same configurations as those of the above-described embodiment, and the description thereof will be omitted or simplified. FIG. 10 is a diagram showing a detection device according to the third embodiment. In this embodiment, the detector 2 includes a first detector 4 and a second detector 21 . The second detection unit 21 is an imaging unit that images the object M, and detects the object M by imaging. The second detection unit 21 acquires, for example, a color image (eg, RGB image) or a monochrome image (eg, gray image) of the object M.

本実施形態において、検出部２は物体Ｍを撮像して物体Ｍの画像を取得し、算出部１１は、検出部２が取得した画像を用いて物体Ｍの空間周波数を算出する。例えば、算出部１１は、第２検出部２１が撮像した撮像画像（例、物体Ｍを含むＲＧＢ画像）をフーリエ変換することによって、物体Ｍの空間周波数を算出する。変形検出部１２は、算出部１１が算出した物体Ｍの空間周波数に基づいて、物体Ｍの変形を検出する。そして、モデル生成部１３は、第１検出部４の検出結果および変形検出部１２の検出結果に基づいて、第１物体Ｍ１のモデル情報を生成する。この場合、例えば、モデル生成部１３は、第１検出部４の検出結果から、変形検出部１２が検出した変形領域Ｍ２ａの検出結果を除外して、第１物体Ｍ１のモデル情報を生成する。 In this embodiment, the detection unit 2 captures an image of the object M to acquire an image of the object M, and the calculation unit 11 calculates the spatial frequency of the object M using the image acquired by the detection unit 2 . For example, the calculation unit 11 calculates the spatial frequency of the object M by Fourier transforming a captured image (eg, an RGB image including the object M) captured by the second detection unit 21 . The deformation detection unit 12 detects deformation of the object M based on the spatial frequency of the object M calculated by the calculation unit 11 . Then, the model generation unit 13 generates model information of the first object M1 based on the detection result of the first detection unit 4 and the detection result of the deformation detection unit 12 . In this case, for example, the model generation unit 13 generates model information of the first object M1 by excluding the detection result of the deformation area M2a detected by the deformation detection unit 12 from the detection result of the first detection unit 4 .

なお、算出部１１は、第１検出部４の検出結果に基づいて物体Ｍの空間周波数を検出し、かつ第２検出部２１の検出結果に基づいて物体Ｍの空間周波数を検出してもよい。また、変形検出部１２は、第１検出部４の検出結果に基づく物体Ｍの空間周波数と、第２検出部２１の検出結果に基づく物体Ｍの空間周波数とに基づいて、物体Ｍの変形を検出してもよい。 Note that the calculation unit 11 may detect the spatial frequency of the object M based on the detection result of the first detection unit 4 and detect the spatial frequency of the object M based on the detection result of the second detection unit 21. . Further, the deformation detection unit 12 detects deformation of the object M based on the spatial frequency of the object M based on the detection result of the first detection unit 4 and the spatial frequency of the object M based on the detection result of the second detection unit 21. may be detected.

なお、第２検出部２１は、例えばステレオカメラを含み、複数の位置から物体Ｍを撮像して物体Ｍの各点の位置情報（例、デプス）を算出してもよい。モデル生成部１３は、第２検出部２１の検出結果に基づいて、第１物体Ｍ１のモデル情報を生成してもよい。例えば、算出部１１は、第１検出部４の検出結果に基づいて物体Ｍの空間周波数を算出し、変形検出部１２は、第１検出部４の検出結果に基づく物体Ｍの空間周波数に基づいて、物体Ｍの変形を検出してもよい。そして、モデル生成部１３は、第２検出部２１の検出結果から、変形検出部１２が第１検出部４の検出結果に基づいて検出した変形領域Ｍ２ａの検出結果を除外して、第１物体Ｍ１のモデル情報を生成してもよい。 Note that the second detection unit 21 may include, for example, a stereo camera, image the object M from a plurality of positions, and calculate the position information (eg, depth) of each point of the object M. The model generator 13 may generate model information of the first object M1 based on the detection result of the second detector 21 . For example, the calculation unit 11 calculates the spatial frequency of the object M based on the detection result of the first detection unit 4, and the deformation detection unit 12 calculates the spatial frequency of the object M based on the detection result of the first detection unit 4. , the deformation of the object M may be detected. Then, the model generation unit 13 excludes the detection result of the deformation area M2a detected by the deformation detection unit 12 based on the detection result of the first detection unit 4 from the detection result of the second detection unit 21, and obtains the first object Model information for M1 may be generated.

なお、モデル生成部１３は、第１検出部４の検出結果と、第１検出部４の検出結果に基づいて変形検出部１２が検出した変形とに基づいて第１物体Ｍ１の第１のモデル情報を生成し、かつ第２検出部２１の検出結果と、第２検出部２１の検出結果に基づいて変形検出部１２が検出した変形とに基づいて第１物体Ｍ１の第２のモデル情報を生成してもよい。また、モデル生成部１３は、上記第１のモデル情報を生成しなくてもよく、この場合、検出装置１は、第１検出部４を備えなくてもよい。 Note that the model generation unit 13 generates a first model of the first object M1 based on the detection result of the first detection unit 4 and the deformation detected by the deformation detection unit 12 based on the detection result of the first detection unit 4. Information is generated, and second model information of the first object M1 is obtained based on the detection result of the second detection unit 21 and the deformation detected by the deformation detection unit 12 based on the detection result of the second detection unit 21. may be generated. Also, the model generation unit 13 may not generate the first model information, and in this case, the detection device 1 may not include the first detection unit 4 .

上述の実施形態において、処理装置３は、例えばコンピュータシステムを含む。処理装置３は、記憶部１４に記憶されている処理プログラムを読み出し、この処理プログラムに従って各種の処理を実行する。この処理プログラムは、コンピュータに、第１物体Ｍ１と、第１物体Ｍ１に付帯した第２物体Ｍ２とを含む物体Ｍを検出した検出結果に基づいて、物体Ｍの空間周波数成分を算出することと、物体Ｍの空間周波数成分の算出結果に基づいて、第２物体Ｍ２の変形を検出することと、物体Ｍを検出した検出結果および第２物体Ｍ２の変形の検出結果に基づいて、第１物体Ｍ１のモデル情報を生成することと、を実行させる。この処理プログラムは、コンピュータ読み取り可能な記憶媒体（例、非一時的な記録媒体、non-transitory tangible media）に記録されて提供されてもよい。 In the embodiments described above, the processing device 3 includes, for example, a computer system. The processing device 3 reads a processing program stored in the storage unit 14 and executes various processing according to this processing program. This processing program causes the computer to calculate the spatial frequency component of the object M based on the detection result of detecting the object M including the first object M1 and the second object M2 attached to the first object M1. , detecting the deformation of the second object M2 based on the calculation result of the spatial frequency component of the object M; and generating model information for M1. This processing program may be provided by being recorded on a computer-readable storage medium (eg, non-transitory tangible media).

なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。 It should be noted that the technical scope of the present invention is not limited to the aspects described in the above embodiments and the like. One or more of the requirements described in the above embodiments and the like may be omitted. Also, the requirements described in the above-described embodiments and the like can be combined as appropriate. In addition, as long as it is permitted by laws and regulations, the disclosure of all the documents cited in the above-described embodiments and the like is used as part of the description of the text.

１・・・検出装置、２・・・検出部、３・・・処理装置、５・・・点群データ生成部、１１・・・算出部、１２・・・変形検出部、１３・・・モデル生成部、Ｄ１・・・第１方向、Ｄ２・・・第２方向、Ｍ・・・物体、Ｍ１・・・第１物体（人体）、Ｍ２・・・第２物体（付帯物）、ｆ１・・・第１周波数、ｆ２・・・第２周波数 Reference Signs List 1 detection device 2 detection unit 3 processing device 5 point cloud data generation unit 11 calculation unit 12 deformation detection unit 13 deformation detection unit Model generator, D1: first direction, D2: second direction, M: object, M1: first object (human body), M2: second object (incidental object), f1 ... first frequency, f2 ... second frequency

Claims (19)

第１物体と、前記第１物体に付帯した第２物体とを含む物体を検出する検出部と、
前記検出部の検出結果に基づいて、前記物体の空間周波数成分を算出する算出部と、
前記算出部の算出結果に基づいて、前記第２物体の変形を検出する変形検出部と、
前記検出部の検出結果および前記変形検出部の検出結果に基づいて、前記第１物体のモデル情報を生成するモデル生成部と、を備え、
前記算出部は、第１方向における前記物体の空間周波数成分と、前記第１方向と交差する第２方向における前記物体の空間周波数成分とを算出し、
前記変形検出部は、前記算出部から得られる前記第１方向の前記物体の空間周波数成分と前記第２方向の前記物体の空間周波数成分との比較によって、前記第２物体が変形した領域を検出する、検出装置。 a detection unit that detects an object including a first object and a second object attached to the first object;
a calculation unit that calculates a spatial frequency component of the object based on the detection result of the detection unit;
a deformation detection unit that detects deformation of the second object based on the calculation result of the calculation unit;
a model generation unit that generates model information of the first object based on the detection result of the detection unit and the detection result of the deformation detection unit ;
The calculation unit calculates spatial frequency components of the object in a first direction and spatial frequency components of the object in a second direction intersecting the first direction,
The deformation detection unit detects a region in which the second object is deformed by comparing the spatial frequency components of the object in the first direction and the spatial frequency components of the object in the second direction obtained from the calculation unit. Detector . 前記算出部は、前記物体の領域ごとに、前記第１方向における前記物体の空間周波数成分が極大となる第１周波数と、前記第２方向における前記物体の空間周波数が極大となる第２周波数とを算出し、
前記変形検出部は、前記物体において前記第２周波数が第１周波数以上である領域を、前記第２物体が変形した領域と判別する、
請求項１に記載の検出装置。 The calculator calculates, for each region of the object, a first frequency at which the spatial frequency component of the object in the first direction is maximum, and a second frequency at which the spatial frequency component of the object in the second direction is maximum. to calculate
The deformation detection unit determines a region in the object in which the second frequency is equal to or higher than a first frequency as a region in which the second object is deformed.
A detection device according to claim 1 . 前記第１方向は鉛直方向に設定され、前記第２方向は水平方向に設定され、
前記変形検出部は、前記算出部の算出結果に基づいて、前記第２物体が重力によって変形した領域を検出する、
請求項１または請求項２に記載の検出装置。 The first direction is set vertically, the second direction is set horizontally,
The deformation detection unit detects a region in which the second object is deformed by gravity based on the calculation result of the calculation unit.
3. A detection device according to claim 1 or claim 2 . 前記第１物体は人体を含み、
前記モデル生成部は、前記第１物体のモデル情報として、前記人体の骨格と姿勢との一方または双方を表す情報を生成する、
請求項１から請求項３のいずれか一項に記載の検出装置。 the first object includes a human body;
The model generating unit generates, as model information of the first object, information representing one or both of a skeleton and a posture of the human body.
4. A detection device according to any one of claims 1 to 3 . 前記算出部は、前記物体の領域ごとに空間周波数成分が極大となるピーク周波数を算出し、
前記変形検出部は、前記算出部が算出した前記ピーク周波数が閾値を超える前記物体の領域を検出し、
前記モデル生成部は、前記変形検出部が検出した領域を前記物体から除外した領域に対する前記検出部の検出結果に基づいて、前記第１物体のモデル情報を生成する、
請求項１から請求項４のいずれか一項に記載の検出装置。 The calculation unit calculates a peak frequency at which a spatial frequency component is maximum for each region of the object,
The deformation detection unit detects a region of the object in which the peak frequency calculated by the calculation unit exceeds a threshold,
The model generation unit generates model information of the first object based on the detection result of the detection unit for the area obtained by excluding the area detected by the deformation detection unit from the object.
5. A detection device according to any one of claims 1 to 4 . 前記第１物体は人体を含み、
前記閾値は、人体において隣り合う関節の間隔に基づいて設定される、
請求項５に記載の検出装置。 the first object includes a human body;
The threshold is set based on the distance between adjacent joints in the human body,
6. A detection device according to claim 5. 第１物体と、前記第１物体に付帯した第２物体とを含む物体を検出する検出部と、
前記検出部の検出結果に基づいて、前記物体の空間周波数成分を算出する算出部と、
前記算出部の算出結果に基づいて、前記第２物体の変形を検出する変形検出部と、
前記検出部の検出結果および前記変形検出部の検出結果に基づいて、前記第１物体のモデル情報を生成するモデル生成部と、を備え、
前記第１物体は人体を含み、
前記モデル生成部は、前記第１物体のモデル情報として、前記人体の骨格と姿勢との一方または双方を表す情報を生成する、検出装置。 a detection unit that detects an object including a first object and a second object attached to the first object;
a calculation unit that calculates a spatial frequency component of the object based on the detection result of the detection unit;
a deformation detection unit that detects deformation of the second object based on the calculation result of the calculation unit;
a model generation unit that generates model information of the first object based on the detection result of the detection unit and the detection result of the deformation detection unit;
the first object includes a human body;
The detection device, wherein the model generation unit generates information representing one or both of a skeleton and a posture of the human body as the model information of the first object. 前記算出部は、前記物体の領域ごとに空間周波数成分が極大となるピーク周波数を算出し、
前記変形検出部は、前記算出部が算出した前記ピーク周波数が閾値を超える前記物体の領域を検出し、
前記モデル生成部は、前記変形検出部が検出した領域を前記物体から除外した領域に対する前記検出部の検出結果に基づいて、前記第１物体のモデル情報を生成する、
請求項７に記載の検出装置。 The calculation unit calculates a peak frequency at which a spatial frequency component is maximum for each region of the object,
The deformation detection unit detects a region of the object in which the peak frequency calculated by the calculation unit exceeds a threshold,
The model generation unit generates model information of the first object based on the detection result of the detection unit for the area obtained by excluding the area detected by the deformation detection unit from the object.
8. A detection device according to claim 7 . 前記第１物体は人体を含み、
前記閾値は、人体において隣り合う関節の間隔に基づいて設定される、
請求項８に記載の検出装置。 the first object includes a human body;
The threshold is set based on the distance between adjacent joints in the human body,
9. A detection device according to claim 8 . 第１物体と、前記第１物体に付帯した第２物体とを含む物体を検出する検出部と、
前記検出部の検出結果に基づいて、前記物体の空間周波数成分を算出する算出部と、
前記算出部の算出結果に基づいて、前記第２物体の変形を検出する変形検出部と、
前記検出部の検出結果および前記変形検出部の検出結果に基づいて、前記第１物体のモデル情報を生成するモデル生成部と、を備え、
前記算出部は、前記物体の領域ごとに空間周波数成分が極大となるピーク周波数を算出し、
前記変形検出部は、前記算出部が算出した前記ピーク周波数が閾値を超える前記物体の領域を検出し、
前記モデル生成部は、前記変形検出部が検出した領域を前記物体から除外した領域に対する前記検出部の検出結果に基づいて、前記第１物体のモデル情報を生成し、
前記第１物体は人体を含み、
前記閾値は、人体において隣り合う関節の間隔に基づいて設定される、検出装置。 a detection unit that detects an object including a first object and a second object attached to the first object;
a calculation unit that calculates a spatial frequency component of the object based on the detection result of the detection unit;
a deformation detection unit that detects deformation of the second object based on the calculation result of the calculation unit;
a model generation unit that generates model information of the first object based on the detection result of the detection unit and the detection result of the deformation detection unit;
The calculation unit calculates a peak frequency at which a spatial frequency component is maximum for each region of the object,
The deformation detection unit detects a region of the object in which the peak frequency calculated by the calculation unit exceeds a threshold,
The model generation unit generates model information of the first object based on the detection result of the detection unit for the area obtained by excluding the area detected by the deformation detection unit from the object,
the first object includes a human body;
The detection device , wherein the threshold is set based on the distance between adjacent joints in the human body . 前記変形検出部は、前記第２物体が変形した領域を検出し、
前記モデル生成部は、前記変形検出部が検出した前記変形した領域を前記物体から除外した領域に対する前記検出部の検出結果に基づいて、前記第１物体のモデル情報を生成する、請求項１から請求項１０のいずれか一項に記載の検出装置。 The deformation detection unit detects a region in which the second object is deformed,
2. The model generation unit generates model information of the first object based on a detection result of the detection unit for an area obtained by excluding the deformed area detected by the deformation detection unit from the object. 11. A detection device according to any one of claims 10 to 14 . 前記検出部は、前記物体の各点の位置を検出する位置検出部を含み、
前記算出部は、前記位置を用いて前記物体の空間周波数成分を算出する、
請求項１から請求項１１のいずれか一項に記載の検出装置。 The detection unit includes a position detection unit that detects the position of each point of the object,
The calculation unit calculates spatial frequency components of the object using the position.
12. A detection device according to any one of claims 1 to 11 . 前記検出部は、前記物体を撮像して前記物体の画像を取得する撮像部を含み、
前記算出部は、前記画像を用いて前記物体の空間周波数成分を算出する、
請求項１から請求項１２のいずれか一項に記載の検出装置。 The detection unit includes an imaging unit that captures an image of the object and obtains an image of the object,
The calculation unit calculates spatial frequency components of the object using the image.
13. A detection device according to any one of claims 1-12 . 第１物体と、前記第１物体に付帯した第２物体とを含む物体を検出する検出部と、a detection unit that detects an object including a first object and a second object attached to the first object;
前記検出部の検出結果に基づいて、前記物体の空間周波数成分を算出する算出部と、 a calculation unit that calculates a spatial frequency component of the object based on the detection result of the detection unit;
前記算出部の算出結果に基づいて、前記第２物体の変形を検出する変形検出部と、 a deformation detection unit that detects deformation of the second object based on the calculation result of the calculation unit;
前記検出部の検出結果および前記変形検出部の検出結果に基づいて、前記第１物体のモ a model of the first object based on the detection result of the detection unit and the detection result of the deformation detection unit;
デル情報を生成するモデル生成部と、を備え、a model generator that generates model information;
前記変形検出部は、前記第１物体の表面から離れる変形をした第２物体の領域を検出する、検出装置。 The deformation detection unit detects a region of the second object deformed away from the surface of the first object. 第１物体と、前記第１物体に付帯した第２物体とを含む物体を検出した検出結果に基づいて、前記物体の空間周波数成分を算出する算出部と、
前記算出部の算出結果に基づいて、前記第２物体の変形を検出する変形検出部と、
前記物体を検出した検出結果および前記変形検出部の検出結果に基づいて、前記第１物体のモデル情報を生成するモデル生成部と、を備え、
前記算出部は、第１方向における前記物体の空間周波数成分と、前記第１方向と交差する第２方向における前記物体の空間周波数成分とを算出し、
前記変形検出部は、前記算出部から得られる前記第１方向の前記物体の空間周波数成分と前記第２方向の前記物体の空間周波数成分との比較によって、前記第２物体が変形した領域を検出する、処理装置。 a calculation unit that calculates a spatial frequency component of the object based on a detection result of detecting an object including a first object and a second object attached to the first object;
a deformation detection unit that detects deformation of the second object based on the calculation result of the calculation unit;
a model generation unit that generates model information of the first object based on a detection result of detecting the object and a detection result of the deformation detection unit ;
The calculation unit calculates spatial frequency components of the object in a first direction and spatial frequency components of the object in a second direction intersecting the first direction,
The deformation detection unit detects a region in which the second object is deformed by comparing the spatial frequency components of the object in the first direction and the spatial frequency components of the object in the second direction obtained from the calculation unit. processing equipment. 第１物体と、前記第１物体に付帯した第２物体とを含む物体を検出することと、
前記物体を検出した検出結果に基づいて、第１方向における前記物体の空間周波数成分と、前記第１方向と交差する第２方向における前記物体の空間周波数成分とを算出することと、
前記物体の空間周波数成分の算出結果に基づいて、前記第１方向の前記物体の空間周波数成分と前記第２方向の前記物体の空間周波数成分との比較によって、前記第２物体が変形した領域を検出することと、
前記物体を検出した検出結果および前記第２物体が変形した領域の検出結果に基づいて、前記第１物体のモデル情報を生成することと、を含む検出方法。 detecting an object including a first object and a second object attached to the first object;
calculating a spatial frequency component of the object in a first direction and a spatial frequency component of the object in a second direction intersecting with the first direction based on a detection result of detecting the object;
A region in which the second object is deformed is determined by comparing the spatial frequency components of the object in the first direction and the spatial frequency components of the object in the second direction based on the calculation result of the spatial frequency components of the object. detecting;
Generating model information of the first object based on a detection result of detecting the object and a detection result of a region in which the second object is deformed . コンピュータに、
第１物体と、前記第１物体に付帯した第２物体とを含む物体を検出した検出結果に基づいて、第１方向における前記物体の空間周波数成分と、前記第１方向と交差する第２方向における前記物体の空間周波数成分とを算出することと、
前記物体の空間周波数成分の算出結果に基づいて、前記第１方向の前記物体の空間周波数成分と前記第２方向の前記物体の空間周波数成分との比較によって、前記第２物体が変形した領域を検出することと、
前記物体を検出した検出結果および前記第２物体が変形した領域の検出結果に基づいて、前記第１物体のモデル情報を生成することと、を実行させる処理プログラム。 to the computer,
Spatial frequency components of the object in a first direction and a second direction intersecting the first direction based on detection results of an object including a first object and a second object attached to the first object calculating spatial frequency components of the object in
A region in which the second object is deformed is determined by comparing the spatial frequency components of the object in the first direction and the spatial frequency components of the object in the second direction based on the calculation result of the spatial frequency components of the object. detecting;
A processing program for generating model information of the first object based on a detection result of detecting the object and a detection result of a region in which the second object is deformed . コンピュータに、to the computer,
人体を含む第１物体と、前記第１物体に付帯した第２物体とを含む物体を検出した検出結果に基づいて、前記物体の空間周波数成分を算出することと、 calculating a spatial frequency component of the object based on a detection result of detecting an object including a first object including a human body and a second object attached to the first object;
前記物体の空間周波数成分の算出結果に基づいて、前記第２物体の変形を検出することと、 Detecting deformation of the second object based on a calculation result of spatial frequency components of the object;
前記物体を検出した検出結果および前記第２物体の変形の検出結果に基づいて、前記第１物体のモデル情報として、前記人体の骨格と姿勢との一方または双方を表す情報を生成することと、を実行させる処理プログラム。 generating information representing one or both of a skeleton and a posture of the human body as model information of the first object based on a detection result of detecting the object and a detection result of deformation of the second object; A processing program that causes the コンピュータに、to the computer,
人体を含む第１物体と、前記第１物体に付帯した第２物体とを含む物体を検出した検出結果に基づいて、前記物体の空間周波数成分を算出し、前記物体の領域ごとに空間周波数成分が極大となるピーク周波数を算出することと、 Based on a detection result of detecting an object including a first object including a human body and a second object attached to the first object, a spatial frequency component of the object is calculated, and the spatial frequency component is calculated for each region of the object. calculating the peak frequency at which is maximum;
前記物体の空間周波数成分の算出結果に基づいて、前記第２物体の変形を検出し、算出した前記ピーク周波数が、人体において隣り合う関節の間隔に基づいて設定され閾値を超える前記物体の領域を検出することと、 Deformation of the second object is detected based on the calculation result of the spatial frequency component of the object, and the calculated peak frequency is set based on the distance between adjacent joints in the human body, and the area of the object exceeding a threshold is determined. detecting;
前記物体を検出した検出結果および前記ピーク周波数が閾値を超える前記物体の領域を前記物体から除外した領域に対する検出結果に基づいて、前記第１物体のモデル情報を生成することと、を実行させる処理プログラム。 Generating model information of the first object based on the detection result of detecting the object and the detection result of the area of the object where the peak frequency exceeds a threshold is excluded from the object. program.
JP2018216403A 2018-11-19 2018-11-19 Detection device, processing device, detection method, and processing program Active JP7234595B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018216403A JP7234595B2 (en) 2018-11-19 2018-11-19 Detection device, processing device, detection method, and processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018216403A JP7234595B2 (en) 2018-11-19 2018-11-19 Detection device, processing device, detection method, and processing program

Publications (2)

Publication Number Publication Date
JP2020086636A JP2020086636A (en) 2020-06-04
JP7234595B2 true JP7234595B2 (en) 2023-03-08

Family

ID=70909956

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018216403A Active JP7234595B2 (en) 2018-11-19 2018-11-19 Detection device, processing device, detection method, and processing program

Country Status (1)

Country Link
JP (1) JP7234595B2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012161291A1 (en) 2011-05-20 2012-11-29 日本電気株式会社 Site separation location extraction device, program, and method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11312228A (en) * 1998-04-28 1999-11-09 Minolta Co Ltd Three-dimensional shape data processor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012161291A1 (en) 2011-05-20 2012-11-29 日本電気株式会社 Site separation location extraction device, program, and method

Also Published As

Publication number Publication date
JP2020086636A (en) 2020-06-04

Similar Documents

Publication Publication Date Title
EP2893479B1 (en) System and method for deriving accurate body size measures from a sequence of 2d images
US9594950B2 (en) Depth mapping with enhanced resolution
US9262674B2 (en) Orientation state estimation device and orientation state estimation method
JP5873442B2 (en) Object detection apparatus and object detection method
US9047507B2 (en) Upper-body skeleton extraction from depth maps
WO2015183550A1 (en) Determining three-dimensional information from projections or placement of two-dimensional patterns
JP6290153B2 (en) Method and system for generating a three-dimensional model of an object
CN113474816A (en) Elastic dynamic projection mapping system and method
JP2016071645A (en) Object three-dimensional model restoration method, device, and program
US20230194246A1 (en) Detection device, processing device, equipment, detection method, and detection program
JP7024876B2 (en) Detection device, processing device, detection method, and processing program
Nakamura et al. Estimation method of clothes size for virtual fitting room with kinect sensor
JP7200994B2 (en) Processing device, detection device, processing method, and processing program
JP7234595B2 (en) Detection device, processing device, detection method, and processing program
JP2010238134A (en) Image processor and program
JP7147848B2 (en) Processing device, posture analysis system, processing method, and processing program
JP2022037506A (en) Detection device, processing device, detection method, and processing program
Laws et al. Feature hiding in 3D human body scans
JP2010238169A (en) Device and program for processing image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230206

R150 Certificate of patent or registration of utility model

Ref document number: 7234595

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150