JP6260146B2 - Shape state estimation device, shape model generation device, and program - Google Patents
Shape state estimation device, shape model generation device, and program Download PDFInfo
- Publication number
- JP6260146B2 JP6260146B2 JP2013176926A JP2013176926A JP6260146B2 JP 6260146 B2 JP6260146 B2 JP 6260146B2 JP 2013176926 A JP2013176926 A JP 2013176926A JP 2013176926 A JP2013176926 A JP 2013176926A JP 6260146 B2 JP6260146 B2 JP 6260146B2
- Authority
- JP
- Japan
- Prior art keywords
- shape
- individual
- parameter
- basis
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Description
本発明は、形状状態推定装置、形状モデル生成装置、及びプログラムに係り、特に、推定対象物の形状に関する状態を推定するための形状状態推定装置、形状モデル生成装置、及びプログラムに関する。 The present invention relates to a shape state estimation device, a shape model generation device, and a program, and more particularly, to a shape state estimation device, a shape model generation device, and a program for estimating a state related to the shape of an estimation target.
従来より、顔画像処理の世界では標準的なActive Appearance Modelの形状モデルを用いる手法が知られている（非特許文献１、２）。非特許文献２では、以下の式を用いることが記載されている。 Conventionally, in the face image processing world, a method using a standard Active Appearance Model shape model is known (Non-Patent Documents 1 and 2). Non-Patent Document 2 describes the use of the following equation.
また、形状のパラメータyと表情のパラメータaと分離する手法が知られている（非特許文献３）。非特許文献３では、以下の式を用いることが記載されている。 Also, a technique for separating the shape parameter y from the facial expression parameter a is known (Non-Patent Document 3). Non-Patent Document 3 describes that the following equation is used.
上記の式で表わされるモデルは、統計的手法で作られたモデルでは無く、手作業で調整されたモデルである（非特許文献４参照）。 The model represented by the above formula is not a model made by a statistical method but a model adjusted manually (see Non-Patent Document 4).
また、ｃ＝Ｐbｃb＋Ｐwｃwのように個人間差(between-identity)と個人内差(within-identity)に分離する方法が知られている（非特許文献５、６）。非特許文献６では、正準判別分析で使われる個人差と個人内変動を利用する方法が記載されている。 Also, c = P b c b + P w c interindividual differences as w (Between-identity) and intra-individual differences (WITHIN-identity) method of separation known (Non-Patent Documents 5 and 6). Non-Patent Document 6 describes a method of using individual differences and intra-individual variations used in canonical discriminant analysis.
また、N-mode SVDを使って個人差と個人内変動の基底を分離する方法が知られている（非特許文献７）。 In addition, a method for separating the basis of individual differences and intra-individual variation using N-mode SVD is known (Non-patent Document 7).
また、上記の方法のように汎用的な形状モデルを事前に用意するのではなく、対象者の3次元顔形状を撮影中の2次元カメラ画像から復元することで特定個人に適合したモデル形状を得る方法が知られている（特許文献１、非特許文献８）。 Also, instead of preparing a general-purpose shape model in advance as in the above method, a model shape suitable for a specific individual can be obtained by restoring the 3D face shape of the subject from the 2D camera image being shot. The obtaining method is known (patent document 1, non-patent document 8).
上記非特許文献１、２に記載の技術では、時間変動するパラメータと時間変動しないパラメータが混合しているために、個人内の表情変化パラメータを変更すると、個人間差パラメータも変更されてしまう。従って、表情変化だけをフィッティングしたいのに、個人差形状も変化してしまうことが避けられないため、フィッティング精度が悪化してしまう、という問題がある。 In the technologies described in Non-Patent Documents 1 and 2 above, parameters that vary with time and parameters that do not vary with time are mixed, so that when an individual facial expression change parameter is changed, an inter-individual difference parameter is also changed. Accordingly, there is a problem that the fitting accuracy deteriorates because it is unavoidable that the individual difference shape is inevitably changed in order to fit only the expression change.
また、上記非特許文献３、４に記載の技術は、統計モデルではないので本質的に精度が低い。 Moreover, since the techniques described in Non-Patent Documents 3 and 4 are not statistical models, their accuracy is essentially low.
また、上記非特許文献５に記載の方法を適用したところ、個人間変動と個人内変動の分離が十分ではないことが分かっだ。つまり、表情変化だけをフィッティングしたいのに個人差形状も変化してしまう、という問題がある。 In addition, when the method described in Non-Patent Document 5 is applied, it is clear that the inter-individual variation and the intra-individual variation are not sufficiently separated. In other words, there is a problem that the individual difference shape changes even though only the expression change is to be fitted.
また、上記の非特許文献１、２では、時間変動するパラメータと時間変動しないパラメータが混合しているために、常に全てのパラメータを推定する必要があり、処理時間がかかる、という問題がある。 Further, in the above Non-Patent Documents 1 and 2, since parameters that vary with time and parameters that do not vary with time are mixed, there is a problem that it is necessary to always estimate all parameters, and processing time is required.
また、上記の非特許文献５に記載の手法では、パラメータの分離が試みられているが、個人間差が完全に分離できていないために、推定パラメータは多くなってしまう、という問題がある。 Further, although the method described in Non-Patent Document 5 attempts to separate parameters, there is a problem that estimation parameters increase because individual differences are not completely separated.
上記の非特許文献７に記載の手法では、N-mode SVDを使うためにデータを用意する際に欠落が許されないという制約があるのと、出来上がったモデルが、以下の式に示すように積の形になっているため、扱い難い。 In the method described in Non-Patent Document 7 above, there is a restriction that omission is not allowed when preparing data for using N-mode SVD, and the completed model is multiplied by the product as shown in the following equation. Because it is in the form of, it is difficult to handle.
また、上記の特許文献１及び非特許文献８に記載の技術では、計測中に対象者の３次元顔形状を復元するので処理結果がうまくいくかどうかに不確実性が残り、適用できるアプリケーションが限定される、という問題がある。 Further, in the techniques described in Patent Document 1 and Non-Patent Document 8 described above, since the three-dimensional face shape of the subject is restored during measurement, there is uncertainty about whether the processing result will be successful, and there are applications that can be applied. There is a problem that it is limited.
本発明は、上記の問題点を解決するためになされたもので、短い処理時間で、形状に関する状態を精度よく推定することができる形状状態推定装置、形状モデル生成装置、及びプログラムを提供することを目的とする。 The present invention has been made to solve the above problems, and provides a shape state estimation device, a shape model generation device, and a program capable of accurately estimating a state related to a shape in a short processing time. With the goal.
上記の目的を達成するために第１の発明に係る形状状態推定装置は、推定対象物を撮像する撮像手段によって撮像された前記推定対象物を表す画像から、特徴点を検出する特徴点検出手段と、推定対象物の形状に関する基準の状態である物体であって、前記推定対象物と同一種類の物体を表す複数の画像に基づいて求められる、物体の個体差を表す個体差基底と、前記推定対象物と同一種類の物体を表す複数の画像に基づいて求められる、物体の個体内の変動を表す個体内変動基底及び前記物体の個体差と個体内変動とが混在した混在基底とを含む少なくとも３種類の基底を用いて表される、前記推定対象物の形状に関する状態を識別するための予め学習された形状モデルを用いて、前記特徴点検出手段によって検出された特徴点に基づいて、前記画像が表す前記推定対象物の形状に関する状態を推定し、又は前記状態を表すパラメータを推定する推定手段と、を含んで構成されている。 In order to achieve the above object, a shape state estimation device according to a first aspect of the present invention is a feature point detection unit that detects a feature point from an image representing the estimation object imaged by an imaging unit that images the estimation object. An object that is a reference state regarding the shape of the estimation target object, and is obtained based on a plurality of images representing the same type of object as the estimation target object, and an individual difference basis that represents an individual difference of the object, and Intra-individual variation bases that represent variations within an individual of the object and mixed bases in which individual differences and intra-individual variations of the object are mixed, obtained based on a plurality of images representing the same type of object as the estimation target Based on feature points detected by the feature point detection means using a pre-learned shape model for identifying a state related to the shape of the estimation object represented by at least three types of bases Said image said state estimating the related shape estimation object represented by, or is configured to include a an estimation means for estimating parameters representing the state.
また、第２の発明に係るプログラムは、コンピュータを、推定対象物を撮像する撮像手段によって撮像された前記推定対象物を表す画像から、特徴点を検出する特徴点検出手段、及び推定対象物の形状に関する基準の状態である物体であって、前記推定対象物と同一種類の物体を表す複数の画像に基づいて求められる、物体の個体差を表す個体差基底と、前記推定対象物と同一種類の物体を表す複数の画像に基づいて求められる、物体の個体内の変動を表す個体内変動基底及び前記物体の個体差と個体内変動とが混在した混在基底とを含む少なくとも３種類の基底を用いて表される、前記推定対象物の形状に関する状態を識別するための予め学習された形状モデルを用いて、前記特徴点検出手段によって検出された特徴点に基づいて、前記画像が表す前記推定対象物の形状に関する状態を推定し、又は前記状態を表すパラメータを推定する推定手段として機能させるためのプログラムである。 According to a second aspect of the present invention, there is provided a program for causing a computer to detect a feature point from an image representing the estimation object captured by an imaging unit that images the estimation object, An object that is a reference state related to a shape, and is obtained based on a plurality of images representing an object of the same type as the estimated object, and an individual difference basis that represents an individual difference of the object, and the same type as the estimated object And at least three types of bases including an intra-individual variation base representing intra-individual variation of the object and a mixed base in which individual differences of the object and intra-individual variation are mixed, obtained based on a plurality of images representing the object Based on the feature points detected by the feature point detection means, using a shape model learned in advance for identifying the state related to the shape of the estimation object represented by It estimates a state relating to the shape of the estimated object represented, or a program to function as estimating means for estimating parameters representing the state.
第１の発明及び第２の発明によれば、特徴点検出手段によって、推定対象物を撮像する撮像手段によって撮像された前記推定対象物を表す画像から、特徴点を検出する。そして、推定手段によって、推定対象物の形状に関する基準の状態である物体であって、前記推定対象物と同一種類の物体を表す複数の画像に基づいて求められる、物体の個体差を表す個体差基底と、前記推定対象物と同一種類の物体を表す複数の画像に基づいて求められる、物体の個体内の変動を表す個体内変動基底及び前記物体の個体差と個体内変動とが混在した混在基底とを含む少なくとも３種類の基底を用いて表される、前記推定対象物の形状に関する状態を識別するための予め学習された形状モデルを用いて、前記特徴点検出手段によって検出された特徴点に基づいて、前記画像が表す前記推定対象物の形状に関する状態を推定し、又は前記状態を表すパラメータを推定する。 According to the first invention and the second invention, the feature point is detected from the image representing the estimation object captured by the imaging unit that images the estimation object by the feature point detection unit. Then, an individual difference representing an individual difference of the object, which is an object that is a reference state regarding the shape of the estimation target by the estimation unit and is obtained based on a plurality of images representing the same type of object as the estimation target A mixture of a base, an intra-individual variation base representing an intra-individual variation of the object, obtained based on a plurality of images representing the same type of object as the estimation target, and a mixture of individual differences and intra-individual variation of the object Feature points detected by the feature point detection means using a pre-learned shape model for identifying a state related to the shape of the estimation object represented by at least three types of bases including a base Based on the above, a state relating to the shape of the estimation object represented by the image is estimated, or a parameter representing the state is estimated.
このように、物体の個体差を表す個体差基底と、物体の個体内の変動を表す個体内変動基底と、物体の個体差と個体内変動とが混在した混在基底とを含む少なくとも３種類の基底を用いて表される、推定対象物の形状に関する状態を識別するための形状モデルを用いて、短い処理時間で、形状に関する状態を精度よく推定することができる。 In this way, there are at least three types including an individual difference basis representing individual differences between objects, an intra-individual variation basis representing intra-individual variation of objects, and a mixed base in which individual differences between objects and intra-individual variations are mixed. Using the shape model for identifying the state related to the shape of the estimation object expressed using the base, the state related to the shape can be accurately estimated in a short processing time.
第３の発明に係る形状モデル生成装置は、推定対象物の形状に関する複数の状態の何れかが予め付与された、前記推定対象物と同一種類の物体を表す複数の形状データ又は画像の各々のうちの、前記複数の状態の中の基準の状態が付与された形状データ又は画像の各々について検出された特徴点に基づいて、物体の個体差を表す個体差基底を算出する個体差基底算出手段と、前記個体差基底算出手段によって算出された前記個体差基底と、前記複数の形状データ又は画像の各々について検出された特徴点とに基づいて、物体の個体内の変動を表す個体内変動基底を算出する個体内変動基底算出手段と、前記個体差基底算出手段によって算出された前記個体差基底と、前記個人内変動基底算出手段によって算出された前記個体内変動基底と、前記複数の形状データ又は画像の各々について検出された特徴点とに基づいて、前記物体の個体差と個体内変動とが混在した混在基底を算出する混在基底算出手段と、前記個体差基底算出手段によって算出された前記個体差基底と、前記個人内変動基底算出手段によって算出された前記個体内変動基底と、前記混在基底算出手段によって算出された前記混在基底とを含む少なくとも３種類の基底を用いて表される、前記推定対象物の形状に関する状態を識別するための形状モデルを生成するモデル生成手段と、を含んで構成されている。 According to a third aspect of the present invention, there is provided a shape model generation apparatus, wherein each of a plurality of pieces of shape data or images representing an object of the same type as the estimation target, to which any of a plurality of states related to the shape of the estimation target is given in advance Individual difference basis calculation means for calculating an individual difference basis representing an individual difference of an object based on feature points detected for each of shape data or image to which a reference state among the plurality of states is given. Based on the individual difference basis calculated by the individual difference basis calculation means and the feature points detected for each of the plurality of shape data or images, An intra-individual variation base calculation means for calculating the individual difference base calculated by the individual difference base calculation means, the intra-individual variation base calculated by the intra-individual variation base calculation means, Based on feature points detected for each of a plurality of shape data or images, mixed base calculation means for calculating a mixed base in which individual differences of the object and intra-individual variation are mixed, and the individual difference base calculation means Using at least three types of bases including the calculated individual difference basis, the intra-individual variation base calculated by the intra-individual variation base calculation unit, and the mixed base calculated by the mixed base calculation unit Model generation means for generating a shape model for identifying a state relating to the shape of the estimation object represented.
第４の発明に係るプログラムは、コンピュータを、推定対象物の形状に関する複数の状態の何れかが予め付与された、前記推定対象物と同一種類の物体を表す複数の形状データ又は画像の各々のうちの、前記複数の状態の中の基準の状態が付与された形状データ又は画像の各々について検出された特徴点に基づいて、物体の個体差を表す個体差基底を算出する個体差基底算出手段、前記個体差基底算出手段によって算出された前記個体差基底と、前記複数の形状データ又は画像の各々について検出された特徴点とに基づいて、物体の個体内の変動を表す個体内変動基底を算出する個体内変動基底算出手段、前記個体差基底算出手段によって算出された前記個体差基底と、前記個人内変動基底算出手段によって算出された前記個体内変動基底と、前記複数の形状データ又は画像の各々について検出された特徴点とに基づいて、前記物体の個体差と個体内変動とが混在した混在基底を算出する混在基底算出手段、及び前記個体差基底算出手段によって算出された前記個体差基底と、前記個人内変動基底算出手段によって算出された前記個体内変動基底と、前記混在基底算出手段によって算出された前記混在基底とを含む少なくとも３種類の基底を用いて表される、前記推定対象物の形状に関する状態を識別するための形状モデルを生成するモデル生成手段として機能させるためのプログラムである。 According to a fourth aspect of the present invention, there is provided a program for causing a computer to store each of a plurality of pieces of shape data or images representing an object of the same type as the estimation target, to which any of a plurality of states related to the shape of the estimation target is given in advance. Individual difference basis calculation means for calculating an individual difference basis representing an individual difference of an object based on feature points detected for each of shape data or image to which a reference state among the plurality of states is given. , Based on the individual difference basis calculated by the individual difference basis calculation means and the feature points detected for each of the plurality of shape data or images, an intra-individual variation base representing an intra-individual variation of the object is obtained. Intra-individual variation base calculation means for calculating, the individual difference base calculated by the individual difference base calculation means, and the intra-individual variation base calculated by the intra-individual variation base calculation means Mixed basis calculation means for calculating a mixed basis in which individual differences and intra-individual variations of the object are mixed based on feature points detected for each of the plurality of shape data or images, and the individual difference basis calculation means At least three types of bases including the individual difference base calculated by the above, the intra-individual variation base calculated by the intra-individual variation base calculation means, and the mixed base calculated by the mixed base calculation means. This is a program for functioning as a model generation unit that generates a shape model for identifying a state related to the shape of the estimation object expressed as follows.
第３の発明及び第４の発明によれば、個体差基底算出手段によって、推定対象物の形状に関する複数の状態の何れかが予め付与された、前記推定対象物と同一種類の物体を表す複数の形状データ又は画像の各々のうちの、前記複数の状態の中の基準の状態が付与された形状データ又は画像の各々について検出された特徴点に基づいて、物体の個体差を表す個体差基底を算出する。 According to the third invention and the fourth invention, a plurality of objects representing the same type of object as the estimation object, to which any of a plurality of states related to the shape of the estimation object is previously given by the individual difference basis calculation means. An individual difference basis representing an individual difference of an object based on a feature point detected for each of shape data or image to which a reference state among the plurality of states is given. Is calculated.
そして、個体内変動基底算出手段によって、前記個体差基底算出手段によって算出された前記個体差基底と、前記複数の形状データ又は画像の各々について検出された特徴点とに基づいて、物体の個体内の変動を表す個体内変動基底を算出する。混在基底算出手段によって、前記個体差基底算出手段によって算出された前記個体差基底と、前記個人内変動基底算出手段によって算出された前記個体内変動基底と、前記複数の形状データ又は画像の各々について検出された特徴点とに基づいて、前記物体の個体差と個体内変動とが混在した混在基底を算出する。 Then, based on the individual difference base calculated by the individual difference base calculation means and the feature points detected for each of the plurality of shape data or images by the intra-individual variation base calculation means, An intra-individual variation base representing the variation of the is calculated. About the individual difference basis calculated by the individual difference basis calculation unit, the intra-individual variation base calculated by the intra-individual variation base calculation unit, and each of the plurality of shape data or images by the mixed basis calculation unit Based on the detected feature points, a mixed base in which individual differences of the objects and intra-individual variation are mixed is calculated.
そして、モデル生成手段によって、前記個体差基底算出手段によって算出された前記個体差基底と、前記個人内変動基底算出手段によって算出された前記個体内変動基底と、前記混在基底算出手段によって算出された前記混在基底とを含む少なくとも３種類の基底を用いて表される、前記推定対象物の形状に関する状態を識別するための形状モデルを生成する。 The model generation unit calculates the individual difference basis calculated by the individual difference basis calculation unit, the intra-individual variation base calculated by the intra-individual variation base calculation unit, and the mixed basis calculation unit. A shape model for identifying a state related to the shape of the estimation object, which is expressed using at least three types of bases including the mixed base, is generated.
このように、基準の状態が付与された形状データ又は画像の各々について検出された特徴点に基づいて、物体の個体差を表す個体差基底を算出すると共に、複数の形状データ又は画像の各々について検出された特徴点に基づいて、個体内変動基底及び混在基底を算出して、算出された少なくとも３種類の基底を用いて表される形状モデルを生成することにより、短い処理時間で形状に関する状態を精度よく推定するための形状モデルを生成することができる。 In this way, based on the feature points detected for each shape data or image to which the reference state is given, an individual difference basis representing the individual difference of the object is calculated, and for each of the plurality of shape data or images Based on the detected feature points, the intra-individual variation base and the mixed base are calculated, and a shape model represented by using at least three types of calculated bases is generated. It is possible to generate a shape model for accurately estimating.
以上説明したように、本発明の形状状態推定装置及びプログラムによれば、物体の個体差を表す個体差基底と、物体の個体内の変動を表す個体内変動基底と、物体の個体差と個体内変動とが混在した混在基底とを含む少なくとも３種類の基底を用いて表される、推定対象物の形状に関する状態を識別するための形状モデルを用いて、短い処理時間で、形状に関する状態を精度よく推定することができる、という効果が得られる。 As described above, according to the shape state estimation apparatus and program of the present invention, the individual difference basis representing the individual difference of the object, the intra-individual variation base representing the intra-individual variation of the object, the individual difference and the individual of the object. By using a shape model for identifying the state related to the shape of the estimation target object, which is represented using at least three types of bases including mixed bases mixed with internal variation, the state related to the shape can be obtained in a short processing time. The effect that it can estimate with sufficient precision is acquired.
また、本発明の形状モデル生成装置及びプログラムによれば、基準の状態が付与された形状データ又は画像の各々について検出された特徴点に基づいて、物体の個体差を表す個体差基底を算出すると共に、複数の形状データ又は画像の各々について検出された特徴点に基づいて、個体内変動基底及び混在基底を算出して、算出された少なくとも３種類の基底を用いて表される形状モデルを生成することにより、短い処理時間で形状に関する状態を精度よく推定するための形状モデルを生成することができる、という効果が得られる。 In addition, according to the shape model generation apparatus and program of the present invention, an individual difference base representing an individual difference of an object is calculated based on feature points detected for each of shape data or an image to which a reference state is given. At the same time, based on the feature points detected for each of a plurality of shape data or images, an intra-individual variation base and a mixed base are calculated, and a shape model expressed using at least three types of calculated bases is generated. By doing this, an effect is obtained that a shape model for accurately estimating a state related to a shape can be generated in a short processing time.
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、顔画像から、顔の形状に関する状態を推定する形状状態推定装置に本発明を適用した場合を例に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the present embodiment, a case where the present invention is applied to a shape state estimation apparatus that estimates a state related to the shape of a face from a face image will be described as an example.
図１に示すように、本発明の実施の形態に係る形状状態推定装置１０は、対象とする被験者の顔を含む画像を撮像するカメラ１２と、画像処理を行うコンピュータ１４と、ＣＲＴ等で構成された表示装置１６と、外部記憶装置１８とを備えている。 As shown in FIG. 1, a shape state estimation apparatus 10 according to an embodiment of the present invention includes a camera 12 that captures an image including a subject's face as a target, a computer 14 that performs image processing, a CRT, and the like. The display device 16 and the external storage device 18 are provided.
コンピュータ１４は、ＣＰＵ２０、後述する形状状態推定処理ルーチンのプログラムや顔形状モデルを記憶した内部メモリ２２を含んで構成されている。このコンピュータ１４をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図２に示すように、コンピュータ１４は、カメラ１２から出力される濃淡画像である顔画像を入力する画像入力部３０と、画像入力部３０の出力である顔画像から、顔領域を検出する顔検出部３２と、顔領域上の特徴点を検出する特徴点検出部３４と、後述するモデル学習装置５０によって予め学習された顔形状モデルのパラメータを記憶したモデルパラメータ記憶部３６と、顔形状モデルのパラメータ及び検出された特徴点に基づいて顔の３次元の回転並進パラメータを最適化する回転並進パラメータ最適化部３８と、顔形状モデルのパラメータ、回転並進パラメータ、及び検出された特徴点に基づいて、個人差基底の係数パラメータを最適化する個人差パラメータ最適化部４０と、顔形状モデルのパラメータ、回転並進パラメータ、個人差基底の係数パラメータ、及び検出された特徴点に基づいて、個人内変動基底の係数パラメータ及び混在基底の係数パラメータを最適化し、個人差基底の係数パラメータ、個人内変動基底の係数パラメータ、及び混在基底の係数パラメータを外部記憶装置１８に出力する個人内変動パラメータ最適化部４２と、個人差基底の係数パラメータ、個人内変動基底の係数パラメータ、及び混在基底の係数パラメータに基づいて、顔形状を算出し、表示装置１６に、顔画像に重畳させて表示させる顔形状算出部４４とを含んで構成されている。なお、個人差パラメータ最適化部４０、個人内変動パラメータ最適化部４２、及び顔形状算出部４４が、推定手段の一例である。また、個人差基底の係数パラメータ、個人内変動基底の係数パラメータ、及び混在基底の係数パラメータが、状態を表すパラメータの一例である。 The computer 14 includes a CPU 20 and an internal memory 22 that stores a shape state estimation processing routine program and a face shape model described later. When the computer 14 is described with functional blocks divided for each function realizing means determined based on hardware and software, the computer 14 is a facial image that is a grayscale image output from the camera 12 as shown in FIG. , An image input unit 30 that inputs a face, a face detection unit 32 that detects a face area from a face image that is an output of the image input unit 30, a feature point detection unit 34 that detects a feature point on the face area, and will be described later A model parameter storage unit 36 that stores parameters of the face shape model learned in advance by the model learning device 50, and optimizes the three-dimensional rotational translation parameters of the face based on the parameters of the face shape model and the detected feature points. Based on the rotation translation parameter optimization unit 38, the face shape model parameters, the rotation translation parameters, and the detected feature points, An individual difference parameter optimizing unit 40 for optimizing a base coefficient parameter, and a coefficient of an intra-personal variation base based on a face shape model parameter, a rotation translation parameter, an individual difference basis coefficient parameter, and a detected feature point An intra-individual variation parameter optimizing unit 42 for optimizing the parameters and the coefficient parameter of the mixed basis, and outputting the coefficient parameter of the individual difference basis, the coefficient parameter of the intra-individual variation base, and the coefficient parameter of the mixed basis to the external storage device 18; A face shape calculation unit 44 that calculates a face shape based on the coefficient parameter of the individual difference basis, the coefficient parameter of the intra-individual variation basis, and the coefficient parameter of the mixed basis and causes the display device 16 to display the face shape superimposed on the face image; It is comprised including. The individual difference parameter optimizing unit 40, the intra-individual variation parameter optimizing unit 42, and the face shape calculating unit 44 are examples of estimation means. Further, the coefficient parameter of the individual difference basis, the coefficient parameter of the intra-individual variation basis, and the coefficient parameter of the mixed basis are examples of parameters representing the state.
画像入力部３０は、例えば、Ａ／Ｄコンバータや１画面の画像データを記憶する画像メモリ等で構成される。 The image input unit 30 includes, for example, an A / D converter and an image memory that stores image data for one screen.
顔検出部３２は、顔画像から、パターンマッチングなどの周知の手法を用いて、顔を表す顔領域を検出する。 The face detection unit 32 detects a face area representing the face from the face image using a known method such as pattern matching.
特徴点検出部３４は、検出された顔領域から、パターンマッチングなどの周知の手法を用いて、予め求められた顔形状モデルで用いる特徴点に対応する特徴点を各々検出する。 The feature point detection unit 34 detects each feature point corresponding to the feature point used in the face shape model obtained in advance from the detected face region using a known method such as pattern matching.
特徴点の場所と数は任意であるが、顔形状モデルで用いる特徴点の場所及び数と一致させておく必要がある。 The location and number of feature points are arbitrary, but it is necessary to match the location and number of feature points used in the face shape model.
顔形状の場合は目・口・鼻を含むように特徴点を検出するのが一般的であるが必ずしも全て必要と言うわけではなく、アプリケーションに合うように決めればよい。 In the case of a face shape, it is common to detect feature points so as to include the eyes, mouth, and nose, but not all are necessary, and it may be determined to suit the application.
以下、特徴点の数をNとする。 Hereinafter, the number of feature points is N.
3次元データから、 From 3D data
の２Ｎ次元のベクトルが得られる。ただし、Tは転置を表す。 2N-dimensional vectors are obtained. However, T represents transposition.
ここで、顔形状モデルの学習について説明する。 Here, learning of the face shape model will be described.
顔形状モデルは、図３に示すモデル学習装置５０によって学習される。モデル学習装置５０は、画像処理を行うコンピュータ５２と、学習用のデータが記憶された外部記憶装置５４とを備えている。 The face shape model is learned by the model learning device 50 shown in FIG. The model learning device 50 includes a computer 52 that performs image processing, and an external storage device 54 that stores learning data.
コンピュータ５２は、ＣＰＵ６０、後述するモデル学習処理ルーチンのプログラムを記憶した内部メモリ６２を含んで構成されている。このコンピュータ５２をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図４に示すように、コンピュータ５２は、外部記憶装置５４から読み込んだ学習用のデータに基づいて、平均形状を計算する平均形状計算部６４と、学習用のデータの座標値を、回転並進パラメータを用いて修正する座標値修正部６６と、座標値が修正された学習用のデータに基づいて、個人差基底を算出する個人差基底算出部６８と、算出された個人差基底及び座標値が修正された学習用のデータに基づいて、個人内変動基底を算出する個人内変動基底算出部７０と、算出された個人内変動基底及び座標値が修正された学習用のデータに基づいて、個人差と個人内変動とが混在した混在基底を算出する混在基底算出部７２と、算出された個人差基底、個人内変動基底、及び混在基底を含む顔形状モデルを生成し、顔形状モデルのパラメータを、外部記憶装置５４へ出力するモデルパラメータ出力部７４とを備えている。なお、モデルパラメータ出力部７４が、モデル生成手段の一例である。また、個人差基底が、個体差基底の一例であり、個人内変動基底が、個体内変動基底の一例である。 The computer 52 includes a CPU 60 and an internal memory 62 that stores a program of a model learning process routine described later. If the computer 52 is described with function blocks divided for each function realization means determined based on hardware and software, the computer 52 converts the learning data read from the external storage device 54 as shown in FIG. Based on the average shape calculation unit 64 for calculating the average shape, the coordinate value correction unit 66 for correcting the coordinate value of the learning data using the rotation translation parameter, and the learning data with the corrected coordinate value. Based on the individual difference base calculation unit 68 that calculates the individual difference base, and based on the calculated individual difference base and the learning data in which the coordinate values are corrected, the intra-individual variation base calculation is performed. Unit 70 and a mixed basis for calculating a mixed basis in which individual differences and intra-individual variations are mixed based on the calculated intra-individual variation base and the learning data in which the coordinate values are corrected An output unit 72; and a model parameter output unit 74 that generates a face shape model including the calculated individual difference basis, intra-individual variation basis, and mixed basis, and outputs parameters of the face shape model to the external storage device 54. I have. The model parameter output unit 74 is an example of a model generation unit. The individual difference basis is an example of an individual difference basis, and the intra-individual variation base is an example of an intra-individual variation basis.
外部記憶装置５４には、複数の被験者の顔の３次元顔形状データに基づいて各々求められた、各特徴点の座標を表す３次元データが、学習用データとして記憶されている。 The external storage device 54 stores, as learning data, three-dimensional data representing the coordinates of each feature point obtained based on the three-dimensional face shape data of the faces of a plurality of subjects.
ここで、各特徴点の座標を表す３次元データの求め方について説明する。 Here, how to obtain the three-dimensional data representing the coordinates of each feature point will be described.
まず、元となる顔形状データとして、３元顔形状データを複数(Ｍ個とする)用意する。３次元顔形状データは３次元形状を直接計測する装置で得るか、正面顔を撮影したステレオ画像から３次元復元する方法や、様々な方向を向いた時系列顔画像からShape from Motion技術で３次元復元することで得る方法などがある。 First, a plurality (M) of ternary face shape data are prepared as the original face shape data. 3D face shape data can be obtained with a device that directly measures the 3D shape, or 3D reconstruction from a stereo image obtained by photographing the front face, or 3 from the time-series face images in various directions using Shape from Motion technology. There is a method obtained by performing dimension restoration.
汎用モデルの構築のために、様々な個人形状が含まれていることが望ましい。個人内変動の表情変化は、顔形状モデルを適用するアプリケーションに合うように決める。例えば、閉眼検出のアプリケーションに対しては、個人内変動の表情変化として、目を開閉したときの３次元顔形状データを取得する。また、発話検出のアプリケーションに対しては、個人内変動の表情変化として、口を開閉したときの３次元顔形状データを取得する。また、感情推定のアプリケーションに対しては、個人内変動の表情変化として、基本６感情の表情に変化させたときの３次元顔形状データを取得する。 It is desirable that various personal shapes are included for the construction of the general-purpose model. The expression change of the individual variation is determined so as to suit the application to which the face shape model is applied. For example, for an eye-closed detection application, three-dimensional face shape data when the eyes are opened and closed is acquired as a facial expression change that varies within the individual. For an utterance detection application, three-dimensional face shape data when the mouth is opened and closed is acquired as an expression change of individual variation. In addition, for the emotion estimation application, three-dimensional face shape data when the expression is changed to the basic six emotions is acquired as the expression change of the variation within the individual.
次に、Ｍ個の３次元顔形状データから、図５（Ｂ）に示すように、顔形状モデルで使う特徴点の座標値(x,y,z)をサンプリングする。なお、座標系は任意に決めて構わない。 Next, as shown in FIG. 5B, feature point coordinate values (x, y, z) used in the face shape model are sampled from the M pieces of three-dimensional face shape data. The coordinate system may be arbitrarily determined.
サンプリングする特徴点の場所と数は任意であるが、複数用意したデータ間でサンプリングする特徴点の場所と数は一致させておく必要がある。 The location and number of feature points to be sampled are arbitrary, but the location and number of feature points to be sampled must be matched between a plurality of prepared data.
顔形状の場合は目・口・鼻を含むように特徴点をサンプリングするのが一般的であるが必ずしも全て必要と言うわけではなく、アプリケーションに合うように決めればよい。 In the case of a face shape, it is common to sample feature points so as to include the eyes, mouth, and nose, but not all are necessary, and it may be determined so as to suit the application.
以下、サンプリングする点の数をＮとする。 Hereinafter, the number of points to be sampled is N.
３次元顔形状データから、 From 3D face shape data,
の３Ｎ次元のベクトルが得られる。 3N-dimensional vectors are obtained.
また、３次元顔形状データをＭ個用意したので、以下の式に示すように、3Ｎ×Ｍの行列が得られる。 Since M pieces of three-dimensional face shape data are prepared, a 3N × M matrix is obtained as shown in the following equation.
上記の３Ｎ×Ｍの行列が、学習用のデータとして、外部記憶装置５４に記憶されている。また、学習用のデータには、Ｍ個の3次元顔形状データの各々に対応して、顔形状の状態を識別するための個人内変動ｉｄが付与されている。また、個人内変動ｉｄのうちのデフォルト顔クラスに対応する個人内変動ｉｄが付与されているデータに対しては、個人を識別するための個人差ｉｄが更に付与されている。なお、個人内変動ｉｄが、形状に関する状態の一例であり、デフォルト顔クラスに対応する個人内変動ｉｄが、基準の状態の一例である。 The 3N × M matrix is stored in the external storage device 54 as learning data. Further, the learning data is given an intra-individual variation id for identifying the face shape state corresponding to each of the M pieces of three-dimensional face shape data. In addition, an individual difference id for identifying an individual is further added to data to which an intra-individual variation id corresponding to the default face class is assigned. The intra-individual variation id is an example of a shape-related state, and the intra-individual variation id corresponding to the default face class is an example of a reference state.
なお、上記では、３次元データを用いる場合を例に説明したが、これに限定されるものではなく、２次元データを用いてもよい。この場合には、図５（Ａ）に示すように、正面から撮影した顔画像を複数(M枚とする)用意して、各特徴点の座標をサンプリングすればよい。また、２次元データからは、以下の式に示すように、２Ｎ次元のベクトルが得られる。 In the above description, the case where three-dimensional data is used has been described as an example. However, the present invention is not limited to this, and two-dimensional data may be used. In this case, as shown in FIG. 5A, a plurality (M) of face images taken from the front may be prepared and the coordinates of each feature point may be sampled. From the two-dimensional data, a 2N-dimensional vector is obtained as shown in the following equation.
また、以下の式に示すように、２Ｎ×Ｍの行列が得られる。 Further, as shown in the following formula, a 2N × M matrix is obtained.
平均形状計算部６４は、外部記憶装置５４に記憶されている学習用のデータ（３Ｎ×Ｍの行列）を読み込み、以下の式のように、学習用のデータを表す行列について、行ごとに平均値を求める。 The average shape calculation unit 64 reads the learning data (3N × M matrix) stored in the external storage device 54, and calculates the average for each row of the matrix representing the learning data as in the following equation. Find the value.
これによって、以下の３Ｎ次元のベクトルが得られる。 As a result, the following 3N-dimensional vector is obtained.
座標値修正部６６は、学習用のデータ（３Ｎ×Ｍの行列）のＭ個の縦ベクトルごとに、以下の式に従って、各座標値と平均値の距離誤差の２乗和を計算する。 The coordinate value correction unit 66 calculates the sum of squares of the distance error between each coordinate value and the average value according to the following equation for each M vertical vectors of learning data (3N × M matrix).
ここで、x'ij、y' ij、z' ijは、以下のようにxij、y ij、z ijと回転パラメータφｊ,θｊ,ψｊと、並進パラメータt1ｊ、t2ｊ、t3ｊとを用いて表される。 Here, x ′ ij , y ′ ij , and z ′ ij are x ij , y ij , z ij , rotation parameters φ j , θ j , ψ j and translation parameters t 1j , t 2j , t as follows: And 3j .
座標値修正部６６は、以下の式に示すように、各座標値と平均値の距離誤差の２乗和を最小化するような回転パラメータφｊ,θｊ,ψｊと並進パラメータt1ｊ,t2ｊ,t3ｊを、Ｍ個の縦ベクトルの各々に対して求める。アルゴリズムとしては例えば最急降下法が適用可能である。 As shown in the following formula, the coordinate value correcting unit 66 has a rotation parameter φ j , θ j , ψ j and a translation parameter t 1j , which minimize the sum of squares of distance errors between the coordinate values and the average value. t 2j and t 3j are obtained for each of the M vertical vectors. As an algorithm, for example, the steepest descent method is applicable.
そして、求めた回転パラメータφｊ,θｊ,ψｊと、並進パラメータt1ｊ,t2ｊ,t3ｊとを使って、xij、y ij、z ijからx'ij、y'ij、z' ijを計算し、以下の式に示すような、各座標値が修正された行列Ｘを作る。 Then, using the obtained rotation parameters φ j , θ j , ψ j and the translation parameters t 1j , t 2j , t 3j , x ij , y ij , z ij to x ′ ij , y ′ ij , z ′ ij is calculated, and a matrix X in which each coordinate value is corrected as shown in the following equation is created.
個人差基底算出部６８は、各座標値が修正された行列Ｘに基づいて、以下のように、個人差基底を算出する。 The individual difference basis calculation unit 68 calculates the individual difference basis based on the matrix X in which each coordinate value is corrected as follows.
まず、個人差クラスのクラス数（すなわち、被験者の人数）をＮbとする。クラスの数はデータの数より少ないのでＮb ≦Ｍである。各座標値が修正された行列Ｘのうちの、デフォルト顔クラスに対応する個人内変動idとｋ番目の個人差idとの両方が付与されたデータ集合Sdを使って、デフォルト顔クラスに対応する個人内変動idとk番目の個人差idを持つデータの平均ベクトル［-ｘ'1k、-ｙ'1k、-ｚ'1k、・・・-ｘ'Nk、-ｙ'Nk、-ｚ'Nk］Tを、以下の式に従って計算する。ここで、k番目の個人差idを持つデータの個数をＮ’wkとする。また、データが欠けている個人差クラスは無いものとする。 First, individual differences number of classes class (i.e., the number of subjects) and N b. Since the number of classes is less than the number of data, N b ≦ M. Corresponding to the default face class using the data set S d to which both the intra-individual variation id corresponding to the default face class and the kth individual difference id are given in the matrix X in which each coordinate value is corrected. mean vector of data with the personal fluctuation id and k-th individual difference id to [- x '1k, - y ' 1k, - z '1k, ··· - x' Nk, - y 'Nk, - z' Nk ] T is calculated according to the following equation. Here, the number of data having the kth individual difference id is N ′ wk . In addition, it is assumed that there is no individual difference class lacking data.
個人内変動id毎に上記の式に従って計算した平均ベクトルを並べて、以下の3Ｎ×Ｎb行列Ｘ1を生成し、行列Ｘ１で主成分分析を行う。主成分分析で得られた固有ベクトルを大きさが１になるように正規化してから固有値の大きい順に並べた行列をＡall_1とすると、Ａall_1は3Ｎ×3Ｎの行列になる。ただし、3Ｎ＞Ｎbの場合、有効な固有ベクトルはＮb個までになる。 Side by side mean vectors for each individual fluctuation id was calculated according to the above formula, to produce a 3N × N b matrices X 1 below, a principal component analysis is performed by the matrix X 1. Assuming that a matrix in which eigenvectors obtained by principal component analysis are normalized so that the magnitude is 1 and then arranged in descending order of eigenvalues is A all_1 , A all — 1 is a 3N × 3N matrix. However, in the case of the 3N> N b, valid eigenvectors will be up to N b number.
行列Ａall_1のうち、固有値の大きい方からｎ1個の固有ベクトルを取り出して並べた３Ｎ×ｎ1の行列を生成し、個人差基底Ａ1とする。 A 3N × n 1 matrix in which n 1 eigenvectors are extracted from the matrix A all — 1 having the largest eigenvalue and arranged and is set as the individual difference basis A 1 .
ｎ1の決め方としては、固有値の寄与度累計が一定割合（例えば80%）以上になるように選ぶ方法や、経験的に個数（例えば4個）を決めるやり方がある。 As a method of determining n 1 , there are a method of selecting a cumulative total of contributions of eigenvalues to a certain ratio (for example, 80%) or a method of empirically determining the number (for example, 4).
個人内変動基底算出部７０は、各座標値が修正された行列Ｘと、算出された個人差基底Ａ1とに基づいて、以下のように、個人内変動基底Ａ2を算出する。 The intra-individual variation base calculation unit 70 calculates the intra-individual variation base A 2 as follows based on the matrix X in which each coordinate value is corrected and the calculated individual difference base A 1 .
まず、以下の式に従って計算して得られた行列をＸ2とする。Ｘ2はＸと同じ次元の３Ｎ×Ｍ行列で、Ｘから個人差基底の影響を除いたものになる。 First, let X 2 be a matrix obtained by calculation according to the following equation. X 2 is a 3N × M matrix having the same dimensions as X, and is obtained by removing the influence of the individual difference basis from X.
Ｘ2＝Ｘ−Ａ1 Ａ1 T Ｘ ・・・（１） X 2 = X−A 1 A 1 T X (1)
Ｘ2を次のように表現する。 X 2 is expressed as follows.
また、個人内変動クラスのクラス数（形状に関する状態数）をＮwとする。クラスの数はデータの数より少ないのでＮw ≦Ｍである。ｋ番目の個人内変動idを持つデータの個数をＮ’bkとして、ｋ番目の個人内変動idを持つ３次元顔形状データについての平均ベクトル［-ｘ"1k、-ｙ"1k、-ｚ"1k、・・・-ｘ"Nk、-ｙ"Nk、-ｚ"Nk、］Tを、以下の式に従って、計算する。 Further, the class number (number of states related to the shape) of the individual variation class is Nw. Since the number of classes is less than the number of data, Nw ≦ M. The number of data having the k-th individual fluctuation id as N 'bk, the mean vector for the 3-dimensional face shape data having the k-th individual fluctuation id [- x "1k, - y" 1k, - z " 1k, ··· - x "Nk, - y" Nk, - z "Nk,] a T, according to the following equation to calculate.
上記で計算した平均ベクトルを並べて、以下に示す3Ｎ×Ｎwの行列Ｘ’2を生成し、行列Ｘ’2をについて主成分分析を行う。主成分分析によって得られた固有ベクトルを大きさが１になるように正規化してから固有値の大きい順に並べた行列をＡall_2とすると、Ａall_2は3Ｎ×3Ｎの行列になる。ただし、3Ｎ>Ｎwの場合、有効な固有ベクトルはＮw個までになる。 The average vectors calculated above are arranged to generate a 3N × Nw matrix X ′ 2 shown below, and a principal component analysis is performed on the matrix X ′ 2 . Assuming that a matrix in which eigenvectors obtained by principal component analysis are normalized so as to have a magnitude of 1 and then arranged in order of increasing eigenvalues is A all_2 , A all_2 is a 3N × 3N matrix. However, when 3N> Nw, there are up to Nw effective eigenvectors.
行列Ａall_2うち、固有値の大きい方からｎ2個の固有ベクトルを取り出して並べた３Ｎ×ｎ2の行列を個人差基底Ａ2とする。なお、ｎ2の決め方は、n1と同様である。 A matrix of 3N × n 2 in which n 2 eigenvectors are extracted from the matrix A all — 2 with the largest eigenvalue and arranged is defined as an individual difference basis A 2 . Note that n 2 is determined in the same manner as n 1 .
ここで、Ｘ2＝Ｘ−Ａ1Ａ1 TＸの演算で、Ａ1の影響が取り除ける理由について図６を用いて説明する。 Here, the reason why the influence of A 1 can be removed by the calculation of X 2 = X−A 1 A 1 T X will be described with reference to FIG.
まず、内積の定義から、ａi・ｘ=|ａi||ｘ|cosθであり、|ａi|=1で正規化してあるので、ａi・ｘはベクトルｘをａi軸に投影した点から原点までの距離になる。 First, from the definition of the inner product, a i · x = | a i || x | cosθ and normalized by | a i | = 1, a i · x projects the vector x onto the a i axis. The distance from the point to the origin.
そのスカラー値である距離に大きさ1のベクトルａiを掛けるので、ａiａi T・ｘは、ｘをａi軸に投影した点ｘ’を表す。 Since the distance a which is the scalar value is multiplied by a vector a i having a magnitude of 1, a i a i T · x represents a point x ′ obtained by projecting x onto the a i axis.
ｘ-ｘ’は、ｘから、ｘをａi軸に投影した成分ｘ’を引くことになるので、ａi軸に直交したベクトルになる。従って、ａi軸方向の成分は固有ベクトルとして選ばれなくなる。 xx ′ is a vector orthogonal to the a i axis, since the component x ′ obtained by projecting x onto the a i axis is subtracted from x. Therefore, the component in the a i axis direction is not selected as the eigenvector.
上述したように、Ｘ2＝Ｘ−Ａ1Ａ1 TＸの演算で、Ａ1の影響を取り除くことができる。 As described above, the influence of A 1 can be removed by the calculation of X 2 = X−A 1 A 1 T X.
混在基底算出部７２は、各座標値が修正された行列Ｘと、算出された個人差基底Ａ1及び個人差基底Ａ2とに基づいて、以下のように、個人差と個人内変動が混在した混在基底Ａ3を算出する。 Based on the matrix X in which each coordinate value is corrected and the calculated individual difference base A 1 and individual difference base A 2 , the mixed basis calculation unit 72 mixes individual differences and intra-individual variations as follows. The mixed base A 3 is calculated.
まず、以下の式に従って計算して得られた行列をＸ3とする。 First, let X 3 be a matrix obtained by calculation according to the following equation.
Ｘ3=Ｘ2 −Ａ2 Ａ2 T Ｘ2 ・・・（３） X 3 = X 2 −A 2 A 2 T X 2 (3)
行列Ｘ3で主成分分析を行い、得られた固有ベクトルを固有値の大きい順に並べた行列をＡall_3とすると、Ａall_3は3Ｎ×3Ｎの行列になる。 The principal component analysis is performed by a matrix X 3, the resulting eigenvectors are arranged in descending order of the eigenvalue matrix When A all_3, A all_3 becomes matrix 3N × 3N.
Ａall_3のうち、固有値の大きい方からｎ3個取り出して並べた3Ｎ×ｎ3の行列を個人差と個人内変動が混在した混在基底Ａ3とする。 Of A all_3, and mixed base A 3 individual differences and intra-individual variations are mixed matrix of 3N × n 3 formed by arranging removed three n from the larger eigenvalues.
モデルパラメータ出力部７４は、以下のように、形状モデルを表す式を作成する。 The model parameter output unit 74 creates an expression representing the shape model as follows.
まず、平均値ｘ0を計算する。平均値ｘ0はいくつか選び方があるが、本実施の形態では、以下の式に示すように、個人差基底算出部６８で求めた行列Ｘ1を列方向に平均化したものを、平均値ｘ0として用いることにする。 First, an average value x 0 is calculated. There are several ways to select the average value x 0 , but in this embodiment, the average value obtained by averaging the matrix X 1 obtained by the individual difference basis calculation unit 68 in the column direction as shown in the following equation: to be used as x 0.
また、形状モデルは、以下の式で表わされる。ここで、ｐ1、ｐ2、ｐ3は、それぞれ、個人差基底、個人内変動基底、混在基底の係数パラメータであり、それぞれｎ1、ｎ2、ｎ3個の要素を持つパラメータベクトルである。 The shape model is expressed by the following equation. Here, p 1 , p 2 , and p 3 are coefficient parameters of an individual difference basis, an intra-individual variation basis, and a mixed basis, respectively, and are parameter vectors having n 1 , n 2 , and n 3 elements, respectively. .
ただし、ｎ1、ｎ2、ｎ3は以下の関係式を満たす。 However, n 1 , n 2 , and n 3 satisfy the following relational expression.
ｎ1≦Ｎb≦Ｍ, ｎ2≦Ｎbw≦Ｍ, ｎ1+ｎ2+ｎ3≦Ｍ n 1 ≦ N b ≦ M, n 2 ≦ N bw ≦ M, n 1 + n 2 + n 3 ≦ M
モデルパラメータ出力部７４は、各パラメータ（平均ベクトルｘ0、全ての個人差基底Ａall_1、個人差基底Ａ1、使用する個人差基底の数ｎ1、全ての個人内変動基底Ａall_2、個人内変動基底Ａ2、使用する個人内変動基底の数ｎ2、全ての個人差と個人内変動が混在した基底Ａall_3、個人差と個人内変動が混在した基底Ａ3、使用する個人差と個人内変動が混在した基底の数ｎ3）を、外部記憶装置５４へ出力する。 The model parameter output unit 74, the parameters (mean vector x 0, all individual differences basal A All_1, individual differences basal A 1, the number n 1 of individual differences bases used, all personal fluctuation basal A All_2, intraindividual Fluctuation basis A 2 , number n 2 of intra-individual variation bases to be used, base A all_3 in which all individual differences and intra-individual variations are mixed, base A 3 in which individual differences and intra-individual variations are mixed, individual differences to be used and individual The number of bases n 3 ) in which internal fluctuations are mixed is output to the external storage device 54.
形状状態推定装置１０のモデルパラメータ記憶部３６には、外部記憶装置５４と同様に、上記の各モデルパラメータが記憶されている。 Each model parameter is stored in the model parameter storage unit 36 of the shape state estimation apparatus 10 in the same manner as the external storage device 54.
回転並進パラメータ最適化部３８は、モデルパラメータ記憶部３６に記憶されている各モデルパラメータと、特徴点検出部３４によって検出された顔画像上の各特徴点の座標とに基づいて、以下に説明するように、回転パラメータ及び並進パラメータを最適化する。 The rotational translation parameter optimization unit 38 is described below based on the model parameters stored in the model parameter storage unit 36 and the coordinates of the feature points on the face image detected by the feature point detection unit 34. Optimize the rotation and translation parameters.
まず、顔形状モデルの係数パラメータp1,p2t,p3t、回転パラメータφt,θt,ψt、並進パラメータ設定t1t,t2t,t3tに、初期値を設定する。 First, initial values are set for coefficient parameters p 1 , p 2t , p 3t , rotation parameters φ t , θ t , ψ t , translation parameter settings t 1t , t 2t , t 3t of the face shape model.
そして、顔形状モデルの係数パラメータp1,p2t,p3tと、モデルパラメータ（平均ベクトルｘ0、個人差基底Ａ1、個人内変動基底Ａ2、混在基底Ａ3）とに基づいて、以下の顔形状モデルを表す式に従って、各特徴点の３次元位置を計算する。 Based on the face shape model coefficient parameters p 1 , p 2t , p 3t and model parameters (average vector x 0 , individual difference basis A 1 , intra-individual variation basis A 2 , mixed basis A 3 ), The three-dimensional position of each feature point is calculated according to the expression representing the face shape model.
また、上記で計算された各特徴点の３次元位置と、回転パラメータφt,θt,ψtと、並進パラメータ設定t1t,t2t,t3tとに基づいて、回転パラメータ及び並進パラメータを考慮した、各特徴点の３次元位置を計算する。 Further, based on the three-dimensional position of each feature point calculated above, the rotation parameters φ t , θ t , ψ t and the translation parameter settings t 1t , t 2t , t 3t , the rotation parameters and the translation parameters are determined. Calculate the three-dimensional position of each feature point in consideration.
そして、上記で計算した各特徴点の３次元位置を、以下の式に従って、２次元投影し、２次元位置を計算する。 Then, the three-dimensional position of each feature point calculated above is two-dimensionally projected according to the following formula to calculate the two-dimensional position.
そして、特徴点検出部３４によって検出された各特徴点の座標と、上記の式で計算された各特徴点の２次元位置との距離誤差の２乗和を、以下の式に従って計算する。 Then, the square sum of the distance error between the coordinates of each feature point detected by the feature point detection unit 34 and the two-dimensional position of each feature point calculated by the above formula is calculated according to the following formula.
そして、f()を最小化する回転パラメータφt,θt,ψt、及び並進パラメータt1t,t2t,t3tを求める。 Then, rotation parameters φ t , θ t , ψ t and translation parameters t 1t , t 2t , t 3t that minimize f () are obtained.
個人差パラメータ最適化部４０は、上記で回転パラメータ及び並進パラメータを考慮して計算した各特徴点の３次元位置を、以下の式に従って、２次元投影し、２次元位置を再計算する。 The individual difference parameter optimizing unit 40 two-dimensionally projects the three-dimensional position of each feature point calculated in consideration of the rotation parameter and the translation parameter as described above, and recalculates the two-dimensional position.
そして、以下の式で表わされるf()を最小化する個人差基底の係数パラメータｐ1を求める。 Then, a coefficient parameter p 1 of an individual difference basis that minimizes f () expressed by the following equation is obtained.
個人差基底の係数パラメータは、時間変動しないため、一度収束すると、上記の計算処理は行われない。 Since the coefficient parameter of the individual difference basis does not vary with time, once it converges, the above calculation processing is not performed.
個人内変動パラメータ最適化部４２は、上記で回転パラメータ及び並進パラメータを考慮して計算した各特徴点の３次元位置を、以下の式に従って、２次元投影し、２次元位置を再計算する。 The intra-individual variation parameter optimization unit 42 projects the three-dimensional position of each feature point calculated in consideration of the rotation parameter and the translation parameter as described above, two-dimensionally, and recalculates the two-dimensional position.
そして、以下の式で表わされるf()を最小化する個人内変動基底の係数パラメータp2t、及び混在基底の係数パラメータp3tを求める。 Then, the coefficient parameter p 2t of the intra-individual variation base that minimizes f () expressed by the following expression and the coefficient parameter p 3t of the mixed base are obtained.
個人内変動パラメータ最適化部４２は、最適化された個人内変動基底の係数パラメータp2t、及び混在基底の係数パラメータp3t、個人差基底の係数パラメータp1を、外部記憶装置１８へ出力する。 The intra-individual variation parameter optimization unit 42 outputs the optimized intra-individual variation basis coefficient parameter p 2t , the mixed basis coefficient parameter p 3t , and the individual difference basis coefficient parameter p 1 to the external storage device 18. .
顔形状算出部４４は、最適化された個人内変動基底の係数パラメータp2t、及び混在基底の係数パラメータp3t、個人差基底の係数パラメータp1に基づいて、上記で回転パラメータ及び並進パラメータを考慮して計算した各特徴点の３次元位置を、以下の式に従って、２次元投影することにより、２次元位置を再計算し、得られた各特徴点の２次元位置に基づいて、顔形状を生成し、顔形状を表示装置１６に表示させる。 The face shape calculation unit 44 calculates the rotation parameter and the translation parameter based on the optimized coefficient parameter p 2t of the individual variation basis, the coefficient parameter p 3t of the mixed basis, and the coefficient parameter p 1 of the individual difference basis. The two-dimensional position is recalculated by projecting the three-dimensional position of each feature point in consideration of the following formula according to the following formula, and the face shape is calculated based on the obtained two-dimensional position of each feature point. And the face shape is displayed on the display device 16.
次に、モデル学習装置５０の動作について説明する。まず、予め用意されたＭ個の３次元顔形状データから得られた３Ｎ×Ｍの行列が、学習用のデータとして、外部記憶装置５４に記憶される。 Next, the operation of the model learning device 50 will be described. First, a 3N × M matrix obtained from M pieces of three-dimensional face shape data prepared in advance is stored in the external storage device 54 as learning data.
そして、コンピュータ５２において、図７、図８に示すモデル学習処理ルーチンが実行される。 Then, the model learning process routine shown in FIGS. 7 and 8 is executed in the computer 52.
まず、ステップ１００において、外部記憶装置５４から、学習用のデータを読み込む。そして、ステップ１０２において、上記ステップ１００で読み込んだ学習用のデータに基づいて、各特徴点の３次元位置の平均を計算し、３Ｎ次元の平均ベクトルを計算する。 First, in step 100, learning data is read from the external storage device 54. In step 102, the average of the three-dimensional positions of the feature points is calculated based on the learning data read in step 100, and a 3N-dimensional average vector is calculated.
次に、Ｍ個の３次元顔形状データの各々について、ステップ１０４〜１０６を繰り返し行う。 Next, steps 104 to 106 are repeated for each of the M pieces of three-dimensional face shape data.
ステップ１０４では、ｊ番目の３次元顔形状データについての各特徴点の３次元位置と、上記ステップ１０２で計算された平均ベクトルとに基づいて、ｊ番目の３次元顔形状データに関する回転パラメータ及び並進パラメータを求める。そして、ステップ１０６では、上記ステップ１０４で求めた回転パラメータ及び並進パラメータを用いて、ｊ番目の３次元顔形状データについての各特徴点の３次元位置の座標を修正する。 In step 104, based on the three-dimensional position of each feature point for the j-th three-dimensional face shape data and the average vector calculated in step 102, the rotation parameter and translation for the j-th three-dimensional face shape data. Find the parameters. In step 106, the coordinates of the three-dimensional position of each feature point in the j-th three-dimensional face shape data are corrected using the rotation parameter and translation parameter obtained in step 104.
ステップ１０８では、Ｍ個の３次元顔形状データの各々について上記ステップ１０６で修正された各特徴点の３次元位置の座標を並べて、３Ｎ×Ｍの行列Ｘを作成する。 In step 108, the coordinates of the three-dimensional positions of the feature points corrected in step 106 are arranged for each of the M pieces of three-dimensional face shape data to create a 3N × M matrix X.
そして、ステップ１１０において、個人差id毎に、上記ステップ１０８で作成した行列Ｘから、デフォルト顔クラスに対応する個人内変動idと当該個人差idとの両方が付与された３次元顔形状データについての各特徴点の３次元位置の座標を表すベクトルを取得し、取得したベクトルの集合Sdに基づいて、デフォルト顔クラスに対応する個人内変動idと当該個人差idを持つ３次元顔形状データの平均ベクトル［-ｘ'1k、-ｙ'1k、-ｚ'1k、・・・-ｘ'Nk、-ｙ'Nk、-ｚ'Nk］Tを計算する。 Then, in step 110, for each individual difference id, the three-dimensional face shape data to which both the individual variation id corresponding to the default face class and the individual difference id are assigned from the matrix X created in step 108 above. A vector representing the coordinates of the three-dimensional position of each feature point is acquired, and based on the acquired vector set S d , three-dimensional face shape data having an individual variation id corresponding to the default face class and the individual difference id average vector of [- x '1k, - y ' 1k, - z '1k, ··· - x' Nk, - y 'Nk, - z' Nk] to compute the T.
そして、ステップ１１２において、上記ステップ１１０で計算された平均ベクトルを並べて、３Ｎ×Ｎbの行列Ｘ1を作成し、行列Ｘ1に対して主成分分析を行う。得られた固有ベクトルを大きさが１になるように正規化してから固有値の大きい順に並べた行列Ａall_1を求める。 Then, at step 112, side by side average vector calculated in step 110, to create a matrix X 1 of 3N × N b, performs principal component analysis on the matrix X 1. After normalizing the obtained eigenvectors so as to have a size of 1, a matrix A all — 1 arranged in descending order of eigenvalues is obtained .
次のステップ１１４では、上記ステップ１１２で求めた行列Ａall_1から、固有値の大きい方からｎ1個の固有ベクトルを取り出して並べた３Ｎ×ｎ1の行列を作成し、個人差基底Ａ1とする。 In the next step 114, a 3N × n 1 matrix in which n 1 eigenvectors are extracted from the matrix A all — 1 obtained in the above step 112 and arranged from the larger eigenvalue is arranged and set as the individual difference basis A 1 .
そして、ステップ１１６において、上記ステップ１０８で作成された行列Ｘと、上記ステップ１１４で求められた行列Ａ1とに基づいて、上記（１）式に従って、行列Ｘ2を計算する。 In step 116, the matrix X 2 is calculated according to the equation (1) based on the matrix X created in step 108 and the matrix A 1 obtained in step 114.
次のステップ１１８では、個人内変動ｉｄ毎に、上記ステップ１１６で計算した行列Ｘ2から、当該個人内変動idが付与されたＮ’bk個の３次元顔形状データについての各特徴点の３次元位置の座標を表すベクトルを取得し、取得したベクトルの集合に基づいて、上記（２）式に従って、当該個人内変動idを持つデータの平均ベクトル［-ｘ"1k、-ｙ"1k、-ｚ"1k、・・・-ｘ"Nk、-ｙ"Nk、-ｚ"Nk、］Tを計算する。 In the next step 118, for each intra-individual variation id, 3 ′ of each feature point for the N ′ bk 3D face shape data to which the intra-individual variation id is assigned from the matrix X 2 calculated in step 116 above. Gets the vector representing the coordinates of the dimension position, based on a set of the acquired vector, according to the above (2), the average vector of data with the personal fluctuation id [- x "1k, - y" 1k, - z "1k, ··· - x" Nk, - y "Nk, - z" Nk,] to calculate the T.
ステップ１２０では、上記ステップ１１８で個人内変動ｉｄ毎に計算した平均ベクトルを並べて、３Ｎ×Ｎwの行列Ｘ'2を作成し、行列Ｘ'2に対して主成分分析を行う。得られた固有ベクトルを大きさが１になるように正規化してから固有値の大きい順に並べた行列Ａall_2を求める。 At step 120, side by side average vector calculated for each individual fluctuation id in step 118, 'create a 2, the matrix X' matrix X of 3N × Nw performing principal component analysis on 2. After normalizing the obtained eigenvectors so that the magnitude is 1, a matrix A all_2 is obtained in which the eigenvalues are arranged in descending order.
次のステップ１２２では、上記ステップ１２０で求めた行列Ａall_2から、固有値の大きい方からｎ2個取り出して並べた３Ｎ×ｎ2の行列を作成し、個人内変動基底Ａ2とする。 In the next step 122, a 3N × n 2 matrix in which n 2 are extracted from the matrix A all — 2 obtained in the above step 120 and arranged from the larger eigenvalue is arranged and used as the intra-individual variation base A 2 .
そして、ステップ１２４において、上記ステップ１１６で作成された行列Ｘ２と、上記ステップ１２２で求められた行列Ａ2とに基づいて、上記（３）式に従って、行列Ｘ3を計算する。 In step 124, the matrix X 3 is calculated according to the equation (3) based on the matrix X 2 created in step 116 and the matrix A 2 obtained in step 122.
ステップ１２６では、上記ステップ１２４で計算した行列Ｘ3に対して主成分分析を行う。得られた固有ベクトルを固有値の大きい順に並べた行列Ａall_3を求める。求めた行列Ａall_3から、固有値の大きい方からｎ3個の固有ベクトルを取り出して並べた３Ｎ×ｎ3の行列を作成し、個人差と個人内変動とが混在した混在基底Ａ3とする。 In step 126, it performs the principal component analysis on the matrix X 3 calculated in step 124. A matrix A all — 3 is obtained in which the obtained eigenvectors are arranged in descending order of eigenvalues. From the matrix A All_3 determined to create a matrix of 3N × n 3 by arranging taken out n 3 eigenvectors from the largest eigenvalues, and mixed base A 3 individual differences and intra-individual variation and are mixed.
そして、ステップ１２８において、上記ステップ１１０で計算された平均ベクトルを用いて、形状モデルの平均ベクトルｘ0を計算する。ステップ１３０では、上記ステップ１１４で求められた個人差基底Ａ1、上記ステップ１２２で求められた個人内変動基底Ａ2、上記ステップ１２６で求めた混在基底Ａ3、及び上記ステップ１２８で計算した平均ベクトルｘ0を用いた形状モデルを生成すると共に、個人差基底Ａ1、個人内変動基底Ａ2、混在基底Ａ3、平均ベクトルｘ0、及び変数ｎ1,ｎ2,ｎ3を、モデルパラメータとして、外部記憶装置５４に出力し、モデル学習処理ルーチンを終了する。 Then, in step 128, using the average vector calculated in step 110, calculates an average vector x 0 of the shape model. In step 130, the individual difference basis A 1 obtained in step 114, the intra-individual variation basis A 2 obtained in step 122, the mixed basis A 3 obtained in step 126, and the average calculated in step 128 A shape model using the vector x 0 is generated, and an individual difference basis A 1 , an intra-individual variation basis A 2 , a mixed basis A 3 , an average vector x 0 , and variables n 1 , n 2 , and n 3 are converted into model parameters. Is output to the external storage device 54, and the model learning processing routine is terminated.
次に、形状状態推定装置１０の動作について説明する。まず、外部記憶装置５４に記憶されているモデルパラメータが、外部記憶装置１８に記憶される。また、カメラ１２によって、被験者の顔画像が逐次撮像されているときに、コンピュータ１４において、図９に示す形状状態推定処理ルーチンが実行される。 Next, operation | movement of the shape state estimation apparatus 10 is demonstrated. First, model parameters stored in the external storage device 54 are stored in the external storage device 18. In addition, when the face images of the subject are sequentially captured by the camera 12, the shape state estimation processing routine shown in FIG.
ステップ１５０において、外部記憶装置１８に記憶されているモデルパラメータが読み込まれる。そして、ステップ１５２において、プログラム初期設定として、ｐ1計算スキップフラグを０にセットする。ステップ１５４では、顔形状モデルの係数パラメータp1,p2t,p3t、回転パラメータφt,θt,ψt、並進パラメータ設定t1t,t2t,t3tに、初期値を各々設定する In step 150, model parameters stored in the external storage device 18 are read. Then, in step 152, a program initialization, it sets p 1 calculated skip flag to 0. In step 154, initial values are set for coefficient parameters p 1 , p 2t , p 3t , rotation parameters φ t , θ t , ψ t , translation parameter settings t 1t , t 2t , t 3t of the face shape model.
そして、ステップ１５６において、カメラ１２によって撮像された画像を読み込む。ステップ１５８では、カメラ１２による画像の撮像が終了したか否かを判定する。上記ステップ１５６で、画像が読み込まれなかった場合には、画像の撮像が終了したと判定し、形状状態推定処理ルーチンを終了する。一方、上記ステップで、画像が読み込まれた場合には、画像の撮像が終了していないと判定し、ステップ１６０へ進む。 In step 156, an image captured by the camera 12 is read. In step 158, it is determined whether or not the image capturing by the camera 12 has been completed. If the image is not read in step 156, it is determined that the imaging of the image has ended, and the shape state estimation processing routine is ended. On the other hand, if an image has been read in the above step, it is determined that image capturing has not ended, and the process proceeds to step 160.
ステップ１６０では、上記ステップ１５６で読み込まれた顔画像から、顔領域を検出する。ステップ１６２では、上記ステップ１６０で検出された顔領域から、形状モデルの各特徴点に対応する特徴点を検出する。 In step 160, a face area is detected from the face image read in step 156. In step 162, feature points corresponding to the feature points of the shape model are detected from the face area detected in step 160.
次のステップ１６４では、上記ステップ１５０で読み込んだモデルパラメータと、上記ステップ１５４で初期設定された顔形状モデルの係数パラメータp1,p2t,p3t、又は後述するステップ１７６、１８２で前回求められた係数パラメータp1,p2t,p3tとに基づいて、上記（４）式を計算し、各特徴点の３次元位置を計算する。 In the next step 164, the model parameters read in step 150 and the face shape model coefficient parameters p 1 , p 2t , p 3t initialized in step 154 or previously obtained in steps 176 and 182 described later are obtained. Based on the coefficient parameters p 1 , p 2t , and p 3t , the above equation (4) is calculated, and the three-dimensional position of each feature point is calculated.
そして、ステップ１６６において、上記ステップ１６４で計算された各特徴点の３次元位置と、上記ステップ１５４で初期設定された回転パラメータφt,θt,ψt、並進パラメータ設定t1t,t2t,t3t、又は後述するステップ１７２で前回求められた回転パラメータφt,θt,ψt、並進パラメータt1t,t2t,t3tとに基づいて、上記（５）式を計算し、各特徴点の３次元位置を計算する。 In step 166, the three-dimensional position of each feature point calculated in step 164, the rotation parameters φ t , θ t , ψ t initialized in step 154, translation parameter settings t 1t , t 2t , Based on t 3t , or rotation parameters φ t , θ t , ψ t previously obtained in step 172 described later, and translation parameters t 1t , t 2t , t 3t , the above equation (5) is calculated, and each feature is calculated. Calculate the 3D position of the point.
そして、ステップ１６８において、上記ステップ１６６で計算された各特徴点の３次元位置を、上記（６）式に従って、２次元投影し、各特徴点の２次元位置を計算する。次のステップ１７０では、上記ステップ１６２で検出された各特徴点の座標と、上記ステップ１６８で計算された各特徴点の２次元位置とに基づいて、上記（７）式に従って、距離誤差の２乗和を計算する。 In step 168, the three-dimensional position of each feature point calculated in step 166 is two-dimensionally projected according to the above equation (6) to calculate the two-dimensional position of each feature point. In the next step 170, based on the coordinates of each feature point detected in the above step 162 and the two-dimensional position of each feature point calculated in the above step 168, the distance error of 2 is calculated according to the above equation (7). Calculate the sum of multipliers.
ステップ１７２では、上記ステップ１７０で計算された距離誤差の２乗和を最小化する回転パラメータφt,θt,ψt、並進パラメータ設定t1t,t2t,t3tを求める。 In step 172, rotation parameters φ t , θ t , ψ t and translation parameter settings t 1t , t 2t , t 3t that minimize the sum of squares of the distance errors calculated in step 170 are obtained.
ステップ１７４では、ｐ1計算スキップフラグが０であるか否かを判定する。ｐ1計算スキップフラグが０である場合には、ステップ１７６へ移行する。一方、ｐ1計算スキップフラグが１である場合には、ステップ１８２へ移行する。 In step 174, it is determined whether or not the p 1 calculation skip flag is zero. When the p 1 calculation skip flag is 0, the routine proceeds to step 176. On the other hand, when the p 1 calculation skip flag is 1, the routine proceeds to step 182.
ステップ１７６では、上記ステップ１６６で計算された各特徴点の３次元位置を、上記（８）式に従って、２次元投影し、各特徴点の２次元位置を再計算する。そして、上記ステップ１６２で検出された各特徴点の座標と、再計算された各特徴点の２次元位置とに基づいて、上記（９）式に従って、距離誤差の２乗和を最小化する、顔形状モデルの係数パラメータp1を求める。 In step 176, the three-dimensional position of each feature point calculated in step 166 is two-dimensionally projected according to the above equation (8), and the two-dimensional position of each feature point is recalculated. Then, based on the coordinates of each feature point detected in step 162 and the recalculated two-dimensional position of each feature point, the sum of squares of the distance error is minimized according to the above equation (9). A coefficient parameter p 1 of the face shape model is obtained.
そして、ステップ１７８において、上記ステップ１７６で求められた係数パラメータｐ1と、前回求められた係数パラメータｐ1とに基づく時間変化量が閾値以下であるか否かを判定する。時間変化量が閾値より大きい場合には、係数パラメータｐ1が収束していないと判断し、ステップ１８２へ移行する。一方、時間変化量が閾値以下である場合には、係数パラメータｐ1が収束していると判断し、ステップ１８０へ移行する。ステップ１８０では、ｐ1計算スキップフラグを１に設定する。 Then, in step 178, the coefficient parameters p 1 determined in step 176, whether the amount of change in time based on the coefficient parameters p 1 determined last is the threshold value or less. If the time change amount is larger than the threshold value, it is determined that the coefficient parameter p 1 has not converged, and the routine proceeds to step 182. On the other hand, if the time change amount is equal to or smaller than the threshold value, it is determined that the coefficient parameter p 1 has converged, and the process proceeds to step 180. In step 180, it sets p 1 calculated skip flag to 1.
ステップ１８２では、上記ステップ１６６で計算された各特徴点の３次元位置を、上記（１０）式に従って、２次元投影し、各特徴点の２次元位置を再計算する。そして、上記ステップ１６２で検出された各特徴点の座標と、再計算された各特徴点の２次元位置とに基づいて、上記（１１）式に従って、距離誤差の２乗和を最小化する、顔形状モデルの係数パラメータp2t、ｐ3tを求める。 In step 182, the three-dimensional position of each feature point calculated in step 166 is two-dimensionally projected according to the above equation (10), and the two-dimensional position of each feature point is recalculated. Then, based on the coordinates of each feature point detected in step 162 and the recalculated two-dimensional position of each feature point, the sum of squares of the distance error is minimized according to the above equation (11). Coefficient parameters p 2t and p 3t of the face shape model are obtained.
次のステップ１８４では、上記ステップ１６６で計算された各特徴点の３次元位置を、上記（１２）式に従って、２次元投影し、各特徴点の２次元位置を再計算する。そして、表示装置１６に、再計算された各特徴点の２次元位置を表示させて、顔形状を表示させる。ステップ１８６では、上記ステップ１７２で求められた回転パラメータφt,θt,ψt、並進パラメータ設定t1t,t2t,t3tと、上記ステップ１７６、１８２で求められた係数パラメータｐ1、ｐ2t、ｐ3tを、外部記憶装置５４に出力する。 In the next step 184, the three-dimensional position of each feature point calculated in step 166 is two-dimensionally projected according to the above equation (12), and the two-dimensional position of each feature point is recalculated. Then, the display device 16 displays the recalculated two-dimensional position of each feature point to display the face shape. In Step 186, the rotation parameters φ t , θ t , ψ t obtained in Step 172, the translation parameter settings t 1t , t 2t , t 3t, and the coefficient parameters p 1 , p obtained in Steps 176, 182 above. 2t and p 3t are output to the external storage device 54.
ステップ１８８では、処理を終了するか否かを判定し、終了しない場合には、上記ステップ１５６へ戻り、新たに顔画像を読み込む。一方、処理を終了する場合には、形状状態推定処理ルーチンを終了する。 In step 188, it is determined whether or not to end the process. If not, the process returns to step 156 to newly read a face image. On the other hand, when ending the process, the shape state estimation process routine is ended.
以上説明したように、本発明の実施の形態に係る形状状態推定装置によれば、個人差基底と、個人内変動基底と、混在基底とを含む３種類の基底の線形和を用いて表される、顔形状に関する状態を識別するための形状モデルを用いて、短い処理時間で、形状に関する状態を精度よく推定することができる。 As described above, according to the shape state estimation apparatus according to the embodiment of the present invention, the shape state estimation apparatus is represented using a linear sum of three types of bases including an individual difference basis, an intra-individual variation basis, and a mixed basis. Using the shape model for identifying the state related to the face shape, the state related to the shape can be accurately estimated in a short processing time.
また、時間変動するパラメータ(表情)と時間変動しないパラメータ(個人差)が分離されているために、顔表情にフィッティングさせて係数パラメータを推定する際に、顔形状個人差の部分が変化しないため、形状に関する状態を精度よく推定することができる。 In addition, since parameters that change over time (expression) and parameters that do not change over time (individual differences) are separated, when the coefficient parameters are estimated by fitting to facial expressions, the face shape individual difference portion does not change. The state related to the shape can be accurately estimated.
また、時間変動しない個人差基底の係数パラメータは、一旦収束したら以降は推定不要になる。以降は、時間変動する個人内変動基底の係数パラメータ及び混在基底の係数パラメータのみを推定すれば良いので、処理するパラメータが減る分、処理時間が短縮できる。 In addition, the coefficient parameter based on the individual difference that does not change with time does not need to be estimated after convergence. Thereafter, it is only necessary to estimate the coefficient parameter of the intra-individual variation base and the mixed base coefficient that change with time, and therefore, the processing time can be shortened as the number of parameters to be processed decreases.
また、表情変化が含まれない通常表情のクラス（デフォルト顔クラス）を導入し、通常表情のみで個人差基底を計算する。これにより、表情変化の影響を含まない個人形状差を取り出すことができる。 Also, a normal facial expression class (default face class) that does not include facial expression changes is introduced, and an individual difference basis is calculated using only normal facial expressions. Thereby, the personal shape difference which does not include the influence of the expression change can be taken out.
また、本実施の形態に係るモデル学習装置によれば、デフォルト顔クラスの個人内変動ｉｄが付与された３次元形状データの各々について検出された特徴点の３次元座標に基づいて、個人差基底を算出すると共に、複数の３次元形状データの各々について検出された特徴点の３次元座標に基づいて、個人内変動基底及び混在基底を算出して、算出された３種類の基底の線形和を用いて表される形状モデルを生成することにより、短い処理時間で形状に関する状態を精度よく推定するための形状モデルを生成することができる。 Further, according to the model learning device according to the present embodiment, the individual difference basis is based on the three-dimensional coordinates of the feature points detected for each of the three-dimensional shape data to which the intra-person variation id of the default face class is assigned. And calculating an intra-individual variation base and a mixed base based on the three-dimensional coordinates of the feature points detected for each of the plurality of three-dimensional shape data, and calculating a linear sum of the three types of calculated bases. By generating the shape model represented by using the shape model, it is possible to generate a shape model for accurately estimating the state related to the shape in a short processing time.
ここで、従来手法と本実施の形態に係る手法の違いを説明する。 Here, the difference between the conventional method and the method according to the present embodiment will be described.
上記の非特許文献１、２に記載のＰＣＡを使う手法では、データ準備の自由度が大きい（図１０（Ａ）参照）。また、上記の非特許文献５、６に記載のＣＤＡに基づく方法では、全てのデータにどちらかの軸でクラスidを付ける（例えば、個人内変動クラスidを付ける）。データの欠けは許容されるため、データ準備の自由度は大きい（図１０（Ｂ）参照）。 In the methods using PCA described in Non-Patent Documents 1 and 2, the degree of freedom of data preparation is large (see FIG. 10A). Further, in the methods based on CDA described in Non-Patent Documents 5 and 6, class ids are attached to all data on either axis (for example, intra-individual variation class ids are attached). Since lack of data is allowed, the degree of freedom of data preparation is large (see FIG. 10B).
また、上記の非特許文献７に記載のN-mode SVDを使う手法では、個人差クラスidと個人内変動idの両方が必要で、かつ同じidの組み合わせを持つデータは1つのみである。データの欠けは許容されないためデータ準備の自由度が低い（図１０（Ｃ）参照）。 In the method using the N-mode SVD described in Non-Patent Document 7 described above, both the individual difference class id and the intra-individual variation id are necessary, and only one data has the same id combination. Since lack of data is not allowed, the degree of freedom in data preparation is low (see FIG. 10C).
本実施の形態に係る手法は、CDAに基づく手法と類似だが、デフォルト顔クラスが必須であり、 全てのデータに個人内変動クラスidを付ける（図１０（Ｄ）参照）。また、 デフォルト顔クラスのみ、個人差クラスidと個人内変動idの両方付ける。データの欠けは許容されるため、データ準備の自由度は大きい。 The method according to this embodiment is similar to the method based on CDA, but a default face class is essential, and an intra-individual variation class id is attached to all data (see FIG. 10D). In addition, only the default face class is given both the individual difference class id and the intra-individual variation id. Since lack of data is allowed, the degree of freedom of data preparation is great.
また、図１１に示すように、個人内変動に関するクラス平均、個人差に関するクラス平均は、理想的には、他の軸に対して直交するため、他の軸の影響を受けない。しかしながら、図１２に示すように、表情を正確に揃えるのは難しいので、個人差クラスの平均は個人内変動軸に対して直交しない。また、データ欠けがある場合は、それ以上に直交しなくなる。 Also, as shown in FIG. 11, the class average related to intra-individual variation and the class average related to individual differences are ideally orthogonal to other axes and are not affected by other axes. However, as shown in FIG. 12, since it is difficult to align facial expressions accurately, the average of individual difference classes is not orthogonal to the intra-individual variation axis. In addition, when there is missing data, it is no longer orthogonal.
このように、個人内変動クラスの平均は、データ欠けがあると個人差軸に対して直交しない。 In this way, the average of the individual variation class is not orthogonal to the individual difference axis if there is missing data.
また、上記の非特許文献５、６に記載の手法では、個々人の平均表情から個人差変動を計算しているため、その平均表情位置が個人毎に異なる（図１３参照）。そのため、平均表情位置の個人毎のばらつきが表情変化という形で個人差基底に含まれてしまう。 Further, in the methods described in Non-Patent Documents 5 and 6 described above, since the individual difference variation is calculated from the average facial expression of each individual, the average facial expression position differs for each individual (see FIG. 13). Therefore, the variation of the average facial expression position for each individual is included in the individual difference basis in the form of facial expression change.
これに対し、本実施の形態に係る手法では、図１４に示すように、表情変化が含まれない通常表情のクラスを導入し、通常表情のみで個人差基底を計算する。これにより、表情変化の影響を含まない個人形状差を取り出すことができる。 On the other hand, in the method according to the present embodiment, as shown in FIG. 14, a normal facial expression class that does not include facial expression changes is introduced, and an individual difference basis is calculated using only normal facial expressions. Thereby, the personal shape difference which does not include the influence of the expression change can be taken out.
なお、上記の実施の形態では、撮像された顔画像から、逐次、個人内変動基底及び混在基底の係数パラメータを推定する場合を例に説明したが、これに限定されるものではない。例えば、外部記憶装置に記憶されている顔画像から、個人内変動基底及び混在基底の係数パラメータを推定するようにしてもよい。 In the above embodiment, the case where the coefficient parameters of the intra-individual variation base and the mixed base are sequentially estimated from the captured face image has been described as an example. However, the present invention is not limited to this. For example, coefficient parameters of the intra-individual variation base and the mixed base may be estimated from the face image stored in the external storage device.
また、人の顔の形状に関する形状モデルを生成する場合を例に説明したが、これに限定されるものではない。人以外の生物の形状に関する形状モデルを生成するようにしてもよい。 Moreover, although the case where the shape model regarding the shape of a person's face was produced | generated was demonstrated to the example, it is not limited to this. You may make it produce | generate the shape model regarding the shape of living things other than a person.
また、形状モデルを用いて、個人差基底の係数パラメータ、個人内変動基底の係数パラメータ、及び混在基底の係数パラメータを求めて出力する場合を例に説明したが、これに限定されるものではなく、求められた個人差基底の係数パラメータ、個人内変動基底の係数パラメータ、及び混在基底の係数パラメータに基づいて、顔の形状に関する状態を推定するようにしてもよい。 Also, the case where the coefficient parameter of the individual difference basis, the coefficient parameter of the intra-individual variation basis, and the coefficient parameter of the mixed basis are obtained and output using the shape model is described as an example, but the present invention is not limited to this. The state relating to the shape of the face may be estimated based on the obtained coefficient parameter of the individual difference basis, the coefficient parameter of the intra-individual variation basis, and the coefficient parameter of the mixed basis.
１０ 形状状態推定装置
１２ カメラ
１４、５２ コンピュータ
１８、５４ 外部記憶装置
３０ 画像入力部
３２ 顔検出部
３４ 特徴点検出部
３６ モデルパラメータ記憶部
３８ 回転並進パラメータ最適化部
４０ 個人差パラメータ最適化部
４２ 個人内変動パラメータ最適化部
４４ 顔形状算出部
５０ モデル学習装置
６４ 平均形状計算部
６６ 座標値修正部
６８ 個人差基底算出部
７０ 個人内変動基底算出部
７２ 混在基底算出部
７４ モデルパラメータ出力部
DESCRIPTION OF SYMBOLS 10 Shape state estimation apparatus 12 Camera 14, 52 Computer 18, 54 External storage device 30 Image input part 32 Face detection part 34 Feature point detection part 36 Model parameter storage part 38 Rotation translation parameter optimization part 40 Individual difference parameter optimization part 42 Individual variation parameter optimization unit 44 Face shape calculation unit 50 Model learning device 64 Average shape calculation unit 66 Coordinate value correction unit 68 Individual difference basis calculation unit 70 Individual variation basis calculation unit 72 Mixed basis calculation unit 74 Model parameter output unit
Claims (8)
推定対象物の形状に関する基準の状態である物体であって、前記推定対象物と同一種類の物体を表す複数の画像に基づいて求められる、物体の個体差を表す個体差基底と、前記推定対象物と同一種類の物体を表す複数の画像に基づいて求められる、物体の個体内の変動を表す個体内変動基底及び前記物体の個体差と個体内変動とが混在した混在基底とを含む少なくとも３種類の基底を用いて表される、前記推定対象物の形状に関する状態を識別するための予め学習された形状モデルを用いて、前記特徴点検出手段によって検出された特徴点に基づいて、前記画像が表す前記推定対象物の形状に関する状態を推定し、又は前記状態を表すパラメータを推定する推定手段と、
を含み、
前記推定手段は、前記特徴点検出手段によって検出された特徴点に基づいて、前記推定対象物の３次元形状における回転を表す回転パラメータ及び並進を表す並進パラメータを推定し、
前記特徴点検出手段によって検出された特徴点と、前記推定された前記回転パラメータ及び前記並進パラメータとに基づいて、前記個体差基底の係数パラメータを推定し、
前記特徴点検出手段によって検出された特徴点と、前記推定された前記回転パラメータ及び前記並進パラメータと、前記個体差基底の係数パラメータとに基づいて、前記個体内変動基底の係数パラメータ、及び前記混在基底の係数パラメータを推定し、
前記特徴点検出手段によって検出された特徴点と、前記推定された前記回転パラメータ及び前記並進パラメータと、前記個体差基底の係数パラメータと、前記個体内変動基底の係数パラメータ、及び前記混在基底の係数パラメータとに基づいて、前記画像が表す前記推定対象物の形状に関する状態を推定し、又は前記状態を表すパラメータを推定する形状状態推定装置。 Feature point detection means for detecting a feature point from an image representing the estimation object imaged by an imaging means for imaging the estimation object;
An object that is a reference state related to the shape of the estimation target object, and is obtained based on a plurality of images representing the same type of object as the estimation target object. And at least 3 including an intra-individual variation base representing an intra-individual variation of the object and a mixed base in which individual differences of the object and intra-individual variation are mixed, obtained based on a plurality of images representing the same type of object as the object Based on the feature points detected by the feature point detection means using a pre-learned shape model for identifying a state relating to the shape of the estimation object represented by a type of base. An estimation means for estimating a state relating to the shape of the estimation object represented by or estimating a parameter representing the state;
Only including,
The estimation means estimates a rotation parameter representing a rotation in a three-dimensional shape of the estimation object and a translation parameter representing a translation based on the feature point detected by the feature point detection means,
Based on the feature point detected by the feature point detection means, the estimated rotation parameter and the translation parameter, the coefficient parameter of the individual difference basis is estimated,
Based on the feature point detected by the feature point detection means, the estimated rotation parameter and translation parameter, and the coefficient parameter of the individual difference basis, the coefficient parameter of the intra-individual variation base, and the mixture Estimate the coefficient parameters of the basis,
The feature point detected by the feature point detection means, the estimated rotation parameter and translation parameter, the coefficient parameter of the individual difference basis, the coefficient parameter of the intra-individual variation basis, and the coefficient of the mixed basis A shape state estimation device that estimates a state related to the shape of the estimation object represented by the image based on a parameter or estimates a parameter representing the state.
前記推定手段は、前記特徴点検出手段によって検出された特徴点に基づいて、前記個体差基底の係数パラメータ、前記個体内変動基底の係数パラメータ、及び前記混在基底の係数パラメータを推定することにより、前記画像が表す前記推定対象物の形状に関する状態を推定し、又は前記状態を表すパラメータを推定し、
前記個体差基底の係数パラメータが既に推定された場合には、前記特徴点検出手段によって検出された特徴点、及び推定された前記個体差基底の係数パラメータに基づいて、前記個体内変動基底の係数パラメータ及び前記混在基底の係数パラメータを推定することにより、前記画像が表す前記推定対象物の形状に関する状態を推定し、又は前記状態を表すパラメータを推定する
請求項１記載の形状状態推定装置。 The shape model is represented by a linear sum of the at least three types of bases,
The estimation unit estimates the coefficient parameter of the individual difference basis, the coefficient parameter of the intra-individual variation basis, and the coefficient parameter of the mixed basis based on the feature point detected by the feature point detection unit, Estimating a state related to the shape of the estimation object represented by the image, or estimating a parameter representing the state,
When the coefficient parameter of the individual difference basis has already been estimated, the coefficient of the intra-individual variation base is determined based on the feature point detected by the feature point detection unit and the estimated coefficient parameter of the individual difference basis. The shape state estimation apparatus according to claim 1, wherein a state relating to a shape of the estimation object represented by the image is estimated by estimating a parameter and a coefficient parameter of the mixed basis, or a parameter representing the state is estimated.
前記特徴点検出手段は、前記撮像手段によって撮像された推定対象者の顔を表す画像から、特徴点を検出し、
前記推定手段は、前記顔形状モデルを用いて、前記特徴点検出手段によって検出された特徴点に基づいて、前記画像が表す前記推定対象者の顔の形状に関する状態を推定し、又は前記状態を表すパラメータを推定する請求項１又は２記載の形状状態推定装置。 The shape model is a face shape model for identifying a state related to a face shape,
The feature point detection means detects a feature point from an image representing the estimation subject's face imaged by the imaging means,
The estimation means estimates the state related to the shape of the estimation target person represented by the image based on the feature points detected by the feature point detection means using the face shape model, or The shape state estimation apparatus according to claim 1 or 2, wherein a parameter to be expressed is estimated.
前記座標値修正手段によって修正された、前記複数の形状データ又は画像の各々について検出された特徴点に基づいて、物体の個体差を表す個体差基底を算出する個体差基底算出手段と、
前記個体差基底算出手段によって算出された前記個体差基底と、前記座標値修正手段によって修正された、前記複数の形状データ又は画像の各々について検出された特徴点とに基づいて、物体の個体内の変動を表す個体内変動基底を算出する個体内変動基底算出手段と、
前記個体差基底算出手段によって算出された前記個体差基底と、前記個体内変動基底算出手段によって算出された前記個体内変動基底と、前記座標値修正手段によって修正された、前記複数の形状データ又は画像の各々について検出された特徴点とに基づいて、前記物体の個体差と個体内変動とが混在した混在基底を算出する混在基底算出手段と、
前記個体差基底算出手段によって算出された前記個体差基底と、前記個体内変動基底算出手段によって算出された前記個体内変動基底と、前記混在基底算出手段によって算出された前記混在基底とを含む少なくとも３種類の基底を用いて表される、前記推定対象物の形状に関する状態を識別するための形状モデルを生成するモデル生成手段と、
を含む形状モデル生成装置。 A reference of the plurality of states of each of a plurality of shape data or images representing an object of the same type as the estimation target, any of a plurality of states related to the shape of the estimation target is given in advance. Based on the feature points detected for each of the shape data or the image to which the state is given, for each of the plurality of shape data or the image, a rotation parameter representing rotation in the three-dimensional shape of the object and a translation parameter representing translation A coordinate value correcting means for correcting the coordinates of the feature points using the rotation parameter and the translation parameter;
An individual difference basis calculating means for calculating an individual difference basis representing an individual difference of an object based on feature points detected for each of the plurality of shape data or images corrected by the coordinate value correcting means ;
Based on the individual difference base calculated by the individual difference base calculation means and the feature points detected for each of the plurality of shape data or images corrected by the coordinate value correction means , An intra-individual variation base calculating means for calculating an intra-individual variation base representing the variation of
Said individual difference basal calculated by the individual difference base calculation unit, the individual fluctuation basis calculated by the individual body fluctuates basal calculating means, modified by the coordinate value correcting means, said plurality of shape data Alternatively, based on the feature points detected for each of the images, mixed base calculation means for calculating a mixed base in which individual differences and intra-individual variation of the object are mixed,
Including said individual difference basal calculated by the individual difference base calculation unit, the individual fluctuation basis calculated by the individual body fluctuates basis calculation means, and said mixed base calculated by the mixed base calculation means Model generation means for generating a shape model for identifying a state related to the shape of the estimation object, which is represented using at least three types of bases;
A shape model generation apparatus including:
前記特徴点は、顔の形状に関する複数の状態の何れかが予め付与された、複数の顔を表す複数の形状データ又は画像の各々から検出されたものである請求項４又は５記載の形状モデル生成装置。 The shape model is a face shape model for identifying a state related to a face shape,
The feature point, one of the plurality of states relating to the shape of the face is previously applied, the shape of the plurality of faces Ru der those detected from each of a plurality of shape data or the image representing the claim 4 or 5, wherein Model generator.
推定対象物を撮像する撮像手段によって撮像された前記推定対象物を表す画像から、特徴点を検出する特徴点検出手段、及び
推定対象物の形状に関する基準の状態である物体であって、前記推定対象物と同一種類の物体を表す複数の画像に基づいて求められる、物体の個体差を表す個体差基底と、前記推定対象物と同一種類の物体を表す複数の画像に基づいて求められる、物体の個体内の変動を表す個体内変動基底及び前記物体の個体差と個体内変動とが混在した混在基底とを含む少なくとも３種類の基底を用いて表される、前記推定対象物の形状に関する状態を識別するための予め学習された形状モデルを用いて、前記特徴点検出手段によって検出された特徴点に基づいて、前記画像が表す前記推定対象物の形状に関する状態を推定し、又は前記状態を表すパラメータを推定する推定手段
として機能させるためのプログラムであって、
前記推定手段は、前記特徴点検出手段によって検出された特徴点に基づいて、前記推定対象物の３次元形状における回転を表す回転パラメータ及び並進を表す並進パラメータを推定し、
前記特徴点検出手段によって検出された特徴点と、前記推定された前記回転パラメータ及び前記並進パラメータとに基づいて、前記個体差基底の係数パラメータを推定し、
前記特徴点検出手段によって検出された特徴点と、前記推定された前記回転パラメータ及び前記並進パラメータと、前記個体差基底の係数パラメータとに基づいて、前記個体内変動基底の係数パラメータ、及び前記混在基底の係数パラメータを推定し、
前記特徴点検出手段によって検出された特徴点と、前記推定された前記回転パラメータ及び前記並進パラメータと、前記個体差基底の係数パラメータと、前記個体内変動基底の係数パラメータ、及び前記混在基底の係数パラメータとに基づいて、前記画像が表す前記推定対象物の形状に関する状態を推定し、又は前記状態を表すパラメータを推定するプログラム。 Computer
A feature point detection unit that detects a feature point from an image representing the estimation target imaged by an imaging unit that images the estimation target, and an object that is a reference state regarding the shape of the estimation target, the estimation An object obtained based on an individual difference basis representing an individual difference between objects obtained based on a plurality of images representing the same type of object as the object, and a plurality of images representing an object of the same kind as the estimated object A state relating to the shape of the estimation object represented by using at least three types of bases including an intra-individual variation base representing intra-individual variation and a mixed base in which individual differences of the object and intra-individual variation are mixed Using a pre-learned shape model for identifying the image, estimating a state related to the shape of the estimation object represented by the image based on the feature point detected by the feature point detection unit; Is a program for functioning as an estimation means for estimating a parameter representing the state ,
The estimation means estimates a rotation parameter representing a rotation in a three-dimensional shape of the estimation object and a translation parameter representing a translation based on the feature point detected by the feature point detection means,
Based on the feature point detected by the feature point detection means, the estimated rotation parameter and the translation parameter, the coefficient parameter of the individual difference basis is estimated,
Based on the feature point detected by the feature point detection means, the estimated rotation parameter and translation parameter, and the coefficient parameter of the individual difference basis, the coefficient parameter of the intra-individual variation base, and the mixture Estimate the coefficient parameters of the basis,
The feature point detected by the feature point detection means, the estimated rotation parameter and translation parameter, the coefficient parameter of the individual difference basis, the coefficient parameter of the intra-individual variation basis, and the coefficient of the mixed basis The program which estimates the state regarding the shape of the said estimation target object which the said image represents based on a parameter, or estimates the parameter showing the said state .
推定対象物の形状に関する複数の状態の何れかが予め付与された、前記推定対象物と同一種類の物体を表す複数の形状データ又は画像の各々のうちの、前記複数の状態の中の基準の状態が付与された形状データ又は画像の各々について検出された特徴点に基づいて、前記複数の形状データ又は画像の各々について、前記物体の３次元形状における回転を表す回転パラメータ及び並進を表す並進パラメータを推定し、前記回転パラメータ及び前記並進パラメータを用いて、前記特徴点の座標を修正する座標値修正手段、
前記座標値修正手段によって修正された、前記複数の形状データ又は画像の各々について検出された特徴点に基づいて、物体の個体差を表す個体差基底を算出する個体差基底算出手段、
前記個体差基底算出手段によって算出された前記個体差基底と、前記座標値修正手段によって修正された、前記複数の形状データ又は画像の各々について検出された特徴点とに基づいて、物体の個体内の変動を表す個体内変動基底を算出する個体内変動基底算出手段、
前記個体差基底算出手段によって算出された前記個体差基底と、前記個体内変動基底算出手段によって算出された前記個体内変動基底と、前記座標値修正手段によって修正された、前記複数の形状データ又は画像の各々について検出された特徴点とに基づいて、前記物体の個体差と個体内変動とが混在した混在基底を算出する混在基底算出手段、及び
前記個体差基底算出手段によって算出された前記個体差基底と、前記個体内変動基底算出手段によって算出された前記個体内変動基底と、前記混在基底算出手段によって算出された前記混在基底とを含む少なくとも３種類の基底を用いて表される、前記推定対象物の形状に関する状態を識別するための形状モデルを生成するモデル生成手段
として機能させるためのプログラム。 Computer
A reference of the plurality of states of each of a plurality of shape data or images representing an object of the same type as the estimation target, any of a plurality of states related to the shape of the estimation target is given in advance. Based on the feature points detected for each of the shape data or the image to which the state is given, for each of the plurality of shape data or the image, a rotation parameter representing rotation in the three-dimensional shape of the object and a translation parameter representing translation A coordinate value correcting means for correcting the coordinates of the feature points using the rotation parameter and the translation parameter,
An individual difference basis calculating means for calculating an individual difference basis representing an individual difference of an object based on feature points detected for each of the plurality of shape data or images corrected by the coordinate value correcting means;
Based on the individual difference base calculated by the individual difference base calculation means and the feature points detected for each of the plurality of shape data or images corrected by the coordinate value correction means , An intra-individual variation base calculating means for calculating an intra-individual variation base representing the variation of
Said individual difference basal calculated by the individual difference base calculation unit, the individual fluctuation basis calculated by the individual body fluctuates basal calculating means, modified by the coordinate value correcting means, said plurality of shape data Alternatively, based on the feature points detected for each of the images, mixed base calculation means for calculating a mixed base in which individual differences of the object and intra-individual variation are mixed, and the calculated by the individual difference base calculation means and individual differences basis, expressed using at least three types of basis includes the intraindividual variation basal calculated by the individual body fluctuates basis calculation means, and said mixed base calculated by the mixed base calculation means A program for functioning as model generation means for generating a shape model for identifying a state related to the shape of the estimation object.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013176926A JP6260146B2 (en) | 2013-08-28 | 2013-08-28 | Shape state estimation device, shape model generation device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013176926A JP6260146B2 (en) | 2013-08-28 | 2013-08-28 | Shape state estimation device, shape model generation device, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015046018A JP2015046018A (en) | 2015-03-12 |
| JP6260146B2 true JP6260146B2 (en) | 2018-01-17 |
Family
ID=52671467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013176926A Active JP6260146B2 (en) | 2013-08-28 | 2013-08-28 | Shape state estimation device, shape model generation device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6260146B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6751540B1 (en) * | 2019-05-31 | 2020-09-09 | みずほ情報総研株式会社 | Shape prediction system, shape prediction method and shape prediction program |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008204200A (en) * | 2007-02-20 | 2008-09-04 | Space Vision:Kk | Face analysis system and program |
| JP2009268088A (en) * | 2008-04-04 | 2009-11-12 | Fujifilm Corp | Image processing system, image processing method, and program |
| JP5650012B2 (en) * | 2011-02-25 | 2015-01-07 | 花王株式会社 | Facial image processing method, beauty counseling method, and facial image processing apparatus |
| JP2013003706A (en) * | 2011-06-14 | 2013-01-07 | Nippon Telegr & Teleph Corp <Ntt> | Facial-expression recognition device, method, and program |
-
2013
- 2013-08-28 JP JP2013176926A patent/JP6260146B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015046018A (en) | 2015-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4950787B2 (en) | Image processing apparatus and method | |
| JP6424822B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM | |
| JP5772821B2 (en) | Facial feature point position correction apparatus, face feature point position correction method, and face feature point position correction program | |
| US8515180B2 (en) | Image data correction apparatus and method using feature points vector data | |
| CN111652827B (en) | Front face synthesis method and system based on generation countermeasure network | |
| JP4930854B2 (en) | Joint object position / posture estimation apparatus, method and program thereof | |
| JP4728432B2 (en) | Face posture estimation device, face posture estimation method, and face posture estimation program | |
| JP4372051B2 (en) | Hand shape recognition apparatus and method | |
| JP5159950B2 (en) | Image processing apparatus, method, and program | |
| TWI394093B (en) | An image synthesis method | |
| CN110520905B (en) | Face posture correcting device and method | |
| WO2010122721A1 (en) | Matching device, matching method, and matching program | |
| JP6919619B2 (en) | Image analyzers, methods and programs | |
| JP2016099982A (en) | Behavior recognition device, behaviour learning device, method, and program | |
| WO2018207282A1 (en) | Target object recognition method, device, system, and program | |
| JP6260146B2 (en) | Shape state estimation device, shape model generation device, and program | |
| JP2010231350A (en) | Person identifying apparatus, its program, and its method | |
| JP2012243285A (en) | Feature point position decision device, feature point position determination method and program | |
| KR101001184B1 (en) | Iterative 3D head pose estimation method using a face normal vector | |
| US20230046705A1 (en) | Storage medium, determination device, and determination method | |
| JP2020140283A (en) | Information processing device, information processing method, and computer program | |
| JP2022092528A (en) | Three-dimensional person attitude estimation apparatus, method, and program | |
| WO2021166174A1 (en) | Device for subject feature point separation, method for subject feature point separation, and computer program | |
| JP2007272578A (en) | Image processing apparatus and method | |
| JP6147003B2 (en) | Information processing apparatus, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160303 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170223 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170404 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170602 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171114 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171127 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6260146 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |