WO2004025564A1 - 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム - Google Patents
顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム Download PDFInfo
- Publication number
- WO2004025564A1 WO2004025564A1 PCT/JP2003/010742 JP0310742W WO2004025564A1 WO 2004025564 A1 WO2004025564 A1 WO 2004025564A1 JP 0310742 W JP0310742 W JP 0310742W WO 2004025564 A1 WO2004025564 A1 WO 2004025564A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- face
- image
- face direction
- evaluation
- specific
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
Definitions
- Face direction estimation device Face direction estimation method, and face direction estimation program
- the present invention provides a face direction estimating apparatus and method for estimating the direction of a face in an input image, and a face direction estimating program (hereinafter, referred to as a face direction estimating method).
- a face direction estimating method for estimating the direction of a face in an input image
- a face direction estimating program hereinafter, referred to as a face direction estimating method.
- FIG. 1 shows a block diagram described in Japanese Patent Application Laid-Open No. 2000-291108.
- an average face is created by acquiring the frontal face data of multiple persons in advance, and an image is created by rotating the average face by an arbitrary angle by attaching the average face to the 3D model, and the degree of correlation with the input image is calculated. It is configured to estimate the face direction of the input image by determining the image at a high angle.
- the position of the eyes and mouth and the face width are detected by extracting the skin color, and the face direction is determined from the positional relationship between them. presume.
- the face orientation of the input image is estimated by comparing the similarity with the template in various face orientations, it is necessary to compare the similarity in various face orientation images. It is susceptible to differences in color and face shape depending on the race (white / black / yellow) of the face data used, and the brightness of areas other than the face (background). Disclosure of the invention
- the present invention has been made in view of such circumstances, and an object of the present invention is to provide a face direction estimating method that accurately detects a face direction.
- the present invention has achieved the above object by the following features.
- the face direction estimating apparatus of the present invention is a face direction estimating apparatus.
- a face direction estimating device for estimating the direction of a face in an image
- the image processing apparatus includes face direction conversion means for creating a face direction converted face by performing image processing for converting the face direction in an image, and a specific direction face direction evaluation means for evaluating the face direction of the face direction converted face.
- the apparatus further includes an illumination variation removing unit that removes the effect of illumination variation from the face image, and the illumination variation removing unit generates an image in which the influence of the illumination variation has been removed from the face orientation converted face created by the face orientation converting unit.
- the specific direction face direction evaluation means may estimate the direction of the face using the image from which the influence of the illumination fluctuation has been removed.
- the image processing apparatus further includes an illumination variation removing unit that removes the influence of illumination variation from the face image, the illumination variation removing unit generates an image in which the effect of illumination variation is removed from the image, and the face direction converting unit includes an illumination variation removing unit.
- the image processing for converting the direction of the face in the image generated by the means may be performed to generate a face-converted face.
- the specific direction face direction evaluation means obtains an average of a plurality of specific direction face images.
- the specific direction average face may be generated in advance, and the specific direction face direction evaluation may be performed based on the similarity between the face direction converted face and the specific direction average face.
- the specific direction face direction evaluation means may include a front face direction evaluation means for evaluating the likeness of the front face converted face using the front as the direction for evaluating the face direction in the image.
- the frontal face orientation evaluation means may be arranged such that the specific direction face orientation evaluation means evaluates the frontal face orientation based on the degree of left-right symmetry of the face-converted face.
- the frontal face direction evaluation means calculates the degree of symmetry of the frontal face of the person.
- the specific direction face direction evaluation means may perform the frontal face evaluation by measuring the similarity between the face and the face obtained by inverting the face.
- the specific direction face direction evaluation means may use a sideways direction as a direction for evaluating the direction of the face in the image, and may include a sideways face direction evaluation means for evaluating the likelihood of the side face converted face.
- the face direction conversion means may change the direction of the face on the image using the position of the feature point of the human face on the image.
- the face direction conversion means may use any one of the eyes, both ends of the mouth, the left and right holes of the nose, and both eyebrows, or a combination of any of them, as the feature points of the human face.
- the face direction conversion means may use any one or a combination of any of the eyes, the end of the mouth, the nostrils, and the eyebrows as the feature points of the human face.
- the face direction conversion means may perform a face conversion to a face three-dimensional shape model describing a three-dimensional shape of a human face to change the direction.
- the face direction conversion means may use a face three-dimensional shape model described as an average of a plurality of face shapes as a three-dimensional shape model of a human face.
- the face direction conversion means may use an ellipsoid as the face three-dimensional shape model.
- the face direction conversion means may change the direction of the face on the image by image-dividing of the face area.
- the face direction conversion means may change the face direction by applying a conversion parameter generated from a learning image in advance to the input image as a means for changing the direction of the face on the image.
- the face direction estimation direction may be output as some specific direction categories.
- one of the 9 categories of front, top, bottom, right, top right, bottom right, left, top left, and bottom left may be used as a specific direction category.
- the face direction only for the direction that represents each specific direction category
- the face direction may be output as a specific direction category by performing conversion and evaluation.
- the face direction may be output as the specific direction category by performing face direction conversion and evaluation only for the direction representing each of the specific direction categories.
- a face direction estimation method for estimating the direction of a face in an image comprising:
- the method includes a face direction conversion step of creating a face direction converted face by performing image processing for converting a face direction in an image, and a specific direction face direction evaluation step of evaluating the face direction of the face direction converted face.
- the face direction estimating program of the present invention comprises:
- a face direction estimating program for estimating the direction of a face in an image comprising: a face direction conversion means for generating a face direction converted face by performing image processing for converting a direction of the face in the image; This is a program to function as a specific direction face direction evaluation means for evaluating the face direction of the converted face.
- the present invention has the following effects.
- the first effect is that the face orientation can be evaluated using features specific to a specific face orientation, such as the left-right symmetry of the front face.
- the face orientation can be evaluated without using a template by evaluating the left-right symmetry.
- the reason is that the face direction is estimated by searching for a face direction conversion parameter that best satisfies the characteristics of the face in the specific direction after the conversion.
- FIG. 1 is a block diagram illustrating the prior art
- FIG. 2 is a diagram showing an input face image oriented in the direction of +30 degrees
- FIG. 3 is a diagram showing conversion of a face solid shape model of 120 degrees to the front
- FIG. 5 is a diagram illustrating an example of face direction direction conversion using mapping
- FIG. 6 is a diagram illustrating conversion of a + 30-degree face three-dimensional shape model to the front
- FIG. 7 is a diagram illustrating +30.
- Fig. 3 is a diagram in which the input image is matted to the three-dimensional face shape model
- FIG. 8 is a diagram showing an example of face direction direction conversion using matting
- FIG. 9 is a diagram showing feature points of the face. From the left, both eyes, ends of both mouths, nostrils, and both eyebrows are shown.
- FIG. 8 is a diagram showing an example of face direction direction conversion using matting
- FIG. 9 is a diagram showing feature points of the face. From the left, both eyes, ends of both mouths, nostrils, and both eyebrows are shown.
- FIG. 9 is a diagram showing feature points of the face. From the left, both eyes, ends of both mouths, nostrils, and both eyebrows are shown.
- FIG. 10 is a block diagram of the first embodiment of the present invention.
- FIG. 11 is a flow chart for explaining the operation of the first embodiment of the present invention.
- FIG. 12 is a flowchart illustrating the operation of the first embodiment of the present invention.
- FIG. 13 is a flow chart for explaining the operation of the second exemplary embodiment of the present invention.
- FIG. 14 is a flowchart illustrating the operation of the third embodiment of the present invention.
- FIG. 15 is a diagram showing the conversion of the + 30-degree face three-dimensional shape model right beside,
- FIG. 16 is a flowchart for explaining the operation of the fifth embodiment of the present invention.
- FIG. 17 is a diagram showing a face three-dimensional shape model using an ellipsoid
- FIG. 18 is a block diagram of an eighth embodiment of the present invention
- FIG. FIG. 20 is a block diagram illustrating an example of an image subjected to illumination fluctuation.
- the direction is + when the subject is facing the right with respect to the imaging medium such as a camera, and when the subject is facing the left, one is facing up. In this case, use ten, and when facing down, use one angle.
- ⁇ represents the angle in the horizontal direction and 0 represents the angle in the vertical direction.
- y and ⁇ are three-dimensional directions expressed by a combination of ⁇ and 0.
- a method of this face direction conversion a method of applying a face three-dimensional shape model to a face in an input image and performing a direction conversion is used.
- the three-dimensional face shape model is a model that represents the face shape of a person in three dimensions. It can be created by measuring the face shapes of multiple people using a measuring instrument such as a range finder, and using the average.
- the face three-dimensional shape model is described in detail in Japanese Unexamined Patent Application Publication No. 2000-320257, "Image collating device, image collating method thereof, and recording medium recording control program therefor".
- the face direction before conversion is ⁇
- a human face model oriented in the ⁇ direction is created, and the model is transformed in the y direction by ( ⁇ ).
- the face direction conversion in the direction of ⁇ is performed.
- any angle may be used.
- the operation of the above-described face direction conversion method will be described using an input image including a face facing +30 degrees horizontally as shown in FIG. 2 as an example.
- ⁇ 0 and the face direction is limited to the horizontal direction.
- the change in the vertical direction does not change in principle because only the number of combinations of angles ( ⁇ , 0) increases. The same processing can be performed.
- a face three-dimensional shape model inclined at 120 degrees as shown in FIG. 3 is prepared.
- the model and the input face image are aligned using the positions of both eyes obtained as feature points of the face.
- the pixel ⁇ of the input image is parallel projected onto the face three-dimensional shape model. Performing this process for all pixels ⁇ ⁇ on the image is called matting.
- the input image is transformed by +20 degrees so that the face model obtained by mapping the image faces to the front, and a face orientation converted face image is generated by parallel projection.
- the converted face obtained does not become a front face.
- the direction of the input face image in FIG. 2 is assumed to be +30 degrees
- the obtained face position is used to convert the input face image to the + 30-degree face three-dimensional shape model in FIG.
- the alignment can be performed as shown in FIG.
- a 130-degree conversion is performed so that the mapped face model faces the front, and a face orientation converted face image is generated by parallel projection.
- the converted face is a frontal face, and is determined to be a frontal face by the frontal face evaluation, so that it is possible to determine whether the assumption of +30 degrees is correct.
- the face direction of the input image is set to ⁇
- the input face image is mapped to the face three-dimensional shape model facing ⁇
- the face direction created by performing ⁇ conversion If the converted face is the front face,
- the face direction of the input image becomes ⁇ , and the direction of the face in the input image can be determined.
- the accuracy of determining the direction of the face in the input image can be evaluated as the degree of similarity between the face after the face direction conversion and the face in the specific direction of the face.
- the feature is that the evaluation can be performed using the features of the frontal face of the object.
- the position of both eyes was used as the feature point of the face used for the positioning in the mating, but as shown in Fig. 9, in addition to both eyes, both ends of the mouth, both holes of the nose, The positions of both ends of the eyebrow can also be used.
- the description will be made assuming that the positions of both eyes are used as the feature points.
- the first embodiment of the present invention includes an image input unit 1, a face direction conversion unit 2, a specific direction face direction evaluation unit 3, and a face direction output unit 4.
- the image input means 1 acquires an image in which a face is shown as digital information.
- an imaging device such as a digital camera or a video camera may be used, or a photograph or the like may be acquired by a scanner.
- the face direction conversion means 2 performs a process of converting the face direction in the input image to another direction.
- the input face image is subjected to image processing for transforming by ( ⁇ - ⁇ ) angle, assuming that the face direction is.
- the face direction conversion means 2 is realized by performing image processing for converting a face model oriented in the ⁇ direction to a face in the ⁇ direction, for example, by referring to a face three-dimensional shape model stored in a storage device (not shown). it can. In this case, for example, the face three-dimensional shape model is stored in the storage device every time from +90 degrees to -90 degrees.
- the specific direction face direction evaluation means 3 evaluates whether the converted face direction is in a specific direction. In the previous example, an evaluation is performed to determine whether the converted face orientation is in the ⁇ direction.
- the face direction conversion means 2 and the specific direction face direction evaluation means 3 have a loop configuration and perform evaluations in various face directions.
- the face direction output means 4 uses the evaluation of the specific direction face direction evaluation means 3 to calculate the amount of face direction conversion performed in the specific direction, calculates and outputs the face direction in the input image.
- Step Al an image is acquired (Step Al), the positions of both eyes of the acquired image are extracted, and (£ r, El) are respectively obtained.
- Step A 2 Regarding the method of acquiring the positions of both eyes, the user may manually give the positions or automatically extract the inside of the flesh color region by eye template matching as disclosed in Japanese Patent Application Laid-Open No. 11-281661. .
- the processing is complicated if the face position and size are different depending on the image. Therefore, processing to equalize the size is performed using the distance between symmetric feature points (both eyes).
- the positions of both eyes are used as the feature points of the symmetric face in the input image, but the positions of both ends of the mouth and the position of the nostrils may be used.
- the positions of both eyes are the coordinates of the right eye of the subject (97, 100), and the coordinates of the left eye are (166, 100).
- the image can be transformed by geometric transformation (translation, reduction, enlargement, rotation).
- the face direction conversion means 2 changes the face direction using a face three-dimensional shape model using the positions of both eyes obtained by the input means 1.
- the face direction is assumed to be ⁇ , and a face three-dimensional shape model oriented in the ⁇ direction, which is the most similar to the face direction of the input image, is extracted in the following steps. .
- a face solid shape model oriented at ⁇ degrees is generated (step A3).
- the face of the input image is aligned with this face three-dimensional shape model and mapped to the face three-dimensional shape model (step A4).
- the direction of one ⁇ degree is corrected to 0 degree (front) (step A5).
- the specific direction face direction evaluation means 3 calculates the front face degree as an evaluation scale representing the likelihood of the front of the face after correcting the face direction (step A6).
- a face template of a person facing the front is created in advance from one or more front images, and the absolute value of the difference between the luminance value of this template and the corrected image is calculated. Similarity can be calculated.
- a calculation method as shown in Equation (1), a method is used in which the sum of the absolute values of the differences between the original image and the template image divided by the total number of pixels is used as the front face degree S1. ... (One
- F (x, y) and T (x, y) are functions representing the luminance value at the coordinates (x, y) of the input image and the template image, respectively, and Xnrnx and Yraax are respectively the horizontal and vertical dimensions of the image. It is a constant indicating the width.
- step A7 It is determined whether the search angle ⁇ of the face direction is within the set angle (step A7). As the possible range, the direction of the face facing forward from the side is the target of the estimated angle, so the setting angle is from -90 degrees to +90 degrees, but when the angle of the face direction is limited in advance Should be searched within a limited angle. If the search angle is within the range, a new search angle is assumed, and the processing of steps 3, 4, 5, and 6 is repeated (step A8).
- the newly assumed angle is assumed to be one degree greater than the previous search angle. If you want to increase the accuracy of the face orientation estimation angle, you should increase the increment in small increments. If you want to increase the speed of the face orientation estimation process even if you decrease the accuracy, the increment should be coarse.
- the face direction output means 4 outputs the converted face direction angle with the highest frontal face degree, thereby estimating the face direction (step A9).
- Fig. 12 steps A17 and A18 for controlling the vertical angle 0 were provided, and a 3D model creation step A13 corresponding to the vertical angle ⁇ was provided instead of A3.
- the configuration is the same as that shown in Fig. 11 except that a face direction output step A19 corresponding to the vertical angle 0 is provided instead of Fig. 11.
- the same components are denoted by the same reference numerals. is there.
- the face direction conversion means 2 generates a 3D model for all combinations of ( ⁇ , ⁇ ) within the search range (step A13 in FIG. 12).
- the specific direction face orientation evaluation means 3 estimates the face orientation by calculating the front face orientation and outputting the highest face orientation ( ⁇ , 0) (step A 19) o
- a method of terminating the loop processing and outputting the angle when the evaluation value exceeds a certain threshold value may be used.
- FIG. 13 is a flowchart showing the main configuration of the face direction estimation according to the second embodiment of the present invention.
- the main part of the face orientation estimation according to the second embodiment is the same as that of the face orientation estimation device according to the first embodiment shown in FIG. 11 except that a step A 26 for calculating the left-right symmetry is provided. It has the same configuration as the main part, and the same components are denoted by the same reference numerals.
- the frontal face degree can be calculated by measuring the symmetry.
- the frontal face evaluation method that uses the left-right symmetry of the frontal face, there is no need to create a face template in advance, and the calculation is performed using only one's own face. Can be calculated without being affected by the shape of.
- the specific direction face direction evaluation means 3 calculates the front face degree S2 based on the degree of left-right symmetry by comparing the left-right inverted image with the original image as shown in equation (2). Thus, the face direction ⁇ in the horizontal direction is estimated. (Step A26)
- the angle after the conversion is 0 degrees, that is, the front, but an angle other than the front may be used.
- the face orientation of the input image is assumed to be ⁇ , and the input face image is mapped to the ⁇ -shaped face three-dimensional shape model, and when the (90- ⁇ ) degree conversion is performed, the face orientation converted face is true. If it is a profile, the face direction of the input image can be determined to be ⁇ .
- FIG. 14 is a flowchart showing a main configuration of a face direction estimating method according to the third embodiment of the present invention.
- the main part of the face direction estimating method according to the third embodiment of the present invention is a step A 35 of correcting the face model to be right and left, and a side-to-side face similarity representing the likelihood of a face-side converted face.
- the configuration is the same as that of the main part of the face direction estimation method according to the first embodiment shown in FIG. 11 except that a step A 36 for calculating the face direction and a step A 39 for outputting the most probable ⁇ are provided.
- the same components are denoted by the same reference numerals.
- FIG. 16 is a flowchart showing a main configuration of a face direction estimating method according to the fourth embodiment of the present invention.
- the main part of the face direction estimating method according to the fourth embodiment has the same configuration as the main part of the face direction estimating method according to the first embodiment of the present invention shown in FIG.
- the same reference numerals are given to the same components.
- For frontal face evaluation at various search angles corrected images at various angles are created in parallel, and the best angle is extracted from them. For example, processing is performed in parallel for every five degrees from _90 degrees to +90 degrees, and the angle with the highest front face degree is output.
- an ellipsoid model is used as the three-dimensional face shape model in the first embodiment.
- the face direction conversion is performed using the face three-dimensional shape model.
- the face three-dimensional shape model is a model representing the face shape of a person in three dimensions.
- a simplified face three-dimensional model may be used.
- An ellipsoid as shown in Fig. 17 is used as the simplified face three-dimensional model.
- the positions of both eyes are defined on the surface of the ellipsoid, and a face solid model is used. As a result, the processing time can be reduced.
- the sixth embodiment of the present invention is characterized in that the face direction conversion using image convergence is performed instead of the face direction conversion means using the face three-dimensional shape model in the first to fifth embodiments. .
- pubbing is the place where not only the color of the pixel but also the entire shape is associated by associating the eye position and the contour of the face. This is the image processing that warps to move to.
- face direction conversion can be performed by learning image conversion parameters using a learning image without using a physical three-dimensional model.
- the conversion parameter indicating which pixel of ImgAO corresponds to which pixel of ImgA30 is: Represented by optical flow
- This transformation vector can be expressed as And At this time, the conversion vector that indicates which pixel of IragB0 and ImgAO corresponds to the pixel of S
- the seventh embodiment of the present invention is characterized in that the output of the estimated face direction in the first to sixth embodiments is output as a category of a specific direction.
- the output of the face direction estimation direction is output as angles, ⁇ ) .
- ⁇ angles
- the directions can be roughly classified into categories, and the categories can be output.
- the face direction For example, it is good to classify the face direction into nine categories: front, top, bottom, right, top right, bottom right, left, top left, and bottom left, and output them.
- the angle ( ⁇ , 0) of the estimated direction is performed by the following threshold processing.
- the frontal face degree is calculated for each of the angles ( ⁇ , ⁇ ) representing the nine categories, and the category with the highest frontal face degree is output, the number of times the frontal face degree is calculated becomes the number of categories. Calculation costs can be reduced.
- FIG. 18 and FIG. 18 and FIG. 19 are block diagrams showing the main configuration of the face direction estimating apparatus according to the eighth and ninth embodiments, respectively.
- FIGS. 18 and 19 show the faces according to the eighth and ninth embodiments.
- the main part of the direction estimating apparatus has the same configuration as the main part of the face direction estimating apparatus according to the first embodiment of the present invention shown in FIG. 10 except that illumination fluctuation removing means 10 and 11 are provided.
- the same components are denoted by the same reference numerals.
- the operation of the same component is the same as that of the main part of the face direction estimating device according to the first embodiment of the present invention.
- the eighth and ninth embodiments of the present invention are used when the face in the input image is affected by the illumination direction.
- the effect of the lighting direction is that regardless of the direction of the face, the brightness of the face varies depending on the direction of the light source and the intensity of the light source. It means that the brightness values are different even if.
- Illumination fluctuation removal uses pixels of the face image (Xmax, Ymax) as Xmax X Ymax dimension vectors.
- the illumination variation space that is formed is a convex cone in the image space. It is known that the illumination variation component in the input image can be approximated by these low-dimensional linear spaces because most of the illumination variation space is included in the low-dimensional linear space.
- the basis vector of the space representing the illumination fluctuation component is obtained using principal component analysis. As shown in equation (3), the image vector
- the face image vector of the input image is converted to the unique vector file.
- the above-mentioned illumination fluctuation removal processing is performed for various face orientation images within the assumed face orientation range. By performing the processing on the image in advance, the illumination fluctuation can be removed for the face direction of an arbitrary input image.
- FIG. 18 differs from the first embodiment shown in FIG. 10 in that illumination variation removing means 10 for an arbitrary face direction is provided.
- the illumination variation removing unit 10 for an arbitrary face orientation removes illumination variation in the face image acquired by the image input unit 1.
- the face direction is determined by removing the illumination fluctuation component of the input image and then performing face direction change and face direction evaluation.
- illumination variation removing means 11 for a specific face direction removes illumination fluctuations in the face image whose face direction has been converted in a specific direction by the face direction converting means 2. Therefore, as in the embodiment shown in FIG. 18, it is not necessary to remove the illumination fluctuation for an arbitrary face direction, and it is only necessary to remove the illumination fluctuation for a specific face direction y.
- the present invention has been described above. However, the present invention can be implemented by a program that can execute the functional means disclosed in the present embodiment on a computer.
- a program for causing the computer to function as the face direction conversion means 2, the specific direction face direction evaluation means 3, and the like is created, and the program is executed by a CPU or the like provided in the computer.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
画像中の顔の向きを推定する顔向き推定装置であって、画像を取り込む画像入力手段と、前記画像入力手段が取り込んだ画像中の顔の向きを変換する画像処理を施し、顔向き変換顔を作成する顔向き変換手段と、前記顔向き変換顔の顔の向きを評価し、前記画像中の顔の向きを推定する特定方向顔向き評価手段とを備えて構成される。
Description
明細書 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム 技術分野
本発明は、 入力された画像中の顔が向いている方向を推定する顔の向 き推定装置おょぴその方法、 並びに、 顔の向き推定プログラム (以下、 顔の向き推定方式と記載する) に関する。 背景技術
従来、 この種の技術として、 特開 2 0 0 1— 2 9 1 1 0 8号公報、 特 開平 1 1一 2 8 1 6 6 1号公報に記載の方式が知られている。 特開 2 0 0 1— 2 9 1 1 0 8号公報に記載の記載のプロック図を図 1に示す。 こ の手法では、 予め複数人の正面顔データを取得して平均顔を作成し、 平 均顏を 3 D モデルに張り合わせて任意の角度回転させた画像を生成して, 入力画像と最も相関度の高い角度の画像を決定することで入力画像の 顔の向きを推定するように構成されている。 · また、 特開 1 1一 2 8 1 6 6 1号公報記載の手法では、 肌色を抽出す ることで、 両目および口の位置と顔幅を検出し、 それらの位置関係から 顔の向きを推定する。
これらの従来技術の問題点は、 正面方向など特殊な方向の特徴を利用 することが困難で、 全ての顔向き方向で同等の類似度計算を行う必要が あることであり、 顔向き方向の評価にテンプレートを生成する必要があ ることである。
その理由は、 様々な顔向き方向のテンプレートとの類似度を比較する ことで入力画像の顔向きを推定するため、 様々な顔向き画像での類似度 の比較が必要なためであり、 テンプレートは用いる顔データの人種 (白 人 ·黒人,黄色人種) による色や顔の形状の違いや、 顔以外の領域 (背 景部分) の輝度などの影響を受けやすいことである。
発明の開示
本発明は、 このような事情に鑑みてなされたもので、 顔向き方向を精 度よく検出する顔の向き推定方式を提供することを目的とする。
本発明では以下の特徴により、 上記の目的を達成している。
本発明の顔向き推定装置は、
画像中の顔の向きを推定する顔向き推定装置であって、
画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を 作成する顔向き変換手段と、 顔向き変換顔の顔の向きを評価する特定方 向顔向き評価手段とを備える。
また、 顔画像から照明変動の影響を除去する照明変動除去手段をさら に備え、 照明変動除去手段は、 顔向き変換手段により作成された顔向き 変換顔について照明変動の影響を除去した画像を生成し、 特定方向顔向 き評価手段は、 照明変動の影響が除去された画像を用いて、 顔の向きを 推定してもよい。
また、 顔画像から照明変動の影響を除去する照明変動除去手段をさら に備え、 照明変動除去手段は、 画像について照明変動の影響を除去した 画像を生成し、 顔向き変換手段は、 照明変動除去手段で生成した画像中 の顔の向きを変換する画像処理を施し、 顔向き変換顔を作成してもよい また、 特定方向顔向き評価手段は、 複数の特定方向顔画像の平均を求 めることにより特定方向平均顔を予め生成しておき、 顔向き変換顔と特 定方向平均顔との類似度により特定方向顔向き評価を行ってもよい。 また、 特定方向顔向き評価手段は、 画像中の顔の向きを評価する方向 として正面を用い、 顔向き変換顔の正面顔らしさを評価する正面顔向き 評価手段を備えてもよい。
また、 正面顏向き評価手段は、 特定方向顔向き評価手段が正面顔向き 評価を顔向き変換顔の左右対称性の度合いにより正面向き評価しても よい。
また、 正面顔向き評価手段は、 人物の正面顔の左右対称性の度合いを
評価するために、 特定方向顔向き評価手段が顔とその顔を左右反転した 顔との類似度を計ることで正面顔評価を行ってもよい。
また、 特定方向顔向き評価手段は、 画像中の顔の向きを評価する方向 として真横を用い、 顔向き変換顔の真横顔らしさを評価する真横顔向き 評価手段を備えてもよい。
また、 顔向き変換手段は、 人物顔の特徴点の画像上の位置を用い、 画 像上の顔の向きを変更してもよい。
また、 顔向き変換手段は、 人物顔の特徴点として両目、 口の両端、 鼻 の左右の穴、 両眉のうち、 いずれか 1つ、 またはいずれかの組み合わせ を用いてもよい。
また、顔向き変換手段は、人物顔の特徴点として目、 口の端、鼻の穴、 眉のうち、いずれか 1つ、またはいずれかの組み合わせを用いてもよい。 また、 顔向き変換手段は、 人の顔の立体形状を記述した顔立体形状モ デルに顔画像をマツビングし方向変換させてもよい。
また、 顔向き変換手段は、 人の顔の立体形状モデルとして複数人の顔 形状の平均として記述した顔立体形状モデルを用いてもよい。
また、 顔向き変換手段は、 顔立体形状モデルとして楕円体を用いても よい。
また、 顔向き変換手段は、 画像上の顔の向き変更を顔領域のィメー ジ ' ヮービングにより行ってもよい。
また、 顔向き変換手段は、 画像上の顔の向きを変更するヮーピング手 段として予め学習画像により生成した変換パラメータを入力画像に適 用することで顔向きを変更してもよい。
また、 顔向き推定方向をいくつかの特定方向カテゴリーとして出力し てもよい。
また、 特定方向カテゴリ一として正面 ·上 '下,右 ·右上 '右下 '左 · 左上 ·左下の 9種類のうち、 いずれか一種類またはその組み合わせを用 いてもよレヽ。
また、 特定方向カテゴリーそれぞれを代表する方向のみに対し顔向き
変換および評価を行うことで顔向きを特定方向カテゴリーとして出力 してもよい。
また、 特定方向カテゴリーそれぞれを代表する方向のみに対し顔向き 変換および評価を行うことで顔向きを特定方向カテゴリーとして出力 してもよい。
本発明の顔向き推定方法は、
画像中の顔の向きを推定する顔向き推定方法であって、
画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を 作成する顔向き変換ステップと、 顔向き変換顔の顔の向きを評価する特 定方向顔向き評価ステップとを含む。
本発明の顔向き推定プログラムは、
画像中の顔の向きを推定する顔向き推定プログラムであって、 コンピュータを、 画像中の顔の向きを変換する画像処理を施すことで 顔向き変換顔を作成する顔向き変換手段と、 顔向き変換顔の顔の向きを 評価する特定方向顔向き評価手段として、 機能させるためのプログラム である。
以上、 本発明には以下の効果がある。
第 1の効果は、 正面顔の左右対称性など、 特定の顔向き方向に特化し た特長を用いて顏向き評価を行うことができることである。
このため、 正面顔では、 左右対称性を評価することでテンプレートを 用いずに顔向き評価を行うことができる。 その理由は、 変換後の顔が特 定方向の顔の特徴を最も満足する顔向き変換パラメータを探索するこ とで顔向き推定を行うためである。 図面の簡単な説明
図 1は、 従来技術を説明するブロック図であり、
図 2は、 + 3 0度の方向を向いた入力顔画像を示す図であり、 図 3は、 一 2 0度の顔立体形状モデルの正面へ変換を示す図であり、 図 4は、 一 2 0度の顔立体形状モデルに入力画像をマッピングした図
であり、
図 5は、 マッビングを用いた顔向き方向変換の例を示す図であり、 図 6は、 + 3 0度の顔立体形状モデルの正面へ変換を示す図であり、 図 7は、 + 3 0度の顔立体形状モデルに入力画像をマツビングした図 であり、
図 8は、 マツビングを用いた顔向き方向変換の例を示す図であり、 図 9は、顔の特徴点を示す図であり、左から両目、両口の端、鼻の穴、 両眉の両端を示す図であり、 '
図 1 0は、 本発明の第 1の実施の形態のブロック図であり、 図 1 1は、 本発明の第 1の実施の形態の動作を説明するためのフロー チャートであり、
図 1 2は、 本発明の第 1の実施の形態の動作を説明するためのフロー チャートであり、
図 1 3は、 本発明の第 2の実施の形態の動作を説明するためのフロー チャートであり、
図 1 4は、 本発明の第 3の実施の形態の動作を説明するためのフロー チャートであり、
図 1 5は、 + 3 0度の顔立体形状モデルの真横への変換を示す図であ 、
図 1 6は、 本発明の第 5の実施の形態の動作を説明するためのフロー チヤ一トであり、
図 1 7は、 楕円体を用いた顔立体形状モデルを示す図であり、 図 1 8は、 本発明の第 8の実施の形態のプロック図であり、 図 1 9は、 本発明の第 9の実施の形態のプロック図であり、 図 2 0は、 照明変動を受けた画像の例を示す図である。 発明を実施するための最良の形態
(発明の第 1の実施の形態)
以下、 本発明の第 1の実施の形態による顔向き推定装置を図面を参照
して説明する。
まず、 本発明における顔向き推定の原理を説明する。
なお、 顔の向きを表す方向の尺度として、 カメラ等の撮像媒体に対し て被撮影者から見て右を向いている場合は +で、 左側を向いている場合 は一、 上を向いている場合は十、 下を向いている場合は一の角度を用い ることとする。 特に明記しない場合、 φは左右方向、 0は上下方向の角 度を表すものとする。 y、 φは φ , 0の組み合わせで表される 3次元方 向とする。
例えば、 正面以外の方向を向いている顔に対し一 φ分の顔向き変換を 施したとき、 変換後の顔が正面顔であれば、 変換前の顔は φの方向を向 いていることとなる。 一般的に、 γ以外の方向を向いている顔に対し 7 _ Φ分の顔向き変換を施したとき、 変換後の顔が yの方向を向いた顔で あれば、 変換前の顔は ψの方向を向いていることとなる。
この顔向き変換の方法としては、 入力画像中の顔に顔立体形状モデル を当てはめて方向変換を行う方法などが用いられる。
顔立体形状モデルとは人物の顔形状を 3次元であらわしたモデルで ある。 レンジファインダ等の計測器を用い、複数人物の顔形状を計測し、 その平均を用いることで作成することができる。
顏立体形状モデルに関しては、 特開 2 0 0 0— 3 2 2 5 7 7号公報 「画像照合装置及びその画像照合方法並びにその制御プログラムを記 録した記録媒体」 に詳しい。
しかし、 このようなモデルを当てはめる方法では、 入力画像中の顔向 き方向おょぴ顔の位置が既知であることが要求される。
このため、 本発明では、 変換前の顔向き方向を φと仮定し、 ψ方向を 向いた人物顔モデルを作成し、 そのモデルを y方向へ (γ— φ ) の方向 変換を行うことで、 γの方向の顔向き変換をおこなうこととする。
補正後の顔向き方向の角度 yとしては、 任意の角度について行っても 良いが、 以下では特に γ ( φ, 0 ) = (0, 0)度の場合、 つまり正面顔への顔 向き変換について説明する。
上記の顔向き変換方法の動作について、 図 2に示す横に + 3 0度を向 いた顔を含んだ入力画像を例に説明する。
ここでは、 Θ = 0として顔向き方向を横に限定して説明するが、 縦向 き方向の変化に対しても角度 (φ, 0 ) の組み合わせが増えるのみで原 理的には変らないため同様の処理で行うことができる。
まず、 入力画像の顔の向きは未知であるため、 顔の向きを φ =— 2 0 度と仮定する。 この場合、 図 3に示すような一 2 0度傾いた顔立体形状 モデルを用意する。 図 4のように、 顔の特徴点として得られた両目の位 置を利用してこのモデルと入力顔画像の位置あわせを行う。 図 5に示し たように、 入力画像の画素 Ρを顔立体形状モデルに平行投影する。 この 処理を画像上の全ての画素 Ρに対して行うことをマツビングと呼ぶ。 次 に、 入力画像をマツビングした顔モデルが正面を向くように + 2 0度変 換を行い、 平行投影により顔向き変換顔画像を生成する。 しかし、 + 3 0度を向いた顔を一 2 0度向いた顔と誤って仮定しているため、 正し いマツビングを行えず、 得られる変換後の顔は正面顔とはならない。 続いて、 図 2の入力顔画像の向きを + 3 0度と仮定した場合では、 得 られた両目の位置を利用し、 図 6の + 3 0度傾いた顔立体形状モデルに 入力顔画像を図 7に示すように位置合わせすることができる。 そして、 図 8に示すようにマッビングした顔モデルが正面を向く ように一 3 0 度変換を行い、平行投影により顔向き変換顔画像を生成する。 この場合、 変換後の顔は正面顔となり、 正面顔評価により正面顔と判定されること で + 3 0度の仮定が正しいかの判定を行える。
このように、 入力画像の顔向きを φと設定し、 φを向いた顔立体形状 モデルに入力顔画像をマツビングし、 一 φ変換を行い作成される顔向き 変換顔が正面顔であれば、 入力画像の顔向きが φとなり、 入力画像中の 顔の向きを判定することができる。 つまり、 入力画像中の顔向き方向の 判定精度を顔向き変換後の顔の特定方向顔'向き顔との類似度として評 価することができるため、 例えば、 特定の方向として正面とすると、 人 物の正面顔の特徴を利用した評価を行えることが特徴となる。
なお、 上記の説明ではマツビングでの位置合わせに用いる顔の特徴点 として、 両目の位置を用いて説明したが、 図 9に示すように両目以外に も、 口の両端、 鼻の両穴、 両眉の両端の位置を用いることもできる。 以 下、 特徴点として両目の位置を用いることとして説明を行う。
次に、 本発明の題の実施の形態の構成について図面を参照して詳細に 説明する。 ここでは以下、 特定方向を正面として説明する。
図 1 0を参照すると、 本発明の第 1の実施の形態は画像入力手段 1と, 顔向き変換手段 2と、 特定方向顔向き評価手段 3と、 顔向き出力手段 4 とを含む。
画像入力手段 1では、 顔が写っている画像をデジタル情報として取得 する。 取得方法としては、 デジタルカメラ、 ビデオカメラ等の撮像デバ イスを用いても、 写真などをスキャナにより取り込んでもよい。
顔向き変換手段 2では、 入力された画像中の顔向きを別の方向に変換 する処理を施す。 例えば、 入力された顔画像に対し、 顔向き方向を と 仮定し、 (γ— Φ ) 角度分変換する画像処理を施す。 顔向き変換手段 2 は、 例えば、 図示しない記憶装置などに保存された顔立体形状モデルを 参照することにより、 φ方向を向いた顔モデルを Ί方向顔へ変換する画 像処理を施すことで実現できる。 なおこの場合、 例えば、 + 9 0度から - 9 0度の 1度毎に顏立体形状モデルを記憶装置に保存しておく。 特定 方向顔向き評価手段 3では、 変換後の顔向きが特定方向を向いているか の評価を行う。 前例では、 変換された顔向きが γ方向を向いた顔かの評 価を行う。 顔向き変換手段 2および特定方向顔向き評価手段 3はループ 構成であり、 様々な顔向きにおける評価を行う。
顔向き出力手段 4では、 特定方向顔向き評価手段 3での評価を用いて、 特定方向の顔向き変換を行った変換量を求め、 入力画像における顔向き を計算し、 出力する。
以下、 図 1 1に示すフローチャートを用いて第 1の実施の形態におけ る顔向き推定の動作を説明する。画像入力手段 1では、画像を取得し(ス テツプ A l )、 取得した画像の両目の位置を抽出し、 それぞれ (£r, El)
とする (ステップ A 2 )。 両目の位置の取得方法については、 ユーザーが 手動で与えても、 特開平 1 1— 2 8 1 6 6 1号公報のように肌色領域内 を目のテンプレートマッチングにより自動で抽出しても構わない。
なお、 画像によって顔の位置や大きさが異なると処理が複雑になるた め、 左右対称な特徴点 (両目) の間隔距離を用いて、 大きさを揃える処 理を行う。 入力画像中の左右対称な顔の特徴点として、 ここでは両目の 位置を用いることとするが口の両端や鼻の穴の位置などを用いても構 わない。 例えば、 2 5 6 x 2 5 6画素サイズの画像に対し、 両目の位置 を被撮像者の右目の座標を ( 9 7 , 1 0 0 )、 左目の座標を ( 1 6 0 , 1 0 0 ) にするように画像を幾何学変換 (平行移動 ·縮小拡大 ·回転) 操作で行うことができる。
顔向き変換手段 2では、 入力手段 1で得られた両目の位置を利用して, 顔立体形状モデルにより顔向きを変更する。 ただし、 入力画像中の顔の 向きが未知であるため、 顔の向きを ψと仮定し、 入力画像の顔向きと最 も類似する Φ方向を向いた顔立体形状モデルを以下のステップで抽出 する。
まず、 ある探索角 ψに対し、 Φ度向きの顔立体形状モデルを生成する (ステップ A3)。 この顔立体形状モデルへと入力画像の顔の位置合わせ を行い、 顔立体形状モデルにマッビングする (ステップ A 4 )。 そして、 0度 (正面) へ一 φ度の向き捕正 (ステップ A5) を行う。
特定方向顔向き評価手段 3では、 顔向き補正後の顔の正面らしさ表す 評価尺度として正面顔度を計算する (ステップ A6)。
正面顔度の計算方法としては、 予め一人または複数人の正面画像から 正面を向いた人物の顔テンプレートを作成しておき、 このテンプレート と補正画像との輝度値の差分の絶対値をとることで類似度を計算する ことができる。 計算方法としては、 式 (1 ) に示すように原画像とテン プレート画像との差の絶対値を総画素数で割ったものの総和を正面顔 度 S1 とする方法を用いる。
… (つ
ただし、 F(x,y)、 T(x,y)はそれぞれ入力画像およびテンプレート画像の 座標(x, y)における輝度値を表す関数であり、 Xnrnx, Yraaxはそれぞれ画像 の横およぴ縦幅を表す定数である。
顔の向きの探索角 Φが設定角度内かの判定を行う (ステップ A7)。 と り得る範囲としては真横より前向きの顔の向きが推定角度の対象とな るため、 設定角度は- 90度力 ら + 9 0度となるが、 顔向きの角度が予め 限定されている場合は、 限定角度内で探索を行うと良い。 探索角度が範 囲内の場合は、 探索角度を新たに仮定し、 ステップ 3 , 4, 5, 6の処 理を繰り返す (ステップ A8)。
新たに仮定する角度は前回の探索角度を 1度増やしたものとする。 顔 向き推定角度の精度を上げたい場合は増やす幅を細かく、 精度を落して も顔向き推定処理の速度をあげたい場合では、 増やす幅を粗くすると良 い。
顔向き出力手段 4では、 設定角度内の探索終了後に、 最も正面顔度が 高くなる変換を行った顔向き角度を出力することで、 顔向き推定を行う (ステップ A9)。
上記では顔向き方向が横向き方向のみの場合について説明したが、 縦 方向を加えた場合については、 図 1 2に示すフローチャートを用いて本 発明の動作の説明を
行う。
図 1 2において、 上下方向の角度 0を制御するステップ A1 7、 A1 8 を設けたことと、 A3に代わり上下方向の角度 Θにも対応した 3Dモデル 作成ステップ A 1 3を設けたこと、 A9に代わり上下方向の角度 0にも対 応した顔向き方向出力ステップ A1 9を設けたこと以外は図, 1 1と同様 の構成となっており、 同一構成要素には同一符号を付'してある。
顔向き変換手段 2では、 探索範囲内の(φ , Θ )の全ての組み合わせを について 3 Dモデルを生成する (図 1 2ステップ A 1 3 )。
特定方向顔向き評価手段 3では、 正面顔度を計算することで、 最も正 面顔度の高い(φ, 0 )を出力することで顔向き推定を行う (ステップ A 1 9 ) o
上記の設定角度範囲内を全て探索する方法以外では、 評価値があるし きい値を超えた場合に、 ループ処理を打ち切りその角度を出力する方法 を用いても良い。
(発明の第 2の実施形態)
次に、 本発明の第 2の実施形態を図 1 3を参照して詳細に説明する。 図 1 3は本発明の第 2の実施形態による顔向き推定の主要部構成を示 すフローチャート図である。
図 1 3において、 第 2の実施形態による顔向き推定の主要部は左右対 称度を計算するステップ A 2 6を設けた以外は図 1 1に示す第 1の実施 形態による顔向き推定装置の主要部と同様の構成となっており、 同一構 成要素には同一符号を付してある。
人物の正面顔はほぼ左右対称となるため、 左右対称性を計ることで正 面顔度を計算することができる。 正面顔の左右対称性を利用する正面顔 度評価方法では、 顔テンプレートを予め作成する必要がないことや、 自 分自身の顔のみを用いて計算するため、 各個人により異なる肌の色 ·顔 の形に影響を受けずに計算を行える。
特定方向顔向き評価手段 3では、 計算方法として式 (2 ) に示すよう に、 左右反転させた画像と原画像との比較により左右対称の度合いによ り正面顔度 S2 を計算する。 これにより横向き方向の顔の向き φを推定 する。 (ステップ A26)
(発明の第 3の実施の形態)
次に、 第 3の実施の形態を図 1 4を参照して詳細に説明する。 以上の 説明では、 変換後の角度を 0度、 つまり正面としたが、 正面以外の角度 を利用してもよく、図 1 5のように、例えば真横の 9 0度としてもよレ、。 つまりこの場合では、 入力画像の顔向きを φと仮定し、 φ傾いた顔立体 形状モデルに入力顔画像をマッピングし、 ( 9 0— φ ) 度変換を行った 際に顔向き変換顔が真横顔であれば、 入力画像の顔向きが Ψと判定でき る。
図 1 4は本発明の第 3の実施形態による顔向き推定方法の主要部構 成を示すフローチャート図である。 図 1 4において、 本発明の第 3の実 施の形態による顔向き推定方法の主要部は顔モデルを真横へ向き補正 するステップ A 3 5と顔向き変換顔の真横顔らしさ表す真横顔類似度を 計算するステップ A 3 6と最も横顔らしい φを出力するステップ A 3 9 を設けた以外は図 1 1に示す第 1の実施形態による顔向き推定方法の主 要部と同様の構成となっており、 同一構成要素には同一符号を付してあ る。
(発明の第 4の実施の形態)
次に、 第 4の実施の形態を図 1 6を参照して詳細に説明する。
いままでの説明では、入力画像中の顔向き (ψ, Θ ) を求めるために、 ループによる探索をおこなったが、 並列に処理することもできる。 図 1 6は本発明の第 4の実施の形態による顔向き推定方法の主要部構成を 示すフローチャート図である。 図 1 6において、 第 4の実施形態による 顔向き推定方法の主要部は図 1 2に示す本発明の第 1の実施の形態に よる顔向き推定方法の主要部と同様の構成となっており、 同一構成要素 には同一符号を付してある。
様々な探索角度での正面顔度評価は、 様々な角度での補正画像を並列 に作成し、 その中から最良の角度を抽出する。 例えば、 _ 9 0度から+ 9 0度までの 5度おきの角度に対しての処理を並列に行い、 最も高い正 面顏度を持つ角度を出力する。
(発明の第 5の実施の形態)
次に、 第 5の実施の形態を図 1 7を参照して詳細に説明する。 第 5の 実施の形態は、 第 1の実施の形態における顔立体形状モデルとして、 楕 円体モデルを用いる。 本発明の第 1〜4の実施の形態は上記説明では、 顔立体形状モデルを用いて顔向変換を行ったが、 顔立体形状モデルとは 人物の顔形状を 3次元であらわしたモデルであるため、 情報量が多く、 顔向き変換処理も複雑となり、 大型コンピュータ以外では処理時間がか かり有効とならない場合がある。
このような場合では、 簡略化した顔立体モデルを用いると良い。 簡略 化顔立体モデルとしては、 図 1 7に示すような楕円体を用いる。 図 1 7 の +印で示したように、 楕円体の表面上に両目の位置を定義し顔立体モ デルとする。 これにより、 処理時間を短縮することが出来る。
(発明の第 6の実施の形態)
次に、 第 6の実施の形態を詳細に説明する。
本発明の第 6の実施の形態は、 第 1〜 5の実施の形態における顔立体 形状モデルによる顔向き変換手段に代わり、 イメージ · ヮ一ビングを用 いた顔向き変換を行うことを特徴とする。
ヮービングとは人の顔が動物の顔へ移行するような例で言えば、 目の 位置や、 顔の輪郭を対応づけすることにより、 画素の色だけでなく形全 体が対応づけられた場所へと移動するようにワープさせる画像処理で ある。これにより、顔の向き変換は、物理的な立体モデルを用なく とも、 画像の変換パラメータを学習画像により学習させることで行える。
例えば、 人物 Aの正面向きの顔画像を ImgA0、 人物 Aの +30度向きの 顔画像を ImgA30 とした際に、 ImgAOの画素が ImgA30のどの画素に対 応しているかを示す変換パラメータは、 オプティカルフローに代表され
る変換ベク トルで表すことができ、 この変換ベク トルを
とする。 このとき、 人物 Bの正面向きの顔画像を IragB0、 ImgAOの画素 力 S ImgBOのどの画素に対応しているかを示す変換べク トルを
v AB とすると、 人物 Bの +30度向きの顔画像 ImgB30は、 ImgAOを
( 十
変換することで求めることができる。
この変換パラメータの推定おょぴ変換画像の合成については、 D. Beymer, A. Shasnua, and T. Poggio, Exam le Based Image Analysis and Synthesis, A. I. Memo 1431, MIT, 1993に詳しい。
(発明の第 7の実施の形態)
次に、 第 7の実施の形態を詳細に説明する。
本発明の第 7の実施の形態は、 第 1〜6の実施の形態における顔向き 推定方向の出力を特定方向のカテゴリーとして出力することを特徴と する。
第 1〜 6の実施の形態では、 顔向き推定方向の出力を角度 , Θ ) として出力しているが、 正確な顔向き推定が必要なく、 ラフな顔向きの みでよい用途では、 顔向き方向をおおまかなカテゴリーに分類し、 その カテゴリーを出力することもできる。
例えば、 顔向き方向を正面,上 ·下 '右 ·右上 '右下'左 ·左上'左下の 9 つのカテゴリーに分類し、 出力するとよい。 カテゴリーへの分類方法と しては、 推定方向の角度 (φ, 0 ) を以下のようなしきい値処理により 行う。
正面: — 5 <=φ < = + 5 かつ — 5く =0 < = + 5
上 5 < φ < + 5 かつ + 5く 0
下 5 < φ < + 5 かつ Θ <— 5
右 Φ < 5 かつ - 5 < Θ < + 5
右上 Φく 5 かつ + 5 < Θ
右下 Φ < 5 かつ Θ < - 5
左: + 5 < かつ - 5 < Θ < + 5
左上 + 5ぐ φ かつ + 5 < Θ
左下 + 5 < φ かつ Θ <— 5
また、 9つのカテゴリーを代表する角度 ( φ , Θ ) に対し正面顔度を それぞれ計算し、 最も高い正面顔度をもつカテゴリーを出力させると、 正面顔度の計算回数がカテゴリー数となるため、 計算コストを減少させ ることができる。 上記の例では、 代表方向の角度 (φ, Θ ) として例え ば、
正面: (0, 0)
上: (0,+10)
下: (0, -10)
右: (- 10,0)
右上: (-10, +10)
右下 : (-10,- 10) ,
左: (+10, 0)
左上: (+10, +10)
左下: (+10, -10)
の 9通りの組み合わせ例を選び、 これらのみを用いて顔向き方向の力 テゴリー分類を行うことができる。
(発明の第 8及び第 9の実施の形態)
次に、 第 8及ぴ第 9の実施の形態を図 1 8および図 1 9を参照して詳 細に説明する。 図 1 8およぴ図 1 9はそれぞれ第 8およぴ第 9の実施の 形態による顔向き推定装置の主要部構成を示すプロック図である。
図 1 8および図 1 9において、 第 8および第 9の実施の形態による顔
向き推定装置の主要部は照明変動除去手段 1 0 , 1 1を設けた以外は図 1 0に示す本発明の第 1の実施の形態による顔向き推定装置の主要部 と同様の構成となっており、 同一構成要素には同一符号を付してある。 また、 同一構成要素の動作は本発明の第 1の実施の形態による顔向き 推定装置の主要部と同様である。 本発明の第 8および第 9の実施形態は、 入力画像中の顔が照明方向の影響を受けている場合に用いる。
照明方向の影響とは、 図 2 0に示すように、 顔の向きに関わらず、 照 明光源の方向や光源の強度の違いにより、 顔の明るさが異なるため、 同 —方向を向いた顔であっても輝度値が異なることを言う。
照明変動除去は、 顔画像 (Xmax, Ymax) の画素を Xmax X Ymax次元のベ タ トル
K
とみなして作られる画像空間による方法を用いる。
ある顔向きにおける様々な照明変動を受けた N個の顔画像べク トル
^〜 •N .
が張る照明変動空間は、 画像空間において凸錐体をなしている。 この照 明変動空間の大部分は、 低次元の線形空間に含まれているため、 入力画 像における照明変動の成分はこれらの低次元の線形空間で近似できる ことが知られている。
そこで、 照明変動成分を表す空間の基底べク トルを主成分分析を用い て求める。 式 (3 ) に示すように、 画像ベク トル
は照明変動下での平均的な顔成分を表しているため、 入力画像の顔画像 べク トルに含まれる照明変動成分は、 M— 1個の固有べク トル (/ = 2〜M)
を用いて近似することができる。 つまり、 2〜M)
が照明変動成分を表す空間の基底べク トルとなる。 入力画像の顔画像べ ク トノレを、 固有べク トノレ
= 2〜
に射影したベタ トル
L
が入力画像中の照明変動を表しており、 入力画像から照明変動成分 L
を差し引くことで照明変動を除去することができる。 詳しくは、 「照明 条件と姿勢の両者の自動補正による顔照合」 電子情報通信学会信学技報
PRMU2001-162 pp. 59- 64を参照のこと。
上記の照明変動除去処理を、 想定される顔向き範囲の様々な顔向き画
像に対して予め行っておくことで、 任意の入力画像の顔向きに対し、 照 明変動除去を行うことができる。
次に、 第 8の実施の形態を図 1 8を参照して詳細に説明する。 図 1 8 に示す実施の形態が図 1 0に示す第 1の実施の形態と異なる点は、 任意 顔向きでの照明変動除去手段 1 0を設けた点である。 任意顔向きでの照 明変動除去手段 1 0は、 画像入力手段 1で取得した顔画像における照明 変動除去を行う。
入力画像の照明変動成分を除去した上で顔向き変更および顔向き評 価を行うことで顔向き判定を行う。
次に、 第 9の実施の形態を図 1 9を参照して詳細に説明する。 . 図 1 9に示す第 9の実施の形態が図 2に示す第 1の実施の形態と異 なる点は、 特定顔向きでの照明変動除去手段 1 1を設けた点である。 特 定顔向きでの照明変動除去手段 1 1は、 顔向き変換手段 2で特定方向へ 顔向き変換した顔画像における照明変動除去を行う。 このため、 図 1 8 に示した実施の形態のように任意の顔向きに対する照明変動除去が不 要となり、 特定の顔向き yに対して照明変動除去を行うだけで済む。 以上、 本発明を説明したが、 本実施の形態で開示した機能手段をコン ピュータで実行可能なプログラムによって、 本発明を実施することも可 能である。 この場合、 第 1の実施の形態においては、 コンピュータを顔 向き変換手段 2、 特定方向顔向き評価手段 3等として機能させるための プログラムを作成し、 コンピュータに備える C P U等によって当該プロ グラムを実行することによって、 本発明が実現可能である。
Claims
1 . 画像中の顔の向きを推定する顔向き推定装置であって、 画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を 作成する顔向き変換手段と、
前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価手段と、 を備える顔向き推定装置。
2 . 顔画像から照明変動の影響を除去する照明変動除去手段をさら に備え、
前記照明変動除去手段は、 前記顔向き変換手段により作成された顔向 き変換顔について照明変動の影響を除去した画像を生成し、
前記特定方向顔向き評価手段は、 前記照明変動の影響が除去された画 像を用いて、 顔の向きを推定する、
請求項 1に記載の顔向き推定装置。
3 . 顔画像から照明変動の影響を除去する照明変動除去手段をさら に備え、
前記照明変動除去手段は、 前記画像について照明変動の影響を除去し た画像を生成し、
前記顔向き変換手段は、 前記照明変動除去手段で生成した画像中の顔 の向きを変換する画像処理を施し、 顔向き変換顔を作成する、
請求項 1に記載の顔向き推定装置。
4 . 前記特定方向顔向き評価手段は、
複数の特定方向顔画像の平均を求めることにより特定方向平均顔を 予め生成しておき、 前記顔向き変換顔と前記特定方向平均顔との類似度 により特定方向顔向き評価を行う、
請求項 1に記載の顔向き推定装置。
5 . 前記特定方向顔向き評価手段は、
前記画像中の顔の向きを評価する方向として正面を用い、 前記顔向き 変換顔の正面顔らしさを評価する正面顔向き評価手段を備えた、
請求項 1に記載の顔向き推定装置。
6 . 前記正面顔向き評価手段は、
前記特定方向顔向き評価手段が前記正面顔向き評価を顔向き変換顔 の左右対称性の度合いにより正面向き評価する、
請求項 5に記載の顔向き推定装置。
7 . 前記正面顔向き評価手段は、
人物の正面顔の左右対称性の度合いを評価するために、 前記特定方向 顔向き評価手段が顔とその顔を左右反転した顔との類似度を計ること で正面顔評価を行う、
請求項 6に記載の顔向き推定装置。
8 . 前記特定方向顔向き評価手段は、
前記画像中の顔の向きを評価する方向として真横を用い、 前記顔向き 変換顔の真横顔らしさを評価する真横顔向き評価手段を備えた、
請求項 1に記載の顔向き推定装置。
9 . 前記顔向き変換手段は、
人物顔の特徴点の画像上の位置を用い、 画像上の顔の向きを変更する、 請求項 1に記載の顔向き推定装置。
1 0 . 前記顔向き変換手段は、 人物顔の特徴点として両目、 口の両 端、 鼻の左右の穴、 両眉のうち、 いずれか 1つ、 またはいずれかの組み 合わせを用いる、
請求項 9に記載の顔向き推定装置。
1 1 . 前記顔向き変換手段は、 人物顔の特徴点として目、 口の端、 鼻の穴、 眉のうち、 いずれか 1つ、 またはいずれかの組み合わせを用い る、
請求項 9に記載の顔向き推定装置。
1 2 . 前記顔向き変換手段は、 人の顔の立体形状を記述した顔立体 形状モデルに顔画像をマツビングし方向変換させる、
請求項 9に記載の顔向き推定装置。
1 3 . 前記顔向き変換手段は、 人の顔の立体形状モデルとして複数
人の顔形状の平均として記述した顔立体形状モデルを用いる、 請求項 1 2に記載の顔向き推定装置
1 4 . 前記顔向き変換手段は、 前記顔立体形状モデルとして楕円体 を用いる、
請求項 1 2に記載の顏向き推定装置。
1 5 . 前記顔向き変換手段は、 画像上の顔の向き変更を顔領域のィ メージ . ヮービングにより行う、
請求項 9に記載の顔向き推定装置。
1 6 . 前記顔向き変換手段は、
画像上の顔の向きを変更するヮービング手段として予め学習画像に より生成した変換パラメータを入力画像に適用することで顔向きを変 更する、
請求項 1 5に記載の顔向き推定装置。
1 7 . 顔向き推定方向をいくつかの特定方向カテゴリーとして出力 する、
請求項 1に記載の顔向き推定装置。
1 8 . 前記特定方向カテゴリ一として正面 ·上 ·下 ·右 ·右上 '右 下 ·左 ·左上 ·左下の 9種類のうち、 いずれか一種類またはその組み合 わせを用いる、
請求項 1 7に記載の顔向き推定装置。
1 9 . 前記特定方向カテゴリーそれぞれを代表する方向のみに対し 顔向き変換および評価を行うことで顔向きを特定方向カテゴリーとし て出力する、
請求項 1 7に記載の顔向き推定装置。
2 0 . 前記特定方向カテゴリーそれぞれを代表する方向のみに対し 顔向き変換および評価を行うことで顔向きを特定方向カテゴリーとし て出力する、
請求項 1 8に記載の顔向き推定装置。
2 1 . 画像中の顔の向きを推定する顔向き推定方法であって、
画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を 作成する顔向き変換ステップと、
前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価ステツ プと、
を含む顔向き推定方法。
2 2 . 画像中の顔の向きを推定する顔向き推定プログラムであって コンピュータを、 .
画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を 作成する顔向き変換手段と、
前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価手段と して、
機能させるための顔向き推定プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002/253328 | 2002-08-30 | ||
JP2002253328A JP4238542B2 (ja) | 2002-08-30 | 2002-08-30 | 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2004025564A1 true WO2004025564A1 (ja) | 2004-03-25 |
Family
ID=31986281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2003/010742 WO2004025564A1 (ja) | 2002-08-30 | 2003-08-26 | 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4238542B2 (ja) |
WO (1) | WO2004025564A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018097573A (ja) * | 2016-12-13 | 2018-06-21 | 富士通株式会社 | 顔向き推定用コンピュータプログラム、顔向き推定装置及び顔向き推定方法 |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4130820B2 (ja) | 2004-08-27 | 2008-08-06 | 株式会社豊田中央研究所 | 顔中心位置検出装置及び方法並びにプログラム |
JP2006158701A (ja) * | 2004-12-08 | 2006-06-22 | Hitachi Medical Corp | 医用画像処理装置 |
JP2006227739A (ja) * | 2005-02-15 | 2006-08-31 | Toyota Motor Corp | 画像処理装置及び画像処理方法 |
JP2006338329A (ja) | 2005-06-02 | 2006-12-14 | Seiko Epson Corp | 顔向き検出方法、顔向き検出装置、顔向き検出プログラムおよびそのプログラムを記録した記録媒体 |
JP4501003B2 (ja) * | 2005-07-15 | 2010-07-14 | 国立大学法人静岡大学 | 顔姿勢検出システム |
JP4830585B2 (ja) * | 2006-03-31 | 2011-12-07 | トヨタ自動車株式会社 | 画像処理装置および画像処理方法 |
JP4577301B2 (ja) * | 2006-11-24 | 2010-11-10 | トヨタ自動車株式会社 | 顔向き検知装置 |
JP4831623B2 (ja) * | 2007-03-29 | 2011-12-07 | Kddi株式会社 | 動画像の顔インデックス作成装置およびその顔画像追跡方法 |
JP2009025874A (ja) * | 2007-07-17 | 2009-02-05 | Nec Corp | 顔画像登録装置、顔識別装置、顔画像登録方法、顔識別方法、顔画像登録プログラム |
JP5244345B2 (ja) * | 2007-08-09 | 2013-07-24 | パナソニック株式会社 | 顔認証装置 |
JP2009199417A (ja) * | 2008-02-22 | 2009-09-03 | Denso Corp | 顔追跡装置及び顔追跡方法 |
JP5127531B2 (ja) * | 2008-03-27 | 2013-01-23 | セコム株式会社 | 画像監視装置 |
CN101673346B (zh) * | 2008-09-09 | 2013-06-05 | 日电(中国)有限公司 | 对图像进行处理的方法、设备和*** |
JP5127735B2 (ja) * | 2009-01-30 | 2013-01-23 | セコム株式会社 | 画像監視装置 |
WO2011040513A1 (ja) * | 2009-10-01 | 2011-04-07 | 三洋電機株式会社 | 画像表示装置 |
KR101184097B1 (ko) * | 2009-12-07 | 2012-09-18 | 삼성전자주식회사 | 얼굴 정면포즈 판단 방법 |
JP5772825B2 (ja) | 2010-07-07 | 2015-09-02 | 日本電気株式会社 | 画像処理学習装置、画像処理学習方法、および画像処理学習プログラム |
JP5898199B2 (ja) | 2011-07-15 | 2016-04-06 | パナソニック株式会社 | 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム |
JP5656809B2 (ja) * | 2011-11-22 | 2015-01-21 | 日本電信電話株式会社 | 会話映像表示システム |
JP5768265B2 (ja) | 2012-05-24 | 2015-08-26 | 株式会社日立国際電気 | 類似画像検索システム |
JP5781017B2 (ja) * | 2012-06-05 | 2015-09-16 | 日本電信電話株式会社 | 映像会話システム |
KR101791604B1 (ko) | 2012-09-11 | 2017-10-30 | 삼성전자주식회사 | 헤드 포지션 추정 방법 및 장치, 컴퓨터 판독가능 저장 매체 |
JP6355307B2 (ja) * | 2013-07-10 | 2018-07-11 | グローリー株式会社 | 顔照合装置、顔照合方法及び顔照合プログラム |
JP6355306B2 (ja) * | 2013-07-10 | 2018-07-11 | グローリー株式会社 | 顔照合装置、顔照合方法及び顔照合プログラム |
WO2015005426A1 (ja) * | 2013-07-10 | 2015-01-15 | グローリー株式会社 | 顔照合装置、顔照合方法及び顔照合プログラム |
JP2018101212A (ja) * | 2016-12-19 | 2018-06-28 | 矢崎総業株式会社 | 車載器および顔正面度算出方法 |
KR101906431B1 (ko) * | 2017-07-20 | 2018-10-11 | 네이버랩스 주식회사 | 2d 이미지 인식에 기반한 3d 모델링 방법 및 그 시스템 |
US11521460B2 (en) | 2018-07-25 | 2022-12-06 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
US10878657B2 (en) | 2018-07-25 | 2020-12-29 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
KR102236469B1 (ko) * | 2019-03-08 | 2021-04-07 | 동국대학교 산학협력단 | 운전자 부주의 측정 장치와 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11203455A (ja) * | 1998-01-09 | 1999-07-30 | Omron Corp | 画像生成装置、画像生成方法および記録媒体 |
JP2000306095A (ja) * | 1999-04-16 | 2000-11-02 | Fujitsu Ltd | 画像照合・検索システム |
JP2000322577A (ja) * | 1999-05-12 | 2000-11-24 | Nec Corp | 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体 |
JP2002288670A (ja) * | 2001-03-22 | 2002-10-04 | Honda Motor Co Ltd | 顔画像を使用した個人認証装置 |
-
2002
- 2002-08-30 JP JP2002253328A patent/JP4238542B2/ja not_active Expired - Lifetime
-
2003
- 2003-08-26 WO PCT/JP2003/010742 patent/WO2004025564A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11203455A (ja) * | 1998-01-09 | 1999-07-30 | Omron Corp | 画像生成装置、画像生成方法および記録媒体 |
JP2000306095A (ja) * | 1999-04-16 | 2000-11-02 | Fujitsu Ltd | 画像照合・検索システム |
JP2000322577A (ja) * | 1999-05-12 | 2000-11-24 | Nec Corp | 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体 |
JP2002288670A (ja) * | 2001-03-22 | 2002-10-04 | Honda Motor Co Ltd | 顔画像を使用した個人認証装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018097573A (ja) * | 2016-12-13 | 2018-06-21 | 富士通株式会社 | 顔向き推定用コンピュータプログラム、顔向き推定装置及び顔向き推定方法 |
EP3336753A3 (en) * | 2016-12-13 | 2018-09-19 | Fujitsu Limited | Face direction estimation device and face direction estimation method |
US10740923B2 (en) | 2016-12-13 | 2020-08-11 | Fujitsu Limited | Face direction estimation device and face direction estimation method for estimating the direction of a face represented on an image |
Also Published As
Publication number | Publication date |
---|---|
JP2004094491A (ja) | 2004-03-25 |
JP4238542B2 (ja) | 2009-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2004025564A1 (ja) | 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム | |
JP4653606B2 (ja) | 画像認識装置、方法およびプログラム | |
JP6507046B2 (ja) | 立体物検知装置及び立体物認証装置 | |
JP4284664B2 (ja) | 三次元形状推定システム及び画像生成システム | |
EP1677250B1 (en) | Image collation system and image collation method | |
JP5873442B2 (ja) | 物体検出装置および物体検出方法 | |
US10304164B2 (en) | Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data | |
EP1811456B1 (en) | Face feature point detector and feature point detector | |
US7876931B2 (en) | Face recognition system and method | |
US7853085B2 (en) | Viewpoint-invariant detection and identification of a three-dimensional object from two-dimensional imagery | |
WO2009091029A1 (ja) | 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム | |
JP4466951B2 (ja) | 立体結合顔形状の位置合わせ | |
JP4445454B2 (ja) | 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム | |
WO2010122721A1 (ja) | 照合装置、照合方法および照合プログラム | |
JP4774818B2 (ja) | 画像処理装置及び画像処理方法 | |
KR20050022306A (ko) | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 | |
KR20150127381A (ko) | 얼굴 특징점 추출 방법 및 이를 수행하는 장치 | |
JP2018163648A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4874914B2 (ja) | 顎位置算出装置、それを用いた画像処理装置および顎位置算出方法並びにプログラム | |
JP2000268161A (ja) | 実時間表情検出装置 | |
JP4623320B2 (ja) | 三次元形状推定システム及び画像生成システム | |
EP3168780B1 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
JP7103443B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2024009744A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
Cisar et al. | Detection of Face Position and 3D Orientation in 2D image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AK | Designated states |
Kind code of ref document: A1 Designated state(s): CN KR US |
|
AL | Designated countries for regional patents |
Kind code of ref document: A1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR |
|
DFPE | Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101) | ||
121 | Ep: the epo has been informed by wipo that ep was designated in this application | ||
122 | Ep: pct application non-entry in european phase |