WO2006090731A1 - 顔画像分類方法、顔画像分類装置及び顔画像分類プログラム - Google Patents

顔画像分類方法、顔画像分類装置及び顔画像分類プログラム Download PDF

Info

Publication number
WO2006090731A1
WO2006090731A1 PCT/JP2006/303151 JP2006303151W WO2006090731A1 WO 2006090731 A1 WO2006090731 A1 WO 2006090731A1 JP 2006303151 W JP2006303151 W JP 2006303151W WO 2006090731 A1 WO2006090731 A1 WO 2006090731A1
Authority
WO
WIPO (PCT)
Prior art keywords
face image
category
face
illumination
illumination space
Prior art date
Application number
PCT/JP2006/303151
Other languages
English (en)
French (fr)
Inventor
Atsushi Marugame
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to JP2007504745A priority Critical patent/JP4924836B2/ja
Publication of WO2006090731A1 publication Critical patent/WO2006090731A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • Face image classification method face image classification device, and face image classification program
  • the present invention relates to a face image classification method, a face image classification device, and a face image classification program that classify face images into categories.
  • the face image is classified into some category according to the attribute of the person included in the face image. For example, facial images are classified by gender, age, facial contour shape, and skull shape.
  • This method of classifying face images is used, for example, in a customer data collection system used in retail business or a security system such as an immigration system.
  • the method of classifying face images is required, for example, when providing entertainment at a game center or when providing entertainment using an application for a mobile phone.
  • Patent Document 1 describes a method of classifying a face image into an adult or a child based on the position and size of the eyes of a person included in the face image.
  • Patent Document 2 describes a face image such as “round face”, “face length”, or “square” based on the arrangement of the eyes, nose and mouth of the person included in the face image and the outline shape of the face.
  • a method for classifying into face shapes is described.
  • Patent Document 3 describes a method of acquiring three-dimensional information (feature vectors) using a plurality of face-oriented images, and classifying them by gender and age using the acquired three-dimensional information. It has been.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2004-303150 (paragraphs 0049-0052, FIG. 10)
  • Patent Document 2 Japanese Patent Laid-Open No. 2004-264893 (paragraphs 0084-0122, FIG. 2, 020-26)
  • Patent Document 3 Japanese Patent Laid-Open No. 2003-242486 (paragraphs 0031-0045, 01-5) Disclosure of the Invention
  • the present invention can classify a face image into a category to which a person included in the face image belongs, and can perform face image category classification using only one image.
  • An object is to provide a classification device and a face image classification program. It is another object of the present invention to provide a face image classification method, a face image classification device, and a face image classification program that can perform face image category classification by reflecting face depth information.
  • a face image classification method is a face image classification method for classifying a face image into a predetermined category, and is data indicating the depth of the face and the degree of reflection by illumination applied to the face.
  • the face image classification method is a face image classification method for classifying a face image into a predetermined category, and is data indicating the depth of the face and the degree of reflection by illumination applied to the face.
  • identifying the illumination space basis accumulation step for accumulating the space basis data in advance for each category and identifying which illumination space basis data corresponds to the face image to be processed among the accumulated illumination space basis data.
  • a face image classification step for classifying the face image to be processed into a certain category.
  • the face image classification method includes a feature calculation step for obtaining a predetermined feature amount (for example, error feature 14) based on the illumination space basis data, and represents the power category in the illumination space basis accumulation step.
  • the lighting space base data corresponding to the face to be stored is stored in advance for each category.
  • a feature amount indicating a difference feature between the face included in the face image to be processed and the face representing the category is obtained for each category based on each accumulated illumination space base data. Then, based on the obtained feature values, it is determined which of the accumulated illumination space base data corresponds to the face image to be processed, and the face image to be processed is determined. It may be classified into a category corresponding to the specified illumination space basis data.
  • the face image classification method is based on the face image to be processed and each of the accumulated illumination space base data! /, And the illumination that is applied to the face included in the face image to be processed. It includes an illumination direction estimation step for estimating the direction for each category. In the feature calculation step, the feature amount is obtained for each category based on each accumulated illumination space base data and the estimation result of the illumination direction. May be.
  • the face image classification method is a feature calculation step in which illumination is applied from the estimated direction to the face representing the category based on each accumulated illumination space base data and the estimated illumination direction. Estimated face images are created for each category, and an error (for example, error norm) between the face image to be processed and the created estimated face image is obtained for each category as a feature quantity. It is also possible to specify the illumination space basis data corresponding to the smallest error.
  • an illumination vector indicating the intensity and direction of illumination is obtained as an estimation result of the illumination direction applied to the face included in the face image to be processed.
  • illumination intensity vector S is obtained for each category, and an estimated face image is created for each category by obtaining the inner product of the obtained illumination vector and each accumulated illumination space base data in the feature calculation step. There may be.
  • the face image classification method was obtained by performing principal component analysis on the average face included in the category or the face included in the category as the representative face of the category in the illumination space base accumulation step.
  • the illumination space base data corresponding to the principal component face may be stored in advance for each category.
  • the face image classification method may be such that the illumination space basis data including the three-dimensional shape of the face and the reflectance is accumulated in advance for each category in the illumination space basis accumulation step. Good.
  • the face image classification method includes a learning model creation step of creating a predetermined learning model based on a face image whose category is known in advance, and based on the learning model created in the face image classification step. Therefore, the face image to be processed may be classified into one of the categories.
  • the face image classification method uses a neural network in the learning model creation step.
  • V or a predetermined weighting factor as a learning model.
  • the face image classification method uses a support vector machine in the learning model creation step.
  • any illumination space basis data is processed among the accumulated illumination space basis data by performing reverse processing of the process of creating the learning model. It is also possible to specify whether the target face image is supported and classify the processing target face image into a category corresponding to the specified illumination space base data.
  • the face image classification device is a face image classification device that classifies a face image into a predetermined category, and is illumination that is data indicating the depth of the face and the degree of reflection by illumination applied to the face.
  • illumination space basis data corresponds to the face image to be processed from among the illumination space basis data accumulated in advance for each category of space basis data, the face image to be processed!
  • the image processing apparatus is characterized in that at least face image classification means (for example, realized by the category identification means 40) for classifying into any of the categories is provided.
  • the face image classification device is a face image classification device that classifies a face image into a predetermined category, and is data indicating the depth of the face and the degree of reflection by illumination applied to the face.
  • the face image classification device includes a feature calculation unit (for example, realized by the error evaluation unit 3) for obtaining a predetermined feature amount based on the illumination space basis data
  • the illumination space basis storage unit includes a category
  • the lighting space base data corresponding to the face that represents The feature calculation means accumulates in advance, and the feature calculation means indicates a feature amount indicating a difference feature between the face included in the face image to be processed and the face representing the category based on each illumination space base data accumulated by the illumination space base accumulation means.
  • the face image classification means based on each feature quantity obtained by the feature calculation means, which illumination space basis data is processed among the illumination space basis data accumulated by the illumination space basis accumulation means.
  • the face image to be processed may be identified, and the face image to be processed may be classified into a category corresponding to the identified illumination space base data.
  • the face image classification device is applied to the face included in the face image to be processed based on the face image to be processed and each illumination space basis data accumulated by the illumination space basis accumulation means.
  • Illumination direction estimation means for estimating the direction of illumination for each category is provided, and the feature calculation means calculates the feature amount based on each illumination space basis data accumulated by the illumination space basis accumulation means and the estimation result of the illumination direction estimation means. It may be obtained for each category.
  • the feature calculation means is a direction estimated to be a face representing a category based on each illumination space basis data accumulated by the illumination space basis accumulation means and the illumination direction estimated by the illumination direction estimation means. Estimated face images for each category are created for each category, and as features, the error between the face image to be processed and the created estimated face image is obtained for each category. It is also possible to specify the illumination space base data corresponding to the smallest error among the errors obtained by the feature calculation means.
  • the illumination direction estimating means obtains an illumination vector indicating the intensity and direction of the illumination for each category as an estimation result of the illumination direction applied to the face included in the face image to be processed, and features
  • the calculation means creates an estimated face image for each category by obtaining the inner product of the illumination scale obtained by the illumination direction estimation means and each illumination space base data accumulated by the illumination space base accumulation means. There may be.
  • the illumination space basis accumulating means as a face representing the category, an illumination corresponding to an average face of the faces included in the category or a principal component face obtained by performing principal component analysis on the faces included in the category.
  • Spatial base data may be stored in advance for each category.
  • the illumination space base accumulation means may accumulate in advance the illumination space basis data including the three-dimensional shape of the face and the reflectance for each category.
  • the face image classification device includes learning model creation means (for example, realized by the category learning means 50) for creating a predetermined learning model based on a face image whose category is known in advance.
  • the face image classifying means may classify the face image to be processed into any of the categories based on the learning model created by the learning model creating means!
  • the face image classification means performs the reverse process of the process of creating the learning model, so that any of the illumination space base data stored in the illumination space base accumulation means is processed as the illumination space base data. May be classified, and the face image to be processed may be classified into a category corresponding to the identified illumination space base data.
  • a face image classification program is a face image classification program for classifying a face image into a predetermined category, and corresponds to the face representing the category and the illumination applied to the face depth and face.
  • the illumination space basis data which is data indicating the degree of reflection due to the light, is stored in a computer equipped with storage means for storing in advance for each category. Which of the following processing is used to determine for each category a feature amount indicating the difference between the face included and the face representing the category, and each lighting space base data stored by the storage means based on each calculated feature amount
  • the face image classification program performs, on the computer, a process of creating a predetermined learning model based on a face image whose category is known in advance and an inverse process of the process of creating the learning model.
  • the processing to identify which lighting space base data corresponds to the face image to be processed among the lighting space base data accumulated by the storage means, and the processing target face image to the specified lighting space base data It is possible to execute the process of classifying into the categories to be performed.
  • the reflection information of the face illumination called the illumination space base and the shape of the face are included. Use information. Based on the illumination space base and the face image, the illumination scale is estimated. Since it is possible to perform constant calculation, it is possible to use a feature quantity using face reflection information (including skin color information) and face shape by using an error obtained by estimation.
  • an illumination space basis of representative faces (average face and principal component face) of each category is created.
  • the illumination direction vector is estimated using the minimum error method, and the error obtained by the estimation is used as the feature amount. If the error is obtained using the illumination space base of the category to which the target person of the face image belongs, the obtained error power becomes small because the reflection information and shape are closer to the face of the other category. Therefore, it is appropriate to use the error obtained by estimation as the feature quantity of the category classification, and the obtained feature quantity reflects the depth information of the face and the illumination reflectance of the facial skin.
  • the illumination space base can be prepared in advance and can be categorized using only one face image. Even for face images taken from the front (two-dimensional images), the depth direction of the face can be estimated approximately by selecting the nearest illumination space base among the illumination space bases corresponding to each category. it can. Therefore, the category classification can be performed by reflecting the depth information of the face.
  • the belonging category is identified by using a direct method of classifying a face image into a category having the smallest feature amount.
  • feature vectors for each category are collected to create one vector, which is learned using a learning device such as a neural network or a support vector machine. Then, the face image category is identified using the learning model.
  • two-dimensional features can also be added to the feature vector, which can further improve the classification performance when categorizing face images.
  • the face images are classified into categories using the illumination space base data reflecting the reflection state of the face skin and the shape in the depth direction, so the reflection state and depth of the face skin are classified.
  • the face images can be classified into categories in consideration of the shape of the direction.
  • the category classification can be performed using only one face image without using the face image obtained by photographing the face to be categorized from multiple directions. It can be carried out. Therefore, the face image is classified into the category to which the person included in the face image belongs. And categorizing facial images using only one image.
  • the degree of reflection of the face and the feature of the depth shape of the face largely depend on the race to which the person belongs.
  • the illumination space base data created based on the representative faces of each race is prepared in advance.
  • the face image to be processed is classified into the power category closest to the reflection state and depth shape of the human face included in the face image to be processed.
  • Each lighting space base data reflects the reflection and depth shape of each race's face. Therefore, the face image is placed in a category corresponding to the race of the person included in the face image to be processed. Can be properly classified.
  • the illumination space corresponding to the face image to be processed is used by using the feature amount indicating the difference between the face included in the face image to be processed and the face representing the category.
  • the base data can be easily identified, and the face image to be processed can be classified into an appropriate category.
  • the direction of the illumination applied to the face included in the face image to be processed is estimated (calculation of the illumination range) using the illumination space basis data,
  • the facial images are classified into categories in consideration of the lighting direction. Therefore, even when there is a variation in illumination, face images can be classified into categories. Therefore, it is possible to classify face images into categories appropriately by absorbing the influence of lighting.
  • an illumination space corresponding to the face image to be processed is specified.
  • Base data can be easily specified.
  • the classification can be performed using the illumination space base data corresponding to the standard face of the category, and more appropriate. Face images can be classified into categories.
  • face images are classified into categories based on a learning model created in advance. Therefore, it is possible to classify facial images using a learning model that takes into account statistical information of facial error features representing each category. Therefore, compared with the case where no learning model is used, the category of the face image can be identified more accurately by adding statistical information.
  • FIG. 1 is a block diagram showing an example of the configuration of a face image classification apparatus using a face image classification method according to the present invention.
  • FIG. 2 is a flowchart showing an example of face image classification processing in which the face image classification device classifies input face images into categories.
  • FIG. 3 is an explanatory diagram for explaining the relationship between error characteristics and categories.
  • FIG. 4 is a block diagram showing another configuration example of a face image classification device using a face image classification method.
  • FIG. 5 is a flowchart showing an example of processing in which the face image classification device creates a learning model.
  • FIG. 6 is a flowchart showing another example of face image classification processing in which the face image classification device classifies input face images into categories.
  • FIG. 7 is a block diagram showing still another configuration example of the face image classification device using the face image classification method.
  • FIG. 8 is a block diagram showing still another configuration example of the face image classification device using the face image classification method.
  • FIG. 9 is a flowchart showing an example of face image classification processing in which a computer classifies input face images into categories according to a program.
  • FIG. 10 is a flowchart showing an example of processing in which a computer creates a learning model according to a program.
  • FIG. 11 is a flowchart showing another example of face image classification processing in which a computer classifies input face images into categories according to a program.
  • FIG. 1 is a block diagram showing an example of the configuration of a face image classification apparatus using the face image classification method according to the present invention.
  • the face image classification apparatus includes a plurality of illumination space base accumulation means 1 1 to 1 n, a plurality of illumination direction estimation means 2-1 to 2-n, and a plurality of error evaluation means 3-1.
  • ⁇ 3—n and category identification means 40 are included.
  • the illumination space base accumulation means 1 1 to 1 n, the illumination direction estimation means 2-1 to 2-n, and the error evaluation means 3-1 to 3-n are expressed in a comprehensive manner. These are referred to as illumination space base accumulation means 1, illumination direction estimation means 2 and error evaluation means 3, respectively.
  • the face image classification device classifies the face image to be processed into a predetermined category. For example, the face image classification device classifies face images into either “male” or “female” categories according to the gender of the person included in the face image. Further, for example, the face image classification device classifies the face image into a category corresponding to the age of the person according to the age of the person included in the face image. Further, for example, the face image classification device classifies the face image into one of the categories “Koriki Soid”, “Mongoloid”, or “Negroid” according to the race of the person included in the face image.
  • the face image classification device is used for, for example, the purpose of classifying captured customer face images into categories when collecting customer data at a store such as a convenience store. Further, the face image classification device, for example, when performing immigration control, the face image of the immigrant It is used for the purpose of classifying.
  • the face image classification device is used for the purpose of classifying customer face images taken at game centers and face images taken when providing entertainment using an application for a mobile phone into categories.
  • the illumination space base accumulation means 1 accumulates in advance the illumination space base of the face representing each category for each category.
  • the “illumination space base” is the amount of information that incorporates the three-dimensional shape of the face and the reflectance, and is data indicating the depth of the face and the degree of reflection caused by the illumination applied to the face.
  • the face image classification device presets a predetermined category for classifying face images.
  • the face image classification device includes a generation unit (not shown) that generates an illumination space base, and previously generates an illumination space base of a face (a face of a known sample) representing each category.
  • the face image classification device stores the generated illumination space bases one by one in the illumination space base storage unit 1.
  • the facial image classification apparatus is not limited to the case where the facial power represents one category, and the face image classification device uses a plurality of "faces representing the category" to determine the illumination space basis. It may be generated and stored in the illumination space base storage means 1.
  • the face image classification device includes a plurality of corresponding illumination space base accumulation means 1 for one category. Then, the face image classification device generates a plurality of illumination space bases for one category, and accumulates each of the generated illumination space bases in the illumination space base accumulation means 1 of the corresponding category.
  • the illumination direction estimation means 2 has a function of estimating the illumination direction for each category based on the input face image and the illumination space base.
  • the illumination direction estimation means 2 generates an illumination intensity vector indicating the intensity and direction of illumination applied to the face included in the face image, based on the face image and the illumination space base.
  • each illumination direction estimating means 2 is associated with one of the illumination space base accumulation means 1, and the illumination space base is extracted from the corresponding illumination space base accumulation means 1.
  • the illumination direction estimation means 2-1 extracts the illumination space base from the corresponding illumination space base accumulation means 11 and estimates the illumination direction based on the extracted illumination space base.
  • the error evaluation unit 3 has a function of evaluating the illumination direction error estimated by the illumination direction estimation unit 2.
  • the error evaluation means 3 includes the illumination space base and the illumination intensity vector. Based on the image, an estimated face image, which is a face image estimated when the illumination representing the category is illuminated from the illumination direction estimated by the illumination direction estimation means 2, is generated for each category. Then, based on the input face image and the estimated face image, the error evaluation unit 3 obtains a predetermined feature amount indicating a difference feature between the face included in the input face image and the face representing the category for each category. In the present embodiment, the error evaluation means 3 obtains an error between the input face image and the generated estimated face image as a feature amount. For example, the error evaluation means 3 obtains a predetermined error norm between the input face image and the estimated face image.
  • each error evaluation means 3 is associated with any one of the illumination space base accumulation means 1 and the illumination direction estimation means 2. Then, the error evaluation unit 3 inputs the illumination space base and the estimated illumination direction from the corresponding illumination space base accumulation unit 1 and the illumination direction estimation unit 2, respectively, and the error of the illumination direction estimated by the illumination direction estimation unit 2 is input. Evaluate the difference. For example, the error evaluation means 3-1 inputs the illumination space base from the corresponding illumination space base accumulation means 11 1, and inputs the illumination direction from the corresponding illumination direction estimation means 2-1. Then, the error evaluation unit 3-1 evaluates the illumination direction error estimated by the illumination direction estimation unit 2-1 based on the input illumination space base and the illumination direction.
  • the category identification unit 40 has a function of identifying a category to which the input face image should belong according to a predetermined identification rule, using the error evaluated by each error evaluation unit 3 as a feature amount. That is, the category identification unit 40, based on the error feature output by the error evaluation unit 3, any of the illumination space bases stored in each illumination space base storage unit 1 corresponds to the input face image. To identify. Then, the category identifying unit 40 classifies the input face image into a category corresponding to the specified illumination space base.
  • the category identifying unit 40 compares the error norms obtained by the error evaluating units 3, and specifies the minimum error norm. Then, the category identification unit 40 classifies the input face image into a category corresponding to the specified error norm.
  • the face image classification device sets m categories in advance according to the user's operation. Further, in the present embodiment, the face image classification device is arranged in n (n ⁇ m) illumination space base accumulation means 1 according to the procedure shown below. Accumulate facial lighting space bases representing each category.
  • the number of categories set by the face image classification device depends on what kind of category setting force. For example, when the face image classification device sets a category indicating gender, the number of categories is two, “male” and “female”. Also, for example, when the face image classification device sets a category indicating age, the number of categories is determined by how many years the age is set. In addition, for example, when the face image classification device sets a category indicating race, it depends on the number of races to be classified, such as “cold soid system”, “mongoloid system”, “negloid system”. Therefore, the number of categories is determined.
  • the face image classification device may generate an illumination space base for each category using a plurality of “faces representing the category”.
  • the face selected as the “face representing the category” may be the face of an actual person actually included in the category or the average face of the faces included in the category.
  • the face image analysis device performs principal component analysis on faces included in a category, and uses an artificially created face such as a principal component face created with higher-order principal components obtained as a result of the analysis, and uses an illumination space basis. May be generated.
  • the illumination space base is an information amount including the three-dimensional shape of the face and the reflectance, and is obtained as follows. Since the color and brightness information of the face image is determined by the reflection of the face shape, conversely, if the face position and posture are the same, the face shape is estimated by using the face image shot with multiple illuminations. It becomes possible. In the present embodiment, the illumination space base is generated according to such a concept.
  • the concept of the illumination space basis is that the luminance value of the i-th pixel of the face image can be expressed using equation (1), assuming that the skin of the face is a perfect scattering surface! /, Is Umono.
  • ⁇ is the diffuse reflectance at the pixel i.
  • Vector n is the diffuse reflectance at the pixel i.
  • a vector s (s 1, s 2, s 2) is an illumination intensity vector indicating the illumination intensity and the illumination direction at the pixel i.
  • equation (3) vector b is expressed using equation (3).
  • ⁇ ⁇ , ⁇ , ⁇ is called an illumination space basis and is a specific amount of information about each face.
  • the face image classification device detects the positions of both eyes included in each face and places the detected eyes at a certain position on the image. As shown, the length between the eyes included in the face is enlarged or reduced.
  • the face image classification device obtains the average face using the distance image of each face, and obtains the normal vector n based on the obtained average face.
  • the face image classification device obtains the diffuse reflectance ⁇ based on the texture of the three-dimensional data of each face. Then, the face image classification device obtains the illumination space base using Expression (3) based on the obtained normal vector ⁇ and the diffuse reflectance a.
  • the face image classification device When generating an illumination space basis using a principal component analysis face, the face image classification device obtains a principal component face using a distance image of each face, and normals based on the obtained principal component face Find the solid n. Further, the face image classification device obtains the diffuse reflectance ⁇ based on the texture of the three-dimensional data of each face. Then, the face image classification device obtains the illumination space basis using the equation (3) based on the obtained normal vector ⁇ and the diffuse reflectance ⁇ .
  • FIG. 2 is a flowchart showing an example of face image classification processing in which the face image classification device classifies input face images into categories.
  • Each illumination direction estimation means 2 inputs the input face image 11 to be processed for category classification (step S101). For example, each illumination direction estimating means 2 inputs an input face image 11 to be classified according to a user instruction operation. When the input face image 11 is input, each illumination direction estimation unit 2 inputs corresponding illumination space basis data (illumination space basis) from each illumination space basis accumulation unit 1 (step S102).
  • Each illumination direction estimation means 2 is based on the face image 11 and the illumination space bases 12-1 to 12-n accumulated in each illumination space base accumulation means 1, and the illumination directions 13-1 to 13- n is estimated (step S103).
  • the illumination space bases 12-1 to 12-n and the illumination directions 13-1 to 13-n are comprehensively expressed, they are referred to as the illumination space base 12 and the illumination direction 13, respectively.
  • each illumination direction estimation means 2 estimates the illumination direction 13 by obtaining the illumination intensity vector s based on the input face image 11 and each illumination space base 12.
  • the face image 11 has an image size in which the luminance values of the respective pixels are vertically arranged (that is,
  • the illumination space base 12 corresponding to the face image is an illumination space that is a (image size X 3) -dimensional matrix.
  • the basis matrix B [B 1, B 2, B] (B 1, B 2, and B are column vectors of image size dimensions).
  • equation (2) usually does not hold due to face reflection characteristics that are not ideal or various other factors.
  • Each error evaluation unit 3 calculates an inner product Bs (s is a vector) between the illumination space base B and the illumination intensity vector s obtained by the illumination direction estimation unit 2.
  • Each error evaluation means 3 calculates the difference between the vector X and the inner product (s is a vector) using a predetermined error norm Error (step S 104).
  • the error evaluation means 3 uses the error norm as shown in Equation (6).
  • the absolute value norm may be calculated.
  • Each error evaluation unit 3 outputs the obtained error norm to the category identification unit 40 as error features 14-1 to 14-n.
  • the error features 14-1 to 14-n are simply referred to as error features 14 when expressed comprehensively.
  • the error norm obtained by the error evaluation means 3 is useful as a feature quantity for category identification for the following reason.
  • the error norm is slightly larger than when the category to which it originally belongs is used, and is far from the category to which it originally belongs, based on the illumination space base B of the category, If the lighting intensity vector s is calculated, The error norm is even greater than when using the category to which it belongs.
  • FIG. 3 is an explanatory diagram illustrating the relationship between error features and categories.
  • category 1 is a category to which the input face image 11 should originally belong.
  • the error norm 101 becomes smaller.
  • the error norm 102 is slightly larger.
  • the category 3 illumination space base B far from the category 1 is used, the error norm 103 is further increased.
  • the illumination space base is an information amount including the three-dimensional shape of the face and the reflectance, and therefore, the feature amount includes the three-dimensional depth direction.
  • using the illumination space basis is equivalent to creating and classifying the face image closest to the input face image within the minimum constraint of the error norm. Compared with the case where the representative face image is directly compared with the category classification, more accurate classification can be performed.
  • the category identifying unit 40 identifies the category 15 of the input face image 11 using the error feature 14 output from each error evaluating unit 3 (step S 105). Then, the category identification means 40 outputs the identified identification category 15.
  • the category identifying means 40 identifies the category of the face image 11 according to a predetermined rule. For example, the category identifying unit 40 selects a category to which the category representative having the smallest error feature 14 belongs, based on the error feature 14 output by each error evaluation unit 3. This method of selecting the category with the smallest error feature is effective when each category is compactly concentrated at the center of the category representative or when it is possible to use an illumination space basis for multiple category representatives for one category. It is. [0090] On the other hand, when the category is wide or when it is impossible to use a plurality of category representatives, there may be some correlation between the categories.
  • the category identifying means 40 may select the category corresponding to the category representative that is the second smallest or smaller since the category having the smallest error feature 14 is selected. Further, the category identification means 40 may perform category classification using the difference of the error feature 14 and the like because the category classification is performed using only the value of the error feature 14.
  • category identification means 40 is assumed that the error feature 14 between the force category 1 and the category 2 is the same and the smallest error feature 14 of the category 3 is smaller than the error feature 14 of the force S category 4, You can choose! /
  • the face image classification device classifies the input face image 11 as a category using the illumination space base 12 reflecting the state of reflection of the face and the shape toward the back. Classify into: Therefore, the input face image 11 can be classified into categories in consideration of the degree of reflection of the face and the shape in the depth direction.
  • the category using only one input face image 11 can be used without using a face image obtained by photographing the face to be categorized from multiple directions. Classification can be performed. Therefore, the face image can be classified into the category to which the person included in the face image belongs, and the category classification of the face image can be performed using only one image.
  • the face image classification device uses the illumination space base 12 to illuminate the illumination direction that is applied to the face included in the input face image 11 to be processed. Estimate 13. Then, the face image classification device classifies the input face image 11 into categories in consideration of the illumination direction 13. Therefore, even if there is a variation in illumination, face images can be classified into categories. Therefore, it is possible to absorb the influence of lighting and appropriately classify face images into categories.
  • FIG. 4 is a block diagram showing another configuration example of the face image classification apparatus using the face image classification method.
  • the face image classification device includes a category learning means 50 and a learning model storage means 60 in addition to the components shown in the first embodiment.
  • the function of the category identification means 40A is different from the function of the category identification means 40 shown in the first embodiment.
  • the category learning means 50 generates a predetermined learning model using a predetermined learning device (learning algorithm) based on a face image whose category is already known (hereinafter also referred to as a learning face image). It has a function to do.
  • the category learning means 50 generates a learning model using a -Ural network as a learning device.
  • the category learning means 50 obtains a predetermined weight coefficient of the learning unit as a learning model.
  • the category learning means 50 generates a learning model using a support vector machine as a learning device.
  • the category learning means 50 obtains a vector for creating an identification boundary called a support vector as a learning model.
  • the learning model accumulating unit 60 accumulates the learning model generated by the category learning unit 50.
  • the category learning unit 50 repeatedly generates a learning model each time a learning face image is input, and updates the learning model accumulated by the learning model accumulation unit 60. That is, the face image classification device repeatedly learns and updates the accumulated learning model each time a learning face image is input.
  • the face image classification device can generate and store a more accurate learning model by repeatedly learning to some extent.
  • the category identifying unit 40A has a function of identifying a category to which the input face image should belong using a predetermined classifier (identification algorithm) using the learning model accumulated by the learning model accumulating unit 60.
  • the category identification unit 40A performs the reverse process of the learning process performed by the category learning unit 50 using the learning model and the error feature 14 obtained by each error evaluation unit 3, thereby providing an input face.
  • the category identifying means 40A identifies the category of the input image by performing a reverse process of the learning process using a -Ural network as a classifier.
  • the category identifying means 40A identifies the category of the input image by performing a reverse process of the learning process using a support vector machine as a classifier.
  • the functions of each illumination space base accumulation means 1, each illumination direction estimation means 2, and each error evaluation means 3 are the same as those shown in the first embodiment. is there.
  • the face image classification device uses a learning model for category identification.
  • the category identifying means 40A uses a teacher category 16 that is a category corresponding to the learning face image.
  • the learning model 17 is created in advance. Further, when a face image whose category is unknown (a face image to be classified) is input, the force category identification unit 40A uses the learning model 17 stored by the learning model storage unit 50 to store the input face image 11 Identify the category.
  • the face image classification device uses each illumination direction estimation means 2 and each error evaluation means 3 for face images whose categories are known in advance, and uses the error feature 16-1 to 16-n for learning. For each.
  • the error features 16-1 to 16-n for learning are comprehensively expressed, they are simply referred to as error features 16 for learning.
  • the face image classifying apparatus learns each known error feature 16 as a teacher category 17 by using category learning means 50 equipped with a predetermined learning device. For example, facial image classification devices are learned using learning devices such as neural networks and support vector machines. Then, the face image classification device stores the obtained learning model 18 in the learning model storage unit 60.
  • FIG. 5 is a flowchart showing an example of processing in which the face image classification device creates a learning model.
  • Each illumination direction estimation means 2 inputs an input face image for learning (learning face image) whose category is known (step S201). For example, each illumination direction estimating means 2 inputs a learning face image in accordance with a user's instruction operation. When the learning face image is input, each illumination direction estimation means 2 inputs corresponding illumination space basis data (illumination space basis) from each illumination space basis accumulation means 1 (step S 202).
  • Each illumination direction estimating means 2 is applied to the face included in the learning face image based on the learning face image and the illumination space base 12 accumulated by each illumination space base accumulating means 1.
  • illumination The illumination direction (illumination intensity vector) 13 is estimated (step S203).
  • the process in which each illumination direction estimating means 2 estimates the illumination direction 13 is the same as the process in step S103 in the first embodiment.
  • the category learning means 50 inputs a category (teacher category) 17 corresponding to the learning face image. For example, the category learning means 50 inputs the teacher category 17 according to the user's instruction operation. When the teacher category 17 is input, the category learning unit 50 performs learning using the input teacher category 17 and the learning error feature 16 output by each error evaluation unit 3, and generates a learning model 18 (step S205). ). Then, the category learning unit 50 stores the generated learning model 18 in the learning model storage unit 60.
  • the category learning means 50 uses the teacher category 17 and each error characteristic 16 for learning, and uses a predetermined weight of the learning unit as a learning model 18. Find the coefficient.
  • the learning model 18 corresponds to the weight of the weighted sum from the input unit to the intermediate unit and from the intermediate unit to the output unit.
  • the category learning means 50 performs learning using a method such as backpropagation and obtains a weighting coefficient for the learning unit.
  • the category learning means 50 uses the teacher category 17 and the learning error feature 16 to obtain a support vector as the learning model 18.
  • the face image classification device determines whether or not learning has been performed on all learning face images (step S206). When it is determined that learning has been completed for all learning face images, the face image classification device ends the process. If it is determined that there is a learning face image to be learned, the face image classification device repeatedly executes the processing from step S201 to step S206 to generate a learning model 18 for each category and store the learning model. Accumulate in means 60. Note that the face image classification device sequentially updates the learning model 18 accumulated by the learning model accumulation means 60 by repeatedly learning about a plurality of learning face images corresponding to the same category.
  • the face image classification device includes each illumination direction estimation means 2 and Each error evaluation means 3 is used to obtain an error feature 14 for identification. Further, the face image classifying device obtains the identification category 15 using the category identifying means 40 based on the learning model 18 accumulated by the learning model accumulating means 60 using each obtained error feature 14 as a feature amount.
  • FIG. 6 is a flowchart showing another example of face image classification processing in which the face image classification device classifies input face images into categories.
  • the processing from step S301 to step S304 is the same as the processing from step S101 to step S104 in the first embodiment.
  • the category identifying means 40A uses each error feature 14 and the learning model 18 accumulated by the learning model accumulating means 60 to calculate the input face image 11. Identify the category (step S305). In this case, the category identifying unit 40A identifies the category of the input face image 11 by performing a reverse process of the learning process performed by the category learning unit 50 using a predetermined classifier. Then, the category identification unit 40A outputs the identified identification category 15.
  • the category identification means 40A has the input face image 11 belonging to either category 1 or a category other than category 1 Classify. If it is determined that it belongs to category 1, category identifying means 40A classifies input face image 11 into category 1. If it is determined that it belongs to a category other than Category 1, the category identifying means 40 determines whether the input face image 11 belongs to Category 2 or a category other than Category 2. As described above, the category identifying means 40A classifies the input face image 11 into any category by repeatedly executing the processing based on the two classification problem.
  • a predetermined learning model 18 is created in advance, and face images are classified into any category based on the learning model 18. Therefore, it is possible to classify facial images using a learning model that takes into account statistical information of facial error features representing each category. Therefore, compared with the case where no learning model is used, the category of the face image can be identified more accurately by using statistical information.
  • each error evaluation means 3 uses error features as feature quantities.
  • a two-dimensional facial feature amount such as a difference in color or luminance value of the face feature pixel may be output.
  • each error evaluation means 3 outputs a concatenated vector obtained by concatenating the vector of the error feature 14 or the learning error feature 16 and the color or luminance vector.
  • the category learning unit 50 generates the learning model 18 using the connection vector output from each error evaluation unit 3.
  • the category identifying means 40A identifies the category of the input face image 11 using the concatenated vector output by each error evaluation means 3.
  • FIG. 7 is a block diagram showing still another configuration example of the face image classification apparatus using the face image classification method.
  • the face image classification device includes an illumination space base accumulation device 10a, an illumination direction estimation device 20a, an error evaluation device 30a, and a category identification device 40a.
  • the present embodiment corresponds to a specific device component of the face image classification device using the face image classification method shown in the first embodiment.
  • the illumination space basis storage device 10a is a device obtained by embodying each illumination space basis storage means 1 shown in the first embodiment. As shown in FIG. 7, the illumination space base storage device 10a is realized by a plurality of storage devices 10b-l to 10b-n such as a memory and a hard disk device. Each storage device 10b-1 to: LOb-n stores the illumination space base data in advance, similarly to each of the illumination space basis storage means 1 shown in the first embodiment.
  • the illumination direction estimation device 20a is a device in which each illumination direction estimation means 2 shown in the first embodiment is installed. As shown in FIG. 7, the illumination direction estimation device 20a includes a plurality of storage devices 20b-l to 20b-n and a plurality of arithmetic devices 20c-l to 20c-n. Each of the storage devices 201) -1 to 201) -11 is specifically a storage device such as a DRAM capable of high-speed access. Each storage device 20b-l to 20b-n temporarily stores a face image file input from the outside and an illumination space basis data file from the illumination space basis storage device 10a.
  • Each of the arithmetic devices 20c-l to 20c-n is specifically a device such as a CPU.
  • Each of the arithmetic devices 30c-l to 30c-n is specifically a device such as a CPU.
  • Each computing device 30c-l-30c-n accesses the accumulated data stored in each storage device 30b-l-30b-n, and, similarly to each error evaluation means 3 shown in the first embodiment, The difference between the vector X and the inner product (s is a vector) is calculated using a predetermined error norm Error (.
  • the category identification device 40a is an implementation of the category identification means 40 shown in the first embodiment. As shown in FIG. 7, the category identification device 40a includes a storage device 40b and a computing device 40c. Specifically, the storage device 40b is a storage device such as a DRAM. The storage device 40b stores error norm data (error features) calculated by the error evaluation device 30a and identification processing data for category identification. The storage device 40b stores fixed program data for performing category identification without learning as identification processing data.
  • the computing device 40c is a device such as a CPU.
  • the arithmetic device 40c performs an identification calculation process for classifying an input face image into a category, similarly to the category identifying means 40 shown in the first embodiment.
  • FIG. 8 is a block diagram showing still another configuration example of the face image classification apparatus using the face image classification method.
  • the face image classification device includes a category learning device 50a and a learning model storage device 60a in addition to the components shown in the third embodiment.
  • the function of the category identification device 40d is the category shown in the third embodiment. This is different from the function of the re-identifier 40a. Note that this embodiment corresponds to a specific device component of the face image classification device using the face image classification method described in the second embodiment.
  • the functions of the illumination space base accumulation device 10a, the illumination direction estimation device 20a, and the error evaluation device 30a are the same as those functions described in the third embodiment.
  • the category learning device 50a is obtained by implementing the category learning means 50 shown in the second embodiment. As shown in FIG. 8, the category learning device 50a includes a storage device 50b and a computing device 50c.
  • the storage device 50b is specifically a storage device such as a memory node disk device.
  • the storage device 50b temporarily stores the error norm data (error feature) calculated by the error evaluation device 30a and teacher category data.
  • the arithmetic device 50c is specifically a device such as a CPU. Similar to the category learning means 50 shown in the second embodiment, the arithmetic device 50c performs a learning calculation process for generating a learning model using a predetermined learning device.
  • the learning model storage device 60a is an implementation of the learning model storage unit 60 shown in the second embodiment. As shown in FIG. 8, the learning model storage device 60a is realized by a storage device 60b such as a memory hard disk device. The learning model storage device 60a stores the learning model data obtained by calculation by the category learning device 50a in the same manner as the learning model storage means 60 shown in the second embodiment.
  • the category identifying device 40d is a device obtained by implementing the category identifying means 40A shown in the second embodiment. As shown in FIG. 8, the category identification device 40d includes an arithmetic device 40f and a storage device 40e. Specifically, the arithmetic device 40f is a device such as a CPU. The calculation device 40f uses the error norm data (error feature) calculated by the error evaluation device 30a and the learning model stored by the learning model storage device 60a, and uses the category identification means 40A shown in the second embodiment. Similar to, the identification calculation process is performed to classify the input face image into categories.
  • error norm data error feature
  • the storage device 40e is a storage device such as a DRAM.
  • the storage device 40e includes each error feature obtained by the error evaluation device 30a and the learning model storage device 60a. These learning model data are temporarily stored. Further, the storage device 40e accumulates identification processing data including an identification category that is a processing result of the arithmetic device 40f.
  • the face image classification program for executing each process according to the face image classification method shown in the first embodiment is configured as a program that can be executed on a computer.
  • the face image classification program is stored in an information storage medium (for example, a CD-ROM) that can be read by a computer.
  • the information storage medium includes, for example, a computer that includes a face included in a face image to be processed and a face representing a category based on each illumination space base data stored in a storage unit. Processing for obtaining a feature amount indicating a difference feature for each category, and, based on each obtained feature amount, among the illumination space basis data accumulated by the accumulation means, which illumination space basis data is the face to be processed A face image classification program is stored for executing processing for identifying whether the image corresponds to the image and processing for classifying the face image to be processed into a category corresponding to the identified illumination space base data. Then, the computer reads the information recording medium power program, and executes the process of classifying the face image shown in the first embodiment according to the read program.
  • FIG. 9 is a flowchart showing an example of face image classification processing in which the computer classifies input face images into categories according to a program.
  • the computer inputs the input face image to be classified in the same way as the processing described in the first embodiment, and loads it into the buffer (step S101a). Then, the computer extracts representative illumination space basis data of each category and loads it into the buffer (step S102a).
  • the computer estimates an illumination direction that minimizes the error norm based on the loaded input face image and each illumination space base data (step S103a). Further, the computer obtains an inner product between the estimated illumination direction and the representative illumination space base data, and calculates an error norm between the input face image and the obtained inner product as an error feature (step S104a). Then, the computer identifies the category of the input face image according to a predetermined identification rule based on all the obtained error features (step S 105a). [0133] Embodiment 6.
  • a face image classification program for executing each process according to the face image classification method shown in the second embodiment is configured as a program that can be executed on a computer.
  • the face image classification program is stored in an information storage medium readable by a computer.
  • the information storage medium includes, for example, a process for creating a predetermined learning model and a process for creating a learning model based on a face image whose category is known in advance in a computer.
  • a process for creating a predetermined learning model and a process for creating a learning model based on a face image whose category is known in advance in a computer.
  • FIG. 10 is a flowchart showing an example of processing in which a computer creates a learning model according to a program. Similar to the processing shown in the second embodiment, the computer inputs an input face image for learning whose category is known, and loads the input face image into the noffer (step S 201a). Then, the computer extracts the representative illumination space basis data of each category and loads it into the noffer (step S202a).
  • the computer estimates the illumination direction that minimizes the error norm based on the loaded learning face image and each illumination space base data (step S203a). Further, the computer obtains an inner product between the estimated illumination direction and the representative illumination space base data, and calculates an error norm between the input face image and the obtained inner product as an error feature for learning (step S204a). Then, the computer inputs all the obtained error features for learning and the known category labels to a predetermined learner, and constructs a learning model (step S 205a). In addition, the computer determines whether or not learning has been performed on all learning face images (step S206a), and when there are unprocessed learning face images, the processing after step S201a is repeatedly executed. .
  • FIG. 11 is a flowchart showing another example of face image classification processing in which the computer classifies input face images into categories according to a program.
  • the computer inputs the input face image to be classified as in the process described in the second embodiment, and loads it into the buffer (step S301a). Then, the computer extracts the representative illumination space basis data of each category and loads it into the nota (step S302a).
  • the computer estimates an illumination direction that minimizes the error norm based on the loaded input face image and each illumination space base data (step S303a). Further, the computer calculates an inner product between the estimated illumination direction and the representative illumination space base data, and calculates an error norm between the input face image and the calculated inner product as an error feature (step S304a). Then, the computer identifies a category of the input face image using a predetermined learning algorithm based on all the obtained error features and the learning model (step S305a).
  • the present invention can be applied to uses such as providing customer data collection systems such as convenience stores, security systems such as immigration systems, and entertainment using applications for game centers and mobile phones.
  • customer data collection systems such as convenience stores, security systems such as immigration systems, and entertainment using applications for game centers and mobile phones.
  • security systems such as immigration systems
  • entertainment using applications for game centers and mobile phones.
  • the face classification is performed in consideration of the influence of the face shape, when the human face is photographed to classify the person data. be able to.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　各照明基底蓄積手段１は、各カテゴリ代表の照明基底１２を予め蓄積する。各照明方向推定手段２は、入力顔画像１１に対して、各照明空間基底１２を用いて、それぞれの誤差ノルムが最小になる照明方向１３を推定する。各誤差評価手段３は、照明基底１２と対応する照明方向１３との内積を求め、求めた内積と入力顔画像１１とのノルム誤差である誤差特徴１４をそれぞれ計算する。そして、カテゴリ識別手段４０は、各誤差特徴１４に基づいて、入力顔画像１１の識別カテゴリ１５を決定する。

Description

顔画像分類方法、顔画像分類装置及び顔画像分類プログラム 技術分野
[0001] 本発明は、顔画像をカテゴリに分類する顔画像分類方法、顔画像分類装置及び顔 画像分類プログラムに関する。
背景技術
[0002] 顔画像に含まれる人物の属性に従って、顔画像を何らかのカテゴリに分類すること が行われている。例えば、性別、年齢別、顔輪郭形状別、頭骨形状別に顔画像を分 けることが行われている。この顔画像を分類する手法は、例えば、小売業等で用いる 顧客データ収集システムや、入国管理システム等のセキュリティシステムで用いられ る。また、顔画像を分類する手法は、例えば、ゲームセンタでエンターテイメントを提 供する場合や、携帯電話機用のアプリケーションを用いたエンターテイメントを提供 する場合に必要とされる。
[0003] 例えば、特許文献 1には、顔画像に含まれる人物の目の位置や大きさに基づいて、 顔画像を大人又は子供に分類する方法が記載されている。また、特許文献 2には、 顔画像に含まれる人物の目、鼻及び口の配置と顔の輪郭形状とに基づいて、顔画像 を「丸顔」、「面長」又は「四角」等の顔形状に分類する方法が記載されている。また、 特許文献 3には、複数の顔向きの画像を用いて三次元的な情報 (特徴ベクトル)も取 得し、取得した三次元的な情報を用いて性別や年代別に分類する方法が記載され ている。
特許文献 1：特開 2004 - 303150号公報（段落 0049— 0052、図 10)
特許文献 2 :特開 2004— 264893号公報（段落 0084— 0122、図 2、 020- 26) 特許文献 3：特開 2003 - 242486号公報（段落 0031 -0045, 01 - 5) 発明の開示
発明が解決しょうとする課題
[0004] 特許文献 1及び特許文献 2に記載された分類方法では、 2次元の顔特徴だけを用 いて顔画像を分類している。そのため、顔の奥行き方向等の特徴 (3次元の顔特徴） を利用して分類を行うことはできず、性別、年齢別又は頭骨形状別等に分類する場 合には、高い分類性能を達成することができない。また、特許文献 3に記載された分 類方法では、複数の顔向きの画像を用いているので、奥行き方向の情報も用いて顔 画像を分類することができる。そのため、性別、年齢別又は頭骨形状別等に分類す る場合であって、ある程度高い分類性能を達成することができる。しかし、複数の顔 向きの画像を必要とし、処理負担やコストが大きい。また、複数の顔向きの画像を必 要とするので、利用できる状況が制限されてしまう。
[0005] そこで、本発明は、顔画像に含まれる人物が属するカテゴリに顔画像を分類するこ とができ、顔画像のカテゴリ分類を 1つの画像だけを用いて行える顔画像分類方法、 顔画像分類装置及び顔画像分類プログラムを提供することを目的とする。また、本発 明は、顔の奥行き情報を反映させて顔画像のカテゴリ分類を行える顔画像分類方法 、顔画像分類装置及び顔画像分類プログラムを提供することを目的とする。
課題を解決するための手段
[0006] 本発明による顔画像分類方法は、顔画像を所定のカテゴリに分類する顔画像分類 方法であって、顔の奥行きと顔にあてられた照明による反射の具合とを示すデータで ある照明空間基底データをカテゴリ毎に予め蓄積された各照明空間基底データのう ち、いずれの照明空間基底データが処理対象の顔画像に対応するかを特定すること によって、処理対象の顔画像を！、ずれかのカテゴリに分類する顔画像分類ステップと を少なくとも含むことを特徴とする。
[0007] また、顔画像分類方法は、顔画像を所定のカテゴリに分類する顔画像分類方法で あって、顔の奥行きと顔にあてられた照明による反射の具合とを示すデータである照 明空間基底データを、カテゴリ毎に予め蓄積する照明空間基底蓄積ステップと、蓄 積した各照明空間基底データのうち、いずれの照明空間基底データが処理対象の 顔画像に対応するかを特定することによって、処理対象の顔画像を!ヽずれかのカテ ゴリに分類する顔画像分類ステップとを含むものであってもよ 、。
[0008] また、顔画像分類方法は、照明空間基底データに基づ 、て所定の特徴量 (例えば 、誤差特徴 14)を求める特徴算出ステップを含み、照明空間基底蓄積ステップで、力 テゴリを代表する顔に対応する照明空間基底データを、カテゴリ毎に予め蓄積し、特 徴算出ステップで、蓄積した各照明空間基底データに基づいて、処理対象の顔画像 に含まれる顔とカテゴリを代表する顔との差の特徴を示す特徴量をカテゴリ毎に求め 、顔画像分類ステップで、求めた各特徴量に基づいて、蓄積した各照明空間基底デ ータのうち、いずれの照明空間基底データが処理対象の顔画像に対応するかを特 定し、処理対象の顔画像を、特定した照明空間基底データに対応するカテゴリに分 類するものであってもよ 、。
[0009] また、顔画像分類方法は、処理対象の顔画像と蓄積した各照明空間基底データと に基づ!/、て、処理対象の顔画像に含まれる顔にあてられて ヽる照明の方向をカテゴ リ毎に推定する照明方向推定ステップを含み、特徴算出ステップで、蓄積した各照明 空間基底データ及び照明の方向の推定結果に基づいて、特徴量をカテゴリ毎に求 めるものであってもよい。
[0010] また、顔画像分類方法は、特徴算出ステップで、蓄積した各照明空間基底データと 推定した照明の方向とに基づいて、カテゴリを代表する顔に推定した方向から照明を あてた場合の推定顔画像をカテゴリ毎に作成し、特徴量として、処理対象の顔画像と 作成した推定顔画像との誤差 (例えば、誤差ノルム)をカテゴリ毎に求め、顔画像分 類ステップで、求めた各誤差のうちの最小となる誤差に対応する照明空間基底デー タを特定するものであってもよ 、。
[0011] また、顔画像分類方法は、照明方向推定ステップで、処理対象の顔画像に含まれ る顔にあてられている照明の方向の推定結果として、照明の強度及び方向を示す照 明ベクトル (例えば、照明強度ベクトル S)をカテゴリ毎に求め、特徴算出ステップで、 求めた照明ベクトルと蓄積した各照明空間基底データとの内積を求めることによって 、推定顔画像をカテゴリ毎に作成するものであってもよい。
[0012] また、顔画像分類方法は、照明空間基底蓄積ステップで、カテゴリを代表する顔と して、カテゴリに含まれる顔の平均顔、又はカテゴリに含まれる顔を主成分分析して 求めた主成分顔に対応する照明空間基底データを、カテゴリ毎に予め蓄積するもの であってもよい。
[0013] また、顔画像分類方法は、照明空間基底蓄積ステップで、顔の三次元形状と反射 率とを盛り込んだ照明空間基底データを、カテゴリ毎に予め蓄積するものであっても よい。
[0014] また、顔画像分類方法は、予めカテゴリが既知である顔画像に基づいて、所定の学 習モデルを作成する学習モデル作成ステップを含み、顔画像分類ステップで、作成 した学習モデルに基づ 、て、処理対象の顔画像を 、ずれかのカテゴリに分類するも のであってもよい。
[0015] また、顔画像分類方法は、学習モデル作成ステップで、ニューラルネットワークを用
V、て、学習モデルとして所定の重み係数を求めるものであってもよ 、。
[0016] また、顔画像分類方法は、学習モデル作成ステップで、サポートベクタマシンを用
V、て、学習モデルとしてサポートベクタを求めるものであってもよ!/、。
[0017] また、顔画像分類方法は、顔画像分類ステップで、学習モデルを作成する処理の 逆処理を行うことによって、蓄積した各照明空間基底データのうち、いずれの照明空 間基底データが処理対象の顔画像に対応するかを特定し、処理対象の顔画像を、 特定した照明空間基底データに対応するカテゴリに分類するものであってもよ 、。
[0018] 本発明による顔画像分類装置は、顔画像を所定のカテゴリに分類する顔画像分類 装置であって、顔の奥行きと顔にあてられた照明による反射の具合とを示すデータで ある照明空間基底データをカテゴリ毎に予め蓄積された各照明空間基底データのう ち、いずれの照明空間基底データが処理対象の顔画像に対応するかを特定すること によって、処理対象の顔画像を！、ずれかのカテゴリに分類する顔画像分類手段 (例 えば、カテゴリ識別手段 40によって実現される）を少なくとも備えたことを特徴とする。
[0019] また、顔画像分類装置は、顔画像を所定のカテゴリに分類する顔画像分類装置で あって、顔の奥行きと顔にあてられた照明による反射の具合とを示すデータである照 明空間基底データを、カテゴリ毎に予め蓄積する照明空間基底蓄積手段と、照明空 間基底蓄積手段が蓄積する各照明空間基底データのうち、いずれの照明空間基底 データが処理対象の顔画像に対応するかを特定することによって、処理対象の顔画 像を 、ずれかのカテゴリに分類する顔画像分類手段とを備えたものであってもよ 、。
[0020] また、顔画像分類装置は、照明空間基底データに基づいて所定の特徴量を求める 特徴算出手段 (例えば、誤差評価手段 3によって実現される）を備え、照明空間基底 蓄積手段は、カテゴリを代表する顔に対応する照明空間基底データを、カテゴリ毎に 予め蓄積し、特徴算出手段は、照明空間基底蓄積手段が蓄積する各照明空間基底 データに基づいて、処理対象の顔画像に含まれる顔とカテゴリを代表する顔との差の 特徴を示す特徴量をカテゴリ毎に求め、顔画像分類手段は、特徴算出手段が求め た各特徴量に基づいて、照明空間基底蓄積手段が蓄積する各照明空間基底データ のうち、いずれの照明空間基底データが処理対象の顔画像に対応するかを特定し、 処理対象の顔画像を、特定した照明空間基底データに対応するカテゴリに分類する ものであってもよい。
[0021] また、顔画像分類装置は、処理対象の顔画像と照明空間基底蓄積手段が蓄積す る各照明空間基底データとに基づいて、処理対象の顔画像に含まれる顔にあてられ ている照明の方向をカテゴリ毎に推定する照明方向推定手段を備え、特徴算出手段 は、照明空間基底蓄積手段が蓄積する各照明空間基底データ、及び照明方向推定 手段の推定結果に基づいて、特徴量をカテゴリ毎に求めるものであってもよい。
[0022] また、特徴算出手段は、照明空間基底蓄積手段が蓄積する各照明空間基底デー タと、照方向推定手段が推定した照明の方向とに基づいて、カテゴリを代表する顔に 推定した方向カゝら照明をあてた場合の推定顔画像をカテゴリ毎に作成し、特徴量とし て、処理対象の顔画像と作成した推定顔画像との誤差をカテゴリ毎に求め、顔画像 分類手段は、特徴算出手段が求めた各誤差のうちの最小となる誤差に対応する照 明空間基底データを特定するものであってもよ 、。
[0023] また、照明方向推定手段は、処理対象の顔画像に含まれる顔にあてられている照 明の方向の推定結果として、照明の強度及び方向を示す照明ベクトルをカテゴリ毎 に求め、特徴算出手段は、照明方向推定手段が求めた照明べ外ルと、照明空間基 底蓄積手段が蓄積する各照明空間基底データとの内積を求めることによって、推定 顔画像をカテゴリ毎に作成するものであってもよい。
[0024] また、照明空間基底蓄積手段は、カテゴリを代表する顔として、カテゴリに含まれる 顔の平均顔、又はカテゴリに含まれる顔を主成分分析して求めた主成分顔に対応す る照明空間基底データを、カテゴリ毎に予め蓄積するものであってもよい。
[0025] また、照明空間基底蓄積手段は、顔の三次元形状と反射率とを盛り込んだ照明空 間基底データを、カテゴリ毎に予め蓄積するものであってもよい。 [0026] また、顔画像分類装置は、予めカテゴリが既知である顔画像に基づいて、所定の学 習モデルを作成する学習モデル作成手段 (例えば、カテゴリ学習手段 50によって実 現される)を備え、顔画像分類手段は、学習モデル作成手段が作成した学習モデル に基づ!/、て、処理対象の顔画像を!、ずれかのカテゴリに分類するものであってもよ!/ヽ
[0027] また、顔画像分類手段は、学習モデルを作成する処理の逆処理を行うことによって 、照明空間基底蓄積手段が蓄積する各照明空間基底データのうち、いずれの照明 空間基底データが処理対象の顔画像に対応するかを特定し、処理対象の顔画像を 、特定した照明空間基底データに対応するカテゴリに分類するものであってもよい。
[0028] 本発明による顔画像分類プログラムは、顔画像を所定のカテゴリに分類するための 顔画像分類プログラムであって、カテゴリを代表する顔に対応する、顔の奥行きと顔 にあてられた照明による反射の具合とを示すデータである照明空間基底データを、 カテゴリ毎に予め蓄積する蓄積手段を備えたコンピュータに、蓄積手段が蓄積する 各照明空間基底データに基づいて、処理対象の顔画像に含まれる顔とカテゴリを代 表する顔との差の特徴を示す特徴量をカテゴリ毎に求める処理と、求めた各特徴量 に基づいて、蓄積手段が蓄積する各照明空間基底データのうち、いずれの照明空 間基底データが処理対象の顔画像に対応するかを特定する処理と、処理対象の顔 画像を、特定した照明空間基底データに対応するカテゴリに分類する処理とを実行 させることを特徴とする。
[0029] また、顔画像分類プログラムは、コンピュータに、予めカテゴリが既知である顔画像 に基づいて、所定の学習モデルを作成する処理と、学習モデルを作成する処理の逆 処理を行うことによって、蓄積手段が蓄積する各照明空間基底データのうち、いずれ の照明空間基底データが処理対象の顔画像に対応するかを特定する処理と、処理 対象の顔画像を、特定した照明空間基底データに対応するカテゴリに分類する処理 とを実行させるものであってもよ 、。
[0030] 本発明では、顔画像のカテゴリ分類を 1つの画像だけを用いて顔の奥行き情報を 反映させて行うために、照明空間基底と呼ばれる顔の照明の反射情報と顔の形状と を盛り込んだ情報を用いる。照明空間基底と顔画像とに基づいて照明べ外ルの推 定計算をできるので、推定により求められる誤差を利用することによって、顔の反射 情報 (肌の色情報を含む)と顔の形状とを利用した特徴量を用いることができる。
[0031] 具体的には、各カテゴリの代表的な顔 (平均顔や主成分顔)の照明空間基底を作る 。そして、入力顔画像と各カテゴリの照明空間基底とに基づいて、誤差最小法を用い て照明方向ベクトルの推定計算を行い、推定により求められる誤差を特徴量として用 いる。顔画像の対象人物が属すべきカテゴリの照明空間基底を用いて求めた誤差で あれば、他のカテゴリの顔より反射情報や形状が近いので、求めた誤差力 、さくなる 。従って、推定により求められる誤差をカテゴリ分類の特徴量に用いることは妥当であ り、求めた特徴量には顔の奥行き情報や顔の皮膚の照明反射率が反映されている。
[0032] また、本発明では、照明空間基底を事前に用意しておくことが可能であり、 1つの顔 画像だけを用いてカテゴリ分けできる。また、正面から撮影した顔画像（2次元の画像 )であっても、各カテゴリに対応する照明空間基底の中で最も近い照明空間基底を選 ぶことによって、近似的に顔の奥行き方向も推定できる。従って、顔の奥行き情報も 反映してカテゴリ分類を行うことができる。
[0033] また、本発明では、所属カテゴリの識別は、特徴量が最も小さいカテゴリに顔画像を 分類する直接的な方法を用いて、顔画像の所属カテゴリを識別する。また、本発明で は、それぞれのカテゴリに対する特徴量をまとめて 1つのベクトルを作成し、ニューラ ルネットワークやサポートベクタマシン等の学習器を用いて学習する。そして、学習モ デルを用いて顔画像の所属カテゴリを識別する。学習モデルを用いる場合、 2次元 特徴も特徴量ベクトルに加えることができるので、顔画像をカテゴリ分類する際の分 類性能をより高めることができる。
発明の効果
[0034] 本発明によれば、顔の肌の反射の具合や奥行き方向の形状を反映した照明空間 基底データを用いて顔画像をカテゴリに分類するので、顔の肌の反射の具合や奥行 き方向の形状を考慮して、顔画像をカテゴリに分類できる。また、顔の奥行き方向の 形状を反映した照明空間基底データを用いるので、カテゴリ分類対象の顔を複数の 方向から撮影した顔画像を用いなくても、 1つの顔画像だけを用いてカテゴリ分類を 行うことができる。従って、顔画像に含まれる人物が属するカテゴリに顔画像を分類 することができ、顔画像のカテゴリ分類を 1つの画像だけを用いて行うことができる。
[0035] 例えば、一般に、顔の反射の具合や顔の奥行き形状の特徴は、人物がどの人種に 属するかに大きく依存する。例えば、人種別に顔画像を分類する場合、各人種の代 表的な顔に基づいて作成した照明空間基底データをそれぞれ予め用意する。そして 、処理対象の顔画像に含まれる人物の顔の反射の具合や奥行き形状に最も近 、力 テゴリに、処理対象の顔画像を分類する。各照明空間基底データにはそれぞれ各人 種の顔の反射の具合や奥行き形状が反映されて 、るので、処理対象の顔画像に含 まれる人物の人種に対応するカテゴリに、顔画像を適切に分類することができる。
[0036] また、本発明によれば、処理対象の顔画像に含まれる顔とカテゴリを代表する顔と の差の特徴を示す特徴量を用いることによって、処理対象の顔画像に対応する照明 空間基底データを容易に特定することができ、処理対象の顔画像を適切なカテゴリ に分類することができる。
[0037] また、本発明によれば、照明空間基底データを用いて、処理対象の顔画像に含ま れている顔にあてられている照明の方向を推定 (照明べ外ルを計算)し、照明方向 を考慮して顔画像をカテゴリに分類する。そのため、照明変動がある場合であっても 、顔画像をカテゴリに分類できる。従って、照明の影響を吸収して、顔画像を適切に カテゴリに分類することができる。
[0038] また、本発明によれば、処理対象の顔画像と推定顔画像との誤差を特徴量として 用いて、最小となる誤差を特定することによって、処理対象の顔画像に対応する照明 空間基底データを容易に特定することができる。
[0039] また、本発明によれば、カテゴリを代表する顔として平均顔や主成分顔を用いるの で、カテゴリの標準的な顔に対応する照明空間基底データを用いて分類でき、より適 切に顔画像をカテゴリに分類できる。
[0040] また、本発明によれば、予め作成した学習モデルに基づいて、顔画像をカテゴリ〖こ 分類する。そのため、各カテゴリを代表する顔の誤差特徴の統計的情報を加味した 学習モデルを用いて、顔画像を分類することができる。従って、学習モデルを用いな い場合と比較して、統計的情報を加味することによって、より正確に顔画像のカテゴリ を識別することができる。 図面の簡単な説明
[0041] [図 1]本発明による顔画像分類方法を用いた顔画像分類装置の構成の一例を示す ブロック図である。
[図 2]顔画像分類装置が入力顔画像をカテゴリに分類する顔画像分類処理の一例を 示す流れ図である。
[図 3]誤差特徴とカテゴリとの関係を説明する説明図である。
[図 4]顔画像分類方法を用いた顔画像分類装置の他の構成例を示すブロック図であ る。
[図 5]顔画像分類装置が学習モデルを作成する処理の一例を示す流れ図である。
[図 6]顔画像分類装置が入力顔画像をカテゴリに分類する顔画像分類処理の他の例 を示す流れ図である。
[図 7]顔画像分類方法を用いた顔画像分類装置の更に他の構成例を示すブロック図 である。
[図 8]顔画像分類方法を用いた顔画像分類装置の更に他の構成例を示すブロック図 である。
[図 9]計算機がプログラムに従って入力顔画像をカテゴリに分類する顔画像分類処理 の一例を示す流れ図である。
[図 10]計算機がプログラムに従って学習モデルを作成する処理の一例を示す流れ図 である。
[図 11]計算機がプログラムに従って入力顔画像をカテゴリに分類する顔画像分類処 理の他の例を示す流れ図である。
符号の説明
[0042] 1 照明空間基底蓄積手段
2 照明方向推定手段
3 誤差評価手段
11 顔画像
12 照明空間基底
13 照明方向 14 誤差特徴
15 識另リカテゴリ
16 学習用誤差特徴
17 教師カテゴリ
18 学習モデル
40 カテゴリ識別手段
50 カテゴリ学習手段
60 学習モデル蓄積手段
発明を実施するための最良の形態
[0043] 実施の形態 1.
以下、本発明の第 1の実施の形態を図面を参照して説明する。図 1は、本発明によ る顔画像分類方法を用いた顔画像分類装置の構成の一例を示すブロック図である。 図 1に示すように、顔画像分類装置は、複数の照明空間基底蓄積手段 1 1〜1 n と、複数の照明方向推定手段 2— 1〜2— nと、複数の誤差評価手段 3— 1〜3— nと、 カテゴリ識別手段 40とを含む。なお、本実施の形態では、照明空間基底蓄積手段 1 1〜1 n、照明方向推定手段 2— 1〜2— n及び誤差評価手段 3— 1〜3— nを包 括的に表現する場合に、それぞれ照明空間基底蓄積手段 1、照明方向推定手段 2 及び誤差評価手段 3という。
[0044] 本実施の形態では、顔画像分類装置は、処理対象の顔画像を所定のカテゴリに分 類する。例えば、顔画像分類装置は、顔画像に含まれる人物の性別に応じて、顔画 像を「男」又は「女」のいずれかのカテゴリに分類する。また、例えば、顔画像分類装 置は、顔画像に含まれる人物の年齢に応じて、その人物の年齢に対応するカテゴリ に顔画像を分類する。また、例えば、顔画像分類装置は、顔画像に含まれる人物の 人種に応じて、顔画像を「コ一力ソイド」、「モンゴロイド」又は「ネグロイド」のいずれか のカテゴリに分類する。
[0045] 本実施の形態では、顔画像分類装置は、例えば、コンビ-エンスストア等の店舗で 顧客データを収集する際に、撮影した顧客の顔画像をカテゴリに分類する用途に用 いられる。また、顔画像分類装置は、例えば、入国管理を行う際に、入国者の顔画像 をカテゴリに分類する用途に用いられる。また、顔画像分類装置は、ゲームセンタで 撮影した顧客の顔画像や、携帯電話機用のアプリケーションを用いてエンターティメ ントを提供する際に撮影した顔画像を、カテゴリに分類する用途に用いられる。
[0046] 照明空間基底蓄積手段 1は、各カテゴリを代表する顔の照明空間基底を、カテゴリ 毎に予め蓄積する。「照明空間基底」とは、顔の 3次元形状と反射率とを盛り込んだ 情報量であり、顔の奥行きと顔にあてられた照明による反射の具合とを示すデータで ある。本実施の形態では、顔画像分類装置は、顔画像を分類するための所定のカテ ゴリを予め設定している。また、顔画像分類装置は、照明空間基底を生成する生成 手段（図示せず)を備え、各カテゴリを代表する顔 (既知のサンプルの顔)の照明空間 基底を予め生成している。そして、顔画像分類装置は、生成した照明空間基底を、 1 つずつ照明空間基底蓄積手段 1にそれぞれ蓄積している。
[0047] なお、 1つのカテゴリを代表する顔力^つである場合に限らず、顔画像分類装置は、 1つのカテゴリに対して複数の「カテゴリを代表する顔」を用いて照明空間基底を生成 し、照明空間基底蓄積手段 1に蓄積してもよい。この場合、顔画像分類装置は、 1つ のカテゴリに対して、対応する照明空間基底蓄積手段 1を複数備える。そして、顔画 像分類装置は、 1つのカテゴリに対して複数の照明空間基底を生成し、生成した各 照明空間基底を対応するカテゴリの照明空間基底蓄積手段 1にそれぞれ 1つずっ蓄 積する。
[0048] 照明方向推定手段 2は、入力顔画像と照明空間基底とに基づいて、カテゴリ毎に 照明方向を推定する機能を備える。本実施の形態では、照明方向推定手段 2は、顔 画像と照明空間基底とに基づいて、顔画像に含まれる顔にあてられている照明の強 度及び方向を示す照明強度ベクトルを生成する。なお、図 1に示すように、各照明方 向推定手段 2は、いずれかの照明空間基底蓄積手段 1に対応付けられており、対応 する照明空間基底蓄積手段 1から照明空間基底を抽出して照明方向を推定する。 例えば、照明方向推定手段 2— 1は、対応する照明空間基底蓄積手段 1 1から照 明空間基底を抽出し、抽出した照明空間基底に基づいて照明方向を推定する。
[0049] 誤差評価手段 3は、照明方向推定手段 2が推定した照明方向の誤差を評価する機 能を備える。本実施の形態では、誤差評価手段 3は、照明空間基底と照明強度べク トルとに基づいて、照明方向推定手段 2が推定した照明方向から、カテゴリを代表す る顔に照明をあてた場合を推定した顔画像である推定顔画像をカテゴリ毎に生成す る。そして、誤差評価手段 3は、入力顔画像と推定顔画像とに基づいて、入力顔画像 に含まれる顔とカテゴリを代表する顔との差の特徴を示す所定の特徴量をカテゴリ毎 に求める。本実施の形態では、誤差評価手段 3は、特徴量として、入力顔画像と生成 した推定顔画像との誤差を求める。例えば、誤差評価手段 3は、入力顔画像と推定 顔画像との所定の誤差ノルムを求める。
[0050] なお、図 1に示すように、各誤差評価手段 3は、いずれかの照明空間基底蓄積手段 1及び照明方向推定手段 2に対応付けられている。そして、誤差評価手段 3は、対応 する照明空間基底蓄積手段 1及び照明方向推定手段 2から、それぞれ照明空間基 底及び推定した照明方向を入力し、照明方向推定手段 2が推定した照明方向の誤 差を評価する。例えば、誤差評価手段 3— 1は、対応する照明空間基底蓄積手段 1 1から照明空間基底を入力し、対応する照明方向推定手段 2— 1から照明方向を 入力する。そして、誤差評価手段 3—1は、入力した照明空間基底及び照明方向に 基づいて、照明方向推定手段 2— 1が推定した照明方向の誤差を評価する。
[0051] カテゴリ識別手段 40は、各誤差評価手段 3が評価した誤差を特徴量として用いて、 所定の識別ルールに従って、入力顔画像が所属すべきカテゴリを識別する機能を備 える。すなわち、カテゴリ識別手段 40は、誤差評価手段 3が出力する誤差特徴に基 づいて、各照明空間基底蓄積手段 1が蓄積する照明空間基底のうち、いずれの照明 空間基底が入力顔画像に対応するかを特定する。そして、カテゴリ識別手段 40は、 入力顔画像を、特定した照明空間基底に対応するカテゴリに分類する。
[0052] 本実施の形態では、カテゴリ識別手段 40は、各誤差評価手段 3が求めた誤差ノル ムを比較し、最小となる誤差ノルムを特定する。そして、カテゴリ識別手段 40は、特定 した誤差ノルムに対応するカテゴリに入力顔画像を分類する。
[0053] 次に、動作について説明する。まず、顔画像分類装置が予め照明空間基底を生成 し、蓄積する動作を説明する。本実施の形態では、顔画像分類装置は、ユーザの操 作に従って予め m個のカテゴリを設定している。また、本実施の形態では、顔画像分 類装置は、以下に示す手順に従って、 n個 (n≥m)の照明空間基底蓄積手段 1に、 それぞれカテゴリを代表する顔の照明空間基底を蓄積する。
[0054] 顔画像分類装置が設定するカテゴリの数は、どのような種類のカテゴリを設定する 力によって決まる。例えば、顔画像分類装置が性別を示すカテゴリを設定した場合、 カテゴリの数は、「男」及び「女」の 2つになる。また、例えば、顔画像分類装置が年齢 を示すカテゴリを設定した場合、年齢を何年刻みに設定したかによつてカテゴリの数 が決まる。また、例えば、顔画像分類装置が人種を示すカテゴリを設定した場合、「コ 一力ソイド系」、「モンゴロイド系」、「ネグロイド系」 ' "のように、分類する人種の数によ つてカテゴリの数が定まる。
[0055] また、顔画像分類装置は、カテゴリ毎に、複数の「カテゴリを代表する顔」を用いて それぞれ照明空間基底を生成してもよい。「カテゴリを代表する顔」として選択する顔 は、カテゴリに実際に含まれる実在の人物の顔であってもよぐカテゴリに含まれる顔 の平均顔であってもよい。また、顔画像分析装置は、カテゴリに含まれる顔を主成分 分析し、分析の結果得られた上位主成分で作成した主成分顔等の人工的に作成し た顔を用いて、照明空間基底を生成してもよい。
[0056] 照明空間基底は、顔の 3次元形状と反射率とを盛り込んだ情報量であり、以下のよ うに求められる。顔画像の色及び輝度情報は顔の形状の反射によって決まるので、 逆に顔の位置及び姿勢が同じであれば、複数の照明を照射して撮影した顔画像を 用いることによって顔形状を推定することが可能になる。本実施の形態では、このよう な考え方に従って照明空間基底を生成する。
[0057] 照明空間基底のコンセプトは、顔の皮膚を完全散乱面と仮定したとき、顔画像の i番 目の画素の輝度値 を、式（1)を用いて表すことができると!/、うものである。
[0058] [数 1]
X^ a^ - s 式 （1 )
[0059] ここで、式（1)において、 αは、画素 iにおける拡散反射率である。また、ベクトル n
= (η , η , η )は、画素 iにおける法線ベクトルである。また、ベクトル s= (s , s , s )は、画素 iにおける照明強度及び照明方向を示す照明強度ベクトルである。
[0060] 式（1)において、照明の変化に関係のない拡散反射率 αと法線ベクトル ηとは物 体に不変な量であり、照明を変えたときに変動するのは照明強度ベクトル sだけであ る。そのため、ある特定の人物の顔にあてられている照明を変えたときに作成される 画像の輝度ベクトル x= {x.}は、 B= {B , B , B }及び B = {b , } =x, y, z)を 用いて、式（2)で表すことができる。
[0061] [数 2]
I = x \ X = B s = SxBx + SyBy + SzBz^s] 式 （2 )
[0062] ここで、式（2)にお!/ヽて、ベクトル bは、式（3)を用いて表される。
[0063] [数 3]
= (6 A, ，み ） 式 （3 )
[0064] 式（2)において、 Β= {Β , Β , Β }は、照明空間基底と呼ばれ、個々の顔に関する 固有の情報量になる。
[0065] 実際に照明空間基底を生成する場合、顔画像分類装置は、レンジファインダ等の 三次元形状取得装置を用いて、顔の奥行き方向（三次元形状)を示す距離画像を入 力する。また、顔画像分類装置は、入力した距離画像に基づいて、画素 iにおける法 線ベクトル η = (η , η , η )を計算する。また、顔画像分類装置は、画像の輝度 値を画素 iにおける拡散反射率 αとする。そして、顔画像分類装置は、求めた法線べ タトル ηと拡散反射率 αとに基づいて、式 (3)を用いて照明空間基底を計算する。ま た、顔画像分類装置は、求めた各照明空間基底を、それぞれ照明空間基底蓄積手 段 1に蓄積する。
[0066] なお、上記に示した照明空間基底の考え方は、例えば、文献「Peter N. Belhumeur , What Is the bet of Images of an Object Under All Possible Illumination Conditions ？", International Journal of Computer Vision, Vol. no.28, p245- 260, 1998)」に記載 されている。
[0067] 実用上では、顔画像分類装置は、各カテゴリのデータのスケールを統一するために 、各顔に含まれる両目の位置等を検出し、検出した両目が画像上の一定位置に配 置されるように、顔に含まれる両目の間の長さを拡大又は縮小する。 [0068] また、平均顔を用いて照明空間基底を生成する場合、顔画像分類装置は、各顔の 距離画像を用いて平均顔を求め、求めた平均顔に基づいて法線ベクトル nを求める 。また、顔画像分類装置は、各顔の 3次元データのテクスチャに基づいて拡散反射 率 αを求める。そして、顔画像分類装置は、求めた法線ベクトル η及び拡散反射率 aに基づいて、式 (3)を用いて照明空間基底を求める。
[0069] また、主成分分析顔を用いて照明空間基底を生成する場合、顔画像分類装置は、 各顔の距離画像を用いて主成分顔を求め、求めた主成分顔に基づいて法線べタト ル nを求める。また、顔画像分類装置は、各顔の 3次元データのテクスチャに基づい て拡散反射率 αを求める。そして、顔画像分類装置は、求めた法線ベクトル η及び 拡散反射率 αに基づいて、式 (3)を用いて照明空間基底を求める。
[0070] 次に、顔画像分類装置が入力顔画像をカテゴリに分類する動作を説明する。図 2 は、顔画像分類装置が入力顔画像をカテゴリに分類する顔画像分類処理の一例を 示す流れ図である。
[0071] 各照明方向推定手段 2は、カテゴリ分類の処理対象の入力顔画像 11を入力する（ ステップ S101)。例えば、各照明方向推定手段 2は、ユーザの指示操作に従って、 カテゴリ分類対象の入力顔画像 11を入力する。また、入力顔画像 11を入力すると、 各照明方向推定手段 2は、各照明空間基底蓄積手段 1から、それぞれ対応する照明 空間基底データ (照明空間基底)を入力する (ステップ S 102)。
[0072] 各照明方向推定手段 2は、顔画像 11と、各照明空間基底蓄積手段 1が蓄積する照 明空間基底 12— 1〜12— nとに基づいて、照明方向 13— 1〜13— nを推定する (ス テツプ S103)。以下、照明空間基底 12— 1〜12— n及び照明方向 13— 1〜13— n を包括的に表現する場合に、それぞれ照明空間基底 12及び照明方向 13という。本 実施の形態では、各照明方向推定手段 2は、入力顔画像 11と各照明空間基底 12と に基づいて、それぞれ照明強度ベクトル sを求めることによって、照明方向 13を推定 する。
[0073] ここで、顔画像 11は、各画素の輝度値を縦に一列に並べた画像サイズ (すなわち、
(画像縦サイズ） X (画像縦サイズ)）次元の列ベクトル x= {x }であるとする。また、顔 画像に対応する照明空間基底 12は、（画像サイズ X 3)次元の行列である照明空間 基底行列 B= [B , B , B ] (B , B , Bは、それぞれは画像サイズ次元の列ベクトル） であるとする。また、照明方向 13は、照明の強度と方向とを示すベクトル s = (s , s , s
)であるとする。この場合、ベクトル χ= {χ }と B= [B , B , B ]とがそれぞれ同一人物 に対するデータであり、顔の反射特性が理想的な状態 (例えば、顔の皮膚が完全散 乱面である状態)であるとすると、式（2)の関係がそのまま成り立つことになる。
[0074] しかし、入力顔画像 11のベクトル x= {x }と照明空間基底 B= [B , B , B ]とは、同 一人物に対するデータであるとは限らない。また、顔の反射特性が理想的な状態で なかったり、その他の様々な要因によって、式（2)は通常成立しないことが多い。
[0075] ここで、式 (2)は、未知数が 3であり、方程式数が画像サイズ数である連立方程式と なる。そのため、ベクトル x= {x }と B= [B , B , B ]とが与えられると、照明方向推定 手段 2は、所定の誤差ノルム Error ( の最小化を行うことによって、照明強度べタト ル3 = (s , s , s )を推定することができる。例えば、誤差ノルムとして 2乗ノルムを用い るとすると、照明方向推定手段 2は、誤差ノルムを式 (4)を用いて求める。
[0076] [数 4] hrror{U∑) = \x- Bs 0 式 （4 )
[0077] 各照明方向推定手段 2は、求めた 2乗ノルムを用いて、最小 2乗誤差推定を行うこと によって、照明強度ベクトル s = (s , s , s )を推定することができる。また、各照明方 向推定手段 2は、推定して求めた照明強度ベクトル s= (s , s , s )を、照明方向 13と してそれぞれ誤差評価手段 3に出力する。
[0078] 各誤差評価手段 3は、照明空間基底 Bと、照明方向推定手段 2が求めた照明強度 ベクトル sとの内積 Bs (sはベクトル）を求める。また、各誤差評価手段 3は、ベクトル Xと 内積 （sはベクトル）との差を、所定の誤差ノルム Error ( を用いて計算する (ステ ップ S 104)。この場合、各誤差評価手段 3は、例えば、誤差ノルムとして、照明方向 推定手段 2がベクトル s= (s , s , s )の推定に用いた誤差ノルムと同じ種類のノルム を計算してもよい。また、各誤差評価手段 3は、例えば、照明方向推定手段 2が用い た誤差ノルムと必ずしも同じノルムを用いる必要はなく、異なる種類の誤差ノルムを計 算してちよい。 [0079] 例えば、照明方向推定手段 2が式 (5)に示すノルムを用いて照明方向を推定した 場合であっても、誤差評価手段 3は、式 (6)に示すように、誤差ノルムとして絶対値ノ ルムを計算してもよい。
[0080] [数 5]
Error(L ) = x 式 ( 5 )
Figure imgf000019_0001
[0081] [数 6] 式 ( 6 )
Figure imgf000019_0002
[0082] また、各誤差評価手段 3は、求めた誤差ノルムを、誤差特徴 14— 1〜14— nとして カテゴリ識別手段 40に出力する。以下、誤差特徴 14— 1〜14— nを包括的に表現 する場合に、単に誤差特徴 14という。
[0083] 誤差評価手段 3が求める誤差ノルムは、以下に示す理由によって、カテゴリ識別の 特徴量として有用である。照明方向推定手段 2が推定する照明強度ベクトル s= (s , s , s )は、各人物の顔画像ベクトル x= {x }と、カテゴリを代表する顔の照明空間基 底 B= [B , B , B ]とに基づいて求めたものである。そのため、推定結果の照明強度 ベクトル Sは、必ずしも正確な照明の強度と方向とを表すものとなっているとは限らな い。
[0084] ここで、照明方向推定手段 2が誤差ノルムの最小化により求めた照明強度ベクトル s
= (s , s , s )の推定誤差について、カテゴリの違いによる要因力 他の要因（例えば
、顔の反射特性による要因)よりも大きく寄与しているとする。この場合、入力顔画像 のベクトル x= {x }と、その入力顔画像に含まれる顔が属すべきカテゴリに対応する 照明空間基底 B= [B , B , B ]とに基づいて、照明強度ベクトル sを求めたとすると、 誤差評価手段 3が求めた誤差ノルム Error ( は小さくなる。また、入力顔画像に含ま れる顔が本来属すべきカテゴリではないが、本来属すべきカテゴリに近いカテゴリの 照明空間基底 Bに基づいて照明強度ベクトル sを求めたとすると、本来属すべきカテ ゴリを用いた場合よりも誤差ノルムがやや大きくなる。また、本来属すべきカテゴリから 遠 、カテゴリの照明空間基底 Bに基づ 、て照明強度べクトル sを求めたとすると、本 来属すべきカテゴリを用いた場合よりも誤差ノルムが更に大きくなる。
[0085] 図 3は、誤差特徴とカテゴリとの関係を説明する説明図である。図 3において、カテ ゴリ 1は、入力顔画像 11が本来属すべきカテゴリである。図 3に示すように、本来属す べきカテゴリ 1の照明空間基底 Bを用いたとすると、誤差ノルム 101が小さくなる。一 方、カテゴリ 1に近いカテゴリ 2の照明空間基底を用いたとすると、誤差ノルム 102が やや大きくなる。また、カテゴリ 1から遠いカテゴリ 3の照明空間基底 Bを用いたとする と、誤差ノルム 103が更に大きくなる。
[0086] このように、誤差ノルムの最小化によって小さな誤差を抑えることから、カテゴリ間の 差より小さい影響 (例えば、同じカテゴリ内における個人差による影響)は、照明方向 推定時の誤差最小化によって目立たなくなる。このことは、誤差ノルムを用いることが カテゴリ判別を行う際に有利に働くことを意味し、誤差ノルムカ Sカテゴリ分類の際の優 れた特徴量になることを示す。図 3に示す例では、誤差ノルムの最小化による照明推 定で推定される顔の領域（図 3に示す点線の円）が、各カテゴリの領域（図 3に示す実 線の楕円）よりも十分小さいとき、誤差ノルムによる個人の同定が可能になる。
[0087] 更に、上記のように照明空間基底は、顔の 3次元形状と反射率とを盛り込んだ情報 量であるので、 3次元の奥行き方向も含んだ特徴量になる。図 3に示すように、照明 空間基底を用いることは、誤差ノルムの最小制約の中で入力顔画像に最も近い顔画 像を作成して分類することと等価であるので、入力顔画像とカテゴリ代表顔画像とを 直接比較してカテゴリ分類する場合と比較して、より正確な分類を行うことができる。
[0088] カテゴリ識別手段 40は、各誤差評価手段 3が出力する誤差特徴 14を用いて、入力 顔画像 11のカテゴリ 15を識別する (ステップ S 105)。そして、カテゴリ識別手段 40は 、識別した識別カテゴリ 15を出力する。
[0089] ステップ S105において、テゴリ識別手段 40は、予め定めたルールに従って、顔画 像 11のカテゴリを識別する。例えば、カテゴリ識別手段 40は、各誤差評価手段 3が 出力する誤差特徴 14に基づいて、誤差特徴 14が最も小さいカテゴリ代表の所属す るカテゴリを選択する。この誤差特徴が最も小さいカテゴリを選択する方法は、各カテ ゴリがカテゴリ代表中心にコンパクトに集中するときや、 1つのカテゴリについて複数 のカテゴリ代表に対する照明空間基底を用いることが可能であるときに有効である。 [0090] 一方、カテゴリが広範囲である場合や複数のカテゴリ代表を用いることが不可能な 場合には、カテゴリ間に何らかの相関関係があることがある。この場合、カテゴリ識別 手段 40は、誤差特徴 14が最も小さいカテゴリを選択するのでなぐ 2番目以降に小さ いカテゴリ代表に対応するカテゴリを選択してもよい。また、カテゴリ識別手段 40は、 誤差特徴 14の値だけを用いてカテゴリ分類するのでなぐ誤差特徴 14の差等も用い てカテゴリ分類してもよい。
[0091] また、例えば、カテゴリ 1がカテゴリ 3よりカテゴリ 4に近ぐカテゴリ 2がカテゴリ 3より力 テゴリ 4に近いという関係が既知であるとする。この場合、カテゴリ識別手段 40は、力 テゴリ 1とカテゴリ 2との誤差特徴 14が同程度で最も小さぐカテゴリ 3の誤差特徴 14 力 Sカテゴリ 4の誤差特徴 14より小さ 、とすると、カテゴリ 1を選択してもよ!/、。
[0092] 以上のように、本実施の形態によれば、顔画像分類装置は、顔の反射の具合や奥 行き方向の形状を反映した照明空間基底 12を用いて、入力顔画像 11をカテゴリに 分類する。そのため、顔の反射の具合や奥行き方向の形状を考慮して、入力顔画像 11をカテゴリに分類することができる。また、顔の奥行き方向の形状を反映した照明 空間基底 12を用いるので、カテゴリ分類対象の顔を複数の方向から撮影した顔画像 を用いなくても、 1つの入力顔画像 11だけを用いてカテゴリ分類を行うことができる。 従って、顔画像に含まれる人物が属するカテゴリに顔画像を分類することができ、顔 画像のカテゴリ分類を 1つの画像だけを用いて行えるようにすることができる。
[0093] また、本実施の形態によれば、顔画像分類装置は、照明空間基底 12を用いて、処 理対象の入力顔画像 11に含まれて ヽる顔にあてられて ヽる照明方向 13を推定する 。そして、顔画像分類装置は、照明方向 13を考慮して入力顔画像 11をカテゴリに分 類する。そのため、照明変動がある場合であっても、顔画像をカテゴリに分類できる。 従って、照明の影響を吸収して、顔画像を適切にカテゴリに分類することができる。
[0094] 実施の形態 2.
次に、本発明の第 2の実施の形態を図面を参照して説明する。図 4は、顔画像分類 方法を用いた顔画像分類装置の他の構成例を示すブロック図である。本実施の形態 では、図 4に示すように、顔画像分類装置は、第 1の実施の形態で示した構成要素に 加えて、カテゴリ学習手段 50及び学習モデル蓄積手段 60を含む。また、本実施の 形態では、カテゴリ識別手段 40Aの機能が、第 1の実施の形態で示したカテゴリ識別 手段 40の機能と異なる。
[0095] カテゴリ学習手段 50は、予めカテゴリが既知である顔画像 (以下、学習用顔画像と もいう）に基づいて、所定の学習器 (学習アルゴリズム）を用いて、所定の学習モデル を生成する機能を備える。例えば、カテゴリ学習手段 50は、学習器として-ユーラル ネットワークを用いて、学習モデルを生成する。この場合、カテゴリ学習手段 50は、学 習モデルとして、学習ユニットの所定の重み係数を求める。また、例えば、カテゴリ学 習手段 50は、学習器としてサポートベクタマシンを用いて、学習モデルを生成する。 この場合、カテゴリ学習手段 50は、学習モデルとして、サポートベクタと呼ばれる識別 境界を作成するためのベクトルを求める。また、学習モデル蓄積手段 60は、カテゴリ 学習手段 50が生成した学習モデルを蓄積する。
[0096] なお、上記に示した-ユーラルネットワークやサポートベクタマシン等の学習アルゴ リズムは、例えば、文献「R.O.Duda, P.E.Hart, D.G.Stork原著，尾上守夫監訳， "パ ターン識別"，新技術コミュニケーションズ」に記載されている。
[0097] また、カテゴリ学習手段 50は、学習用顔画像が入力される毎に、繰り返し学習モデ ルを生成し、学習モデル蓄積手段 60が蓄積する学習モデルを更新させる。すなわち 、顔画像分類装置は、学習用顔画像を入力する毎に繰り返し学習を行い、蓄積する 学習モデルを更新している。顔画像分類装置は、ある程度繰り返し学習を行うことに よって、より正確な学習モデルを生成し蓄積することができる。
[0098] カテゴリ識別手段 40Aは、学習モデル蓄積手段 60が蓄積する学習モデルを用い て、所定の識別器 (識別アルゴリズム)を用いて、入力顔画像が所属すべきカテゴリを 識別する機能を備える。本実施の形態では、カテゴリ識別手段 40Aは、学習モデル と各誤差評価手段 3が求めた誤差特徴 14とを用いて、カテゴリ学習手段 50が行う学 習処理の逆処理を行うことによって、入力顔画像をカテゴリに分類する。例えば、カテ ゴリ識別手段 40Aは、識別器として-ユーラルネットワークを用いて、学習処理の逆 処理を行うことによって、入力画像のカテゴリを識別する。また、例えば、カテゴリ識別 手段 40Aは、識別器としてサポートベクタマシンを用いて、学習処理の逆処理を行う こと〖こよって、入力画像のカテゴリを識別する。 [0099] なお、本実施の形態において、各照明空間基底蓄積手段 1、各照明方向推定手段 2及び各誤差評価手段 3の機能は、第 1の実施の形態で示したそれらの機能と同様 である。
[0100] 次に、動作について説明する。本実施の形態では、顔画像分類装置は、カテゴリの 識別に学習モデルを用いる。本実施の形態では、図 4に示すように、カテゴリが既知 である顔画像 (学習用顔画像）に対して、カテゴリ識別手段 40Aは、学習用顔画像に 対応するカテゴリである教師カテゴリ 16を入力し、学習モデル 17を予め作成している 。また、カテゴリが未知である顔画像 (カテゴリ分類対象の顔画像)が入力されると、力 テゴリ識別手段 40Aは、学習モデル蓄積手段 50が蓄積する学習モデル 17を用いて 、入力顔画像 11のカテゴリを識別する。
[0101] まず、予め既知の学習用顔画像に基づいて学習モデルを生成する学習プロセスの 動作を説明する。学習プロセスでは、顔画像分類装置は、予めカテゴリが既知の顔 画像に対して、各照明方向推定手段 2及び各誤差評価手段 3を用いて、学習用の誤 差特徴 16— 1〜16— nをそれぞれ求める。以下、学習用の誤差特徴 16— 1〜16— nを包括的に表現する場合に、単に学習用誤差特徴 16という。また、顔画像分類装 置は、求めた各学習用誤差特徴 16を、所定の学習器を搭載したカテゴリ学習手段 5 0を用いて、既知のカテゴリを教師カテゴリ 17として学習する。例えば、顔画像分類装 置は、ニューラルネットワークやサポートベクタマシンに代表される学習器を用いて学 習する。そして、顔画像分類装置は、求めた学習モデル 18を学習モデル蓄積手段 6 0に蓄積する。
[0102] 図 5は、顔画像分類装置が学習モデルを作成する処理の一例を示す流れ図である 。各照明方向推定手段 2は、カテゴリが既知である学習用の入力顔画像 (学習用顔 画像)を入力する (ステップ S201)。例えば、各照明方向推定手段 2は、ユーザの指 示操作に従って、学習用顔画像を入力する。また、学習用顔画像を入力すると、各 照明方向推定手段 2は、各照明空間基底蓄積手段 1から、それぞれ対応する照明空 間基底データ (照明空間基底)を入力する (ステップ S 202)。
[0103] 各照明方向推定手段 2は、学習用顔画像と、各照明空間基底蓄積手段 1が蓄積す る照明空間基底 12とに基づいて、学習用顔画像に含まれる顔にあてられている照明 の照明方向（照明強度ベクトル） 13を推定する (ステップ S203)。なお、各照明方向 推定手段 2が照明方向 13を推定する処理は、第 1の実施の形態におけるステップ S 103の処理と同様である。
[0104] カテゴリ学習手段 50は、学習用顔画像に対応するカテゴリ（教師カテゴリ） 17を入 力する。例えば、カテゴリ学習手段 50は、ユーザの指示操作に従って、教師カテゴリ 17を入力する。教師カテゴリ 17を入力すると、カテゴリ学習手段 50は、入力した教師 カテゴリ 17と各誤差評価手段 3が出力する学習用誤差特徴 16とを用いて学習を行 い、学習モデル 18を生成する（ステップ S205)。そして、カテゴリ学習手段 50は、生 成した学習モデル 18を学習モデル蓄積手段 60に蓄積させる。
[0105] 例えば、学習器として-ユーラルネットワークを用いる場合、カテゴリ学習手段 50は 、教師カテゴリ 17と各学習用誤差特徴 16とを用いて、学習モデル 18として学習ュニ ットの所定の重み係数を求める。学習器として-ユーラルネットワークを用いる場合、 学習モデル 18は、入力ユニットから中間ユニット及び中間ユニットから出力ユニットへ の加重和の重みに相当する。この場合、カテゴリ学習手段 50は、バックプロパゲーシ ヨン等の手法を用いた学習を行い、学習ユニットの重み係数を求める。
[0106] また、例えば、学習器としてサポートベクタマシンを用いる場合、カテゴリ学習手段 5 0は、教師カテゴリ 17と学習用誤差特徴 16とを用いて、学習モデル 18としてサポート ベクタを求める。
[0107] 顔画像分類装置は、全ての学習用顔画像について学習を行った力否かを判断す る (ステップ S206)。全ての学習用顔画像について学習を完了したと判断すると、顔 画像分類装置は、処理を終了する。また、学習すべき学習用顔画像が存在すると判 断すると、顔画像分類装置は、ステップ S201からステップ S206までの処理を繰り返 し実行し、各カテゴリの学習モデル 18を生成して学習モデル蓄積手段 60に蓄積す る。なお、顔画像分類装置は、同じカテゴリに対応する複数の学習用顔画像につい て繰り返し学習を行うことによって、学習モデル蓄積手段 60が蓄積する学習モデル 1 8を順次更新する。
[0108] 次に、カテゴリ分類対象の入力顔画像 11をカテゴリに分類する識別プロセスの動 作を説明する。識別プロセスでは、顔画像分類装置は、各照明方向推定手段 2及び 各誤差評価手段 3を用いて、識別用の誤差特徴 14をそれぞれ求める。また、顔画像 分類装置は、求めた各誤差特徴 14を特徴量として、学習モデル蓄積手段 60が蓄積 する学習モデル 18に基づ 、て、カテゴリ識別手段 40を用いて識別カテゴリ 15を求め る。
[0109] 図 6は、顔画像分類装置が入力顔画像をカテゴリに分類する顔画像分類処理の他 の例を示す流れ図である。図 6において、ステップ S301からステップ S304までの処 理は、第 1の実施の形態におけるステップ S101からステップ S104までの処理と同様 である。
[0110] 各誤差評価手段 3が誤差特徴 14を出力すると、カテゴリ識別手段 40Aは、各誤差 特徴 14と、学習モデル蓄積手段 60が蓄積する学習モデル 18とを用いて、入力顔画 像 11のカテゴリを識別する (ステップ S305)。この場合、カテゴリ識別手段 40Aは、 所定の識別器を用いて、カテゴリ学習手段 50が行う学習処理の逆処理を行うことに よって、入力顔画像 11のカテゴリを識別する。そして、カテゴリ識別手段 40Aは、識 別した識別カテゴリ 15を出力する。
[0111] なお、サポートベクタマシン等の 2分類問題を想定した学習器を用いる場合、まず、 カテゴリ識別手段 40Aは、入力顔画像 11が、カテゴリ 1と、カテゴリ 1以外のカテゴリと のいずれに属するかを分類する。カテゴリ 1に属すると判断すると、カテゴリ識別手段 40Aは、入力顔画像 11をカテゴリ 1に分類する。カテゴリ 1以外に属すると判断すると 、カテゴリ識別手段 40は、入力顔画像 11が、カテゴリ 2と、カテゴリ 2以外のカテゴリと のいずれに属するかを判断する。このように、カテゴリ識別手段 40Aは、 2分類問題 による処理を繰り返し実行することによって、入力顔画像 11をいずれかのカテゴリに 分類する。
[0112] 以上のように、本実施の形態によれば、予め所定の学習モデル 18を作成し、学習 モデル 18に基づいて顔画像をいずれかのカテゴリに分類する。そのため、各カテゴリ を代表する顔の誤差特徴の統計的情報を加味した学習モデルを用いて、顔画像を 分類することができる。従って、学習モデルを用いない場合と比較して、統計的情報 をカロ味することによって、より正確に顔画像のカテゴリを識別することができる。
[0113] なお、学習モデル 18を用いる場合、各誤差評価手段 3は、特徴量として、誤差特徴 14や学習用誤差特徴 16に加えて、顔特徴部画素の色や輝度値の差等の 2次元の 顔特徴量を出力してもよい。この場合、例えば、各誤差評価手段 3は、誤差特徴 14 や学習用誤差特徴 16のベクトルと色や輝度のベクトルとを連結した連結ベクトルを出 力する。そして、カテゴリ学習手段 50は、各誤差評価手段 3が出力する連結ベクトル を用いて学習モデル 18を生成する。また、カテゴリ識別手段 40Aは、各誤差評価手 段 3が出力する連結ベクトルを用いて、入力顔画像 11のカテゴリを識別する。
[0114] 実施の形態 3.
次に、本発明の第 3の実施の形態を図面を参照して説明する。図 7は、顔画像分類 方法を用いた顔画像分類装置の更に他の構成例を示すブロック図である。本実施の 形態では、図 7に示すように、顔画像分類装置は、照明空間基底蓄積装置 10aと、照 明方向推定装置 20aと、誤差評価装置 30aと、カテゴリ識別装置 40aとを含む。なお 、本実施の形態は、第 1の実施の形態で示した顔画像分類方法を用いた顔画像分 類装置の各構成要素を具体的に装置化したものに相当する。
[0115] 照明空間基底蓄積装置 10aは、第 1の実施の形態で示した各照明空間基底蓄積 手段 1を装置化したものである。図 7に示すように、照明空間基底蓄積装置 10aは、メ モリやハードディスク装置等の複数のストレージ装置 10b— l〜10b—nによって実現 される。各ストレージ装置 10b— 1〜： LOb— nは、第 1の実施の形態で示した各照明 空間基底蓄積手段 1と同様に、予め照明空間基底データを蓄積する。
[0116] 照明方向推定装置 20aは、第 1の実施の形態で示した各照明方向推定手段 2を装 置化したものである。図 7に示すように、照明方向推定装置 20aは、複数のストレージ 装置 20b— l〜20b— nと、複数の演算装置 20c— l〜20c— nとを含む。各ストレー ジ装置201)—1〜201)—11は、具体的には、高速アクセスが可能な DRAM等の記憶 装置である。各ストレージ装置 20b— l〜20b— nは、外部から入力した顔画像フアイ ルと、照明空間基底蓄積装置 10aからの照明空間基底データファイルとを一時的に 蓄積する。
[0117] 各演算装置 20c— l〜20c— nは、具体的には、 CPU等の装置である。各演算装 置 20c— l〜20c— nは、各ストレージ装置 20b— l〜20b—nが蓄積する蓄積データ にアクセスし、第 1の実施の形態で示した各照明方向推定手段 2と同様に、誤差ノル ム Error( ')を最小にする照明強度ベクトル s= (s , s , s )の推定計算を行う。
X y z
[0118] 誤差評価装置 30aは、第 1の実施の形態で示した各誤差評価手段 3を装置化した ものである。図 7に示すように、誤差評価装置 30aは、複数のストレージ装置 30b— 1 〜30b— nと、複数の演算装置 30c— l〜30c— nとを含む。各ストレージ装置 30b— 1〜30— nは、具体的には、高速アクセスが可能な DRAM等の記憶装置である。各 ストレージ装置 30b— l〜30b— nは、入力した顔画像ファイル、照明空間基底デー タファイル、及び照明方向推定装置 20aが推定した照明方向ベクトル s= (s , s , s ) x y z を一時的に蓄積する。
[0119] 各演算装置 30c— l〜30c— nは、具体的には、 CPU等の装置である。各演算装 置 30c— l〜30c— nは、各ストレージ装置 30b— l〜30b—nが蓄積する蓄積データ にアクセスし、第 1の実施の形態で示した各誤差評価手段 3と同様に、ベクトル Xと内 積 （sはベクトル）との差を所定の誤差ノルム Error ( を用いて計算する。
[0120] カテゴリ識別装置 40aは、第 1の実施の形態で示したカテゴリ識別手段 40を装置化 したものである。図 7に示すように、カテゴリ識別装置 40aは、ストレージ装置 40bと、 演算装置 40cとを含む。ストレージ装置 40bは、具体的には、 DRAM等の記憶装置 である。ストレージ装置 40bは、誤差評価装置 30aが計算した誤差ノルムデータ (誤 差特徴)、及びカテゴリ識別を行うための識別処理データを蓄積する。なお、ストレー ジ装置 40bは、識別処理データとして、学習を行わずにカテゴリ識別を行うための固 定のプログラムデータを記憶する。
[0121] 演算装置 40cは、具体的には、 CPU等の装置である。演算装置 40cは、第 1の実 施の形態で示したカテゴリ識別手段 40と同様に、入力顔画像をカテゴリに分類する 識別計算処理を行う。
[0122] 実施の形態 4.
次に、本発明の第 4の実施の形態を図面を参照して説明する。図 8は、顔画像分類 方法を用いた顔画像分類装置の更に他の構成例を示すブロック図である。本実施の 形態では、図 8に示すように、顔画像分類装置は、第 3の実施の形態で示した構成要 素に加えて、カテゴリ学習装置 50a及び学習モデル蓄積装置 60aを含む。また、本 実施の形態では、カテゴリ識別装置 40dの機能が、第 3の実施の形態で示したカテゴ リ識別装置 40aの機能と異なる。なお、本実施の形態は、第 2の実施の形態で示した 顔画像分類方法を用いた顔画像分類装置の各構成要素を具体的に装置化したもの に相当する。
[0123] 本実施の形態において、照明空間基底蓄積装置 10a、照明方向推定装置 20a及 び誤差評価装置 30aの機能は、第 3の実施の形態で示したそれらの機能と同様であ る。
[0124] カテゴリ学習装置 50aは、第 2の実施の形態で示したカテゴリ学習手段 50を装置化 したものである。図 8に示すように、カテゴリ学習装置 50aは、ストレージ装置 50bと、 演算装置 50cとを含む。ストレージ装置 50bは、具体的には、メモリゃノヽードディスク 装置等の記憶装置である。ストレージ装置 50bは、誤差評価装置 30aが計算した誤 差ノルムデータ (誤差特徴)、及び教師カテゴリデータを一時蓄積する。
[0125] 演算装置 50cは、具体的には、 CPU等の装置である。演算装置 50cは、第 2の実 施の形態で示したカテゴリ学習手段 50と同様に、所定の学習器を用いて学習モデ ルを生成する学習計算処理を行う。
[0126] 学習モデル蓄積装置 60aは、第 2の実施の形態で示した学習モデル蓄積手段 60 を装置化したものである。図 8に示すように、学習モデル蓄積装置 60aは、メモリゃハ ードディスク装置等のストレージ装置 60bによって実現される。学習モデル蓄積装置 60aは、第 2の実施の形態で示した学習モデル蓄積手段 60と同様に、カテゴリ学習 装置 50aが計算によって求めた学習モデルデータを蓄積する。
[0127] カテゴリ識別装置 40dは、第 2の実施の形態で示したカテゴリ識別手段 40Aを装置 化したものである。図 8に示すように、カテゴリ識別装置 40dは、演算装置 40fと、スト レージ装置 40eとを含む。演算装置 40fは、具体的には、 CPU等の装置である。演 算装置 40fは、誤差評価装置 30aが計算した誤差ノルムデータ (誤差特徴)と、学習 モデル蓄積装置 60aが蓄積する学習モデルとを用いて、第 2の実施の形態で示した カテゴリ識別手段 40Aと同様に、入力顔画像をカテゴリに分類する識別計算処理を 行う。
[0128] ストレージ装置 40eは、具体的には、 DRAM等の記憶装置である。ストレージ装置 40eは、誤差評価装置 30aが求めた各誤差特徴、及び学習モデル蓄積装置 60aか らの学習モデルデータを一時記憶する。また、ストレージ装置 40eは、演算装置 40f の処理結果である識別カテゴリを含む識別処理データを蓄積する。
[0129] 実施の形態 5.
次に、本発明の第 5の実施の形態を図面を参照して説明する。本実施の形態では 、第 1の実施の形態で示した顔画像分類方法による各処理を実行するための顔画像 分類プログラムを、計算機上で実行可能なプログラムとして構成する。また、本実施 の形態では、顔画像分類プログラムを計算機で読み取り可能な情報記憶媒体 (例え ば、 CD-ROM)に格納する。
[0130] 本実施の形態では、情報記憶媒体は、例えば、コンピュータに、蓄積手段が蓄積 する各照明空間基底データに基づいて、処理対象の顔画像に含まれる顔とカテゴリ を代表する顔との差の特徴を示す特徴量をカテゴリ毎に求める処理と、求めた各特 徴量に基づいて、蓄積手段が蓄積する各照明空間基底データのうち、いずれの照 明空間基底データが処理対象の顔画像に対応するかを特定する処理と、処理対象 の顔画像を、特定した照明空間基底データに対応するカテゴリに分類する処理とを 実行させるための顔画像分類プログラムを記憶している。そして、計算機は、情報記 録媒体力 プログラムを読み込み、読み込んだプログラムに従って、第 1の実施の形 態で示した顔画像を分類する処理を実行する。
[0131] 次に、動作について説明する。図 9は、計算機がプログラムに従って入力顔画像を カテゴリに分類する顔画像分類処理の一例を示す流れ図である。計算機は、第 1の 実施の形態で示した処理と同様に分類対象の入力顔画像を入力し、バッファにロー ドする (ステップ S101a)。すると、計算機は、各カテゴリの代表照明空間基底データ を抽出し、バッファにロードする（ステップ S102a)。
[0132] また、計算機は、ロードした入力顔画像及び各照明空間基底データに基づいて、 誤差ノルムが最小となる照明方向を推定する (ステップ S103a)。また、計算機は、推 定した照明方向と代表照明空間基底データとの内積を求め、入力顔画像と求めた内 積との誤差ノルムを誤差特徴として計算する (ステップ S104a)。そして、計算機は、 求めた全ての誤差特徴に基づいて、予め定めた識別ルールに従って、入力顔画像 のカテゴリを識別する (ステップ S 105a)。 [0133] 実施の形態 6.
次に、本発明の第 6の実施の形態を図面を参照して説明する。本実施の形態では 、第 2の実施の形態で示した顔画像分類方法による各処理を実行するための顔画像 分類プログラムを計算機上で実行可能なプログラムとして構成する。また、本実施の 形態では、顔画像分類プログラムを計算機で読み取り可能な情報記憶媒体に格納 する。
[0134] 本実施の形態では、情報記憶媒体は、例えば、コンピュータに、予めカテゴリが既 知である顔画像に基づいて、所定の学習モデルを作成する処理と、学習モデルを作 成する処理の逆処理を行うことによって、蓄積手段が蓄積する各照明空間基底デー タのうち、いずれの照明空間基底データが処理対象の顔画像に対応するかを特定 する処理と、処理対象の顔画像を、特定した照明空間基底データに対応するカテゴ リに分類する処理とを実行させるための顔画像分類プログラムを記憶して 、る。そし て、計算機は、情報記録媒体からプログラムを読み込み、読み込んだプログラムに従 つて、第 2の実施の形態で示した顔画像を分類する処理を実行する。
[0135] 次に、動作について説明する。まず、学習モデルを作成する学習プロセスの動作を 説明する。図 10は、計算機がプログラムに従って学習モデルを作成する処理の一例 を示す流れ図である。計算機は、第 2の実施の形態で示した処理と同様にカテゴリが 既知の学習用の入力顔画像を入力し、ノ ッファにロードする (ステップ S 201a)。する と、計算機は、各カテゴリの代表照明空間基底データを抽出し、ノ ッファにロードする (ステップ S202a)。
[0136] また、計算機は、ロードした学習用顔画像及び各照明空間基底データに基づいて 、誤差ノルムが最小となる照明方向を推定する (ステップ S203a)。また、計算機は、 推定した照明方向と代表照明空間基底データとの内積を求め、入力顔画像と求めた 内積との誤差ノルムを学習用誤差特徴として計算する (ステップ S204a)。そして、計 算機は、求めた全ての学習用誤差特徴と既知のカテゴリラベルとを所定の学習器に 入力し、学習モデルを構築する (ステップ S 205a)。また、計算機は、全ての学習用 顔画像について学習を行った力否かを判断し (ステップ S206a)、未処理の学習用 顔画像が存在する場合には、ステップ S201a以降の処理を繰り返し実行する。 [0137] 次に、入力顔画像をカテゴリに分類する分類プロセスの動作を説明する。図 11は、 計算機がプログラムに従って入力顔画像をカテゴリに分類する顔画像分類処理の他 の例を示す流れ図である。計算機は、第 2の実施の形態で示した処理と同様に分類 対象の入力顔画像を入力し、バッファにロードする (ステップ S301a)。すると、計算 機は、各カテゴリの代表照明空間基底データを抽出し、ノ ッファにロードする (ステツ プ S302a)。
[0138] また、計算機は、ロードした入力顔画像及び各照明空間基底データに基づいて、 誤差ノルムが最小となる照明方向を推定する (ステップ S303a)。また、計算機は、推 定した照明方向と代表照明空間基底データとの内積を求め、入力顔画像と求めた内 積との誤差ノルムを誤差特徴として計算する (ステップ S304a)。そして、計算機は、 求めた全ての誤差特徴と学習モデルとに基づいて、所定の学習アルゴリズムを用い て、入力顔画像のカテゴリを識別する (ステップ S305a)。
産業上の利用可能性
[0139] 本発明は、コンビ-エンスストア等の顧客データ収集システム、入国管理システム 等のセキュリティシステム、ゲームセンタや携帯電話機用のアプリケーションを用いた エンターテイメントの提供等の用途に適用できる。本発明によれば、顧客データ収集 や入国管理、エンターテイメントの提供の際に、人物の顔を撮影して人物データを分 類する場合にぉ 、て、顔形状による影響を考慮して顔分類を行うことができる。

Claims

請求の範囲
[1] 顔画像を所定のカテゴリに分類する顔画像分類方法であって、
顔の奥行きと顔にあてられた照明による反射の具合とを示すデータである照明空間 基底データをカテゴリ毎に予め蓄積された各照明空間基底データのうち、いずれの 照明空間基底データが処理対象の顔画像に対応するかを特定することによって、前 記処理対象の顔画像を！、ずれかのカテゴリに分類する顔画像分類ステップとを少な くとも含む
ことを特徴とする顔画像分類方法。
[2] 顔画像を所定のカテゴリに分類する顔画像分類方法であって、
顔の奥行きと顔にあてられた照明による反射の具合とを示すデータである照明空間 基底データを、カテゴリ毎に予め蓄積する照明空間基底蓄積ステップと、
前記蓄積した各照明空間基底データのうち、いずれの照明空間基底データが処理 対象の顔画像に対応するかを特定することによって、前記処理対象の顔画像をいず れかのカテゴリに分類する顔画像分類ステップとを含む
ことを特徴とする顔画像分類方法。
[3] 照明空間基底データに基づいて所定の特徴量を求める特徴算出ステップを含み、 照明空間基底蓄積ステップで、カテゴリを代表する顔に対応する照明空間基底デ ータを、カテゴリ毎に予め蓄積し、
前記特徴算出ステップで、前記蓄積した各照明空間基底データに基づいて、処理 対象の顔画像に含まれる顔とカテゴリを代表する顔との差の特徴を示す特徴量を力 テゴリ毎に求め、
顔画像分類ステップで、
前記求めた各特徴量に基づいて、前記蓄積した各照明空間基底データのうち、い ずれの照明空間基底データが処理対象の顔画像に対応するかを特定し、
前記処理対象の顔画像を、前記特定した照明空間基底データに対応するカテゴリ に分類する
請求項 2記載の顔画像分類方法。
[4] 処理対象の顔画像と蓄積した各照明空間基底データとに基づいて、処理対象の顔 画像に含まれる顔にあてられている照明の方向をカテゴリ毎に推定する照明方向推 定ステップを含み、
特徴算出ステップで、蓄積した各照明空間基底データ及び前記照明の方向の推 定結果に基づいて、特徴量をカテゴリ毎に求める
請求項 3記載の顔画像分類方法。
[5] 特徴算出ステップで、
蓄積した各照明空間基底データと推定した照明の方向とに基づいて、カテゴリを代 表する顔に前記推定した方向から照明をあてた場合の推定顔画像をカテゴリ毎に作 成し、
特徴量として、処理対象の顔画像と前記作成した推定顔画像との誤差をカテゴリ毎 に求め、
顔画像分類ステップで、前記求めた各誤差のうちの最小となる誤差に対応する照 明空間基底データを特定する
請求項 4記載の顔画像分類方法。
[6] 照明方向推定ステップで、処理対象の顔画像に含まれる顔にあてられている照明 の方向の推定結果として、照明の強度及び方向を示す照明ベクトルをカテゴリ毎に 求め、
特徴算出ステップで、前記求めた照明べ外ルと蓄積した各照明空間基底データと の内積を求めることによって、推定顔画像をカテゴリ毎に作成する
請求項 5記載の顔画像分類方法。
[7] 照明空間基底蓄積ステップで、カテゴリを代表する顔として、前記カテゴリに含まれ る顔の平均顔、又は前記カテゴリに含まれる顔を主成分分析して求めた主成分顔に 対応する照明空間基底データを、カテゴリ毎に予め蓄積する請求項 3から請求項 6の うちのいずれか 1項に記載の顔画像分類方法。
[8] 照明空間基底蓄積ステップで、顔の三次元形状と反射率とを盛り込んだ照明空間 基底データを、カテゴリ毎に予め蓄積する請求項 2から請求項 7のうちのいずれか 1 項に記載の顔画像分類方法。
[9] 予めカテゴリが既知である顔画像に基づいて、所定の学習モデルを作成する学習 モデル作成ステップを含み、
顔画像分類ステップで、前記作成した学習モデルに基づいて、処理対象の顔画像 を!、ずれかのカテゴリに分類する
請求項 2から請求項 8のうちのいずれか 1項に記載の顔画像分類方法。
[10] 学習モデル作成ステップで、ニューラルネットワークを用いて、学習モデルとして所 定の重み係数を求める請求項 9記載の顔画像分類方法。
[11] 学習モデル作成ステップで、サポートベクタマシンを用いて、学習モデルとしてサポ ートベクタを求める請求項 9記載の顔画像分類方法。
[12] 顔画像分類ステップで、
学習モデルを作成する処理の逆処理を行うことによって、蓄積した各照明空間基底 データのうち、いずれの照明空間基底データが処理対象の顔画像に対応するかを 特定し、
前記処理対象の顔画像を、前記特定した照明空間基底データに対応するカテゴリ に分類する
請求項 9から請求項 11のうちのいずれか 1項に記載の顔画像分類方法。
[13] 顔画像を所定のカテゴリに分類する顔画像分類装置であって、
顔の奥行きと顔にあてられた照明による反射の具合とを示すデータである照明空間 基底データをカテゴリ毎に予め蓄積された各照明空間基底データのうち、いずれの 照明空間基底データが処理対象の顔画像に対応するかを特定することによって、前 記処理対象の顔画像をいずれかのカテゴリに分類する顔画像分類手段を少なくとも 備えた
ことを特徴とする顔画像分類装置。
[14] 顔画像を所定のカテゴリに分類する顔画像分類装置であって、
顔の奥行きと顔にあてられた照明による反射の具合とを示すデータである照明空間 基底データを、カテゴリ毎に予め蓄積する照明空間基底蓄積手段と、
前記照明空間基底蓄積手段が蓄積する各照明空間基底データのうち、いずれの 照明空間基底データが処理対象の顔画像に対応するかを特定することによって、前 記処理対象の顔画像を！、ずれかのカテゴリに分類する顔画像分類手段とを 備えたことを特徴とする顔画像分類装置。
[15] 照明空間基底データに基づいて所定の特徴量を求める特徴算出手段を備え、 照明空間基底蓄積手段は、カテゴリを代表する顔に対応する照明空間基底データ を、カテゴリ毎に予め蓄積し、
前記特徴算出手段は、前記照明空間基底蓄積手段が蓄積する各照明空間基底 データに基づいて、処理対象の顔画像に含まれる顔とカテゴリを代表する顔との差の 特徴を示す特徴量をカテゴリ毎に求め、
顔画像分類手段は、
前記特徴算出手段が求めた各特徴量に基づいて、前記照明空間基底蓄積手段が 蓄積する各照明空間基底データのうち、いずれの照明空間基底データが処理対象 の顔画像に対応するかを特定し、
前記処理対象の顔画像を、前記特定した照明空間基底データに対応するカテゴリ に分類する
請求項 14記載の顔画像分類装置。
[16] 処理対象の顔画像と照明空間基底蓄積手段が蓄積する各照明空間基底データと に基づ!/、て、処理対象の顔画像に含まれる顔にあてられて ヽる照明の方向をカテゴ リ毎に推定する照明方向推定手段を備え、
特徴算出手段は、前記照明空間基底蓄積手段が蓄積する各照明空間基底データ 、及び前記照明方向推定手段の推定結果に基づいて、特徴量をカテゴリ毎に求める 請求項 15記載の顔画像分類装置。
[17] 特徴算出手段は、
照明空間基底蓄積手段が蓄積する各照明空間基底データと、照明方向推定手段 が推定した照明の方向とに基づいて、カテゴリを代表する顔に前記推定した方向か ら照明をあてた場合の推定顔画像をカテゴリ毎に作成し、
特徴量として、処理対象の顔画像と前記作成した推定顔画像との誤差をカテゴリ毎 に求め、
顔画像分類手段は、前記特徴算出手段が求めた各誤差のうちの最小となる誤差に 対応する照明空間基底データを特定する 請求項 16記載の顔画像分類装置。
[18] 照明方向推定手段は、処理対象の顔画像に含まれる顔にあてられている照明の方 向の推定結果として、照明の強度及び方向を示す照明ベクトルをカテゴリ毎に求め、 特徴算出手段は、前記照明方向推定手段が求めた照明べ外ルと、照明空間基底 蓄積手段が蓄積する各照明空間基底データとの内積を求めることによって、推定顔 画像をカテゴリ毎に作成する
請求項 17記載の顔画像分類装置。
[19] 照明空間基底蓄積手段は、カテゴリを代表する顔として、前記カテゴリに含まれる 顔の平均顔、又は前記カテゴリに含まれる顔を主成分分析して求めた主成分顔に対 応する照明空間基底データを、カテゴリ毎に予め蓄積する請求項 15から請求項 18 のうちのいずれか 1項に記載の顔画像分類装置。
[20] 照明空間基底蓄積手段は、顔の三次元形状と反射率とを盛り込んだ照明空間基 底データを、カテゴリ毎に予め蓄積する請求項 14力も請求項 19のうちのいずれか 1 項に記載の顔画像分類装置。
[21] 予めカテゴリが既知である顔画像に基づいて、所定の学習モデルを作成する学習 モデル作成手段を備え、
顔画像分類手段は、前記学習モデル作成手段が作成した学習モデルに基づ 、て 、処理対象の顔画像をいずれかのカテゴリに分類する
請求項 14から請求項 20のうちのいずれか 1項に記載の顔画像分類装置。
[22] 顔画像分類手段は、
学習モデルを作成する処理の逆処理を行うことによって、照明空間基底蓄積手段 が蓄積する各照明空間基底データのうち、いずれの照明空間基底データが処理対 象の顔画像に対応するかを特定し、
前記処理対象の顔画像を、前記特定した照明空間基底データに対応するカテゴリ に分類する
請求項 21記載の顔画像分類装置。
[23] 顔画像を所定のカテゴリに分類するための顔画像分類プログラムであって、
カテゴリを代表する顔に対応する、顔の奥行きと顔にあてられた照明による反射の 具合とを示すデータである照明空間基底データを、カテゴリ毎に予め蓄積する蓄積 手段を備えたコンピュータに、
前記蓄積手段が蓄積する各照明空間基底データに基づいて、処理対象の顔画像 に含まれる顔とカテゴリを代表する顔との差の特徴を示す特徴量をカテゴリ毎に求め る処理と、
前記求めた各特徴量に基づいて、前記蓄積手段が蓄積する各照明空間基底デー タのうち、いずれの照明空間基底データが処理対象の顔画像に対応するかを特定 する処理と、
前記処理対象の顔画像を、前記特定した照明空間基底データに対応するカテゴリ に分類する処理とを
実行させる顔画像分類プログラム。
コンピュータに、
予めカテゴリが既知である顔画像に基づいて、所定の学習モデルを作成する処理 と、
学習モデルを作成する処理の逆処理を行うことによって、蓄積手段が蓄積する各 照明空間基底データのうち、いずれの照明空間基底データが処理対象の顔画像に 対応するかを特定する処理と、
前記処理対象の顔画像を、前記特定した照明空間基底データに対応するカテゴリ に分類する処理とを実行させる
請求項 23記載の顔画像分類プログラム。
PCT/JP2006/303151 2005-02-23 2006-02-22 顔画像分類方法、顔画像分類装置及び顔画像分類プログラム WO2006090731A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007504745A JP4924836B2 (ja) 2005-02-23 2006-02-22 顔画像分類方法、顔画像分類装置及び顔画像分類プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005047710 2005-02-23
JP2005-047710 2005-02-23

Publications (1)

Publication Number Publication Date
WO2006090731A1 true WO2006090731A1 (ja) 2006-08-31

Family

ID=36927369

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/303151 WO2006090731A1 (ja) 2005-02-23 2006-02-22 顔画像分類方法、顔画像分類装置及び顔画像分類プログラム

Country Status (2)

Country Link
JP (1) JP4924836B2 (ja)
WO (1) WO2006090731A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010520542A (ja) * 2007-03-05 2010-06-10 フォトネーション ビジョン リミテッド 分類器チェーンを用いた照明検出
US8363933B2 (en) 2008-08-13 2013-01-29 Morpho, Inc. Image identification method and imaging apparatus

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
AU2019208182B2 (en) 2018-07-25 2021-04-08 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175724A (ja) * 1997-12-11 1999-07-02 Toshiba Tec Corp 人物属性識別装置
JP2004086929A (ja) * 2003-12-08 2004-03-18 Nec Corp 画像照合装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175724A (ja) * 1997-12-11 1999-07-02 Toshiba Tec Corp 人物属性識別装置
JP2004086929A (ja) * 2003-12-08 2004-03-18 Nec Corp 画像照合装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YASUMOTO M. ET AL.: "Heikingao tono Kyori O Mochiita Seibetsu-Nenrei Suitei Shuho no Teian", PATTERN NINSHIKI MEDIA RIKAI, IEICE TECHNICAL REPORT, vol. 101, no. 42, 9 November 2001 (2001-11-09), pages 1 - 6, XP003001951 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010520542A (ja) * 2007-03-05 2010-06-10 フォトネーション ビジョン リミテッド 分類器チェーンを用いた照明検出
US8363933B2 (en) 2008-08-13 2013-01-29 Morpho, Inc. Image identification method and imaging apparatus

Also Published As

Publication number Publication date
JP4924836B2 (ja) 2012-04-25
JPWO2006090731A1 (ja) 2008-07-24

Similar Documents

Publication Publication Date Title
JP4553141B2 (ja) 重み情報を用いた物体姿勢推定・照合システム
JP4991317B2 (ja) 顔特徴点検出装置及びその方法
JP4556873B2 (ja) 画像照合システム及び画像照合方法
JP5657113B2 (ja) 映像内のオブジェクトの意味解析
JP6884517B2 (ja) 情報処理装置、情報処理方法及びプログラム
US9177230B2 (en) Demographic analysis of facial landmarks
KR100647322B1 (ko) 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법
Nguyen et al. Gaussian-mixture-model-based spatial neighborhood relationships for pixel labeling problem
JP5899472B2 (ja) 人物属性推定システム、及び学習用データ生成装置
KR101549645B1 (ko) 표정 동작사전을 이용한 표정인식 방법 및 장치
JP5836095B2 (ja) 画像処理装置、画像処理方法
JP2006520055A (ja) ２次元画像からの３次元オブジェクトの不変視点検出および識別
JP7131617B2 (ja) 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体
JP6207210B2 (ja) 情報処理装置およびその方法
CN110879982A (zh) 一种人群计数***及方法
JP2019016114A (ja) 画像処理装置、学習装置、フォーカス制御装置、露出制御装置、画像処理方法、学習方法、及びプログラム
TWI751668B (zh) 影像歸一化處理方法、電腦可讀取記錄媒體和電子設備
JPWO2016009569A1 (ja) 属性要因分析方法、装置、およびプログラム
CN110163250A (zh) 基于分布式调度的图像脱敏处理***、方法以及装置
JP4924836B2 (ja) 顔画像分類方法、顔画像分類装置及び顔画像分類プログラム
JP2015125731A (ja) 人物属性推定装置、人物属性推定方法及びプログラム
CN113793326A (zh) 一种基于图像的疾病识别方法和装置
JP2014229012A (ja) 人物属性推定装置、人物属性推定方法及びプログラム
JP4012200B2 (ja) オブジェクト検出方法、装置、及びプログラム
KR101961462B1 (ko) 객체 인식 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007504745

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06714291

Country of ref document: EP

Kind code of ref document: A1