WO2015019573A1 - 情報処理装置の制御方法および画像処理方法 - Google Patents

情報処理装置の制御方法および画像処理方法 Download PDF

Info

Publication number
WO2015019573A1
WO2015019573A1 PCT/JP2014/003965 JP2014003965W WO2015019573A1 WO 2015019573 A1 WO2015019573 A1 WO 2015019573A1 JP 2014003965 W JP2014003965 W JP 2014003965W WO 2015019573 A1 WO2015019573 A1 WO 2015019573A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
subject
similar
skin
pixels
Prior art date
Application number
PCT/JP2014/003965
Other languages
English (en)
French (fr)
Inventor
稔也 新井
雅子 池田
内田　真司
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Publication of WO2015019573A1 publication Critical patent/WO2015019573A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Definitions

  • the present disclosure relates to a control method and an image processing method of an information processing apparatus capable of imaging a user's face.
  • An information processing apparatus and an image processing method for capturing the skin of a human face with a camera and evaluating the skin state from the captured image are being studied.
  • a control method is a control method for controlling an information processing apparatus having a camera that inputs an image of a subject and a display that displays the image of the subject, and inputs the image of the subject from the camera,
  • the computer of the information processing apparatus that displays the input image on the display causes the camera to operate to acquire a digital image of the subject, and extracts and extracts a plurality of similar pixels in the skin area of the subject included in the digital image of the subject A plurality of similar pixels are converted into a predetermined color tone and superimposed on the digital image of the subject and displayed on the display.
  • the discrimination accuracy of the skin state is improved, and the discrimination of the type of the stain becomes possible.
  • FIG. 1 It is a figure which shows the whole image of the information provision system in embodiment. It is a figure which shows the structure of the data center in embodiment. It is a figure which shows the structure of the data center in embodiment. It is a figure which shows the whole image of the skin analyzer in embodiment. It is a figure which shows the structure of the control apparatus in embodiment. It is a figure which shows the structure of the cloud server in embodiment. It is a functional block diagram of the imaging device in an embodiment. It is a figure which shows the structure inside the skin in embodiment. It is a flowchart which shows the process which performs evaluation of the skin in embodiment. (A) to (d) is a diagram showing a process of extracting a skin spot from a face image in the embodiment.
  • (A) is a figure which shows an example of the image displayed on a display part before the skin analysis in embodiment
  • (b) is a figure which shows an example of the image displayed on a display part at the time of imaging of the skin in embodiment. is there.
  • (A) And (b) is a figure which shows an example of the image displayed on a display part after the skin analysis in embodiment.
  • (A) And (b) is a figure which shows an example of the image displayed on the display part in embodiment.
  • (A) And (b) is a figure which shows an example of the image displayed on the display part in embodiment.
  • It is a functional block diagram of the imaging device in an embodiment. It is a flowchart which shows the process which performs evaluation of the skin in embodiment.
  • (A) is a figure which shows an example of the skin region image in embodiment
  • (b) is a figure which shows an example of the binary image in embodiment
  • (c) is a figure which shows an example of the label image in embodiment.
  • (C) is a figure which shows an example of the wrinkle extraction result of the skin in embodiment.
  • the state of skin is analyzed, visualized and quantified based on an image of skin.
  • this skin analyzer it is necessary to extract an analysis target existing on the skin surface based on the skin image.
  • the analysis target include skin spots.
  • the optimum treatment method varies depending on the type of the stain on the skin, it is important to accurately detect the stain state and classify the type of the stain to accurately deal with the stain. It is.
  • the spot shape varies depending on the type of the spot, and depending on the type of the spot, it may be worm-eaten and dissipative.
  • the type and appearance frequency of the stain vary depending on the position in the face.
  • Patent Document 1 discloses a technique for extracting pigment spots in a shallow layer of skin from a digital image photographed in a non-contact manner.
  • Patent Literature 1 detects the edge line of the pigment spot in the shallow layer of the skin, and specifies the size of the range surrounded by the edge line, so that the pigment in the shallow layer of the skin Extract spots. That is, it is determined that the entire area surrounded by the edge line is pigment spots. For this reason, it is impossible to distinguish between the above-mentioned worm-eating / dissipative shape of the spot, which is insufficient for accurate indexing of the spot and discrimination of the type.
  • the present disclosure also assumes dullness, melasma, pigmentation, pigmentation, freckles, etc., but the technique of the present disclosure can be applied to areas where the color of the skin surface has changed. On the other hand, the technique is generally applicable and is not limited by the name of the stain.
  • a control method is a control method for controlling an information processing apparatus having a camera that inputs an image of a subject and a display that displays the image of the subject, and inputs the image of the subject from the camera And causing a computer of an information processing apparatus that displays the input image on the display to operate the camera to acquire a digital image of the subject, and to provide a plurality of skin regions of the subject included in the digital image of the subject. Similar pixels are extracted, the extracted plurality of similar pixels are converted into a predetermined color tone, and are superimposed on the digital image of the subject and displayed on the display.
  • the plurality of similar pixels may be extracted in units of pixels.
  • the plurality of extracted similar pixels may be converted into a tone to be highlighted.
  • the plurality of extracted similar pixels may be converted into a color tone that is highlighted on a pixel-by-pixel basis.
  • the plurality of similar pixels may be extracted based on a binary image obtained by binarizing the acquired digital image of the subject with a predetermined threshold.
  • a similar pixel group that is a set of connected pixels is classified into a plurality of categories based on a predetermined criterion for each similar pixel group, and among the plurality of categories, Only the similar pixels included in at least one similar pixel group classified into the same category may be superimposed on the digital image of the subject and displayed on the display.
  • the similar pixel group may be classified according to whether or not a hole is included in a predetermined area including the similar pixel group.
  • the similar pixel group may be classified based on a density of the similar pixels within a predetermined area including the similar pixel group.
  • the similar pixel group may be classified based on the number of the similar pixels in the similar pixel group.
  • the digital image of the subject is a face image including the face of the subject, a feature part included in the face of the subject in the face image is detected, and the similar pixel group includes the detected feature part and May be classified on the basis of the relative positions.
  • the similar pixel group may be classified based on whether the shape of the similar pixel group is similar to a filter having a predetermined shape.
  • the predetermined shape may be a circular shape.
  • the similar pixel may be extracted based on the similarity of the Luv value by converting the color space of the captured digital image of the subject into Luv.
  • the similar pixels may be extracted based on the similarity of HSV values by converting the color space of the captured digital image of the subject into HSV.
  • the similar pixels may be extracted based on a similarity of HLS values by converting a color space of the captured digital image of the subject into HLS.
  • the similar pixels may be extracted based on the similarity of Lab values by converting the color space of the captured digital image of the subject into Lab.
  • An image processing method is an image processing method for performing processing on an image including human skin, and acquires a digital image including human skin and is included in the acquired digital image.
  • a plurality of similar pixels in the skin region are extracted, the extracted plurality of similar pixels are converted into a predetermined color tone, and are superimposed on a digital image including the human skin and displayed on a display.
  • An information processing apparatus is an information processing apparatus including a camera that inputs a subject image, a computer that processes the subject image, and a display that displays the subject image.
  • the computer operates the camera to acquire a digital image of the subject, extracts a plurality of similar pixels in the skin area of the subject included in the digital image of the subject, and extracts the plurality of similar pixels extracted Is converted into a predetermined color tone and is superimposed on the digital image of the subject and displayed on the display.
  • a computer program is a computer program that causes a computer of an information processing apparatus that inputs an image of a subject from a camera and displays the input image on a display to execute image processing.
  • the image acquisition step of acquiring a biological image the shape classification step of classifying the shape of the skin feature included in the image obtained by the image acquisition step, and the shape classification step
  • the skin state can be classified based on the spot shape.
  • the shape classification step includes: a similar pixel extraction step for extracting a similar pixel group in the image obtained by the image acquisition step; a clustering step for connecting the similar pixel group; and a cluster connected by the clustering step. And a cluster classification step for classifying the shapes of the dots, thereby enabling spot shape classification based on the shapes of the connected clusters.
  • the shape classification step includes a feature point extraction step of extracting feature points in the image obtained by the image acquisition step, and the skin state classification step classifies the skin state based on the feature points.
  • the shape classification step includes an elliptic filtering step of extracting an elliptical shape in the image obtained by the image acquisition step, and the skin state classification step corresponds to a filter shape of the elliptic filter and a filter shape.
  • the skin condition is classified based on the filtered value. As a result, it is possible to accurately extract a spot having a clear shape feature.
  • the present disclosure it is possible to classify the type of the stain based on the structure in the image space such as the shape of the stain.
  • FIG. 1A is a diagram showing an overall image of services provided by the information management system in the present embodiment.
  • the information management system includes a group 100, a data center operating company 110, and a service provider 120.
  • the group 100 is, for example, a company, an organization, or a home, and may be of any size.
  • the group 100 includes a plurality of devices 101 including a first device and a second device and a home gateway 102.
  • the plurality of devices 101 include devices that can be connected to the Internet (for example, smartphones, personal computers (PCs) or televisions), and devices that cannot be connected to the Internet by themselves (for example, lighting, washing machines, refrigerators, etc.). Including.
  • the plurality of devices 101 includes an imaging device 305 (FIG. 2) described later.
  • the plurality of devices 101 may include devices that cannot be connected to the Internet by themselves but can be connected to the Internet via the home gateway 102. Further, the user 10 uses a plurality of devices 101 in the group 100.
  • the data center operating company 110 includes a cloud server 111.
  • the cloud server 111 is a virtualization server that cooperates with various devices via the Internet.
  • the cloud server 111 mainly manages huge data (big data) that is difficult to handle with a normal database management tool or the like.
  • the data center operating company 110 performs management of data, management of the cloud server 111, operation of the data center that performs them, and the like. Details of services performed by the data center operating company 110 will be described later.
  • the data center operating company 110 is not limited to a company that only manages data or the cloud server 111.
  • the device manufacturer when a device manufacturer that develops or manufactures one of a plurality of devices 101 performs data management or cloud server 111 management, the device manufacturer This corresponds to the data center operating company 110.
  • the data center operating company 110 is not limited to one company.
  • FIG. 1C when the device manufacturer and the management company jointly or share the management of the data or the cloud server 111, both or one of them corresponds to the data center operating company 110. .
  • the service provider 120 includes a server 121.
  • the server 121 here is not limited in scale, and includes, for example, a memory in a personal PC. In some cases, the service provider 120 does not include the server 121.
  • the home gateway 102 is not essential. For example, when the cloud server 111 manages all data, the home gateway 102 becomes unnecessary. In addition, there may be no device that cannot be connected to the Internet by itself, as in the case where all devices in the home are connected to the Internet.
  • the first device or the second device of the group 100 transmits each log information to the cloud server 111 of the data center operating company 110.
  • the cloud server 111 accumulates log information of the first device or the second device (arrow 131 in FIG. 1A).
  • the log information is information indicating, for example, driving conditions or operation dates / times of the plurality of devices 101.
  • the log information includes TV viewing history, recording recording information of the recorder, operation date / time of the washing machine, amount of laundry, opening / closing date / time of the refrigerator, or opening / closing frequency of the refrigerator, but is not limited thereto.
  • Various information that can be acquired from various devices may be included. Note that the log information may be provided directly to the cloud server 111 from the plurality of devices 101 themselves via the Internet.
  • the log information may be temporarily accumulated in the home gateway 102 from a plurality of devices 101 and provided to the cloud server 111 from the home gateway 102.
  • the cloud server 111 acquires face image data obtained by the imaging device 305.
  • the cloud server 111 may acquire face image data from the plurality of groups 100.
  • the cloud server 111 of the data center operating company 110 provides the collected log information to the service provider 120 in a certain unit.
  • the fixed unit may be a unit that can organize and provide the information collected by the data center operating company 110 to the service provider 120, or may be a unit that the service provider 120 requests.
  • the information is provided in a fixed unit, it may not be a fixed unit, and the amount of information to be provided may change depending on the situation.
  • the cloud server 111 provides the acquired face image data to the service provider 120. Log information and face image data are stored in the server 121 owned by the service provider 120 as necessary (arrow 132 in FIG. 1A).
  • the cloud server 111 may analyze and evaluate the face image data, and provide the result of the analysis and evaluation to the user.
  • the service provider 120 organizes the log information into information suitable for the service provided to the user and provides it to the user. Further, for example, the service provider 120 analyzes and evaluates the accumulated face image data and provides the user with the results of the analysis and evaluation.
  • the user who is provided with the information may be the user 10 who uses the plurality of devices 101 or the external user 20.
  • information may be provided directly from the service provider 120 to the users 10 and 20 (arrows 133 and 134 in FIG. 1A).
  • information may be provided to the user 10 via the cloud server 111 of the data center operating company 110 again (arrows 135 and 136 in FIG. 1A).
  • the cloud server 111 of the data center operating company 110 may organize the log information into information suitable for the service provided to the user and provide the information to the service provider 120.
  • the user 10 may be the same as or different from the user 20.
  • FIG. 2 is a diagram illustrating an overall image of the imaging device 305 according to the embodiment.
  • the imaging device 305 is an example of an information processing device according to the embodiment.
  • the imaging device 305 includes a camera 300, an illumination 301, a control device 302, and a display unit 303.
  • the display unit 303 may include a touch panel, and the imaging device 305 may be operable by a user touching a button displayed on the display unit 303 with a finger or the like.
  • the face image of the user 304 input from the camera 300 is acquired by the control device 302 and evaluated. Further, the face image may be evaluated by the cloud server 307. Thereafter, the skin state or an index whose skin state has been quantitatively evaluated is presented on the display unit 303.
  • FIG. 3A is a diagram illustrating a configuration of the control device 302.
  • the control device 302 includes a microcomputer 302A, a memory 302B, and a communication unit 302C.
  • the microcomputer 302A controls the entire operation of the control device 305 including the operations described below. Further, the microcomputer 302A executes various processes described below such as image processing.
  • a computer program for controlling each operation of the imaging device 305 is stored in the memory 302B, and the microcomputer 302A configures each configuration of the imaging device 305 such as the camera 300 and the illumination 301 in accordance with the stored computer program. It controls the operation of elements and executes various processes such as image processing.
  • the camera 300 captures the face of the user 304 and acquires face image data.
  • a polarization filter is installed in the illumination 301 and the camera 300, and a polarization image is captured.
  • the imaging device 305 may not include the illumination 301.
  • FIG. 3B is a diagram illustrating a configuration of the cloud server 307.
  • the cloud server 307 includes a microcomputer 307A, a memory 307B, a communication unit 307C, and a database 307D.
  • the cloud server 307 receives captured images, image feature indexes, skin evaluation values, and the like from the plurality of imaging devices 305 via the communication unit 307C.
  • the cloud server 307 stores each data received from the plurality of imaging devices 305, generates statistical data, and obtains a correlation between the data. In addition, the statistical data and the correlation are transmitted to each imaging device 305 via the communication unit 307C.
  • various processes such as image processing of the face image of the user 304 may be performed by the cloud server 307.
  • the evaluation of the face image of the user 304 may be performed by the control device 302.
  • FIG. 4 is a block diagram illustrating a configuration of the imaging device 305 in the present embodiment.
  • the imaging device 305 includes a camera 300, an image acquisition unit 1102, a skin region extraction unit 1103, a skin analysis unit 1104, a shape classification unit 1105, and a display unit 303.
  • an input unit (not shown) may be provided so that the user can select a menu displayed on the display unit 303 or can input characters.
  • the display unit 303 and an input unit (not shown) are preferably integrated as a touch screen. Further, part or all of the image acquisition unit 1102, the skin region extraction unit 1103, the skin analysis unit 1104, and the shape classification unit 1105 can be realized by the microcomputer 302A.
  • the communication unit 302C (FIG. 3A) may be used to communicate with the cloud server 307, and the face image evaluation may be processed by the cloud server 307.
  • the evaluation result may be stored in the cloud server 307.
  • part or all of the skin region extraction unit 1103, skin analysis unit 1104, and shape classification unit 1105 can be realized by the microcomputer 307A. Further, these components may be realized by a combination of the microcomputers 302A and 307A.
  • the imaging device 305 starts to operate in a state where the user is positioned in front of the camera 300 provided in the imaging device 305.
  • the user's face image is input from the camera 300, and the input face image is horizontally reversed and presented on the display unit 303.
  • the operation of the imaging device 305 is started by a user's imaging start instruction.
  • FIG. 5 schematically shows a cross section of human skin.
  • the skin image includes various kinds of information such as skin spots, wrinkles, pores, and frying lines.
  • a feature index is calculated by selectively extracting the information from the skin image.
  • the skin 200 includes an epidermis 200 ⁇ / b> A having a depth of about 0.06 mm to 0.2 mm from the surface 200 ⁇ / b> S of the skin 200 toward the inside, and a dermis 200 ⁇ / b> B existing inside the skin 200 ⁇ / b> B.
  • Skin spots, wrinkles, pores, and frying lines differ in the shape of the skin and the depth at which they are present in the skin 200. Therefore, the feature index can be calculated by obtaining images from different depths of the skin and identifying the shape.
  • Image information from different skin depths can be obtained by using polarized light and color components.
  • the linearly polarized light 200I is reflected while maintaining the polarization direction on the skin surface 200S (reflected light 200R).
  • the linearly polarized light 200I reflected inside the skin 200A is emitted from the skin 200A with the polarization direction disturbed by scattering (reflected light 200r). For this reason, if a light source that emits linearly polarized light is used and polarized light parallel to the light source is detected (parallel polarization conditions), an image with a large amount of information on the skin surface and a small amount of internal information can be obtained.
  • a light source that emits linearly polarized light is used and polarized light orthogonal to the light source is detected (orthogonal polarization condition)
  • an image with a large amount of information inside the skin and a small amount of surface information can be obtained. That is, by using polarized light as a light source, an image that selectively includes information on the inside of the skin and information on the surface can be obtained.
  • the longer the wavelength the light from the light source enters the skin 200A and is reflected inside. Accordingly, in the image obtained by photographing the skin, the blue (B) component contains more information on the surface of the skin, and the red (R) and infrared components contain more information inside the epidermis 200A.
  • characteristic indicators such as spots and wrinkles may have properties such as being easy to absorb light in a specific wavelength region.
  • the specific index can be calculated by using the light component in the specific wavelength region.
  • Skin spots are present inside the epidermis 200A. It is also known that the darker the stain, the smaller the difference in the amount of light between the blue component and the red component in the light obtained from the spot portion. Therefore, by taking a picture under the condition of orthogonal polarization that allows more internal information to be obtained, obtaining a pixel value difference between blue and red in each pixel of the image, and performing threshold processing, the portion of the spot from the photographed image is obtained. Can be selectively extracted.
  • Wrinkles and frying lines are present near the surface 200S of the skin 200.
  • Shooting under the condition of parallel polarization that allows more surface information to be obtained, and finding the difference between the pixel values of blue and red at each pixel of the image suppresses the effects of light reflection on the skin surface, and reduces wrinkles.
  • an image including a lot of information on the fringe line can be obtained.
  • by processing an image using a line detection filter an image containing a large amount of wrinkle and fringe line information can be obtained.
  • threshold processing based on the length of the detected portion may be further performed.
  • the difference between the pixel values of blue and red is obtained here, but only the pixel value of blue may be obtained. Pixel values of other colors such as green may be used, and the present invention is not limited only to obtaining a difference between pixel values of blue and red.
  • the pore exists in the vicinity of the surface 200S of the skin 200.
  • it is strongly affected by illumination in the environment in which the imaging device 305 is used.
  • pores are relatively easy to identify on the image.
  • a point detection filter it becomes easier to extract pores on the image.
  • photographing is performed under the condition of orthogonal polarization. Further, by extracting the blue component in each pixel of the image and processing the image using a point detection filter, an image containing a large amount of pore information can be obtained.
  • FIG. 6 is a flowchart showing the operation of the imaging device 305.
  • step S ⁇ b> 1201 the control device 302 operates the camera 300 and takes a face image of the user with the camera 300.
  • the image acquisition unit 1102 acquires the captured face image of the user (digital image of the subject).
  • the lighting device 301 may be operated to capture a user's face image under lighting conditions.
  • the user's face image acquired at this time is, for example, a face image 31 as shown in FIG.
  • the skin region extraction unit 1103 extracts a skin region from the user's face image acquired in S1201. For example, only a skin region excluding structures such as eyes and mouth is cut out from the face image to generate a skin region image.
  • the eye region and the mouth region may be excluded using face detection.
  • color information may be used.
  • the eye area / mouth area may be excluded by extracting a part of the face image where the color information is within a predetermined threshold range.
  • the skin region image generated by the skin region extraction unit 1103 is output to the skin analysis unit 1104.
  • the skin analysis unit 1104 extracts a plurality of similar pixels in the skin region of the face image. For example, the skin analysis unit 1104 obtains a difference between blue and red pixel values for each pixel in the skin region image, extracts a spot candidate by threshold processing, and generates a spot candidate image.
  • the spot candidate image generated at this time is, for example, an image including a spot candidate 403 as shown in FIG.
  • a spot candidate image including information indicating a spot candidate extracted by the skin analysis unit 1104 is output to the shape classification unit 1105.
  • the shape classification unit 1105 classifies a similar pixel group that is a set of a plurality of similar pixels based on whether the shape of the similar pixel group is similar to a filter having a predetermined shape. For example, the shape classification unit 1105 matches a spot candidate image with a predetermined template.
  • the predetermined template is, for example, a template 405 including an elliptical shape and / or a circular shape as shown in FIG.
  • spots having shapes and positions similar to a predetermined template are selected.
  • the selected stain is output as a stain extraction result.
  • a circular spot 407 as shown in FIG. 7D is extracted by using a circular template.
  • step S1205 the face image acquired by the image acquisition unit 1102 and the stain 407 extracted by the shape classification unit 1105 are output to the display unit 303.
  • the displayed stain 407 is preferably displayed so as to be superimposed on the face image of the user.
  • the stain 407 may be displayed after being converted into a predetermined color tone so that the user can easily recognize it. For example, display that highlights the stain 407 in red or the like may be performed.
  • FIG. 8A shows an example of an initial screen displayed on the display unit 303 of the imaging device 305 before the user's face image is captured.
  • the display area of the display unit 303 includes a main screen 70 having a large area and a sub-screen 72 having a small area located on the lower side of the main screen 70.
  • an image input from the camera 300 is displayed in real time on the main screen 70 and functions as a digital mirror.
  • information such as a clock and a weather forecast may be displayed on the sub screen 72.
  • FIG. 8B shows a screen immediately before the start of imaging.
  • the touch panel is provided on the surface of the display unit 303.
  • an operation menu or a function switching menu is displayed on the upper portion 80 and the left side portion 78 of the sub screen 72.
  • the On the main screen 70 for example, a guide 35 for guiding the position of the user's face may be shown.
  • a mark indicating the shooting timing, a countdown number 74, or the like may be displayed.
  • the user's face image 31 input from the camera 300 is displayed in real time on the right side 72R of the sub screen 72, and a calendar is displayed on the left side 72L.
  • the calendar may include a mark indicating that shooting has been performed using the imaging device 305 in the past.
  • the user's face image acquired by the image acquisition unit 1102 and the spot extraction result 81 output by the shape classification unit 1105 are output to the display unit 303.
  • the display unit 303 displays an image as exemplified in FIGS. 9A and 9B on the display unit 303.
  • the face image 31 of the user used for the evaluation of the skin condition is displayed on the main screen 70, and the spot extraction result 81 is displayed superimposed on the face image.
  • the user's face image used for evaluation of the skin area is shown on the left side 72L.
  • a menu for designating the position of the face is displayed on the upper portion 80 of the sub screen 72, and a menu for switching contents and functions to be displayed is displayed on the left side portion 78.
  • the user can display a specific skin region of the face or change the displayed content by touching the upper portion 80 and the left side portion 78 of the sub screen 72.
  • FIG. 9B shows an example in which a part of the image used for the evaluation of the skin region 83 specified by the user is enlarged and displayed on the right side 72 ⁇ / b> R of the sub screen 72.
  • the stain extraction result is displayed.
  • the stain extraction result 84 may be displayed, for example, by displaying a portion corresponding to a stain in the skin region as a red region.
  • the spot extraction result is displayed on the display unit 303, but the spot extraction result may be presented as a score.
  • the feature index calculated for the target is shown by, for example, a radar chart as shown on the right side 72R of the sub screen 72 in FIG. In this example, the average feature index of the entire measured skin area is displayed.
  • the information about the extracted target and the history of the score shown in the radar chart may be stored in the control device 302 or the cloud server 307. Thereby, the user can refer to the history of evaluation results at any time, which can be used for continuous care.
  • a calendar may be displayed on the sub screen 72 as shown in FIG.
  • the calendar displays information indicating whether or not evaluation has been performed for each date. For example, when the user selects a date on the calendar, the past evaluation results are displayed on the display unit 303 as shown in FIG. At this time, on the main screen 70, the face image 31 of the user evaluated on the selected date is displayed together with the extracted target, and on the sub-screen 72, the target extracted with the calendar is scored as a radar. Displayed as a chart.
  • advice information on care optimized for the individual's skin condition and recommended care products and cosmetics may be presented.
  • advice 86 regarding beauty such as skin care based on the result of the evaluation value may be displayed.
  • FIG.11 (b) you may display in detail the information 88 of cosmetics and beauty equipment useful in order to improve a skin state.
  • FIG. 12 is a block diagram illustrating a configuration of the imaging device 305 according to the second embodiment.
  • the skin analysis unit 1104 according to this embodiment includes a binary image generation unit 1111 and a clustering unit 1112.
  • the skin analysis unit 1104 of this embodiment can be realized by the microcomputer 302A or 307A.
  • Skin analysis unit 1104 may be realized by a combination of microcomputers 302A and 307A.
  • the binary image generation unit 1111 binarizes the skin region image output from the skin region extraction unit 1103 using a predetermined threshold value. A binary image as a result of binarization is output to the clustering unit 1112.
  • the clustering unit 1112 extracts a plurality of similar pixels from the input binary image in units of pixels.
  • the clustering unit 1112 performs clustering processing on the binary image based on pixel connection information, and outputs the result to the shape classification unit 1105.
  • FIG. 13 is a flowchart illustrating an operation flow of the imaging device 305 according to the second embodiment.
  • step S ⁇ b> 1201 the control device 302 operates the camera 300 and takes a face image of the user with the camera 300.
  • the image acquisition unit 1102 acquires the captured face image of the user (digital image of the subject).
  • the lighting device 301 may be operated to capture a user's face image under lighting conditions.
  • the skin region extraction unit 1103 extracts a skin region from the user's face image acquired in S1201. For example, only a skin region excluding structures such as eyes and mouth is cut out from the face image to generate a skin region image.
  • the eye region and the mouth region may be excluded using face detection.
  • color information may be used.
  • the eye area / mouth area may be excluded by extracting a part of the face image where the color information is within a predetermined threshold range.
  • step S1211 the skin region image generated by the skin region extraction unit 1103 is binarized by the binary image generation unit 1111 to generate a binary image.
  • the generated binary image is output to the clustering unit 1112.
  • FIG. 14A is a diagram illustrating an example of a skin region image. By binarizing the skin region image 501, a binary image 510 as shown in FIG. 14B is generated. This binary image 510 shows a stain candidate 503 in the skin region.
  • the concept of concatenation is used to define a group of areas in a binary image.
  • attention is paid to an area having a value of 1 in a digital image, and pixels having a value of 1 are generally displayed in black, so that a pixel having a value of 1 is called a black pixel.
  • a pixel (white pixel) region having a value of 0 may be referred to as a background.
  • connection there are four connections defined by the concept of four neighborhoods that consider pixels connected at the top, bottom, left, and right positions for one pixel, and pixels at the top, bottom, left and right positions for one pixel
  • a set of connected pixels is sometimes called a connected component, and a background (white pixel) in the connected component is sometimes called a hole.
  • the clustering unit 1112 performs clustering on a set of a plurality of pixels connected in the binary image. For example, focusing on black pixels having a value of 1, a cluster (similar pixel group) is generated with the black pixels adjacent to each other as the same group. Also, a plurality of clusters are generated by dividing black pixels that are not adjacent to each other but are separated into separate groups. As described above, the clustering unit 1112 extracts similar pixels from the binary image in units of pixels.
  • the clustering unit 1112 allocates a label for each cluster to a cluster that is a set of a plurality of pixels generated by clustering.
  • a label image assigned with a label for each cluster is output to the shape classification unit 1105.
  • FIG. 14C is a diagram showing a state in which labels C1 and C2 are allocated to some of the plurality of clusters in the binary image.
  • step S1204 the shape classification unit 1105 counts the number of pixels for each cluster to which a label is assigned. Based on the counted number of pixels, classification is performed for each cluster. For example, a cluster with a large number of pixels is classified as a spot, and a cluster with a small number of pixels is classified as a pore. Since only the binarization processing of the skin region image will extract both spots and pores, classification based on the number of pixels excludes clusters that are estimated to be pores because the region is smaller than the spots. can do.
  • FIG. 15A is a diagram illustrating a result of excluding clusters estimated to be pores from the image of FIG.
  • FIG. 15B shows a result of performing template matching on the image of FIG. 15A using a circular template and extracting a spot 505 similar to a circle.
  • FIG. 15C is a diagram illustrating a result of extracting a cluster 507 having a density lower than a predetermined threshold from the image illustrated in FIG. For example, a region having a high cluster density can be classified as a stain, and a region having a low cluster density can be classified as a buckwheat or an ADM (Acquired Dermal Melanocytosis).
  • the cluster 507 is, for example, buckwheat or ADM.
  • a worm-eaten or dissipative-shaped spot is distinguished from a spot that is not can do.
  • step S1205 the face image acquired by the image acquisition unit 1102 and the spot extraction result by the shape classification unit 1105 are output to the display unit 303.
  • the stain extraction result is displayed superimposed on the user's face image.
  • FIG. 16 is a diagram illustrating an image in which a stain 505 and a buckwheat 507 are superimposed on a part of a face image.
  • the stain 505 and the buckwheat 507 may be displayed after being converted into a predetermined color tone so that the user can easily recognize them. For example, display may be performed in which the stain 505 and the buckwheat 507 are highlighted in red or the like.
  • the stain 505 and the buckwheat 507 of different types may be displayed in different colors.
  • by highlighting in pixel units display according to the shape of the spot can be performed.
  • both the stain 505 and the buckwheat 507 are displayed, but only one of the stain 505 and the buckwheat 507 may be displayed, whereby the skin focused only on a specific type of state. The state can be recognized.
  • a feature part included in the face of the subject in the face image may be detected, and the cluster may be classified based on the relative position with the detected feature part. For example, the cluster may be classified by using a criterion that the cluster at the position of the forehead of the face is unlikely to be freckled and the cluster at the position of the cheek of the face is likely to be freckled.
  • Patent Document 1 detects the edge line of pigment spots in the shallow layer of the skin, and specifies the size of the range surrounded by the edge line, thereby making the skin shallow. Extract pigment spots in the layer. That is, it is determined that the entire area surrounded by the edge line is pigment spots. For this reason, it is not possible to distinguish between the state of worm-eaten and dissipatively shaped spots as described above, which is insufficient for accurate indexing of spots and discrimination of types.
  • the stain by extracting similar pixels for each pixel, it is possible to distinguish the stain according to the shape of the stain such as a worm-eaten shape and a dissipative shape, and the accurate indexation and type of the stain Can be discriminated.
  • a skin condition such as a stain that does not necessarily have an external shape.
  • FIG. 17 is a diagram showing an overview of services provided by the information management system in service type 1 (in-house data center type cloud service).
  • the service provider 120 acquires information from the group 100 and provides a service to the user.
  • the group 100 is, for example, a household that owns the above-described imaging device 305, and the service provider 120 acquires face image data obtained by the imaging device 305.
  • the service provider 120 may acquire face image data from a plurality of groups 100.
  • the service provider 120 has a function of a data center operating company. That is, the service provider 120 has a cloud server 111 that manages big data. Therefore, there is no data center operating company.
  • the service provider 120 operates and manages the data center (cloud server) 203.
  • the service provider 120 manages an operating system (OS) 202 and an application 201.
  • the service provider 120 provides a service using the OS 202 and the application 201 managed by the service provider 120 (arrow 204). For example, the service provider 120 analyzes and evaluates the face image and provides the result of the analysis and evaluation to the user.
  • FIG. 18 is a diagram illustrating an overall image of services provided by the information management system in service type 2 (IaaS-based cloud service).
  • IaaS is an abbreviation for infrastructure as a service, and is a cloud service provision model that provides a base for constructing and operating a computer system as a service via the Internet.
  • the data center operating company 110 operates and manages the data center (cloud server) 203.
  • the service provider 120 manages the OS 202 and the application 201.
  • the data center operating company 110 acquires face image data from at least one group 100.
  • the service provider 120 provides a service using the OS 202 and the application 201 managed by the service provider 120 (arrow 204). For example, the service provider 120 analyzes and evaluates the face image and provides the result of the analysis and evaluation to the user.
  • FIG. 19 is a diagram illustrating an overall image of services provided by the information management system in service type 3 (PaaS use type cloud service).
  • PaaS is an abbreviation for Platform as a Service
  • PaaS provision model that provides a platform serving as a foundation for constructing and operating software as a service via the Internet.
  • the data center operating company 110 manages the OS 202 and operates and manages the data center (cloud server) 203. Further, the service provider 120 manages the application 201. The data center operating company 110 acquires face image data from at least one group 100. The service provider 120 provides a service using the OS 202 managed by the data center operating company 110 and the application 201 managed by the service provider 120 (arrow 204). For example, the service provider 120 analyzes and evaluates the face image and provides the result of the analysis and evaluation to the user.
  • FIG. 20 is a diagram illustrating an overview of services provided by the information management system in service type 4 (SaaS-based cloud service).
  • SaaS is an abbreviation for software as a service.
  • the SaaS-based cloud service is, for example, an application provided by a platform provider who owns a data center (cloud server), or a user such as a company or individual who does not have a data center (cloud server) on the Internet.
  • This is a cloud service provision model that has functions that can be used via other networks.
  • the data center operating company 110 manages the application 201, manages the OS 202, and operates and manages the data center (cloud server) 203.
  • the data center operating company 110 acquires face image data from at least one group 100.
  • the service provider 120 provides a service using the OS 202 and the application 201 managed by the data center operating company 110 (arrow 204). For example, the service provider 120 analyzes and evaluates the face image and provides the result of the analysis and evaluation to the user.
  • the service provider 120 provides a service.
  • the service provider or the data center operating company may develop an OS, an application, a big data database, or the like, or may be outsourced to a third party.
  • the technique of the present disclosure is particularly useful in the technical field for performing skin evaluation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)

Abstract

　本開示のある実施形態に係る制御方法は、被写体の画像を入力するカメラおよび被写体の画像を表示するディスプレイを有する情報処理装置を制御する制御方法であって、カメラから被写体の画像を入力し、入力した画像をディスプレイに表示する情報処理装置のコンピュータに、カメラを動作させて被写体のデジタル画像を取得させ、被写体のデジタル画像に含まれる被写体の肌領域における複数の類似画素を抽出させ、抽出した複数の類似画素を所定の色調へ変換し、被写体のデジタル画像に重畳してディスプレイに表示させる。

Description

情報処理装置の制御方法および画像処理方法
　本開示は、ユーザの顔を撮像可能な情報処理装置の制御方法および画像処理方法に関する。
　人間の顔の肌をカメラで撮像し、撮像した画像から肌の状態を評価する情報処理装置および画像処理方法が検討されている。
特許第４４８５８３７号
　しかし、上記情報処理装置および画像処理方法は更なる改善が必要であった。
　本開示のある実施形態に係る制御方法は、被写体の画像を入力するカメラおよび被写体の画像を表示するディスプレイを有する情報処理装置を制御する制御方法であって、カメラから被写体の画像を入力し、入力した画像をディスプレイに表示する情報処理装置のコンピュータに、カメラを動作させて被写体のデジタル画像を取得させ、被写体のデジタル画像に含まれる被写体の肌領域における複数の類似画素を抽出させ、抽出した複数の類似画素を所定の色調へ変換し、被写体のデジタル画像に重畳してディスプレイに表示させる。
　上記態様により、本願に開示された肌分析方法および肌分析装置によれば、肌状態の弁別精度が向上し、シミの種別の弁別が可能となる。
実施形態における情報提供システムの全体像を示す図である。 実施形態におけるデータセンタの構成を示す図である。 実施形態におけるデータセンタの構成を示す図である。 実施形態における肌分析装置の全体像を示す図である。 実施形態における制御装置の構成を示す図である。 実施形態におけるクラウドサーバの構成を示す図である。 実施形態における撮像装置の機能ブロック図である。 実施形態における肌の内部の構造を示す図である。 実施形態における肌の評価を行う処理を示すフローチャートである。 （ａ）から（ｄ）は、実施形態における顔画像から肌のシミを抽出する処理を示す図である。 （ａ）は実施形態における肌分析前に表示部に表示される画像の一例を示す図であり、（ｂ）は実施形態における肌の撮像時に表示部に表示される画像の一例を示す図である。 （ａ）および（ｂ）は、実施形態における肌分析後に表示部に表示される画像の一例を示す図である。 （ａ）および（ｂ）は、実施形態における表示部に表示される画像の一例を示す図である。 （ａ）および（ｂ）は、実施形態における表示部に表示される画像の一例を示す図である。 実施形態における撮像装置の機能ブロック図である。 実施形態における肌の評価を行う処理を示すフローチャートである。 （ａ）は実施形態における肌領域画像の一例を示す図であり、（ｂ）は実施形態における２値画像の一例を示す図であり、（ｃ）は実施形態におけるラベル画像の一例を示す図である。 （ａ）から（ｃ）は、実施形態における肌のシワ抽出結果の一例を示す図である。 実施形態における表示部に表示されるシミ抽出結果の画像の一例を示す図である。 実施形態におけるサービスの類型１（自社データセンタ型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。 実施形態におけるサービスの類型２（ＩａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。 実施形態におけるサービスの類型３（ＰａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。 実施形態におけるサービスの類型４（ＳａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。
　（本発明の基礎となった知見）
　肌状態をよい状態に保ちたい、改善したいというニーズがあり、肌状態のケアの為には、日常的に肌状態を計測することが必要である。
　従来、肌を撮影した画像に基づき、肌の状態を分析し、可視化および定量化することが行われている。この肌分析装置では、肌画像に基づいて、肌表面に存在する分析対象を抽出する必要がある。分析対象としては、例えば、肌のシミなどが挙げられる。
　ここで肌のシミは、シミの種類に応じて最適な対処方法が異なることから、シミ状態を精度よく検出し、シミの種類を分類することは、シミに対して的確に対処するために重要である。例えば、シミ形状はシミの種類によって異なり、シミの種類によっては虫食い・散逸的であることがある。また、シミの種類と出現頻度は、顔面内の位置によっても異なる。
　特許文献１には、非接触に撮影されたデジタル画像において、皮膚の浅層における色素斑を抽出する技術が開示されている。
　しかし、特許文献１に開示されている技術は、皮膚の浅層における色素斑のエッジ線を検出し、上記エッジ線に囲まれた範囲の大きさを特定することで、皮膚の浅層における色素斑を抽出する。すなわち、エッジ線に囲まれた範囲内が全て色素斑であると判断されてしまう。そのため、前述のような虫食い・散逸的な形状のシミの状態を区別することができず、シミの正確な指標化および種類の弁別には不十分であった。
　尚、シミの種類は多岐にわたり、本開示においても、くすみ、肝斑、色素班、色素沈着、そばかすなどを想定しているが、本開示の技術は皮膚表面の色が変化している部位に対して一般に適用可能な技術であって、シミの呼称によって限定されるものではない。
　そこで、上記課題を解決するために、以下の改善策を検討した。
　本開示のある実施形態に係る制御方法は、被写体の画像を入力するカメラおよび前記被写体の画像を表示するディスプレイを有する情報処理装置を制御する制御方法であって、前記カメラから被写体の画像を入力し、前記入力した画像を前記ディスプレイに表示する情報処理装置のコンピュータに、前記カメラを動作させて前記被写体のデジタル画像を取得させ、前記被写体のデジタル画像に含まれる前記被写体の肌領域における複数の類似画素を抽出させ、前記抽出した複数の類似画素を所定の色調へ変換し、前記被写体のデジタル画像に重畳して前記ディスプレイに表示させる。
　ある実施形態において、前記複数の類似画素を画素単位で抽出してもよい。
　ある実施形態において、前記抽出した複数の類似画素を、強調表示する色調へ変換してもよい。
　ある実施形態において、前記抽出した複数の類似画素を、画素単位で強調表示する色調へ変換してもよい。
　ある実施形態において、前記取得された被写体のデジタル画像を所定の閾値で２値化処理した２値画像に基づいて、前記複数の類似画素を抽出してもよい。
　ある実施形態において、前記抽出された複数の類似画素のうち、連結した画素の集合である類似画素群について、前記類似画素群毎に所定の基準で複数カテゴリへ分類し、前記複数のカテゴリのうちの同じカテゴリに分類された少なくとも１つの類似画素群に含まれる前記類似画素のみを、前記被写体のデジタル画像へ重畳して前記ディスプレイに表示してもよい。
　ある実施形態において、前記類似画素群は、前記類似画素群を含む所定の面積内に穴が含まれるか否かによって分類されてもよい。
　ある実施形態において、前記類似画素群は、前記類似画素群を含む所定の面積内における前記類似画素の密度に基づいて分類されてもよい。
　ある実施形態において、前記類似画素群は、前記類似画素群における前記類似画素の数に基づいて分類されてもよい。
　ある実施形態において、前記被写体のデジタル画像は前記被写体の顔を含む顔画像であり、前記顔画像における被写体の顔に含まれる特徴部位を検出し、前記類似画素群は、前記検出した特徴部位との相対位置に基づいて分類されてもよい。
　ある実施形態において、前記類似画素群は、前記類似画素群の形状が所定形状のフィルタに類似するか否かに基づいて分類されてもよい。
　ある実施形態において、前記所定形状は円形状であってもよい。
　ある実施形態において、前記類似画素は、前記撮像された前記被写体のデジタル画像の色空間をＬｕｖに変換し、Ｌｕｖ値の類似度に基づいて抽出されてもよい。
　ある実施形態において、前記類似画素は、前記撮像された前記被写体のデジタル画像の色空間をＨＳＶに変換し、ＨＳＶ値の類似度に基づいて抽出されてもよい。
　ある実施形態において、前記類似画素は、前記撮像された前記被写体のデジタル画像の色空間をＨＬＳに変換し、ＨＬＳ値の類似度に基づいて抽出されてもよい。
　ある実施形態において、前記類似画素は、前記撮像された前記被写体のデジタル画像の色空間をＬａｂに変換し、Ｌａｂ値の類似度に基づいて抽出されてもよい。
　本開示のある実施形態に係る画像処理方法は、人の肌を含む画像に処理を施す画像処理方法であって、人の肌を含むデジタル画像を取得し、前記取得されたデジタル画像に含まれる肌領域における複数の類似画素を抽出し、前記抽出した複数の類似画素を所定の色調へ変換し、前記人の肌を含むデジタル画像に重畳してディスプレイに表示する。
　本開示のある実施形態に係る情報処理装置は、被写体の画像を入力するカメラと、前記被写体の画像を処理するコンピュータと、前記被写体の画像を表示するディスプレイと、を備えた情報処理装置であって、前記コンピュータは、前記カメラを動作させて前記被写体のデジタル画像を取得し、前記被写体のデジタル画像に含まれる前記被写体の肌領域における複数の類似画素を抽出し、前記抽出した複数の類似画素を所定の色調へ変換し、前記被写体のデジタル画像に重畳して前記ディスプレイに表示させる。
　本開示のある実施形態に係るコンピュータプログラムは、カメラから被写体の画像を入力し、前記入力した画像をディスプレイに表示する情報処理装置のコンピュータに画像処理を実行させるコンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータに、前記カメラを動作させて前記被写体のデジタル画像を取得させ、前記被写体のデジタル画像に含まれる前記被写体の肌領域における複数の類似画素を抽出させ、前記抽出した複数の類似画素を所定の色調へ変換し、前記被写体のデジタル画像に重畳して前記ディスプレイに表示させる。
　本開示の一態様によれば、生体の画像を取得する画像取得ステップと、前記画像取得ステップによって得られた画像内に含まれる肌特徴の形状を分類する形状分類ステップと、前記形状分類ステップによって得られた形状分類情報に基づいて、肌状態を分類する肌状態分類ステップと、を含むことを特徴とすることによって、シミ形状に基づいた肌状態の分類を可能とする。
　また、前記形状分類ステップは、前記画像取得ステップによって得られた画像内の類似画素群を抽出する類似画素抽出ステップと、前記類似画素群を連結するクラスタリングステップと、前記クラスタリングステップによって連結されたクラスタの形状を分類するクラスタ分類ステップと、を含むことを特徴とすることによって、連結クラスタの形状に基づいたシミ形状分類を可能とする。
　また、前記形状分類ステップは、前記画像取得ステップによって得られた画像内における特徴点を抽出する特徴点抽出ステップを含み、前記肌状態分類ステップは、前記特徴点に基づいて肌状態を分類する。これにより、画素からクラスタを形成できない場合や、例えば小さい点の集合体をなすような、クラスタでは特徴を正確に記述できない種類のシミについても、特徴点に基づいたシミ形状分類を可能とする。
　また、前記形状分類ステップは、前記画像取得ステップによって得られた画像内における楕円形状を抽出する、楕円フィルタリングステップを含み、前記肌状態分類ステップは、前記楕円フィルタのフィルタ形状と、フィルタ形状に対応したフィルタ値に基づいて肌状態を分類する。これにより、形状特徴が明確なシミを精度よく抽出することが可能となる。
　従って、本開示によれば、シミの形状等の画像空間上の構造に基づいた、シミの種類の分類が可能となる。
　なお、以下で説明する実施形態は、いずれも本発明の一具体例を示すものである。以下の実施形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本発明を限定するものではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施形態において、各々の内容を組み合わせることもできる。
　（提供するサービスの全体像）
　まず、本実施形態における情報管理システムが提供するサービスの全体像について説明する。
　図１Ａは、本実施形態における情報管理システムが提供するサービスの全体像を示す図である。情報管理システムは、グループ１００、データセンタ運営会社１１０及びサービスプロバイダ１２０を備える。
　グループ１００は、例えば企業、団体又は家庭等であり、その規模を問わない。グループ１００は、第１の機器及び第２の機器を含む複数の機器１０１およびホームゲートウェイ１０２を備える。複数の機器１０１は、インターネットと接続可能な機器（例えば、スマートフォン、パーソナルコンピュータ（ＰＣ）又はテレビ等）、及びそれ自身ではインターネットと接続不可能な機器（例えば、照明、洗濯機又は冷蔵庫等）を含む。また、複数の機器１０１は、後述する撮像装置３０５（図２）を含む。複数の機器１０１は、それ自身ではインターネットと接続不可能であっても、ホームゲートウェイ１０２を介してインターネットと接続可能となる機器を含んでもよい。また、ユーザ１０は、グループ１００内の複数の機器１０１を使用する。
　データセンタ運営会社１１０は、クラウドサーバ１１１を備える。クラウドサーバ１１１は、インターネットを介して様々な機器と連携する仮想化サーバである。クラウドサーバ１１１は、主に通常のデータベース管理ツール等で扱うことが困難な巨大なデータ（ビッグデータ）等を管理する。データセンタ運営会社１１０は、データの管理、クラウドサーバ１１１の管理、及びそれらを行うデータセンタの運営等を行っている。データセンタ運営会社１１０が行っている役務の詳細については後述する。
　ここで、データセンタ運営会社１１０は、データの管理又はクラウドサーバ１１１の管理のみを行っている会社に限らない。例えば、図１Ｂに示すように、複数の機器１０１のうちの一つの機器を開発又は製造している機器メーカが、データの管理又はクラウドサーバ１１１の管理等を行っている場合は、機器メーカがデータセンタ運営会社１１０に該当する。また、データセンタ運営会社１１０は一つの会社に限らない。例えば、図１Ｃに示すように、機器メーカ及び管理会社が共同又は分担してデータの管理又はクラウドサーバ１１１の管理を行っている場合は、両者又はいずれか一方がデータセンタ運営会社１１０に該当する。
　サービスプロバイダ１２０は、サーバ１２１を備える。ここで言うサーバ１２１とは、その規模は問わず、例えば、個人用ＰＣ内のメモリ等も含む。また、サービスプロバイダ１２０がサーバ１２１を備えていない場合もある。
　なお、上記の情報管理システムにおいて、ホームゲートウェイ１０２は必須ではない。例えば、クラウドサーバ１１１が全てのデータ管理を行っている場合等は、ホームゲートウェイ１０２は不要となる。また、家庭内の全ての機器がインターネットに接続されている場合のように、それ自身ではインターネットと接続不可能な機器は存在しない場合もある。
　次に、上記の情報管理システムにおける情報の流れを説明する。
　まず、グループ１００の第１の機器又は第２の機器は、各ログ情報をデータセンタ運営会社１１０のクラウドサーバ１１１に送信する。クラウドサーバ１１１は、第１の機器又は第２の機器のログ情報を集積する（図１Ａの矢印１３１）。ここで、ログ情報とは、複数の機器１０１の例えば運転状況又は動作日時等を示す情報である。例えば、ログ情報は、テレビの視聴履歴、レコーダーの録画予約情報、洗濯機の運転日時、洗濯物の量、冷蔵庫の開閉日時、又は冷蔵庫の開閉回数などを含むが、これらの情報に限らず、種々の機器から取得が可能な種々の情報を含んでもよい。なお、ログ情報は、インターネットを介して複数の機器１０１自体から直接クラウドサーバ１１１に提供されてもよい。また、ログ情報は、複数の機器１０１から一旦ホームゲートウェイ１０２に集積され、ホームゲートウェイ１０２からクラウドサーバ１１１に提供されてもよい。また、クラウドサーバ１１１は、撮像装置３０５が撮像して得た顔画像データを取得する。クラウドサーバ１１１は、複数のグループ１００から顔画像データを取得してもよい。
　次に、データセンタ運営会社１１０のクラウドサーバ１１１は、集積したログ情報を一定の単位でサービスプロバイダ１２０に提供する。ここで、一定の単位とは、データセンタ運営会社１１０が集積した情報を整理してサービスプロバイダ１２０に提供することのできる単位でもよいし、サービスプロバイダ１２０が要求する単位でもよい。また、一定の単位で提供するとしているが、一定の単位でなくてもよく、状況に応じて提供する情報量が変化してもよい。また、クラウドサーバ１１１は、取得した顔画像データをサービスプロバイダ１２０に提供する。ログ情報および顔画像データは、必要に応じてサービスプロバイダ１２０が保有するサーバ１２１に保存される（図１Ａの矢印１３２）。なお、クラウドサーバ１１１が顔画像データの分析および評価を行い、その分析および評価の結果をユーザに提供してもよい。
　そして、サービスプロバイダ１２０は、ログ情報をユーザに提供するサービスに適合する情報に整理し、ユーザに提供する。また、例えば、サービスプロバイダ１２０は、集積した顔画像データの分析および評価を行い、その分析および評価の結果をユーザに提供する。情報が提供されるユーザは、複数の機器１０１を使用するユーザ１０でもよいし、外部のユーザ２０でもよい。ユーザ１０、２０への情報提供方法としては、例えば、サービスプロバイダ１２０から直接ユーザ１０、２０へ情報が提供されてもよい（図１Ａの矢印１３３、１３４）。また、ユーザ１０への情報提供方法としては、例えば、データセンタ運営会社１１０のクラウドサーバ１１１を再度経由して、ユーザ１０に情報が提供されてもよい（図１Ａの矢印１３５、１３６）。また、データセンタ運営会社１１０のクラウドサーバ１１１は、ログ情報をユーザに提供するサービスに適合する情報に整理し、サービスプロバイダ１２０に提供してもよい。
　なお、ユーザ１０は、ユーザ２０と異なっていても同一であってもよい。
　（実施形態１）
　以下、図面を参照しながら、実施形態に係る情報処理装置およびその制御方法を説明する。実施形態に係る処理の一例として、画像内に含まれる肌特徴の形状に基づいて、テンプレートを用いて異なる種類のシミを区別して抽出する処理を説明する。
　図２は、実施形態に係る撮像装置３０５の全体像を示す図である。撮像装置３０５は、実施形態に係る情報処理装置の一例である。撮像装置３０５は、カメラ３００と、照明３０１と、制御装置３０２と、表示部３０３とを備える。ここで、表示部３０３は、タッチパネルを備えていてもよく、表示部３０３に表示されるボタンをユーザが指などで触れることによって撮像装置３０５を操作可能としてもよい。
　カメラ３００から入力されたユーザ３０４の顔画像は、制御装置３０２によって取得されて評価される。また、顔画像は、クラウドサーバ３０７によって評価されてもよい。その後、肌状態または肌状態を定量評価された指標が、表示部３０３に提示される。
　図３Ａは、制御装置３０２の構成を示す図である。制御装置３０２は、マイクロコンピュータ３０２Ａと、メモリ３０２Ｂと、通信部３０２Ｃとを備える。マイクロコンピュータ３０２Ａは、以下に説明する動作を含む制御装置３０５全体の動作を制御する。また、マイクロコンピュータ３０２Ａは、画像処理等の以下に説明する各種処理を実行する。例えば、撮像装置３０５の各動作を制御するためのコンピュータプログラムがメモリ３０２Ｂに記憶されており、マイクロコンピュータ３０２Ａは、この記憶されたコンピュータプログラムに従って、カメラ３００、照明３０１などの撮像装置３０５の各構成要素の動作を制御したり、画像処理等の各種処理を実行したりする。
　カメラ３００は、ユーザ３０４の顔を撮像し、顔画像データを取得する。この際、本実施形態では、ユーザの顔画像からターゲットとなるシワ、被毛などを正確に抽出するために、照明３０１およびカメラ３００に偏光フィルタが設置され、偏光画像が撮像される。なお、撮像装置３０５は、照明３０１を含んでいなくてもよい。
　図３Ｂは、クラウドサーバ３０７の構成を示す図である。クラウドサーバ３０７は、マイクロコンピュータ３０７Ａと、メモリ３０７Ｂと、通信部３０７Ｃと、データベース３０７Ｄとを備える。クラウドサーバ３０７は、通信部３０７Ｃを介して、撮像された画像、画像の特徴指標、肌の評価値などを複数の撮像装置３０５から受け取る。クラウドサーバ３０７は、複数の撮像装置３０５から受け取った各データを記憶し、統計データを生成したり、データ同士の相関関係を求めたりする。また、通信部３０７Ｃを介して、それら統計データや相関関係を各撮像装置３０５に送信する。
　なお、ユーザ３０４の顔画像の画像処理等の各種処理は、クラウドサーバ３０７で行われてもよい。また、ユーザ３０４の顔画像の評価は、制御装置３０２で行われてもよい。
　図４は、本実施形態における撮像装置３０５の構成を示すブロック図である。撮像装置３０５は、カメラ３００、画像取得部１１０２、肌領域抽出部１１０３、肌分析部１１０４、形状分類部１１０５、表示部３０３を備える。なお、図示しない入力部を備えて、ユーザが表示部３０３に示されるメニューを選択可能としてもよく、また文字を入力可能としてもよい。また、表示部３０３と図示しない入力部はタッチスクリーンとして一体となっていることが好ましい。また、画像取得部１１０２、肌領域抽出部１１０３、肌分析部１１０４、形状分類部１１０５の一部または全体は、マイクロコンピュータ３０２Ａによって実現され得る。
　また、通信部３０２Ｃ（図３Ａ）を用いてクラウドサーバ３０７と通信可能としてもよく、顔画像の評価はクラウドサーバ３０７で処理されるとしてもよい。また、評価結果をクラウドサーバ３０７で記憶しておくとしてもよい。この場合、肌領域抽出部１１０３、肌分析部１１０４、形状分類部１１０５の一部または全体は、マイクロコンピュータ３０７Ａによって実現され得る。また、これらの構成要素は、マイクロコンピュータ３０２Ａおよび３０７Ａの組み合わせによって実現されてもよい。
　以下、図面を参照して、本実施形態の撮像装置３０５の動作について説明する。
　本実施形態における撮像装置３０５は、ユーザが撮像装置３０５に備えられたカメラ３００の前に位置した状態で、動作が開始される。
　カメラ３００からユーザの顔画像が入力され、入力された顔画像は左右反転され、表示部３０３に提示される。ユーザの撮像開始指示により、撮像装置３０５の動作が開始される。
　まず、肌画像の特徴指標の測定方法を説明する。図５は、人肌の断面を模式的に示している。肌画像には肌のシミ、シワ、毛穴、ほうれい線などの種々の情報が含まれる。肌画像からこれらの情報を選択的に抽出することにより、特徴指標が算出される。図５に示すように肌２００は、肌２００の表面２００Ｓから内部に向かって０．０６ｍｍから０．２ｍｍ程度の深さの範囲にある表皮２００Ａ、及びこれよりも内部に存在する真皮２００Ｂを含む。肌のシミ、シワ、毛穴、ほうれい線は、肌における形状およびこれらが肌２００中に存在する深さが異なる。したがって、肌の異なる深さからの画像を得て、形状による識別を行えば、特徴指標を算出することができる。
　肌の異なる深さからの画像の情報は、偏光光や色成分を用いることによって得られる。たとえば、所定の方向に平行な直線偏光光を用いて肌を撮影した場合、直線偏光光２００Ｉは、肌の表面２００Ｓにおいては偏光方向が維持されて反射する（反射光２００Ｒ）。一方、表皮２００Ａの内部で反射した直線偏光光２００Ｉは、散乱によって偏光方向が乱れて表皮２００Ａから出射する（反射光２００ｒ）。このため、直線偏光光を出射する光源を用い、光源と平行な偏光光を検出すれば（平行偏光条件）、肌の表面の情報が多く内部の情報が少ない画像を得ることができる。また、直線偏光光を出射する光源を用い、光源と直交する偏光光を検出すれば（直交偏光条件）、肌の内部の情報が多く、表面の情報が少ない画像を得ることができる。つまり、偏光光を光源として用いることにより、肌の内部の情報や表面の情報を選択的に含む画像を得ることができる。
　また、光源からの光は、波長が長いほど表皮２００Ａの内部にまで入射し、内部で反射する。したがって、肌を撮影した画像のうち、青色（Ｂ）成分は、肌の表面の情報をより多く含み、赤色（Ｒ）や赤外成分は表皮２００Ａの内部の情報をより多く含む。
　また、シミやシワ等の特徴指標は、特定の波長領域の光を吸収しやすい等の性質を有する場合がある。このような場合には、その特定の波長領域の光の成分を利用することによって、特定の指標を算出することができる。
　肌のシミは表皮２００Ａの内部に存在する。また、シミが濃いほど、シミの部分から得られる光における青色成分と赤色成分との光量の差が小さくなることが知られている。したがって、内部の情報をより多く得ることができる直交偏光の条件で撮影を行い、画像の各画素における青と赤との画素値の差分を求め、閾値処理することによって、撮影画像からシミの部分を選択的に抽出することができる。
　シワおよびほうれい線は、肌２００の表面２００Ｓ近傍に存在する。表面の情報をより多く得ることができる平行偏光の条件で撮影を行い、画像の各画素における青と赤との画素値の差分を求めると、肌表面における光の反射による影響を抑制し、シワおよびほうれい線の情報を多く含む画像を得ることができる。また、線検出フィルタを用いて画像を処理することによって、シワおよびほうれい線の情報を多く含む画像を得ることができる。シワとほうれい線とを区別したい場合には、検出した部分の長さによる閾値処理をさらに行ってもよい。
　なお、シミ、シワおよびほうれい線の情報を多く含む画像を得るために、ここでは青と赤との画素値の差分を求めたが、青の画素値のみを求めるとしてもよく、また例えば、緑などの他の色の画素値を用いてもよく、青と赤との画素値の差分を求めることのみに限定されない。
　毛穴は、肌２００の表面２００Ｓ近傍に存在する。しかし、表面の情報をより多く得ることができる平行偏光の条件においては、撮像装置３０５が使用される環境における照明の影響を強く受ける。一方、毛穴は画像上、比較的識別しやすい。特に、点検出フィルタを用いた場合、画像上の毛穴をより抽出しやすくなる。このため、画像から毛穴を抽出する場合は、照明の影響を抑制し、再現性良く特徴指標を算出するために、直交偏光の条件で撮影を行う。また、画像の各画素における青色成分を抽出し、点検出フィルタを用いて画像を処理することによって、毛穴の情報を多く含む画像を得ることができる。
　図６は、撮像装置３０５の動作を示すフローチャートである。
　ステップＳ１２０１において、制御装置３０２はカメラ３００を動作させ、カメラ３００でユーザの顔画像を撮像する。画像取得部１１０２は、撮像したユーザの顔画像（被写体のデジタル画像）を取得する。このとき照明装置３０１を動作させ、照明条件下でユーザの顔画像を撮像してもよい。このとき取得されるユーザの顔画像は、例えば、図７（ａ）に示されるような顔画像３１である。
　ステップＳ１２０２において、肌領域抽出部１１０３は、Ｓ１２０１で取得されたユーザの顔画像から肌領域を抽出する。例えば、顔画像のうち、目・口といった構造物を除く肌領域のみを切り出し、肌領域画像を生成する。
　肌領域の抽出方法としては、例えば、顔検出を用いて、目領域・口領域を除外するとしてもよい。また、色情報を用いてもよく、例えば、顔画像内において色情報が所定の閾値の範囲にある部分を抽出することで、目領域・口領域を除外するとしてもよい。
　ステップＳ１２０３において、肌領域抽出部１１０３によって生成された肌領域画像が、肌分析部１１０４に出力される。肌分析部１１０４は、顔画像の肌領域における複数の類似画素を抽出する。例えば、肌分析部１１０４は、肌領域画像に対して、画素毎に青と赤の画素値の差分を求め、閾値処理によってシミの候補を抽出し、シミ候補画像を生成する。このとき生成されるシミ候補画像は、例えば、図７（ｂ）に示されるようなシミの候補４０３を含む画像である。
　ステップＳ１２０４において、肌分析部１１０４にて抽出されたシミの候補を示す情報を含むシミ候補画像が、形状分類部１１０５に出力される。形状分類部１１０５は、類似する複数の画素の集合である類似画素群について、類似画素群の形状が所定形状のフィルタに類似するか否かに基づいて分類を行う。例えば、形状分類部１１０５は、シミ候補画像に対して、所定のテンプレートとのマッチングを行う。所定のテンプレートは、例えば、図７（ｃ）に示すような、楕円形状および／または円形状を含むテンプレート４０５である。テンプレートとの相関値が一定以上となる座標と、その座標におけるテンプレート画像位置のシミのみを抽出対象とすることで、所定のテンプレートに類似した形状および位置のシミを選別する。選別されたシミを、シミ抽出結果として出力する。このとき、例えば、円形のテンプレートを用いることで、図７（ｄ）に示されるような円形のシミ４０７が抽出される。
　ステップＳ１２０５において、画像取得部１１０２が取得した顔画像と、形状分類部１１０５が抽出したシミ４０７が、表示部３０３に出力される。このとき、表示されるシミ４０７は、ユーザの顔画像に重畳して表示されることが好ましい。また、シミ４０７は、ユーザが認識しやすいように、所定の色調へ変換されて表示されてもよい。例えば、シミ４０７を赤色等で強調する表示を行ってもよい。
　図８（ａ）は、ユーザの顔画像撮像前に撮像装置３０５の表示部３０３に表示される初期画面の一例を示している。表示部３０３の表示領域は、面積が大きいメイン画面７０とメイン画面７０の下側に位置し、面積が小さいサブ画面７２を含む。初期画面では、カメラ３００から入力される画像がメイン画面７０にリアルタイムで表示され、デジタルミラーとして機能している。サブ画面７２には、例えば、時計や天気予報などの情報が表示されてもよい。
　図８（ｂ）は、撮像開始直前の画面を示している。上述したように表示部３０３の表面にはタッチパネルが設けられており、タッチパネルをユーザが指などで触れることによって、サブ画面７２の上部８０および左側部７８に操作メニューや機能の切り替えメニューが表示される。メイン画面７０には、例えば、ユーザの顔の位置を誘導するためのガイド３５が示されてもよい。また、撮影のタイミングを示すマークやカウントダウンの数字７４などが示されていてもよい。
　また、例えば、サブ画面７２の右側７２Ｒにはカメラ３００から入力されるユーザの顔画像３１がリアルタイムで表示され、左側７２Ｌにカレンダーが表示される。カレンダーにはたとえば、過去に撮像装置３０５を用いて撮影を行ったことを示すマークなどが示されていてもよい。図８（ｂ）に示す表示のあと、上述したようにユーザの顔画像の撮像が行われる。
　結果表示ステップＳ１２０５では、画像取得部１１０２が取得したユーザの顔画像と、形状分類部１１０５において出力されたシミ抽出結果８１が、表示部３０３に出力される。表示部３０３は、図９（ａ）および図９（ｂ）で例示されるような画像を表示部３０３に表示する。
　図９（ａ）に示す表示例では、メイン画面７０に肌状態の評価に使用されたユーザの顔画像３１が表示されるとともに、当該顔画像に重畳されてシミ抽出結果８１が表示される。また、左側７２Ｌには肌領域の評価に用いられたユーザの顔画像が示される。サブ画面７２の上部８０には、顔の位置を指定するメニューが表示され、左側部７８には表示する内容や機能を切り替えるメニューが表示される。ユーザは、例えば、サブ画面７２の上部８０および左側部７８に触れることによって、顔の特定の肌領域を表示させたり、表示する内容を変更したりできる。
　図９（ｂ）は、ユーザの指定した肌領域８３の評価に使用された画像の一部が、サブ画面７２の右側７２Ｒにて拡大されて表示されている例を示す。シミ抽出結果が表示されている。シミ抽出結果８４の表示は、例えば、肌領域におけるシミに該当する部分を赤色の領域で表示するとしてもよい。
　尚、結果表示ステップＳ１２０５においては、シミ抽出結果を表示部３０３に表示するだけでなく、シミ抽出結果をスコア化して提示してもよい。例えば、上述の手順によって顔画像の評価が終了した場合、図９（ａ）のサブ画面７２の右側７２Ｒのように、ターゲットについて算出された特徴指標が、例えばレーダーチャートで示される。この例では、測定した肌領域全体の平均特徴指標が表示されている。
　また、抽出したターゲットについての情報およびレーダーチャートで示されたスコアの履歴が、制御装置３０２またはクラウドサーバ３０７に保存されてもよい。これにより、ユーザは評価結果の履歴をいつでも参照することができ、継時的なケアに役立てることが可能になる。
　たとえば、図１０（ａ）に示すように、サブ画面７２にカレンダーを表示してもよい。カレンダーには、日付毎に評価が行われたか否かを示す情報が表示されている。例えば、ユーザがカレンダーの日付を選択すると、図１０（ｂ）のように、過去の評価結果が表示部３０３に表示される。このとき、メイン画面７０には、選択された日付において評価を行ったユーザの顔画像３１が抽出されたターゲットとともに表示され、サブ画面７２には、カレンダーとともに抽出したターゲットをスコア化したものがレーダーチャートとして表示される。
　また、評価結果及び上記履歴に基づいて、個人の肌状態に最適化されたケアに関するアドバイス情報や推奨されるケア用品および化粧品を提示してもよい。図１１（ａ）に示すように、評価値の結果に基づく肌の手入れ等の美容に関するアドバイス８６を表示してもよい。また、図１１（ｂ）に示すように、肌状態を改善するために有用な化粧品や美容機器の情報８８を詳細に表示してもよい。
　（実施形態２）
　次に、本発明の実施形態として、クラスタリングに基づいて異なる種類のシミを区別して抽出する処理について説明する。
　図１２は、実施形態２における撮像装置３０５の構成を示すブロック図である。本実施形態の肌分析部１１０４は、２値画像生成部１１１１およびクラスタリング部１１１２を有する。本実施形態の肌分析部１１０４は、マイクロコンピュータ３０２Ａまたは３０７Ａによって実現され得る。また、肌分析部１１０４は、マイクロコンピュータ３０２Ａおよび３０７Ａの組み合わせによって実現されてもよい。
　２値画像生成部１１１１は、肌領域抽出部１１０３から出力される肌領域画像を、所定の閾値を用いて２値化する。２値化した結果である２値画像をクラスタリング部１１１２へ出力する。
　クラスタリング部１１１２は、入力された２値画像から複数の類似画素を画素単位で抽出する。この例では、クラスタリング部１１１２は、２値画像に対し、画素の連結情報に基づいてクラスタリング処理を行い、形状分類部１１０５に出力する。
　図１３は、実施形態２における撮像装置３０５の動作フローを示すフローチャートである。
　ステップＳ１２０１において、制御装置３０２はカメラ３００を動作させ、カメラ３００でユーザの顔画像を撮像する。画像取得部１１０２は、撮像したユーザの顔画像（被写体のデジタル画像）を取得する。このとき照明装置３０１を動作させ、照明条件下でユーザの顔画像を撮像してもよい。
　ステップＳ１２０２において、肌領域抽出部１１０３は、Ｓ１２０１で取得されたユーザの顔画像から肌領域を抽出する。例えば、顔画像のうち、目・口といった構造物を除く肌領域のみを切り出し、肌領域画像を生成する。
　肌領域の抽出方法としては、例えば、顔検出を用いて、目領域・口領域を除外するとしてもよい。また、色情報を用いてもよく、例えば、顔画像内において色情報が所定の閾値の範囲にある部分を抽出することで、目領域・口領域を除外するとしてもよい。
　ステップＳ１２１１において、肌領域抽出部１１０３にて生成された肌領域画像が、２値画像生成部１１１１において２値化処理され、２値画像が生成される。生成された２値画像は、クラスタリング部１１１２へ出力される。図１４（ａ）は、肌領域画像の一例を示す図である。この肌領域画像５０１が２値化処理されることで、図１４（ｂ）に示すような２値画像５１０が生成される。この２値画像５１０は、肌領域におけるシミの候補５０３を示している。
　ここで、２値画像におけるひとまとまりの領域を定義するために、連結という概念を用いる。通常、デジタル画像について値１を持つ領域に注目し、値１を持つ画素を黒く表示することが一般的であるため、値１を持つ画素を黒画素と呼ぶ。また、値０を持つ画素（白画素）の領域を背景と呼ぶことがある。
　また、この連結という概念としては、一つの画素に対する上下左右の位置にある画素を連結しているとみなす４近傍という概念で定義される４連結と、一つの画素に対する上下左右の位置にある画素に、斜め４方向にある画素を加えた８近傍という概念で定義される８連結とがある。
　連結している画素の集合を連結成分と呼ぶこともあり、この連結成分の中にある背景（白画素）を穴とよぶことがある。
　ステップＳ１２１２において、クラスタリング部１１１２は、２値画像において連結している複数の画素の集合に対してクラスタリングを施す。例えば、値１を持つ黒画素に着目し、互いに隣接する黒画素同士を同じ群としてクラスタ（類似画素群）を生成する。また、互いに隣接せずに離れている黒画素同士は別々の群として分けることで、複数のクラスタを生成する。このように、クラスタリング部１１１２は、２値画像から類似画素を画素単位で抽出する。
　クラスタリング部１１１２は、クラスタリングにて生成された複数の画素の集合であるクラスタに対して、クラスタ毎にラベルを割り振る。このクラスタ毎にラベルが割り振られたラベル画像を、形状分類部１１０５へ出力する。図１４（ｃ）は、２値画像内の複数のクラスタの一部にラベルＣ１およびＣ２を割り振った様子を示す図である。
　ステップＳ１２０４において、形状分類部１１０５は、ラベルを割り振られたクラスタ毎に画素数をカウントする。カウントされた画素数に基づいて、クラスタ毎に分類を行う。例えば、画素数が多いクラスタをシミとして分類し、画素数が少ないクラスタを毛穴として分類する。肌領域画像の２値化処理だけでは、シミと毛穴の両方が抽出されてしまうため、画素数に基づいて分類を行うことで、シミと比較して領域が小さく毛穴と推測されるクラスタを除外することができる。図１５（ａ）は、図１４（ｃ）の画像から、毛穴と推測されるクラスタを除外した結果を示す図である。
　また、この分類結果に加えて、テンプレートマッチングを併用することで、外形に基づく詳細な分類が可能となる。図１５（ａ）の画像に対して、円形のテンプレートを用いてテンプレートマッチングを行い、円形に類似するシミ５０５を抽出した結果を図１５（ｂ）に示す。
　また、クラスタを含む所定の面積内におけるクラスタの密度を用いることで、クラスタの粗密に基づくシミの分類が可能となる。図１５（ｃ）は、図１４（ｃ）に示される画像から、所定の閾値よりも密度が低いクラスタ５０７を抽出した結果を示す図である。例えば、クラスタの密度の高い領域をシミと分類し、クラスタの密度の低い領域をソバカスまたはＡＤＭ（Ａｃｑｕｉｒｅｄ　Ｄｅｒｍａｌ　Ｍｅｌａｎｏｃｙｔｏｓｉｓ）と分類することができる。クラスタ５０７は、例えば、ソバカスまたはＡＤＭである。
　また、クラスタを含む所定の面積内に穴（所定数以上の白画素の集合）が含まれるか否かによって分類することで、虫食いまたは散逸的な形状のシミと、そうではないシミとを区別することができる。
　このようにして、所望の分類に帰属するシミを抽出することができる。
　ステップＳ１２０５において、画像取得部１１０２が取得した顔画像と、形状分類部１１０５によるシミ抽出結果とが、表示部３０３に出力される。このとき、シミ抽出結果は、ユーザの顔画像に重畳して表示されることが好ましい。図１６は、シミ５０５およびソバカス５０７を顔画像の一部に重畳させた画像を示す図である。また、シミ５０５およびソバカス５０７は、ユーザが認識しやすいように、所定の色調へ変換されて表示されてもよい。例えば、シミ５０５およびソバカス５０７を赤色等で強調する表示を行ってもよい。また、互いに種類が異なるシミ５０５およびソバカス５０７を、互いに異なる色調で表示してもよい。また、画素単位で強調表示することで、シミの形状に応じた表示を行うことができる。
　また、図１６の例では、シミ５０５およびソバカス５０７の両方を表示しているが、シミ５０５およびソバカス５０７の一方のみを表示してもよく、これにより、特定の種類の状態のみに絞った肌状態を認識することができる。
　また、顔画像における被写体の顔に含まれる特徴部位を検出し、クラスタは検出した特徴部位との相対位置に基づいて分類されてもよい。例えば、顔のおでこの位置のクラスタはソバカスである可能性が低く、顔の頬の位置のクラスタはソバカスである可能性が高いという判断基準を用いて、クラスタを分類してもよい。
　上述したように、特許文献１に開示されている技術は、皮膚の浅層における色素斑のエッジ線を検出し、上記エッジ線に囲まれた範囲の大きさを特定することで、皮膚の浅層における色素斑を抽出する。すなわち、エッジ線に囲まれた範囲内が全て色素斑であると判断されてしまう。そのため、前述のような虫食いおよび散逸的な形状のシミの状態を区別することができず、シミの正確な指標化および種類の弁別には不十分であった。本発明の実施形態では、画素毎に類似画素を抽出することで、虫食い形状および散逸的な形状等のシミの形状に応じて、シミを区別することができ、シミの正確な指標化および種類の弁別を行うことができる。
　本実施形態により、必ずしも外形が定まっていないシミのような肌状態に関しても、分類および抽出が可能となる。
　なお、上記態様において説明された技術は、例えば、以下のクラウドサービスの類型において実現され得る。しかし、上記態様において説明された技術が実現されるクラウドサービスの類型はこれらに限られるものでない。
　（サービスの類型１：自社データセンタ型クラウドサービス）
　図１７は、サービスの類型１（自社データセンタ型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。本類型では、サービスプロバイダ１２０がグループ１００から情報を取得し、ユーザに対してサービスを提供する。グループ１００は、例えば上述した撮像装置３０５を所有する家庭であり、サービスプロバイダ１２０は、撮像装置３０５が撮像して得た顔画像データを取得する。サービスプロバイダ１２０は、複数のグループ１００から顔画像データを取得してもよい。本類型では、サービスプロバイダ１２０が、データセンタ運営会社の機能を有している。すなわち、サービスプロバイダ１２０が、ビッグデータを管理するクラウドサーバ１１１を保有している。したがって、データセンタ運営会社は存在しない。
　本類型では、サービスプロバイダ１２０は、データセンタ（クラウドサーバ）２０３を運営及び管理している。また、サービスプロバイダ１２０は、オペレーティングシステム（ＯＳ）２０２及びアプリケーション２０１を管理する。サービスプロバイダ１２０は、サービスプロバイダ１２０が管理するＯＳ２０２及びアプリケーション２０１を用いてサービスを提供する（矢印２０４）。例えば、サービスプロバイダ１２０は、顔画像の分析および評価を行い、その分析および評価の結果をユーザに提供する。
　（サービスの類型２：ＩａａＳ利用型クラウドサービス）
　図１８は、サービスの類型２（ＩａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。ここで、ＩａａＳとは、インフラストラクチャー・アズ・ア・サービスの略であり、コンピュータシステムを構築および稼動させるための基盤そのものを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
　本類型では、データセンタ運営会社１１０が、データセンタ（クラウドサーバ）２０３を運営及び管理している。また、サービスプロバイダ１２０は、ＯＳ２０２及びアプリケーション２０１を管理する。データセンタ運営会社１１０は、少なくとも１つのグループ１００から顔画像データを取得する。サービスプロバイダ１２０は、サービスプロバイダ１２０が管理するＯＳ２０２及びアプリケーション２０１を用いてサービスを提供する（矢印２０４）。例えば、サービスプロバイダ１２０は、顔画像の分析および評価を行い、その分析および評価の結果をユーザに提供する。
　（サービスの類型３：ＰａａＳ利用型クラウドサービス）
　図１９は、サービスの類型３（ＰａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。ここで、ＰａａＳとは、プラットフォーム・アズ・ア・サービスの略であり、ソフトウェアを構築および稼動させるための土台となるプラットフォームを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
　本類型では、データセンタ運営会社１１０は、ＯＳ２０２を管理し、データセンタ（クラウドサーバ）２０３を運営及び管理している。また、サービスプロバイダ１２０は、アプリケーション２０１を管理する。データセンタ運営会社１１０は、少なくとも１つのグループ１００から顔画像データを取得する。サービスプロバイダ１２０は、データセンタ運営会社１１０が管理するＯＳ２０２及びサービスプロバイダ１２０が管理するアプリケーション２０１を用いてサービスを提供する（矢印２０４）。例えば、サービスプロバイダ１２０は、顔画像の分析および評価を行い、その分析および評価の結果をユーザに提供する。
　（サービスの類型４：ＳａａＳ利用型クラウドサービス）
　図２０は、サービスの類型４（ＳａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。ここで、ＳａａＳとは、ソフトウェア・アズ・ア・サービスの略である。ＳａａＳ利用型クラウドサービスは、例えば、データセンタ（クラウドサーバ）を保有しているプラットフォーム提供者が提供するアプリケーションを、データセンタ（クラウドサーバ）を保有していない会社又は個人などの利用者がインターネットなどのネットワーク経由で使用できる機能を有するクラウドサービス提供モデルである。
　本類型では、データセンタ運営会社１１０は、アプリケーション２０１を管理し、ＯＳ２０２を管理し、データセンタ（クラウドサーバ）２０３を運営及び管理している。データセンタ運営会社１１０は、少なくとも１つのグループ１００から顔画像データを取得する。また、サービスプロバイダ１２０は、データセンタ運営会社１１０が管理するＯＳ２０２及びアプリケーション２０１を用いてサービスを提供する（矢印２０４）。例えば、サービスプロバイダ１２０は、顔画像の分析および評価を行い、その分析および評価の結果をユーザに提供する。
　以上、いずれのクラウドサービスの類型においても、サービスプロバイダ１２０がサービスを提供する。また、例えば、サービスプロバイダ又はデータセンタ運営会社は、ＯＳ、アプリケーション又はビックデータのデータベース等を自ら開発してもよいし、また、第三者に外注させてもよい。
　本開示の技術は、肌評価を行う技術分野において特に有用である。
　３００　カメラ
　３０１　照明
　３０２　制御装置
　３０３　表示部
　３０５　撮像装置
　３０６　ネットワーク
　３０７　クラウドサーバ
　１１０２　画像取得部
　１１０３　肌領域抽出部
　１１０４　肌分析部
　１１０５　形状分類部
　１１１１　２値画像生成部
　１１１２　クラスタリング部

Claims (15)

  1. 　被写体の画像を入力するカメラおよび前記被写体の画像を表示するディスプレイを有する情報処理装置を制御する制御方法であって、
    　前記カメラから被写体の画像を入力し、前記入力した画像を前記ディスプレイに表示する情報処理装置のコンピュータに、
    　前記カメラを動作させて前記被写体のデジタル画像を取得させ、
    　前記被写体のデジタル画像に含まれる前記被写体の肌領域における複数の類似画素を抽出させ、
    　前記抽出した複数の類似画素を所定の色調へ変換し、前記被写体のデジタル画像に重畳して前記ディスプレイに表示させる、制御方法。
  2. 　前記複数の類似画素を画素単位で抽出する、請求項１に記載の制御方法。
  3. 　前記抽出した複数の類似画素を、強調表示する色調へ変換する、請求項１または２に記載の制御方法。
  4. 　前記抽出した複数の類似画素を、画素単位で強調表示する色調へ変換する、請求項１から３のいずれかに記載の制御方法。
  5. 　前記取得された被写体のデジタル画像を所定の閾値で２値化処理した２値画像に基づいて、前記複数の類似画素を抽出する、請求項１から４のいずれかに記載の制御方法。
  6. 　前記抽出された複数の類似画素のうち、連結した画素の集合である類似画素群について、前記類似画素群毎に所定の基準で複数カテゴリへ分類し、
    　前記複数のカテゴリのうちの同じカテゴリに分類された少なくとも１つの類似画素群に含まれる前記類似画素のみを、前記被写体のデジタル画像へ重畳して前記ディスプレイに表示する、請求項１から５のいずれかに記載の制御方法。
  7. 　前記類似画素群は、前記類似画素群を含む所定の面積内に穴が含まれるか否かによって分類される、請求項６に記載の制御方法。
  8. 　前記類似画素群は、前記類似画素群を含む所定の面積内における前記類似画素の密度に基づいて分類される、請求項６に記載の制御方法。
  9. 　前記類似画素群は、前記類似画素群における前記類似画素の数に基づいて分類される、請求項６に記載の制御方法。
  10. 　前記被写体のデジタル画像は前記被写体の顔を含む顔画像であり、
    　前記顔画像における被写体の顔に含まれる特徴部位を検出し、
    　前記類似画素群は、前記検出した特徴部位との相対位置に基づいて分類される、請求項６に記載の制御方法。
  11. 　前記類似画素群は、前記類似画素群の形状が所定形状のフィルタに類似するか否かに基づいて分類される、請求項６に記載の制御方法。
  12. 　前記所定形状は円形状である、請求項１１に記載の制御方法。
  13. 　人の肌を含む画像に処理を施す画像処理方法であって、
    　人の肌を含むデジタル画像を取得し、
    　前記取得されたデジタル画像に含まれる肌領域における複数の類似画素を抽出し、
    　前記抽出した複数の類似画素を所定の色調へ変換し、前記人の肌を含むデジタル画像に重畳してディスプレイに表示する、画像処理方法。
  14. 　被写体の画像を入力するカメラと、
    　前記被写体の画像を処理するコンピュータと、
    　前記被写体の画像を表示するディスプレイと、
    　を備えた情報処理装置であって、
    　前記コンピュータは、
    　前記カメラを動作させて前記被写体のデジタル画像を取得し、
    　前記被写体のデジタル画像に含まれる前記被写体の肌領域における複数の類似画素を抽出し、
    　前記抽出した複数の類似画素を所定の色調へ変換し、前記被写体のデジタル画像に重畳して前記ディスプレイに表示させる、情報処理装置。
  15. 　カメラから被写体の画像を入力し、前記入力した画像をディスプレイに表示する情報処理装置のコンピュータに画像処理を実行させるコンピュータプログラムであって、
    　前記コンピュータプログラムは、前記コンピュータに、
    　前記カメラを動作させて前記被写体のデジタル画像を取得させ、
    　前記被写体のデジタル画像に含まれる前記被写体の肌領域における複数の類似画素を抽出させ、
    　前記抽出した複数の類似画素を所定の色調へ変換し、前記被写体のデジタル画像に重畳して前記ディスプレイに表示させる、コンピュータプログラム。
PCT/JP2014/003965 2013-08-08 2014-07-29 情報処理装置の制御方法および画像処理方法 WO2015019573A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-164774 2013-08-08
JP2013164774A JP2016112024A (ja) 2013-08-08 2013-08-08 情報処理装置の制御方法および画像処理方法

Publications (1)

Publication Number Publication Date
WO2015019573A1 true WO2015019573A1 (ja) 2015-02-12

Family

ID=52460931

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/003965 WO2015019573A1 (ja) 2013-08-08 2014-07-29 情報処理装置の制御方法および画像処理方法

Country Status (2)

Country Link
JP (1) JP2016112024A (ja)
WO (1) WO2015019573A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016162304A (ja) * 2015-03-03 2016-09-05 富士ゼロックス株式会社 登録装置および画像形成装置
FR3056901A1 (fr) * 2016-10-04 2018-04-06 L'oreal Procede de caracterisation du relief cutane humain
WO2019230724A1 (ja) * 2018-05-31 2019-12-05 キヤノン株式会社 画像処理システム、撮像装置、画像処理装置、電子機器、これらの制御方法、および、これらの制御方法を記憶した記憶媒体
JP2020123304A (ja) * 2018-05-31 2020-08-13 キヤノン株式会社 画像処理システム、撮像装置、画像処理装置、電子機器、これらの制御方法、および、プログラム
WO2023153094A1 (ja) * 2022-02-14 2023-08-17 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および代表座標導出方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019036009A1 (en) * 2017-08-18 2019-02-21 The Procter & Gamble Company SYSTEMS AND METHODS FOR IDENTIFYING HYPERPIGMENTED TASKS
CN109493310A (zh) * 2017-09-08 2019-03-19 丽宝大数据股份有限公司 身体信息分析装置及其手部肌肤分析方法
WO2019092906A1 (ja) * 2017-11-10 2019-05-16 株式会社ニコン 電子ミラー
CN110740252A (zh) 2018-07-20 2020-01-31 华为技术有限公司 一种图像获取的方法、装置及终端
WO2024070753A1 (ja) * 2022-09-30 2024-04-04 株式会社資生堂 肌評価方法、肌評価装置、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007152084A (ja) * 2005-11-08 2007-06-21 Shiseido Co Ltd 肌状態解析方法、肌状態解析装置、肌状態解析プログラム、及び該プログラムが記録された記録媒体
JP2008293325A (ja) * 2007-05-25 2008-12-04 Noritsu Koki Co Ltd 顔画像解析システム
JP2013090751A (ja) * 2011-10-25 2013-05-16 Fujifilm Corp シミ検出方法、シミ検出装置およびシミ検出プログラム、並びに、シミ分類方法、シミ分類装置およびシミ分類プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007152084A (ja) * 2005-11-08 2007-06-21 Shiseido Co Ltd 肌状態解析方法、肌状態解析装置、肌状態解析プログラム、及び該プログラムが記録された記録媒体
JP2008293325A (ja) * 2007-05-25 2008-12-04 Noritsu Koki Co Ltd 顔画像解析システム
JP2013090751A (ja) * 2011-10-25 2013-05-16 Fujifilm Corp シミ検出方法、シミ検出装置およびシミ検出プログラム、並びに、シミ分類方法、シミ分類装置およびシミ分類プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHIGERU MUKAIDA ET AL.: "Age Manipulation of Facial Images Focused on Spots and Wrinkles", THE JOURNAL OF THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS, vol. 59, no. 5, 2005, pages 761 - 768 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016162304A (ja) * 2015-03-03 2016-09-05 富士ゼロックス株式会社 登録装置および画像形成装置
FR3056901A1 (fr) * 2016-10-04 2018-04-06 L'oreal Procede de caracterisation du relief cutane humain
WO2018065351A1 (en) * 2016-10-04 2018-04-12 L'oreal Method for characterizing human skin relief
WO2019230724A1 (ja) * 2018-05-31 2019-12-05 キヤノン株式会社 画像処理システム、撮像装置、画像処理装置、電子機器、これらの制御方法、および、これらの制御方法を記憶した記憶媒体
JP2020123304A (ja) * 2018-05-31 2020-08-13 キヤノン株式会社 画像処理システム、撮像装置、画像処理装置、電子機器、これらの制御方法、および、プログラム
CN112638239A (zh) * 2018-05-31 2021-04-09 佳能株式会社 图像处理***、摄像设备、图像处理设备、电子装置及其控制方法和存储控制方法的存储介质
GB2588306A (en) * 2018-05-31 2021-04-21 Canon Kk Image processing system, imaging device, image processing device, electronic device, control method thereof, and storage medium storing control method thereof
GB2588306B (en) * 2018-05-31 2022-06-22 Canon Kk Image processing system, imaging apparatus, image processing apparatus, electronic device, methods of controlling the system, the apparatuses, and the device
GB2609147A (en) * 2018-05-31 2023-01-25 Canon Kk Image processing system, imaging apparatus, image processing apparatus, electronic device, methods of controlling the system, the apparatuses, and the device,
GB2609147B (en) * 2018-05-31 2023-05-17 Canon Kk Image processing system, imaging apparatus, image processing apparatus, electronic device, methods of controlling the system, the apparatuses, and the device,
GB2606859B (en) * 2018-05-31 2023-09-06 Canon Kk An image processing system and apparatus, imaging apparatus, device, system/control methods, means for storage
WO2023153094A1 (ja) * 2022-02-14 2023-08-17 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および代表座標導出方法

Also Published As

Publication number Publication date
JP2016112024A (ja) 2016-06-23

Similar Documents

Publication Publication Date Title
WO2015019573A1 (ja) 情報処理装置の制御方法および画像処理方法
US9875394B2 (en) Skin analysis method, skin analysis device, and method for controlling skin analysis device
Akram et al. Skin lesion segmentation and recognition using multichannel saliency estimation and M-SVM on selected serially fused features
TWI701018B (zh) 資訊處理裝置、資訊處理方法、及程式
EP3000386B1 (en) Skin function evaluation device and skin evaluation method
TWI426891B (zh) Skin condition analysis method, skin condition analysis device, and recording medium for recording skin condition analysis program
KR102294194B1 (ko) 관심영역의 시각화 장치 및 방법
TWI526982B (zh) 區域分割方法、電腦程式產品及檢查裝置
US20140003674A1 (en) Skin-Based User Recognition
WO2014137806A2 (en) Visual language for human computer interfaces
CN107479801A (zh) 基于用户表情的终端显示方法、装置及终端
US20120288168A1 (en) System and a method for enhancing appeareance of a face
US10423824B2 (en) Body information analysis apparatus and method of analyzing hand skin using same
US10853624B2 (en) Apparatus and method
JP2015143951A (ja) 物体判別装置、画像センサ、物体判別方法
CN108133175A (zh) 指纹识别方法、装置和***、电子设备
KR101281461B1 (ko) 영상분석을 이용한 멀티 터치 입력 방법 및 시스템
CN112668539A (zh) 生物特征采集识别***及方法、终端设备和存储介质
JP2015184906A (ja) 肌色検出条件決定装置、肌色検出条件決定方法及び肌色検出条件決定用コンピュータプログラム
EP3435281B1 (en) Skin undertone determining method and an electronic device
WO2022148382A1 (zh) 生物特征采集识别***及方法、终端设备
KR20190113351A (ko) 머신러닝 알고리즘을 이용한 의료영상 분석장치
JP2009003842A (ja) 画像処理装置及び画像処理方法
KR101551190B1 (ko) 영상의 유해성을 나타내는 인체의 구성요소 검출 방법
Pal et al. Generation of groundtruth data for visual saliency experiments using image segmentation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14834919

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14834919

Country of ref document: EP

Kind code of ref document: A1