WO2017090454A1 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents
情報処理装置、および情報処理方法、並びにプログラム Download PDFInfo
- Publication number
- WO2017090454A1 WO2017090454A1 PCT/JP2016/083464 JP2016083464W WO2017090454A1 WO 2017090454 A1 WO2017090454 A1 WO 2017090454A1 JP 2016083464 W JP2016083464 W JP 2016083464W WO 2017090454 A1 WO2017090454 A1 WO 2017090454A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- unit
- color difference
- infrared light
- light image
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 73
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 210000000056 organ Anatomy 0.000 claims abstract description 110
- 239000000284 extract Substances 0.000 claims abstract description 17
- 210000001747 pupil Anatomy 0.000 claims description 259
- 238000012937 correction Methods 0.000 claims description 168
- 238000000034 method Methods 0.000 claims description 112
- 238000000926 separation method Methods 0.000 claims description 74
- 238000003384 imaging method Methods 0.000 claims description 63
- 238000003702 image correction Methods 0.000 claims description 55
- 238000001514 detection method Methods 0.000 claims description 51
- 230000015572 biosynthetic process Effects 0.000 claims description 46
- 238000003786 synthesis reaction Methods 0.000 claims description 46
- 238000000605 extraction Methods 0.000 claims description 28
- 239000003086 colorant Substances 0.000 claims description 13
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 235000019557 luminance Nutrition 0.000 description 228
- 238000012545 processing Methods 0.000 description 168
- 239000000203 mixture Substances 0.000 description 26
- 230000006870 function Effects 0.000 description 17
- 230000002087 whitening effect Effects 0.000 description 7
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 239000000049 pigment Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 235000001543 Corylus americana Nutrition 0.000 description 1
- 240000007582 Corylus avellana Species 0.000 description 1
- 235000007466 Corylus avellana Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6002—Corrections within particular colour systems
- H04N1/6005—Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
- H04N1/624—Red-eye correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
- H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
Definitions
- the present disclosure relates to an information processing device, an information processing method, and a program, and particularly relates to an information processing device, an information processing method, and a program that can realize appropriate imaging in the dark with a front camera such as a smartphone. .
- Smartphones generally have a camera with a microphone, a speaker, a display made up of an LCD (Liquid Crystal Display), etc., and a back side of the display.
- LCD Liquid Crystal Display
- the camera provided on the back side is relatively high-definition and high-sensitivity, and illumination may be provided.
- the front camera provided on the front side is generally low in accuracy, and illumination Therefore, although it is dark and generally there are many opportunities to take an image of its own face called self-portrait, the face image cannot be clearly taken in the dark.
- the reflection of the infrared light may make the eyes look small, and the impression of the face image may be uncomfortable.
- infrared light sources are provided at different positions as compared with the case of emitting visible light such as strobe lights, the brightness of infrared light is replaced from the image by changing the position of the light sources. There were cases where an unnatural pattern or color reproduction was made by simply doing.
- the present disclosure has been made in view of such a situation, and in particular, can appropriately capture a face image in the dark with a front camera such as a smartphone.
- An information processing apparatus includes an imaging unit that captures a visible light image and an infrared light image, and an organ that recognizes a face image from the infrared light image and extracts an image of each organ from the face image An extraction unit; an organ image correction unit that corrects an image of each organ using the visible light image and the infrared light image according to the organ extracted by the organ extraction unit; and the organ image correction An information processing apparatus including a combining unit that combines the images of the organs corrected by the unit.
- the organ image correction unit may include an image correction unit that corrects the image for each organ.
- the image for each organ may include a skin color image, an iris image, a mouth image, and a nose image
- the image correction unit includes a skin color image correction unit that corrects the skin color image
- An iris image correcting unit that corrects an iris image, a mouth image correcting unit that corrects the mouth image, and a nose image correcting unit that corrects the nose image can be included.
- the skin color image correction unit includes a separation unit that separates the visible light image in the skin color image into a color difference component and a luminance component, the luminance component separated by the separation unit, and the infrared light image.
- a luminance component generation unit that combines the ratio and generates a new luminance component; and a color difference luminance combination unit that generates an image obtained by correcting the skin color image by combining the new luminance component and the color difference component; Can be included.
- An operation input unit that receives an input of the predetermined ratio can be further included, and the luminance component generation unit includes the luminance component separated by the separation unit and the infrared light image. It is possible to generate a new luminance component by synthesizing at the predetermined ratio, which is accepted by the operation input unit.
- the skin color image correction unit includes a separation unit that separates the visible light image in the skin color image into a color difference component and a luminance component, a signal level of the luminance component separated by the separation unit, and the infrared light image Based on the comparison result of the comparison unit comparing the magnitude relationship with the signal level on a pixel basis, and on the basis of the comparison result of the comparison unit, the saturation of the color difference component is adjusted on a pixel basis to match the signal level of the infrared light image.
- An adjustment unit to be adjusted can be included.
- the adjustment unit displays the saturation of the color difference component in the infrared If the signal level of the infrared light image is smaller than the signal level of the luminance component separated by the separation unit by the comparison unit, the signal level of the infrared light image is adjusted to be adapted to the signal level of the light image, The adjustment unit can be adjusted so that the saturation of the color difference component is lowered so as to match the signal level of the infrared light image.
- the adjustment unit includes a color difference component extraction unit that extracts a color difference component of pixels around the target pixel, and when the signal level of the luminance component of the target pixel is lower than a threshold that is regarded as an achromatic color, the adjustment unit The color difference component of the visible light image at the target pixel can be adjusted to be replaced with the color difference component of the pixels around the target pixel extracted by the color difference component extraction unit.
- the nose image correction unit can correct the nose image by the same method as the skin color image correction unit.
- the iris image correction unit includes a pupil detection unit that detects a position and shape of a pupil from the infrared light image in the iris image, and a noise filter corresponding to the position and shape of the pupil detected by the pupil detection unit.
- a noise removing unit that removes noise from the visible light image of the iris image
- a color difference luminance separating unit that separates a color difference component and a luminance component from the visible light image of the iris image that has been denoised by the noise removing unit.
- the infrared light component of the iris image combined with the luminance component of the visible light image of the iris image, and the visible light of the iris image separated by the color difference luminance separation unit. It is possible to include a color difference luminance synthesis unit that synthesizes a color difference component of an image and a luminance component composed of a signal level of the infrared light image synthesized by the infrared light synthesis unit.
- the iris image correction unit includes a holding unit that holds preset color difference components of a plurality of color pupils, and pupil correction is performed by combining one of them according to the position and shape detected by the pupil detection unit.
- the pupil correction unit detects the color difference component of the visible light image of the iris image separated by the color difference luminance separation unit, detected by the pupil detection unit.
- the color difference components of the selected pupils among the color difference components of the plurality of color pupils held by the holding unit may be bonded together in accordance with the position and shape.
- the iris image correction unit includes the holding unit that holds a color difference component and a luminance component of a plurality of color pupils as presets, and any one of the color difference component and the luminance component is detected by the pupil detection unit.
- a pupil correction unit to be bonded can be further included, and the pupil correction unit includes a color difference component of a visible light image of the iris image separated by the color difference luminance separation unit, And each of the luminance components composed of the signal level of the infrared light image synthesized by the infrared light synthesis unit is held by the holding unit according to the position and shape detected by the pupil detection unit.
- the color difference component and the luminance component of the selected pupil among the color difference component and the luminance component of the plurality of color pupils can be bonded to each other. .
- the iris image correction unit includes a holding unit that holds a plurality of color difference components of pupils in a preset, and a position and shape detected by the pupil detection unit among color difference components of a plurality of color pupils that are held in presets
- An approximate hue selection unit that selects a pupil of an approximate hue, and pastes one of the color difference components of a plurality of color pupils held in a preset in accordance with the position and shape detected by the pupil detection unit.
- a pupil correction unit that includes a pupil correction unit that detects the color difference component of the visible light image of the iris image separated by the color difference luminance separation unit by the pupil detection unit. Among the color difference components of the plurality of color pupils held by the holding unit in accordance with the detected position and shape, the color difference component of the hue color pupil selected by the approximate hue selection unit It can be so bonded.
- the iris image correction unit includes a holding unit that holds preset color difference components and luminance components of a plurality of color pupils, and the pupil detection unit among the color difference components and luminance components of a plurality of color pupils that are held preset.
- An approximate hue selection unit that selects a pupil of an approximate hue at the position and shape detected by the detection unit, and the pupil detection unit detects any one of a color difference component and a luminance component of a plurality of color pupils held in a preset.
- the pupil correction unit further includes a pupil correction unit to be pasted according to the position and shape, and the pupil correction unit includes a color difference component of the visible light image of the iris image separated by the color difference luminance separation unit, and the infrared light synthesis unit.
- the color difference component and the luminance component of the hue color selected by the approximate hue selection unit may be bonded together. it can.
- the mouth image correction unit can correct the mouth image by the same method as the iris image correction unit.
- An information processing method is obtained by capturing a visible light image and an infrared light image, recognizing a face image from the infrared light image, and extracting an image for each organ from the face image.
- the information processing method includes a step of correcting an image for each organ using the visible light image and the infrared light image according to an organ, and synthesizing the corrected image for each organ.
- a program includes an imaging unit that captures a visible light image and an infrared light image, and an organ extraction unit that recognizes a face image from the infrared light image and extracts an image of each organ from the face image And an organ image correcting unit that corrects an image of each organ using the visible light image and the infrared light image according to the organ extracted by the organ extracting unit, and the organ image correcting unit. It is a program that causes a computer to function as a combining unit that combines corrected images for each organ.
- a visible light image and an infrared light image are picked up, a face image is recognized from the infrared light image, an image for each organ is extracted from the face image, and depending on the extracted organ Then, the visible light image and the infrared light image are used to correct the image for each organ, and the corrected image for each organ is synthesized.
- a front camera such as a smartphone.
- FIG. 1 is an external perspective view of an information processing apparatus to which the technology of the present disclosure is applied. It is a figure explaining the structural example of the information processing apparatus of FIG. It is a figure explaining the structural example of the image process part of the information processing apparatus of FIG. 3 is a flowchart for describing imaging processing by the information processing apparatus of FIG. 1. 6 is a flowchart for explaining the image processing of FIG. 4. It is a figure explaining the 1st structural example of the skin color correction process part of the image process part of FIG. It is a flowchart explaining the skin color correction process by the skin color correction process part of FIG. It is a figure explaining the skin color correction process by the skin color correction process part of FIG.
- FIG. 11 is a diagram illustrating a configuration example of a general-purpose personal computer.
- FIG. 1 is an external perspective view of an information processing apparatus to which the technology of the present disclosure is applied.
- the information processing apparatus 11 in FIG. 1 is, for example, a smartphone, and includes an imaging unit 31 including a front camera for capturing an image in a direction facing the surface provided with the display unit 34 including a touch panel.
- An IRLED (infrared light emitting unit) 32 that irradiates light in the imaging direction of the imaging unit 31 and a WLED (white light emitting unit) 33 that irradiates white light in the same direction are provided.
- FIG. 1 shows a state in which the user H holding the information processing apparatus 11 is captured by the imaging unit 31 and the user H ′ captured by the imaging unit 31 is displayed on the display unit 34.
- the information processing apparatus 11 When the information processing apparatus 11 checks the imaging angle of view in the dark, the information processing apparatus 11 controls the infrared light emitting unit 32 to emit infrared light that cannot be visually recognized by the user, and performs live view according to the infrared light. An image is taken and displayed on the display unit 34.
- the live view image here is, for example, an image that is displayed on the display unit 34 as a substantially moving image having a lower resolution and a lower frame rate than in a normal imaging state.
- the user confirms the angle of view while viewing the live view image, and determines the imaging position. Therefore, since the live view image is an image intended to be displayed to the user, it is not an image to be recorded on a recording medium or the like like an image captured when operating the shutter.
- the information processing apparatus 11 When the operation input unit 34 a (FIG. 2) that functions as a shutter displayed as a GUI (Graphical User Interface) is operated on the display unit 34 including a touch panel, the information processing apparatus 11 operates the infrared light emitting unit 32.
- the white light emitting unit 33 is caused to emit light, and at the same time, a visible light image is captured as still image color information.
- the information processing apparatus 11 turns off the white light emitting unit 33 and projects infrared light from the infrared light emitting unit 32 to capture a red light image.
- the information processing apparatus 11 identifies a face image from the infrared light image, extracts organs such as skin, eyes, nose, and mouth in the face image, performs color correction suitable for each, and combines them. Display an image.
- the information processing apparatus 11 in FIG. 1 is based on infrared light that does not feel glare until the angle of view is specified when an image is captured using the front camera in the dark. Only when the angle of view is specified and the shutter operation is performed by displaying a live view image composed of images, the white light emitting unit 33 emits light like a strobe light to capture a visible light image, The red light emitting unit 32 emits light to capture a red light image, and the face image is corrected by using the visible light image and the red light image.
- the information processing apparatus 11 can appropriately specify the angle of view when capturing an image with the front camera in the dark, such as at night, and when the image is captured as an image. Makes it possible to capture an image corrected according to each organ of the face image.
- the information processing apparatus 11 includes an imaging unit 31, an infrared light emitting unit (IRLED) 32, a white light emitting unit (WLED) 33, a display unit 34, an operation input unit 34a, a control unit 51, and an image processing unit 52. Yes.
- IRLED infrared light emitting unit
- WLED white light emitting unit
- the control unit 51 includes a computer having a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like, and controls the overall operation of the information processing apparatus 11. is there.
- CPU Central Processing Unit
- RAM Random Access Memory
- ROM Read Only Memory
- the imaging unit 31 includes a CMOS (Complementary Metal Oxide Semiconductor) image sensor or the like, and is controlled by the control unit 51 to capture an infrared light image and a visible light image, and supply the image to the image processing unit 52.
- the imaging unit 31 can capture an image corresponding to non-visible light such as IR (infrared light) emitted by the infrared light emitting unit 32 in addition to visible light such as RGB.
- IR infrared light
- the image processing unit 52 recognizes a face image based on the infrared light image and the visible light image captured by the image capturing unit 31 and extracts organs such as eyes, nose, mouth, and skin from the face image. After performing appropriate correction processing every time, they are combined to generate an image in which the face image is corrected and displayed on the display unit 34 such as an LCD (Liquid Crystal Display).
- the display unit 34 such as an LCD (Liquid Crystal Display).
- the display unit 34 is composed of a touch panel or the like, and displays various GUI (Graphical User Interface) images on the surface thereof, for example, allows a GUI for operating a shutter button to function as the operation input unit 34 a, and when operated, the shutter It is considered that the button was pressed.
- GUI Graphic User Interface
- IR Infrared light
- the information processing apparatus 11 including a smartphone or the like includes a high-definition and high-sensitivity imaging unit on the back surface (not shown) that is higher in definition than the imaging unit 31 that is a front camera. Shall be omitted.
- the image processing unit 52 includes an organ extraction unit 71, a skin color correction processing unit 72, an iris correction processing unit 73, a nose correction processing unit 74, a mouth correction processing unit 75, and an organ image synthesis unit 76.
- the organ extracting unit 71 extracts a face image and extracts an organ using an infrared light image having a low SNR out of a visible light image and a red light image captured by the image capturing unit 31.
- Organs are the eyes, nose, mouth, skin color, etc. that make up the face image.
- Organ extraction here refers to the eye image, nose image, mouth image, and skin color image in the face image. Indicates the process to be extracted.
- the organ extraction unit 71 supplies the flesh color image extracted in this way to the flesh color correction processing unit 72, supplies an iris image that is an eye image to the iris correction processing unit 73, and a nose image that is a nose image. Is supplied to the nose correction processing unit 74, a mouth image that is an image of the mouth is supplied to the mouth correction processing unit 75, and a visible light image and a red light image are supplied together.
- the skin color correction processing unit 72 corrects the color of the skin color image supplied as the skin color image based on the visible light image and the red light image by a method suitable for the skin color image, and supplies it to the organ image synthesis unit 76.
- the iris correction processing unit 73 corrects the color of the iris image supplied as the eye image based on the visible light image and the red light image by a method suitable for the iris image, and supplies it to the organ image synthesis unit 76.
- the nose correction processing unit 74 corrects the color of the nose image supplied as the nose image based on the visible light image and the red light image by a method suitable for the nose image, and supplies it to the organ image composition unit 76.
- the mouth correction processing unit 75 corrects the color of the mouth image supplied as the mouth image based on the visible light image and the red light image by a method suitable for the mouth image, and supplies it to the organ image composition unit 76.
- the organ image synthesis unit 76 supplies the skin color image with the skin color corrected supplied from the skin color correction processing unit 72, the iris image with the iris color supplied from the iris correction processing unit 73 corrected, and the nose correction processing unit 74.
- the nose image with the corrected color and the mouth image with the color corrected supplied from the mouth correction processing unit 75 are combined to reconstruct a face image and output it to the display unit 34 for display. And recording on a recording medium (not shown).
- Imaging processing by the information processing apparatus 11 in FIG. 2 will be described with reference to the flowchart in FIG.
- the imaging process here is an imaging process when using the imaging unit 31 including the front camera, and is not, for example, an imaging process by an imaging unit provided on a back surface (not shown).
- step S11 the control unit 51 activates the imaging unit 31 so that an image can be captured. Thereby, the imaging unit 31 sequentially supplies the captured images to the control unit 51 and the image processing unit 52.
- step S12 the control unit 51 determines whether the image is darker than the predetermined illuminance based on the image captured by the imaging unit 31. If it is determined in step S12 that the captured image is not lower than the predetermined illuminance and has normal brightness, the process proceeds to step S22.
- step S22 the control unit 51 determines whether or not the operation input unit 34a that functions as a shutter button in advance is displayed as a GUI image on the display unit 34 as a GUI image, and imaging is instructed by operating the operation input unit 34a. To do.
- step S22 when the operation input unit 34a is operated and imaging is instructed, the process proceeds to step S23.
- step S23 the control unit 51 controls the imaging unit 31 to capture a normal still image and store the image data that has been subjected to the predetermined processing in the image processing unit 52 in a recording medium (not shown) or the like.
- step S24 To capture a normal still image is to extract a visible light image from an image captured by the imaging unit 31. If it is determined in step S22 that the operation input unit 34a has not been operated, the process in step S23 is skipped.
- step S ⁇ b> 24 the control unit 51 controls the image capturing unit 31 to capture a normal live view image and supplies it to the image processing unit 52.
- the image processing unit 52 performs predetermined image processing and displays the image on the display unit 34 as a live view image.
- a visible light image is extracted from a relatively low resolution image captured at a predetermined time interval in the imaging unit 31, and a relatively low image is displayed. Displaying as a frame rate moving image.
- step S21 the control unit 51 determines whether or not the operation input unit 34a is operated to instruct the end of the imaging process. If the end is not instructed, the process returns to step S12. Then, in step S21, when the end is instructed, the process ends.
- step S12 determines whether the captured image is lower than the predetermined illuminance and dark. If it is determined in step S12 that the captured image is lower than the predetermined illuminance and dark, the process proceeds to step S13.
- step S13 the control unit 51 controls the infrared light emitting unit 32 to emit infrared light.
- step S14 the control unit 51 previously displays the operation input unit 34a functioning as a shutter button on the display unit 34 as a GUI image, and determines whether or not the operation input unit 34a has been operated.
- step S14 when the operation input unit 34a is operated and imaging is instructed, the process proceeds to step S15.
- step S15 the control unit 51 controls the infrared light emitting unit 32 to turn it off, and further causes the white light emitting unit 33 to emit light strongly.
- step S16 the control unit 51 controls the image pickup unit 31 to pick up a visible light image and supplies it to the image processing unit 52, and the process proceeds to step S17.
- step S17 the control unit 51 turns off the white light emitting unit 33 and controls the infrared light emitting unit 32 to emit infrared light, and the process proceeds to step S18.
- step S18 the control unit 51 controls the imaging unit 31, causes the still image to be captured as a red light image, supplies the still image to the image processing unit 52, and the process proceeds to step S19.
- step S19 the image processing unit 52 executes image processing, extracts the organ from the red light image using the supplied visible light image and red light image, corrects the color for each organ, combines them, and combines them.
- the result is displayed on the display unit 34 or recorded on a recording medium or the like (not shown), and the process proceeds to step S20.
- step S ⁇ b> 20 the control unit 51 controls the imaging unit 31 to capture a live view image in the dark and supplies it to the image processing unit 52.
- the image processing unit 52 displays a live view image in the dark on the display unit 34, and the process proceeds to step S21.
- a visible light image and an infrared light image with a relatively low resolution are extracted from an image captured at a predetermined time interval. It means that a color difference image is further extracted, and an infrared light image is synthesized as a luminance image and displayed as a color image with a relatively low frame rate.
- step S14 If it is determined in step S14 that the operation input unit 34a has not been operated, the process proceeds to step S20.
- the organ extraction unit 71 uses the red light image having a high SNR among the supplied visible light image and red light image, and the skin color, eyes (iris), nose, and mouth constituting the face image. Extract various organs. Then, the organ extraction unit 71 sends the extracted skin color image to the skin color correction processing unit 72, the iris image to the iris correction processing unit 73, the nose image to the nose correction processing unit 74, and the mouth image to the mouth correction processing unit 75. Output each.
- step S ⁇ b> 42 the skin color correction processing unit 72 executes the skin color correction process, corrects the color of the skin color image, and supplies it to the organ image synthesis unit 76.
- the detailed configuration of the skin color correction processing unit 72 and the skin color correction processing will be described later in detail.
- step S43 the iris correction processing unit 73 executes iris correction processing, corrects the color of the iris image, and supplies it to the organ image synthesis unit 76.
- the detailed configuration of the iris correction processing unit 73 and the iris correction processing will be described later in detail.
- step S44 the nasal correction processing unit 74 executes nasal correction processing, corrects the color of the nasal image, and supplies it to the organ image synthesis unit 76.
- step S45 the mouth correction processing unit 75 executes mouth correction processing, corrects the color of the mouth image, and supplies it to the organ image synthesis unit 76.
- step S ⁇ b> 46 the organ image composition unit 76 corrects the skin color image supplied from the skin color correction processing unit 72, the iris image corrected from the color supplied from the iris correction processing unit 73, and the nose correction processing unit 74.
- the face image is reconstructed by synthesizing the nose image with the corrected color and the mouth image with the corrected color supplied from the mouth correction processing unit 75 and output to the display unit 34.
- the imaging unit 31 when the imaging unit 31 is activated and is considered to be dark, the processes of steps S12 to S14, S20, and S21 are repeated until the shutter is pressed, and a live view image is captured.
- the infrared light emitting unit 32 emits infrared light
- the white light emitting unit 33 is turned off, and a live view image composed of a monochrome image is continuously displayed on the display unit 34.
- the operation input unit 34a is operated and it is considered that the shutter button is operated, the visible light image and the red light image are captured as a still image by the image capturing unit 31 through a series of processes in steps S15 to S19. Then, using the red light image and the visible light image, an image in which the color of the face image is corrected is output and displayed.
- the white light emitting unit 33 emits light, and the infrared light emitting unit 32 is turned off or slightly emitted, so that visible light that is color information is displayed.
- An example of capturing an infrared light image as luminance information by turning off the white light emitting unit 33 and causing the infrared light emitting unit 32 to emit light after capturing an image has been described.
- the order of imaging may be either first. For example, after capturing an infrared light image, a visible light image is captured. You may do it.
- the infrared light emitting unit 32 and the white light emitting unit 33 are caused to emit light at the same time, and an infrared light image is generated from the infrared light pixels in the imaging unit 31 by one imaging, and other visible light pixels (RGB) A visible light image may be generated from the pixel. That is, as long as an infrared light image and a visible light image can be captured, the light emission sequences of the infrared light emitting unit 32 and the white light emitting unit 33 are not particularly limited. Further, the dark light is corrected by using the infrared light image, so that the white light emitting unit 33 is not necessarily required, and the visible light image is picked up using only the surrounding natural light. May be.
- the skin color correction processing unit 72 includes an infrared light image visible light image separation unit 91, a visible light image color difference luminance separation unit 92, an infrared light image luminance image composition unit 93, a composition ratio input unit 94, and a color difference luminance composition unit 95. I have.
- the infrared light image / visible light image separation unit 91 separates the visible light image and the infrared light image that are sequentially supplied, and supplies the visible light image to the visible light image color difference / luminance separation unit 92. Is supplied to the infrared light image luminance image synthesis unit 93.
- the visible light image color difference luminance separation unit 92 separates the supplied visible light image into a luminance component and a color difference component, supplies the color difference component to the color difference luminance synthesis unit 95, and uses the luminance component as an infrared light image luminance image. This is supplied to the combining unit 93.
- the infrared light image luminance image synthesis unit 93 synthesizes the infrared light image and the luminance component at a rate input via the synthesis rate input unit 94 and outputs the resultant to the color difference luminance synthesis unit 95 as a new luminance component. To do.
- the composition ratio input unit 94 is generated based on an operation signal from the operation input unit 34a functioning as a touch panel by a scale generated by the control unit 51 and displayed on the display unit 34 as a GUI (Graphical User Interface). Information indicating the composition ratio of the external light image and the luminance component is supplied to the control unit 51.
- the control unit 51 supplies the ratio information supplied via the operation input unit 34a to the composition ratio input unit 94 of the image processing unit.
- the composition ratio input unit 94 supplies the composition ratio to the infrared light image luminance image composition unit 93 through such a series of operations.
- the color difference luminance combining unit 95 generates an image by combining the color difference component supplied from the visible light image color difference luminance separating unit 92 and the luminance component newly set by the infrared light image luminance image combining unit 93. Output.
- step S61 the infrared light image visible light image separation unit 91 acquires a visible light image and an infrared light image classified as a skin region. That is, a visible light image and an infrared light image captured by the processing of steps S16 and S18 described with reference to the flowchart of FIG. 4 are sequentially acquired.
- step S62 the infrared light image / visible light image separation unit 91 sets an unprocessed pixel as a processing target pixel (target pixel) among all the pixels of the visible light image and the infrared light image, and makes the visible light visible.
- the target pixel of the light image is supplied to the visible light image color difference luminance separation unit 92, and the target pixel of the infrared light image is supplied to the infrared light image luminance image synthesis unit 93.
- step S63 the visible light image color difference image separation unit 92 separates the pixel of interest in the visible light image into a luminance component and a color difference component, and supplies the luminance component to the infrared light image luminance image composition unit 93.
- the component is supplied to the color difference luminance synthesis unit 95.
- step S ⁇ b> 64 the control unit 51 controls the display unit 34 to show a GUI for specifying the ratio of mixing the luminance component in the visible light image and the infrared light image, for example, in the lower right part of FIG. 8.
- the operation input unit 34a is controlled to output an operation signal corresponding to the displayed operation input of the GUI, and the ratio information according to the operation content is input to the composite ratio input unit of the skin color correction processing unit 72 94.
- the composition ratio input unit 94 outputs information on the composition ratio to the infrared light image luminance image composition unit 93.
- an image captured on the display unit 34 in the information processing apparatus 11 is displayed.
- the ratio between the pixel signal of the infrared light image and the luminance component of the visible light image is displayed.
- a slide bar B for display is displayed, and the ratio between the pixel signal of the infrared light image and the luminance component of the visible light image by moving the position of the black circle on the slide bar B to the left and right in the figure Can be set by the user.
- the left direction is “Normal” and the right direction is “Beautiful skin”.
- the ratio of the infrared light image is set higher as the black circle mark approaches the “skin beautifying” in the right direction in the drawing. That is, the infrared light image is transmitted through and reflected by the melanin pigment that causes skin stains and the like, resulting in an image where the stain is not noticeable. Although it is different, it becomes possible to make a beautiful skin image in which spots and the like are not noticeable.
- step S65 the infrared light image luminance image combining unit 93 combines the infrared light image and the luminance component of the visible light image based on the supplied combination ratio, and chrominance luminance combination as a new luminance component. Output to the unit 95.
- step S ⁇ b> 66 the color difference luminance composition unit 95 provides the color difference component supplied from the visible light image color difference luminance separation unit 92 and the newly set luminance component supplied from the infrared light image luminance image synthesis unit 93. And reconstruct the pixels of the visible light image and output them.
- step S67 the infrared light image / visible light image separation unit 91 determines whether or not there is an unprocessed pixel and the processing is completed for all pixels. If there is an unprocessed pixel, the process proceeds to step S62. Return to, and the subsequent processing is repeated. That is, the processes in steps S62 to S67 are repeated until the process is performed for all the pixels. If it is determined in step S67 that there is no unprocessed pixel, the process ends.
- FIG. 8 the processing shown in FIG. 8 is performed by performing the skin color correction processing described with reference to the flowchart of FIG.
- the visible light image P1 shown in the upper left part of FIG. 8 is separated into an image P2 composed of color difference components and an image P3 composed of luminance components in pixel units. Then, the image P3 composed of the luminance component of the visible light image and the infrared light image P4 are composed of the new luminance component by being synthesized at the composition ratio set by the GUI as shown in the lower left part of FIG. An image P5 is generated, and an image P2 composed of color difference components and an image P5 composed of new luminance components are combined to generate a composite image P6, which is displayed on the display unit 34 of the information processing apparatus 11 shown in the lower left. Display.
- the user changes the composition ratio of the luminance component of the visible light image and the infrared light image by changing the position of the black circle on the slide bar B while viewing the image displayed on the display unit 34.
- Image processing can be realized.
- the example in which the composition ratio is changed in units of pixels has been described.
- the user confirms the composition ratio after executing processing for all pixels at the composition ratio once set. If necessary, the skin color correction process may be repeated while changing the composition ratio. With such a process, it is possible to repeat the skin color correction process while changing the composition ratio as many times as the user likes.
- Infrared light is transmitted through and reflected by the melanin pigment, which causes skin spots, etc., and the infrared light image becomes an image where the spots are not conspicuous, so it is possible to enhance the skin whitening effect. It becomes. That is, if the process uses an infrared light image, a skin whitening effect can be expected. Therefore, the skin color correction process does not necessarily need to be performed in the dark, and is executed when the surrounding environment of the subject is bright. In this case, it is possible to appropriately correct the skin color and enhance the skin whitening effect.
- the whitening effect of the skin color can be enhanced even in the dark, it is possible to enhance the whitening effect of the skin color of the portion darkened by the backlight, for example.
- the ambient light is often sufficiently bright, it may not be recognized that it is dark at the time of imaging, but the above-described skin color is also applied to a locally darkened part.
- the correction process it is possible to appropriately correct the skin color and further enhance the whitening effect.
- FIG. 9 shows a configuration example of the skin color correction processing unit 72 that corrects the skin color without user intervention.
- symbol and the same name are attached
- the skin color correction processing unit 72 of FIG. 9 is different from the skin color correction processing unit 72 of FIG. 6 in that an infrared light luminance comparison is performed instead of the infrared light image luminance image combining unit 93 and the combination ratio input unit 94.
- the point 101 and the color difference adjustment unit 102 are provided.
- the infrared light luminance comparison unit 101 compares the magnitude relationship between the infrared light image and the luminance component of the visible light image in units of pixels and supplies the comparison result to the color difference adjustment unit 102.
- the color difference adjustment unit 102 is based on the comparison result supplied from the infrared light luminance comparison unit 101 and the magnitude relationship between the luminance component of the visible light image and the achromatic color determination threshold, and the visible light image color difference luminance separation unit 92. The supplied color difference is adjusted and output to the color difference luminance synthesis unit 95.
- the color difference adjustment unit 102 includes a color difference component extraction unit 102a, and when the luminance component of the visible light image of the processing target pixel is smaller than the achromatic color determination threshold value and the processing target pixel is regarded as an achromatic color pixel, The color difference around the pixel to be processed of the visible light image is extracted by, for example, filter processing and replaced with the color difference of the pixel to be processed.
- step S81 the infrared light image visible light image separation unit 91 acquires a visible light image and an infrared light image classified as a skin region. That is, a visible light image and an infrared light image captured by the processing of steps S16 and S18 described with reference to the flowchart of FIG. 4 are sequentially acquired.
- step S82 the infrared light image / visible light image separation unit 91 sets an unprocessed pixel as a processing target pixel (target pixel) among all the pixels of the visible light image and the infrared light image, and makes the visible light visible.
- the target pixel of the light image is supplied to the visible light image color difference luminance separation unit 92, and the target pixel of the infrared light image is supplied to the infrared light luminance comparison unit 101 and the color difference luminance synthesis unit 95.
- step S83 the visible light image color difference image separation unit 92 separates the pixel of interest in the visible light image into a luminance component and a color difference component, supplies the luminance component to the infrared light luminance comparison unit 101, and outputs the color difference component.
- the color difference adjustment unit 102 is supplied.
- step S84 the infrared light luminance comparison unit 101 determines whether the signal level of the infrared light image is higher than the signal level of the luminance component of the visible light image, and supplies the determination result to the color difference adjustment unit 102. To do.
- step S84 for example, when the signal level of the infrared light image is higher than the signal level of the luminance component of the visible light image, the process proceeds to step S85.
- step S85 the color difference adjusting unit 102 increases the saturation of the color difference component of the visible light image of the processing target pixel so as to match the signal level of the infrared light image, and supplies the signal to the color difference luminance combining unit 95.
- the process proceeds to step S88.
- the color difference adjustment unit 102 increases the saturation of the color component by an amount corresponding to the ratio of the signal level of the infrared light image to the signal level of the luminance component of the visible light image.
- step S84 if it is determined in step S84 that the signal level of the infrared light image is not higher than the signal level of the luminance component of the visible light image, the process proceeds to step S86.
- step S86 the infrared light luminance comparison unit 101 determines whether the signal level of the infrared light image is lower than the signal level of the luminance component of the visible light image, and supplies the determination result to the color difference adjustment unit 102. To do.
- step S86 for example, when the signal level of the infrared light image is smaller than the signal level of the luminance component of the visible light image, the process proceeds to step S87.
- step S87 the color difference adjusting unit 102 lowers the saturation of the color difference component of the visible light image of the processing target pixel so as to match the signal level of the infrared light image, and supplies the signal to the color difference luminance combining unit 95.
- the process proceeds to step S88.
- the color difference adjustment unit 102 reduces the saturation of the color component by an amount corresponding to the ratio of the signal level of the infrared light image to the signal level of the luminance component of the visible light image.
- step S86 for example, when the signal level of the infrared light image is not lower than the signal level of the luminance component of the visible light image, the process proceeds to step S88.
- step S88 the infrared light luminance comparison unit 101 determines whether or not the signal level of the luminance component of the visible light image is lower than the achromatic color determination threshold, and supplies the determination result to the color difference adjustment unit 102.
- step S88 for example, when the signal level of the luminance component of the visible light image is lower than the achromatic color determination threshold, the process proceeds to step S89.
- step S89 the color difference adjustment unit 102 controls the color difference component extraction unit 102a to extract color difference components from pixels around the pixel to be processed of the visible light image by filtering.
- step S90 the color difference adjustment unit 102 replaces the color difference component of the processing target pixel with the color difference component extracted from the surrounding pixels, and supplies the color difference component to the color difference luminance synthesis unit 95, and the process proceeds to step S91.
- step S91 the color difference luminance combining unit 95 combines the color difference component supplied from the color difference adjusting unit 102 and the luminance component supplied from the infrared light image visible light image separating unit 91 to generate a visible light image.
- the pixel is reconstructed and output, and the process proceeds to step S92.
- step S88 when it is determined in step S88 that the signal level of the luminance component of the visible light image is not lower than the achromatic color determination threshold, the process proceeds to step S93.
- step S93 the color difference adjustment unit 102 outputs the color difference component of the visible light image to the color difference luminance synthesis unit 95 as it is. Then, the color difference / luminance combining unit 95 reproduces the pixels of the input visible light image from the color difference components and the luminance components of the visible light image and outputs them as they are, and the process proceeds to step S92.
- step S92 the infrared light image / visible light image separation unit 91 determines whether or not there is an unprocessed pixel and the process has been completed for all pixels. If there is an unprocessed pixel, the process proceeds to step S82. Return to, and the subsequent processing is repeated. That is, the processes in steps S82 to S92 are repeated until the process is performed for all the pixels. If it is determined in step S92 that there is no unprocessed pixel, the process ends.
- the color difference component of the infrared light image is determined based on the magnitude relationship between the luminance components in the infrared light image and the visible light image and whether the luminance component of the visible light image is low enough to be regarded as an achromatic color. It is arranged so as to be matched with the signal level or replaced with a color difference component extracted from surrounding pixels of the processing target pixel by filtering.
- the color difference component is adjusted by the luminance component of the infrared light image and the visible light image without user intervention, and the skin color can be corrected.
- infrared light is reflected and transmitted through a melanin pigment that causes skin spots and the like, so that the infrared light image becomes an image in which spots are not noticeable.
- the correction process does not necessarily have to be performed in the dark, and the skin whitening effect can be realized even when the correction process is executed when the surrounding environment of the subject is bright.
- the skin color correction can appropriately correct the skin color of the dark part during backlighting.
- the iris correction processing unit 73 includes an infrared light image visible light image separation unit 121, a noise removal unit 122, a visible light image color difference luminance separation unit 123, a color difference luminance synthesis unit 124, an infrared light image high frequency low frequency separation unit 125, red An outside light image luminance image synthesis unit 126, an infrared light image high frequency low frequency synthesis unit 127, and a pupil detection unit 128 are provided.
- the infrared light image visible light image separation unit 121 separates the visible light image and the infrared light image that are sequentially supplied, supplies the visible light image to the noise removal unit 122, and converts the infrared light image into the infrared light.
- the image is supplied to the image high frequency low frequency separation unit 125 and the pupil detection unit 128.
- the pupil detection unit 128 detects the position and shape of the pupil based on the infrared light image having a high SNR, and supplies the detection result to the noise removal unit 122.
- the noise removing unit 122 forms a noise filter corresponding to the position and shape of the pupil based on the pupil position and shape information supplied from the pupil detecting unit 128, and removes noise from the visible light image.
- the visible light image from which noise has been removed is supplied to the visible light image color difference luminance separation unit 123.
- the visible light image color difference luminance separation unit 123 separates the visible light image from which noise has been removed into a color difference component and a luminance component, supplies the color difference component to the color difference luminance synthesis unit 124, and uses the luminance component as the infrared light image luminance.
- the image is supplied to the image composition unit 126.
- the infrared light image high frequency low frequency separation unit 125 separates the high frequency component and the low frequency component of the infrared light image supplied from the infrared light image visible light image separation unit 121, and converts the high frequency component into the infrared light image.
- the low frequency component is supplied to the high frequency low frequency synthesis unit 127 and the low frequency component is supplied to the infrared light image luminance image synthesis unit 126.
- the infrared light image luminance image synthesizing unit 126 modulates the signal level of the low frequency component of the infrared light image according to the signal level of the luminance component of the visible light image, and sends it to the infrared light image high frequency low frequency synthesizing unit 127. Supply.
- the infrared light image high frequency low frequency synthesizing unit 127 combines the low frequency component of the infrared light image and the high frequency component of the infrared light image, which are modulated according to the signal level of the luminance component of the visible light image.
- An infrared light image is generated and supplied to the color difference luminance combining unit 124 as a luminance component of the visible light image.
- the color difference luminance synthesis unit 124 uses the infrared light image supplied from the infrared light image high frequency low frequency synthesis unit 127 as a luminance component, and combines it with the color difference component supplied from the visible light image color difference luminance separation unit 123. To output an iris corrected image.
- step S111 the infrared light image visible light image separation unit 121 separates the visible light image and the infrared light image that are sequentially supplied, and supplies the visible light image to the noise removal unit 122, so that the infrared light image is obtained. Is supplied to the infrared light image high frequency low frequency separation unit 125 and the pupil detection unit 128.
- the pupil detection unit 128 detects the position and shape of the pupil based on the infrared light image having a high SNR, and supplies the detection result to the noise removal unit 122.
- the noise removal unit 122 forms a noise filter corresponding to the position and shape of the pupil of the visible light image based on the pupil position and shape information supplied from the pupil detection unit 128, and is visible.
- the noise of the light image is removed, and the visible light image from which the noise is removed is supplied to the visible light image color difference luminance separation unit 123.
- step S114 the visible light image color difference luminance separation unit 123 separates the visible light image from which noise has been removed into a color difference component and a luminance component, supplies the color difference component to the color difference luminance synthesis unit 124, and converts the luminance component into red. This is supplied to the outside light image luminance image composition unit 126.
- the infrared light image high frequency low frequency separation unit 125 separates the high frequency component of the infrared light image supplied from the infrared light image visible light image separation unit 121 into a high frequency component and a low frequency component.
- the infrared light image high frequency low frequency synthesis unit 127 is supplied, and the low frequency component is supplied to the infrared light image luminance image synthesis unit 126.
- step S116 the infrared light image luminance image synthesis unit 126 modulates the signal level of the low frequency component of the infrared light image in accordance with the signal level of the luminance component of the visible light image, so that the infrared light image high frequency low frequency is obtained. This is supplied to the combining unit 127.
- step S117 the infrared light image high-frequency low-frequency synthesis unit 127 modulates the low-frequency component of the infrared light image and the high-frequency component of the infrared light image modulated according to the signal level of the luminance component of the visible light image.
- the color difference luminance combining unit 124 to generate an infrared light image, which is supplied to the color difference luminance combining unit 124 as a luminance component of the visible light image.
- step S118 the color difference luminance combining unit 124 uses the infrared light image supplied from the infrared light image high frequency low frequency combining unit 127 as a luminance component and combines it with the color difference component supplied from the color difference extraction unit 123. Then, a visible light image is generated, and this is output as an image with the iris corrected.
- the image P23 is obtained from the image P21 by the processing in step S111. As shown, the position and shape of the pupil are detected. In the image P23, the shape of the pupil is indicated by two circular marks.
- step S113 a noise removal filter corresponding to the shape of the pupil is formed, and noise is removed from the image P22 including the visible light image, thereby generating a visible light image as shown by the image P24. Is done.
- the color difference component is extracted from the noise-removed image P24, and the image P21 composed of the infrared light image is synthesized as the luminance component, thereby generating an image as shown by the image P25.
- FIG. 14 shows an example of the configuration of the iris correction processing unit 73 in which the pupil color is preset and can be selected and colored freely.
- the same reference numerals and the same names are given to configurations having the same functions as those of the iris correction processing unit 73 in FIG. 11, and description thereof is omitted as appropriate. It shall be.
- the iris correction processing unit 73 in FIG. 14 is different from the iris correction processing unit 73 in FIG. 11 in that a pupil addition unit 131 is further provided.
- the pupil adding unit 131 adds the preset color difference component of the pupil to the preset pupil memory 131a to the color difference component of the visible light image in accordance with the position and shape of the pupil detected by the pupil detection unit 128.
- the preset color difference component of the pupil various types such as brown, blue, hazel, gray, green, or violet can be set and selected in advance by the user.
- the description will be made assuming that one of the pupil colors has been selected in advance, but it may be possible to select and view an image to which various color pupils are added, for example, by switching the pupil color. .
- step S138 the color difference component extracted from the visible light image noise-removed by the noise removal filter corresponding to the position and shape of the pupil by the processing of steps S131 to S137, and after the infrared light image is synthesized as the luminance component.
- step S138 the pupil adding unit 131 reads out the preset color difference component of the pupil from among the color difference components of the pupil preset in the preset pupil memory 131a, and the position detected by the pupil detection unit 128 and The shape is added to the color difference component of the visible light image.
- step S139 the color difference component of the visible light image and the luminance component formed of the infrared light image are combined and output.
- a color difference component extracted from a visible light image noise-removed by a noise removal filter corresponding to the position and shape of the pupil is used, and an infrared light image is synthesized as a luminance component.
- any of the pupils C1 to C4 preset in the preset pupil memory 131a is added according to the position and shape of the pupil.
- the left pupil in the figure is the pupil C3 and the right pupil is the pupil C4, but both eyes may be the same pupil. However, other pupils may be used.
- the pupil adding unit 131 uses the preset color difference component of the pupil as the color difference component of the visible light image in the preset pupil memory 131a in accordance with the position and shape of the pupil detected by the pupil detection unit 128.
- the example of adding has been described, for the preset pupil information, not only the color difference component but also the luminance component is preset, and each is added to the color difference component and the luminance component. Good.
- the luminance component is preset together with the color difference component as the preset pupil information, and the color difference component and the luminance component of the pupil are added according to the position and shape of the pupil detected by the pupil detection unit 128, respectively.
- a third configuration example of the iris correction processing unit 73 configured as described above is shown.
- the same reference numerals and the same names are given to configurations having the same functions as the iris correction processing unit 73 in FIG. 14, and description thereof is omitted as appropriate. It shall be.
- the iris correction processing unit 73 in FIG. 17 is different from the iris correction processing unit 73 in FIG. 14 in that a pupil adding unit 141 is provided instead of the pupil adding unit 131.
- the pupil adding unit 141 has basically the same function as the pupil adding unit 131, but the preset pupil memory 141a stores the preset color difference component and luminance component of the pupil, respectively, Add to the luminance component. That is, in this case, the preset color difference component and luminance component of the pupil are added to the color difference component and luminance component of the visible light image, respectively, and then the color difference component and luminance component are combined.
- the iris correction processing in the configuration correction processing unit 73 in FIG. 17 is basically similar to the processing described with reference to the flowchart in FIG. 15, and thus description thereof is omitted.
- the pupil adding unit 141 matches the position and shape of the pupil detected by the pupil detection unit 128, and presets the color difference component and luminance of the pupil preset in the preset pupil memory 141a.
- the components are read out and added to the color difference component and the luminance component of the visible light image, respectively.
- the iris image is corrected by combining the infrared light image as a luminance component, Furthermore, although an example of adding an arbitrary color pupil has been described, an iris color that approximates a preset pupil to an iris color that increases the signal level of the infrared light image in the corrected pupil portion. You may make it selectable.
- FIG. 18 shows an example of the configuration of an iris correction processing unit 73 in which an iris color that approximates a preset pupil can be selected as the iris color at which the signal level of the infrared light image increases in the corrected pupil portion. Is shown.
- the same reference numerals and the same names are given to configurations having the same functions as the iris correction processing unit 73 in FIG. 14, and description thereof is omitted as appropriate. It shall be.
- the iris correction processing unit 73 in FIG. 18 is different from the iris correction processing unit 73 in FIG. 14 in that a pupil addition unit 151 is provided instead of the pupil addition unit 131.
- the basic function of the pupil adding unit 151 is the same as that of the pupil adding unit 131, but an approximate hue selecting unit 151b is provided in addition to the preset pupil memory 151a.
- the function of the preset pupil memory 151a is the same as that of the preset pupil memory 131a, and a plurality of color pupils are preset.
- the approximate hue selection unit 151b extracts the position of the pupil and the color of the shape from the corrected image, selects the pupil whose color is most approximated from the preset color difference components of the pupil, Add to color difference component in shape.
- step S158 the color difference component extracted from the visible light image noise-removed by the noise removal filter corresponding to the position and shape of the pupil by the processing of steps S151 to S157, and after the infrared light image is synthesized as the luminance component.
- step S158 the pupil adding unit 151 controls the approximate hue selection unit 141b to select the color of the region corresponding to the position and shape of the pupil in the color difference component of the visible light image and the pupil preset in the preset pupil memory 151a. The closest color pupil among the color difference components is selected.
- step S159 the pupil adding unit 151 adds the color difference component of the selected color pupil to the color difference component in the position and shape where the pupil is detected.
- step S160 the color difference component to which the pupil is added and the luminance component composed of the infrared light image are combined to output an image.
- a color difference component extracted from a visible light image noise-removed by a noise removal filter corresponding to the position and shape of the pupil is used, and an infrared light image is synthesized as a luminance component.
- one of the pupils C11 to C14 preset in the preset pupil memory 151a by the approximate hue selection unit 151b is selected, and a pupil having a hue closest to the pupil C101 in the image is selected, and the selected pupil is detected. It is added according to the position and shape.
- the most approximate hue of the preset pupils is added in the position and shape, so that the pupil with the most natural color is added after correcting the shape of the pupil. Therefore, it is possible to correct the face image appropriately.
- the nose correction process it is possible to appropriately correct the image of the nose by correcting the skin color in the region where the nose is formed in the same manner as the skin color correction process described above.
- the mouth correction process as in the iris correction process, it is possible to correct the mouth image appropriately by correcting the color of the lips.
- the image of various organs constituting the face image is corrected by the above-described series of processes, and the corrected organ is synthesized to correct the face image. Even at times, the face image can be corrected appropriately.
- the pupil adding unit 151 has the closest color among the color difference components of the pupil preset in the preset pupil memory 151a in accordance with the position and shape of the pupil detected by the pupil detection unit 128.
- a pupil is selected and added to the color difference component based on the position and shape of the pupil has been described, not only the color difference component but also the luminance component may be added in the same manner.
- the luminance component is preset together with the color difference component as the preset pupil information, and the color difference component and the luminance component of the pupil are respectively added in accordance with the position and shape of the pupil detected by the pupil detection unit 128.
- a fifth configuration example of the iris correction processing unit 73 configured as described above is shown.
- the same reference numerals and the same names are given to configurations having the same functions as those of the iris correction processing unit 73 in FIG. 18, and description thereof is omitted as appropriate. It shall be.
- the iris correction processing unit 73 in FIG. 21 is different from the iris correction processing unit 73 in FIG. 18 in that a pupil addition unit 161 is provided instead of the pupil addition unit 151.
- the pupil adding unit 161 is basically similar in function to the pupil adding unit 151, but is provided with an approximate hue selection unit 161b, and preset pupil color difference components and luminances are stored in the preset pupil memory 161a. Among the components, they are added to the color difference component and the luminance component that approximate the imaged color difference component and the luminance component. That is, in this case, the preset color difference component and luminance component of the pupil are added to the color difference component and luminance component of the visible light image, respectively, and then the color difference component and luminance component are combined.
- the iris correction process in the configuration correction processing unit 73 in FIG. 19 is basically similar to the process described with reference to the flowchart in FIG.
- step S158 the pupil adding unit 161 matches the pupil position and shape detected by the pupil detection unit 128 with the preset pupil color difference component and luminance in the preset pupil memory 161a.
- the components are read out, and the approximate hue selection unit 161b selects a component close to the color difference component and the luminance component of each photographed visible light image, and adds them in step S159.
- the images for each organ constituting the face image are corrected by the correction processing according to the organ, and the image corrected for each organ can be combined to appropriately correct the face image.
- skin color, pupil, nose, and mouth have been extracted as organs, and examples of correcting the corresponding images have been described.
- other organs are extracted and corrections corresponding to the respective images are performed. For example, eyebrows, head hair, and the like may be extracted and subjected to corresponding processing.
- the imaging unit 31, the infrared light emitting unit 32, and the white light emitting unit 33 may have various arrangement variations.
- the white light emitting unit 33, the imaging unit 31, and the infrared light emitting unit 32 may be arranged in this order from the left in FIG.
- the white light emitting unit 33, the infrared light emitting unit 32, and the imaging unit 31 may be arranged.
- the infrared light emitting unit 32, the imaging unit 31, and the white light emitting unit 33 may be used.
- the imaging unit 31 and the white light emitting unit 33 As shown in the arrangement example Pt2, the imaging unit 31 and the white light emitting unit 33.
- the infrared light emitting unit 32, and as shown in the arrangement example Pt 3 the infrared light emitting unit 32, the white light emitting unit 33, and the imaging unit 31 may be used, and as shown in the arrangement example Pt 4.
- the imaging unit 31, the infrared light emitting unit 32, and the white light emitting unit 33 may be used.
- an infrared light emitting unit 32 is provided immediately below the white light emitting unit 33, and further in the height direction of the white light emitting unit 33 and the infrared light emitting unit 32.
- the imaging unit 31 may be provided on the right side of the intermediate position.
- a white light emitting unit 33 is provided immediately below the infrared light emitting unit 32, and further, an intermediate in the height direction of the infrared light emitting unit 32 and the white light emitting unit 33.
- the image pickup unit 31 may be provided on the right side of the position, or the image pickup unit 31 may be provided on the left side as shown in the arrangement example Pt12.
- the infrared light emitting section 32 and the white light emitting section 33 in the arrangement example Pt12 may be arranged so as to be exchanged.
- an infrared light emitting unit 32 is provided in a frame shape surrounding the display unit 34, and a white light emitting unit 33 is provided in a frame shape surrounding the periphery. It may be.
- the white light emitting unit 33 is provided in a frame shape surrounding the display unit 34, and the infrared light emitting unit 32 is provided in a frame shape surrounding the periphery. It may be.
- ⁇ Example executed by software> By the way, the series of processes described above can be executed by hardware, but can also be executed by software.
- a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.
- FIG. 24 shows a configuration example of a general-purpose personal computer.
- This personal computer incorporates a CPU (Central Processing Unit) 1001.
- An input / output interface 1005 is connected to the CPU 1001 via a bus 1004.
- a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.
- the input / output interface 1005 includes an input unit 1006 including an input device such as a keyboard and a mouse for a user to input an operation command, an output unit 1007 for outputting a processing operation screen and an image of the processing result to a display device, programs, and various types.
- a storage unit 1008 including a hard disk drive for storing data, a LAN (Local Area Network) adapter, and the like are connected to a communication unit 1009 that executes communication processing via a network represented by the Internet.
- magnetic disks including flexible disks
- optical disks including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)), magneto-optical disks (including MD (Mini Disc)), or semiconductors
- a drive 1010 for reading / writing data from / to a removable medium 1011 such as a memory is connected.
- the CPU 1001 is read from a program stored in the ROM 1002 or a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installed in the storage unit 1008, and loaded from the storage unit 1008 to the RAM 1003. Various processes are executed according to the program.
- the RAM 1003 also appropriately stores data necessary for the CPU 1001 to execute various processes.
- the CPU 1001 loads the program stored in the storage unit 1008 to the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program, for example. Is performed.
- the program executed by the computer (CPU 1001) can be provided by being recorded on the removable medium 1011 as a package medium, for example.
- the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
- the program can be installed in the storage unit 1008 via the input / output interface 1005 by attaching the removable medium 1011 to the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be installed in advance in the ROM 1002 or the storage unit 1008.
- the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
- the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
- the present disclosure can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is processed jointly.
- each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
- the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
- this indication can also take the following structures.
- an imaging unit that captures a visible light image and an infrared light image;
- An organ extraction unit that recognizes a face image from the infrared light image and extracts an image of each organ from the face image;
- An organ image correction unit that corrects an image of each organ using the visible light image and the infrared light image according to the organ extracted by the organ extraction unit;
- An information processing apparatus comprising: a combining unit that combines the images of the organs corrected by the organ image correcting unit.
- the organ image correction unit includes an image correction unit that corrects the image for each organ.
- the image for each organ includes a skin color image, an iris image, a mouth image, and a nose image
- the image correction unit includes a skin color image correction unit that corrects the skin color image, an iris image correction unit that corrects the iris image, a mouth image correction unit that corrects the mouth image, and a nose image that corrects the nose image.
- the information processing apparatus according to ⁇ 2> including a correction unit.
- the skin color image correction unit is A separation unit that separates the visible light image in the skin color image into a color difference component and a luminance component;
- a luminance component generation unit that combines the luminance component separated by the separation unit and the infrared light image at a predetermined ratio to generate a new luminance component;
- the information processing apparatus according to ⁇ 3>, further comprising: a color difference luminance combining unit that generates an image obtained by correcting the skin color image by combining the new luminance component and the color difference component.
- the luminance component generation unit synthesizes the luminance component separated by the separation unit and the infrared light image at the predetermined ratio at which an input is received by the operation input unit, and creates a new luminance component
- the skin color image correction unit is A separation unit that separates the visible light image in the skin color image into a color difference component and a luminance component; A comparison unit that compares the signal level of the luminance component separated by the separation unit and the signal level of the infrared light image in units of pixels;
- the information processing apparatus further comprising: an adjustment unit that adjusts the saturation of the color difference component in units of pixels so as to match a signal level of the infrared light image based on a comparison result of the comparison unit.
- the adjustment unit determines the saturation of the color difference component, Adjust to raise to match the signal level of the infrared image, When the signal level of the infrared light image is smaller than the signal level of the luminance component separated by the separation unit by the comparison unit, the adjustment unit converts the saturation of the color difference component to the infrared light.
- the information processing apparatus according to ⁇ 6>, wherein the adjustment is performed so as to be lowered so as to match the signal level of the image.
- the adjustment unit includes a color difference component extraction unit that extracts color difference components of pixels around the target pixel, When the signal level of the luminance component of the target pixel is lower than a threshold that is regarded as an achromatic color, the adjustment unit has extracted the color difference component of the visible light image in the target pixel by the color difference component extraction unit, The information processing apparatus according to ⁇ 6>, wherein adjustment is performed so as to replace with a color difference component of a pixel around the target pixel. ⁇ 9> The information processing apparatus according to ⁇ 6>, wherein the nose image correction unit corrects the nose image by a method similar to the skin color image correction unit.
- the iris image correction unit is A pupil detection unit that detects the position and shape of the pupil from the infrared light image in the iris image; A noise removing unit for removing noise of the visible light image of the iris image by a noise filter corresponding to the position and shape of the pupil detected by the pupil detecting unit; A color difference luminance separation unit that separates a color difference component and a luminance component from a visible light image of the iris image from which noise has been removed by the noise removal unit; An infrared light combining unit that combines the infrared light component of the iris image with a luminance component of the visible light image of the iris image; Color difference luminance combining unit that combines the color difference component of the visible light image of the iris image separated by the color difference luminance separation unit and the luminance component composed of the signal level of the infrared light image combined by the infrared light combining unit.
- the information processing apparatus is A holding unit that holds the color difference components of the pupils of a plurality of colors as a preset, and further includes a pupil correction unit that combines and matches any of them with the position and shape detected by the pupil detection unit;
- the pupil correction unit is held by the holding unit in accordance with the position and shape detected by the pupil detection unit with respect to the color difference component of the visible light image of the iris image separated by the color difference luminance separation unit.
- the information processing device according to ⁇ 10>, wherein the color difference components of the selected pupils among the color difference components of the plurality of color pupils are bonded together.
- the iris image correction unit includes: The holding unit that holds the color difference component and the luminance component of the pupils of a plurality of colors as presets, and pastes one of the color difference component and the luminance component in accordance with the position and shape detected by the pupil detection unit. It further includes a pupil correction unit for matching, The pupil correction unit has a luminance component composed of a color difference component of the visible light image of the iris image separated by the color difference luminance separation unit and a signal level of the infrared light image synthesized by the infrared light synthesis unit.
- the color difference of the selected pupil For each of the color difference components and luminance components of the plurality of color pupils held by the holding unit in accordance with the position and shape detected by the pupil detection unit, the color difference of the selected pupil.
- the iris image correction unit includes: A holding unit that holds the color difference components of the pupils of a plurality of colors as a preset, and a hue pupil that approximates the position and shape detected by the pupil detection unit among the color difference components of the pupils of the plurality of colors held as a preset An approximate hue selection unit for selecting, and a pupil correction unit for combining the color difference components of the plurality of color pupils held in the preset in accordance with the position and shape detected by the pupil detection unit Including The pupil correction unit is held by the holding unit in accordance with the position and shape detected by the pupil detection unit with respect to the color difference component of the visible light image of the iris image separated by the color difference luminance separation unit.
- the information processing apparatus includes: A holding unit that holds the color difference components and luminance components of the pupils of a plurality of colors as presets, and a position and shape detected by the pupil detection unit among the color difference components and luminance components of the pupils of the plurality of colors that are held as presets It has an approximate hue selection unit that selects a pupil of an approximate hue, and matches any of the color difference components and luminance components of a plurality of color pupils held in a preset with the position and shape detected by the pupil detection unit, It further includes a pupil correction unit for pasting, The pupil correction unit has a luminance component composed of a color difference component of the visible light image of the iris image separated by the color difference luminance separation unit and a signal level of the infrared light image synthesized by the infrared light synthesis unit.
- the mouth image correction unit corrects the mouth image by a method similar to that of the iris image correction unit.
- ⁇ 16> Take a visible light image and an infrared light image, Recognizing a face image from the infrared light image, extracting an image of each organ from the face image, According to the extracted organ, using the visible light image and the infrared light image, correct the image for each organ, An information processing method including a step of synthesizing the corrected image for each organ.
- An organ extraction unit that recognizes a face image from the infrared light image and extracts an image of each organ from the face image;
- An organ image correction unit that corrects an image of each organ using the visible light image and the infrared light image according to the organ extracted by the organ extraction unit;
- a program that causes a computer to function as a combining unit that combines the images of the organs corrected by the organ image correcting unit.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Ophthalmology & Optometry (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本開示は、スマートフォン等のフロントカメラでの暗時の適切な撮像を実現できるようにする情報処理装置、および情報処理方法、並びにプログラムに関する。 赤外光画像および可視光画像を撮像し、赤外光画像より顔画像を認識し、顔画像より器官毎の画像を抽出し、抽出された器官に応じて、可視光画像および赤外光画像を利用して、器官毎の画像を補正し、補正された器官画像を合成する。本開示は、スマートフォンに適用することができる。
Description
本開示は、情報処理装置、および情報処理方法、並びにプログラムに関し、特に、スマートフォン等のフロントカメラでの暗時の適切な撮像を実現できるようにした情報処理装置、および情報処理方法、並びにプログラムに関する。
スマートフォンには、一般に、通話するためのマイク、スピーカ、およびLCD(Liquid Crystal Display)などからなるディスプレイなどが設けられた表面と、その背面にそれぞれカメラが設けられている。
背面側に設けられたカメラは、比較的高精細で高感度であり、照明などが設けられることもあるが、表面側に設けられるフロントカメラは、一般的には、精度も低く、また、照明なども無いため、暗く、一般に、自撮りと呼ばれる自らの顔画像を撮像する機会が多いにもかかわらず、暗時などには顔画像などをはっきりと撮像することができなかった。
このため、暗時には、赤外光(IR光)を発光させて画像を撮像し、この赤外光が発光された状態において撮像された画像の輝度レベルを用いて、顔画像をはっきりと撮像できるようにする技術が提案されている(特許文献1参照)。
しかしながら、特許文献1の技術においては、特に、虹彩において、赤外光を強く反射してしまうため、顔画像としての印象に違和感が生じてしまうことがあった。
そこで、暗時に撮像する際には、赤外光を用いて撮像し、虹彩の輝度レベルを予め決められたレベルに補正することで、赤外光の画像を用いた際の、赤外光の反射による顔画像としての印象に違和感を生じさせないようにする技術が提案されている。(特許文献2参照)。
しかしながら、赤外光を用いた場合、特に、虹彩については、赤外光を反射することにより、目が小さく見えてしまうことがあり、顔画像としての印象に違和感を与えることがあった。
また、ストロボライトのような可視光を発光させる場合と、異なる位置に赤外光の光源が設けられることになるので、光源の位置が異なることにより、画像から赤外光の輝度を置換するようにするだけでは、不自然な模様や色再現がなされることがあった。
本開示では、このような状況に鑑みてなされたものであり、特に、スマートフォン等のフロントカメラでの暗時の顔画像の撮像を適切に実現できるようにするものである。
本開示の一側面の情報処理装置は、可視光画像および赤外光画像を撮像する撮像部と、前記赤外光画像より顔画像を認識し、前記顔画像より器官毎の画像を抽出する器官抽出部と、前記器官抽出部により抽出された器官に応じて、前記可視光画像および前記赤外光画像を利用して、前記器官毎の画像を補正する器官画像補正部と、前記器官画像補正部により補正された前記器官毎の画像を合成する合成部とを含む情報処理装置である。
前記器官画像補正部には、前記器官毎に、前記画像を補正する画像補正部を含ませるようにすることができる。
前記器官毎の画像には、肌色画像、虹彩画像、口画像、および鼻画像を含ませるようにすることができ、前記画像補正部には、前記肌色画像を補正する肌色画像補正部と、前記虹彩画像を補正する虹彩画像補正部と、前記口画像を補正する口画像補正部と、前記鼻画像を補正する鼻画像補正部とを含ませるようにすることができる。
前記肌色画像補正部には、前記肌色画像における前記可視光画像を色差成分および輝度成分に分離する分離部と、前記分離部により分離された前記輝度成分と、前記赤外光画像とを所定の割合で合成し、新たな輝度成分を生成する輝度成分生成部と、前記新たな輝度成分と、前記色差成分とを合成することで、前記肌色画像を補正した画像を生成する色差輝度合成部とを含ませるようにすることができる。
前記所定の割合の入力を受け付ける操作入力部をさらに含ませるようにすることができ、前記輝度成分生成部には、前記分離部により分離された前記輝度成分と、前記赤外光画像とを、前記操作入力部により入力が受け付けられた、前記所定の割合で合成し、新たな輝度成分を生成させるようにすることができる。
前記肌色画像補正部には、前記肌色画像における前記可視光画像を色差成分および輝度成分に分離する分離部と、前記分離部により分離された前記輝度成分の信号レベルと、前記赤外光画像の信号レベルとの大小関係を画素単位で比較する比較部と、前記比較部の比較結果に基づいて、前記色差成分の彩度を前記赤外光画像の信号レベルに適合するように前記画素単位で調整する調整部とを含ませるようにすることができる。
前記比較部により、前記赤外光画像の信号レベルが、前記分離部により分離された前記輝度成分の信号レベルよりも大きい場合、前記調整部には、前記色差成分の彩度を、前記赤外光画像の信号レベルに適合するように上げるように調整させ、前記比較部により、前記赤外光画像の信号レベルが、前記分離部により分離された前記輝度成分の信号レベルよりも小さい場合、前記調整部には、前記色差成分の彩度を、前記赤外光画像の信号レベルに適合するように下げるように調整させるようにすることができる。
前記調整部には、注目画素の周辺の画素の色差成分を抽出する色差成分抽出部を含ませ、前記注目画素の輝度成分の信号レベルが無彩色とみなされる閾値よりも低いとき、前記調整部は、前記注目画素における前記可視光画像の色差成分を、前記色差成分抽出部により抽出された、前記注目画素の周辺の画素の色差成分により置き換えるように調整させるようにすることができる。
前記鼻画像補正部には、前記肌色画像補正部と同様の手法により前記鼻画像を補正させるようにすることができる。
前記虹彩画像補正部には、前記虹彩画像における前記赤外光画像より瞳の位置と形状を検出する瞳検出部と、前記瞳検出部により検出された前記瞳の位置と形状に応じたノイズフィルタにより、前記虹彩画像の前記可視光画像のノイズを除去するノイズ除去部と、前記ノイズ除去部によりノイズ除去された前記虹彩画像の可視光画像より色差成分と輝度成分とを分離する色差輝度分離部と、前記虹彩画像の前記赤外光成分を、前記虹彩画像の前記可視光画像の輝度成分に合わせて合成する赤外光合成部と、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分と、前記赤外光合成部により合成された前記赤外光画像の信号レベルからなる輝度成分とを合成する色差輝度合成部とを含ませるようにすることができる。
前記虹彩画像補正部には、複数の色の瞳の色差成分をプリセットで保持する保持部を有し、そのいずれかを前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部をさらに含ませるようにすることができ、前記瞳補正部には、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分に対して、前記瞳検出部により検出された位置および形状に合わせて、前記保持部により保持されている、前記複数の色の瞳の色差成分のうち、選択された瞳の色差成分を貼り合わせるようにさせることができる。
前記虹彩画像補正部には、複数の色の瞳の色差成分および輝度成分をプリセットでそれぞれ保持する前記保持部を有し、そのいずれかの色差成分および輝度成分を前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部をさらに含ませるようにすることができ、前記瞳補正部には、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分、および、前記赤外光合成部により合成された前記赤外光画像の信号レベルからなる輝度成分のそれぞれに対して、前記瞳検出部により検出された位置および形状に合わせて、前記保持部により保持されている、前記複数の色の瞳の色差成分および輝度成分のうち、選択された瞳の色差成分および輝度成分を、それぞれ貼り合わせるようにさせることができる。
前記虹彩画像補正部は、複数の色の瞳の色差成分をプリセットで保持する保持部と、プリセットで保持する複数の色の瞳の色差成分のうち、前記瞳検出部により検出された位置および形状における近似する色相の瞳を選択する近似色相選択部とを有し、プリセットで保持する複数の色の瞳の色差成分のいずれかを前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部とをさらに含ませるようにすることができ、前記瞳補正部は、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分に対して、前記瞳検出部により検出された位置および形状に合わせて、前記保持部により保持されている、前記複数の色の瞳の色差成分のうち、前記近似色相選択部により選択された色相の色の瞳の色差成分を貼り合わせるようにさせることができる。
前記虹彩画像補正部には、複数の色の瞳の色差成分および輝度成分をプリセットで保持する保持部と、プリセットで保持する複数の色の瞳の色差成分および輝度成分のうち、前記瞳検出部により検出された位置および形状における近似する色相の瞳を選択する近似色相選択部を有し、プリセットで保持する複数の色の瞳の色差成分および輝度成分のいずれかを前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部をさらに含み、前記瞳補正部は、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分、および、前記赤外光合成部により合成された前記赤外光画像の信号レベルからなる輝度成分のそれぞれに対して、前記瞳検出部により検出された位置および形状に合わせて、前記瞳保持部により保持されている、前記複数の色の瞳の色差成分および輝度成分のうち、前記近似色相選択部により選択された色相の色の瞳の色差成分および輝度成分をそれぞれ貼り合わせるようにさせることができる。
前記口画像補正部には、前記虹彩画像補正部と同様の手法により前記口画像を補正させるようにすることができる。
本開示の一側面の情報処理方法は、可視光画像および赤外光画像を撮像し、前記赤外光画像より顔画像を認識し、前記顔画像より器官毎の画像を抽出し、抽出された器官に応じて、前記可視光画像および前記赤外光画像を利用して、前記器官毎の画像を補正し、補正された前記器官毎の画像を合成するステップを含む情報処理方法である。
本開示の一側面のプログラムは、可視光画像および赤外光画像を撮像する撮像部と、前記赤外光画像より顔画像を認識し、前記顔画像より器官毎の画像を抽出する器官抽出部と、前記器官抽出部により抽出された器官に応じて、前記可視光画像および前記赤外光画像を利用して、前記器官毎の画像を補正する器官画像補正部と、前記器官画像補正部により補正された前記器官毎の画像を合成する合成部としてコンピュータを機能させるプログラムである。
本開示の一側面においては、可視光画像および赤外光画像が撮像され、前記赤外光画像より顔画像が認識され、前記顔画像より器官毎の画像が抽出され、抽出された器官に応じて、前記可視光画像および前記赤外光画像が利用されて、前記器官毎の画像が補正され、補正された前記器官毎の画像が合成される。
本開示の一側面によれば、スマートフォン等のフロントカメラでの暗時の顔画像の撮像を適切に実現させることが可能となる。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
<本開示の情報処理装置の外観斜視図>
図1は、本開示の技術を適用した情報処理装置の外観斜視図である。図1の情報処理装置11は、例えば、スマートフォンなどであり、タッチパネルからなる表示部34が設けられた表面に対向する方向の画像を撮像するためのフロントカメラからなる撮像部31、暗時に赤外光を撮像部31の撮像方向に対して照射するIRLED(赤外光発光部)32、および、同方向に白色光を照射するWLED(白色光発光部)33が設けられている。
図1は、本開示の技術を適用した情報処理装置の外観斜視図である。図1の情報処理装置11は、例えば、スマートフォンなどであり、タッチパネルからなる表示部34が設けられた表面に対向する方向の画像を撮像するためのフロントカメラからなる撮像部31、暗時に赤外光を撮像部31の撮像方向に対して照射するIRLED(赤外光発光部)32、および、同方向に白色光を照射するWLED(白色光発光部)33が設けられている。
図1においては、情報処理装置11を把持するユーザHが撮像部31により撮像されており、表示部34に撮像部31により撮像されているユーザH’が表示された状態が示されている。
情報処理装置11は、暗時において、撮像画角を確認するとき、赤外光発光部32を制御して、ユーザでは視認できない赤外光を発光させて、この赤外光に応じたライブビュー画像を撮像して、表示部34に表示する。
ここでいうライブビュー画像とは、例えば、通常の撮像における状態よりも低解像度で、かつ、低フレームレートの画像を略動画として表示部34に表示される画像である。ユーザは、このライブビュー画像を見ながら画角を確認して、撮像位置を確定させる。したがって、ライブビュー画像は、ユーザに表示することを目的とした画像であるため、シャッタを操作する際に撮像する画像のように、記録メディアなどに記録させる画像ではない。
そして、情報処理装置11は、タッチパネルからなる表示部34上にGUI(Graphical User Interface)として表示されるシャッタとして機能する操作入力部34a(図2)が操作されると、赤外光発光部32の発光を低減させて(または、消灯させて)、白色光発光部33を発光させると同時に、その瞬間の画像を静止画色情報としての可視光画像を撮像する。そして、情報処理装置11は、可視光画像の撮像が終了すると、白色光発光部33を消灯させると共に、赤外光発光部32より赤外光を投光させて、赤色光画像を撮像する。さらに、情報処理装置11は、赤外光画像より顔画像を特定し、顔画像における肌、目、鼻、および、口といった器官を抽出し、それぞれに適した色補正を施し、それらを合成した画像を表示する。
すなわち、図1の情報処理装置11は、暗時においてフロントカメラを利用して画像を撮像する際に、画角を特定させるまでの間は、まぶしさを感じることのない赤外光に基づいた画像からなるライブビュー画像を表示し、画角が特定されて、シャッタ操作がなされるときにのみ、白色光発光部33をストロボライトのように発光させて可視光画像を撮像し、次に、赤色光発光部32を発光させて赤色光画像を撮像し、可視光画像と赤色光画像とを利用することにより、顔画像を補正する。
このような動作により、情報処理装置11は、夜間などの暗時において、フロントカメラで画像を撮像する際に、適切に画角を特定することが可能となり、さらに、画像として撮像される際には、顔画像の各器官に応じた補正がなされた画像を撮像することが可能となる。
<情報処理装置の第1の実施の形態の構成例>
次に、図2のブロック図を参照して、図1の情報処理装置11の第1の実施の形態の詳細な構成例について説明する。
次に、図2のブロック図を参照して、図1の情報処理装置11の第1の実施の形態の詳細な構成例について説明する。
情報処理装置11は、撮像部31、赤外光発光部(IRLED)32、白色光発光部(WLED)33、表示部34、操作入力部34a、制御部51、および画像処理部52を備えている。
制御部51は、CPU(Central Processing Unit)、RAM(Random Access Memory)、およびROM(Read Only Memory)等を備えたコンピュータにより構成されており、情報処理装置11の全体の動作を制御するものである。
撮像部31は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどからなり、制御部51により制御されて、赤外光画像および可視光画像を撮像し、画像処理部52に供給する。撮像部31は、RGB等の可視光に加えて、赤外光発光部32により発光される、例えば、IR(赤外光)等の非可視光にも対応した画像を撮像することができる。
画像処理部52は、撮像部31により撮像された赤外光画像および可視光画像に基づいて、顔画像を認識すると共に、顔画像より、目、鼻、口、肌といった器官を抽出し、器官毎に適切な補正処理を施した後、それらを合成することで、顔画像を補正した画像を生成し、LCD(Liquid Crystal Display)などからなる表示部34に表示させる。尚、画像処理部52の詳細な構成については、図3を参照して後述する。
表示部34は、タッチパネルなどからなり、表面に各種のGUI(Graphical User Interface)画像を表示させることで、例えば、シャッタボタンを操作するGUIを操作入力部34aとして機能させ、操作されるとき、シャッタボタンの押下動作があったものとみなす。
赤外光発光部32は、撮像部31において撮像可能な、例えば、波長が略0.7μm乃至1mm(=1000μm)程度の、いわゆる、近赤外光、中赤外光、および遠赤外光のいずれかの範囲に属する赤外光(IR)を補助光として発光する。
尚、一般に、スマートフォンなどからなる情報処理装置11においては、図示せぬ背面部に、フロントカメラである撮像部31よりも高精細であって、高感度の撮像部を備えているが、ここでは、省略するものとする。
<図2の画像処理部の構成例>
次に、図3のブロック図を参照して、画像処理部52の構成例について説明する。
次に、図3のブロック図を参照して、画像処理部52の構成例について説明する。
画像処理部52は、器官抽出部71、肌色補正処理部72、虹彩補正処理部73、鼻補正処理部74、口補正処理部75、および器官画像合成部76を備えている。
器官抽出部71は、撮像部31により撮像される可視光画像および赤色光画像のうち、SNRが低い赤外光画像を用いて、顔画像を抽出すると共に器官抽出を行う。器官とは、顔画像を構成する目、鼻、口、肌色といったものであり、ここでいう器官抽出とは、顔画像中の目の画像、鼻の画像、口の画像、および肌色の画像を抽出する処理を表す。器官抽出部71は、このように抽出された肌色の肌色画像を肌色補正処理部72に供給し、目の画像である虹彩画像を虹彩補正処理部73に供給し、鼻の画像である鼻画像を鼻補正処理部74に供給し、口の画像である口画像を口補正処理部75に供給し、併せて、それぞれの可視光画像および赤色光画像を供給する。
肌色補正処理部72は、可視光画像および赤色光画像に基づいて、肌色の画像として供給された肌色画像の色を、肌色画像に適した手法で補正し、器官画像合成部76に供給する。
虹彩補正処理部73は、可視光画像および赤色光画像に基づいて、目の画像として供給された虹彩画像の色を、虹彩画像に適した手法で補正し、器官画像合成部76に供給する。
鼻補正処理部74は、可視光画像および赤色光画像に基づいて、鼻の画像として供給された鼻画像の色を、鼻画像に適した手法で補正し、器官画像合成部76に供給する。
口補正処理部75は、可視光画像および赤色光画像に基づいて、口の画像として供給された口画像の色を、口画像に適した手法で補正し、器官画像合成部76に供給する。
器官画像合成部76は、肌色補正処理部72より供給される肌色が補正された肌色画像、虹彩補正処理部73より供給される虹彩の色が補正された虹彩画像、鼻補正処理部74より供給される色が補正された鼻画像、および、口補正処理部75より供給される色が補正された口画像を合成して顔画像を再構成し、表示部34に出力して表示させる、または、図示せぬ記録メディア等に記録させる。
<図2の情報処理装置による撮像処理>
次に、図4のフローチャートを参照して、図2の情報処理装置11による撮像処理について説明する。尚、ここでいう撮像処理は、フロントカメラからなる撮像部31を利用する際の撮像処理であり、例えば、図示しない背面部に設けられた撮像部による撮像処理ではない。
次に、図4のフローチャートを参照して、図2の情報処理装置11による撮像処理について説明する。尚、ここでいう撮像処理は、フロントカメラからなる撮像部31を利用する際の撮像処理であり、例えば、図示しない背面部に設けられた撮像部による撮像処理ではない。
ステップS11において、制御部51は、撮像部31を起動させて画像を撮像できる状態にする。これにより、撮像部31は、撮像した画像を順次、制御部51、および画像処理部52に供給する。
ステップS12において、制御部51は、撮像部31により撮像された画像に基づいて、所定の照度よりも低く、暗い画像であるか否かを判定する。ステップS12において、撮像された画像が所定の照度よりも低くなく、通常の明るさであるとみなされた場合、処理は、ステップS22に進む。
ステップS22において、制御部51は、表示部34において予めシャッタボタンとして機能する操作入力部34aをGUI画像として表示しており、その操作入力部34aが操作されて撮像が指示されたか否かを判定する。
ステップS22において、操作入力部34aが操作されて、撮像が指示された場合、処理は、ステップS23に進む。
ステップS23において、制御部51は、撮像部31を制御して、通常の静止画を撮像し、画像処理部52において所定の処理がなされた画像データを図示せぬ記録メディア等に記憶させる、または、表示部34に表示させた後、処理は、ステップS24に進む。通常の静止画を撮像するとは、撮像部31により撮像される画像より、可視光画像を抽出することである。尚、ステップS22において、操作入力部34aが操作されていないとみなされた場合、ステップS23の処理はスキップされる。
ステップS24において、制御部51は、撮像部31を制御して通常のライブビュー画像を撮像させて、画像処理部52に供給する。画像処理部52は、所定の画像処理を加えて、ライブビュー画像として表示部34に表示する。
尚、ここでいう、通常のライブビュー画像を撮像し、表示するとは、撮像部31において、所定の時間間隔で撮像された、比較的低解像度の画像より可視光画像を抽出し、比較的低フレームレートの動画像として表示させることをいう。
ステップS21において、制御部51は、操作入力部34aが操作されて、撮像処理の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップS12に戻る。そして、ステップS21において、終了が指示された場合、処理は、終了する。
一方、ステップS12において、撮像された画像が所定の照度よりも低く、暗いとみなされた場合、処理は、ステップS13に進む。
ステップS13において、制御部51は、赤外光発光部32を制御して、赤外光を発光させる。
ステップS14において、制御部51は、表示部34において予めシャッタボタンとして機能する操作入力部34aをGUI画像として表示しており、その操作入力部34aが操作されたか否かを判定する。
ステップS14において、操作入力部34aが操作されて、撮像が指示された場合、処理は、ステップS15に進む。
ステップS15において、制御部51は、赤外光発光部32を制御して消灯させ、さらに、白色光発光部33を強く発光させる。
ステップS16において、制御部51は、撮像部31を制御して、可視光画像を撮像させ、画像処理部52に供給し、処理は、ステップS17に進む。
ステップS17において、制御部51は、白色光発光部33を消灯させて、赤外光発光部32を制御して、赤外光を発光させ、処理は、ステップS18に進む。
ステップS18において、制御部51は、撮像部31を制御して、スチル画像を赤色光画像として撮像させ、画像処理部52に供給し、処理は、ステップS19に進む。
ステップS19において、画像処理部52は、画像処理を実行し、供給された可視光画像および赤色光画像を用いて、赤色光画像から器官抽出し、器官毎に色を補正して合成し、合成結果を表示部34に表示させる、または、図示せぬ記録メディア等に記録させ、処理は、ステップS20に進む。
ステップS20において、制御部51は、撮像部31を制御して、暗時のライブビュー画像を撮像させて、画像処理部52に供給する。画像処理部52は、所定の画像処理に加えて、暗時のライブビュー画像として表示部34に表示し、処理は、ステップS21に進む。ここでいう、暗時のライブビュー画像を撮像し、表示するとは、所定の時間間隔で撮像される画像より、比較的低解像度の可視光画像と赤外光画像とを抽出し、可視光画像より色差画像を抽出し、これに赤外光画像を輝度画像として合成し、比較的低フレームレートのカラー画像として表示させることをいう。
尚、ステップS14において、操作入力部34aが操作されていないとみなされた場合、処理は、ステップS20に進む。
<画像処理>
ここで、図5のフローチャートを参照して、図4のフローチャートにおけるステップS19の画像処理について説明する。
ここで、図5のフローチャートを参照して、図4のフローチャートにおけるステップS19の画像処理について説明する。
ステップS41において、器官抽出部71は、供給されてくる可視光画像および赤色光画像のうち、SNRの高い赤色光画像を用いて、顔画像を構成する肌色、目(虹彩)、鼻、および口といった各種器官を抽出する。そして、器官抽出部71は、抽出した肌色画像を肌色補正処理部72へ、虹彩画像を虹彩補正処理部73へ、鼻画像を鼻補正処理部74へ、口画像を口補正処理部75へ、それぞれ出力する。
ステップS42において、肌色補正処理部72は、肌色補正処理を実行して、肌色画像の色を補正して器官画像合成部76に供給する。尚、肌色補正処理部72の詳細な構成、および、肌色補正処理については、詳細を後述する。
ステップS43において、虹彩補正処理部73は、虹彩補正処理を実行して、虹彩画像の色を補正して器官画像合成部76に供給する。尚、虹彩補正処理部73の詳細な構成、および、虹彩補正処理については、詳細を後述する。
ステップS44において、鼻補正処理部74は、鼻補正処理を実行して、鼻画像の色を補正して器官画像合成部76に供給する。
ステップS45において、口補正処理部75は、口補正処理を実行して、口画像の色を補正して器官画像合成部76に供給する。
ステップS46において、器官画像合成部76は、肌色補正処理部72より供給された色が補正された肌色画像、虹彩補正処理部73より供給される色が補正された虹彩画像、鼻補正処理部74より供給される色が補正された鼻画像、および、口補正処理部75より供給される色が補正された口画像を合成して顔画像を再構成して表示部34に出力する。
以上の処理により、撮像部31が起動し、暗いとみなされた場合、シャッタが押下されるまでは、ステップS12乃至S14,S20,S21の処理が繰り返されて、ライブビュー画像が撮像されて、赤外光発光部32が赤外光を発光し、白色光発光部33が消灯して、表示部34には、モノクロ画像からなるライブビュー画像が表示され続けることになる。
ここで、操作入力部34aが操作されて、シャッタボタンが操作されたものとみなされると、ステップS15乃至S19の一連の処理により、撮像部31により可視光画像および赤色光画像がスチル画像として撮像され、赤色光画像および可視光画像が利用されて、顔画像の色が補正された画像が出力されて表示される。
この結果、顔画像の色が補正された画像を撮像することが可能となる。尚、以上においては、暗時において、撮像が指示された場合、白色光発光部33を発光させて、赤外光発光部32を消灯、または、微発光させることで、色情報である可視光画像を撮像した後、白色光発光部33を消灯させて、赤外光発光部32を発光させることで、輝度情報である赤外光画像を撮像する例について説明してきた。しかしながら、可視光画像と赤外光画像とが撮像できればよいので、撮像の順序は、どちらが先であってもよいものであり、例えば、赤外光画像を撮像した後、可視光画像を撮像するようにしてもよい。
また、赤外光発光部32および白色光発光部33を同時に発光させて、1回の撮像で撮像部31における赤外光画素から赤外光画像を生成し、それ以外の可視光画素(RGB画素)から可視光画像を生成するようにしてもよい。つまり、赤外光画像および可視光画像を撮像することができる限り、赤外光発光部32および白色光発光部33の発光シーケンスは特に限定されるものではない。さらに、暗い部分については、赤外光画像を用いて補正がなされることにより、白色光発光部33は、必ずしも必要ではなく、可視光画像について、周辺の自然光のみを利用して撮像するようにしてもよい。
<肌色補正処理部の第1の構成例>
次に、図6のブロック図を参照して、肌色補正処理部72の第1の構成例について説明する。
次に、図6のブロック図を参照して、肌色補正処理部72の第1の構成例について説明する。
肌色補正処理部72は、赤外光画像可視光画像分離部91、可視光画像色差輝度分離部92、赤外光画像輝度画像合成部93、合成割合入力部94、および色差輝度合成部95を備えている。
赤外光画像可視光画像分離部91は、順次供給されてくる可視光画像および赤外光画像を分離して、可視光画像を可視光画像色差輝度分離部92に供給し、赤外光画像を赤外光画像輝度画像合成部93に供給する。
可視光画像色差輝度分離部92は、供給されてきた可視光画像を輝度成分と色差成分とに分離して、色差成分を色差輝度合成部95に供給し、輝度成分を赤外光画像輝度画像合成部93に供給する。
赤外光画像輝度画像合成部93は、合成割合入力部94を介して入力される割合で、赤外光画像と、輝度成分とを合成し、新たな輝度成分として色差輝度合成部95に出力する。
合成割合入力部94は、制御部51により生成されて、表示部34にGUI(Graphical User Interface)として表示されるスケールなどにより、タッチパネルとして機能する操作入力部34aからの操作信号に基づいて、赤外光画像と、輝度成分との合成割合を示す情報を制御部51に供給する。
制御部51は、操作入力部34aを介して供給される割合の情報を画像処理部の合成割合入力部94に供給する。合成割合入力部94は、このような一連の動作により、合成割合を赤外光画像輝度画像合成部93に供給する。
色差輝度合成部95は、可視光画像色差輝度分離部92より供給されてくる色差成分と、赤外光画像輝度画像合成部93より新たに設定された輝度成分とを合成して画像を生成して出力する。
<図6の肌色補正処理部による肌色補正処理>
次に、図7のフローチャートを参照して、図6の肌色補正処理部72による肌色補正処理について説明する。
次に、図7のフローチャートを参照して、図6の肌色補正処理部72による肌色補正処理について説明する。
ステップS61において、赤外光画像可視光画像分離部91は、肌領域として分類された可視光画像および赤外光画像を取得する。すなわち、図4のフローチャートを参照して説明したステップS16,S18の処理により撮像された可視光画像および赤外光画像を順次取得する。
ステップS62において、赤外光画像可視光画像分離部91は、可視光画像および赤外光画像の全画素のうち、いずれか、未処理の画素を処理対象画素(注目画素)に設定し、可視光画像の注目画素を可視光画像色差輝度分離部92に供給し、赤外光画像の注目画素を赤外光画像輝度画像合成部93に供給する。
ステップS63において、可視光画像色差画像分離部92は、可視光画像における注目画素を輝度成分と色差成分とに分離して、輝度成分を赤外光画像輝度画像合成部93に供給すると共に、色差成分を色差輝度合成部95に供給する。
ステップS64において、制御部51は、表示部34を制御して、可視光画像における輝度成分と、赤外光画像とを混ぜる割合を指定するためのGUIを、例えば、図8の右下部で示されるように表示し、操作入力部34aを制御して、表示されたGUIの操作入力に対応する操作信号を出力させ、操作内容に応じた割合の情報を肌色補正処理部72の合成割合入力部94に供給する。合成割合入力部94は、この合成割合の情報を赤外光画像輝度画像合成部93に出力する。
図8の右下部には、情報処理装置11における表示部34に撮像された画像が表示されており、その下に、赤外光画像の画素信号と、可視光画像の輝度成分との割合を示すためのスライドバーBが表示されており、このスライドバーB上の黒丸印の位置を図中の左右に移動させることにより赤外光画像の画素信号と、可視光画像の輝度成分との割合をユーザにより設定することができる。
図8の右下部においては、左方向が「普通」であり、右方向が「美肌」と表示されている。すなわち、黒丸印が図中の右方向の「美肌」に近づれらけるほど、赤外光画像の割合が高く設定される。すなわち、赤外光画像の方が皮膚のシミなどの原因となるメラニン色素を透過して反射することにより、シミが目立たない画像となるため、赤外光画像の割合が高いほど現実の色とは異なるが、シミなどが目立たない美肌画像にすることが可能となる。
これに対して、黒丸印が図中の左方向の「普通」に近づけられるほど、可視光画像における輝度成分の割合が高く設定される。すなわち、可視光画像の輝度成分の割合が高くなるため、可視光画像に近い画像とされる。
ステップS65において、赤外光画像輝度画像合成部93は、供給された合成割合に基づいて、赤外光画像と、可視光画像の輝度成分とを合成して、新たな輝度成分として色差輝度合成部95に出力する。
ステップS66において、色差輝度合成部95は、可視光画像色差輝度分離部92より供給されてくる色差成分、および赤外光画像輝度画像合成部93より供給されてくる、新たに設定された輝度成分を合成し、可視光画像の画素を再構成して出力する。
ステップS67において、赤外光画像可視光画像分離部91は、未処理の画素がなく、全画素について処理が終了したか否かを判定し、未処理の画素がある場合、処理は、ステップS62に戻り、それ以降の処理が繰り返される。すなわち、全画素について処理がなされるまで、ステップS62乃至S67の処理が繰り返される。そして、ステップS67において、未処理の画素がないとみなされた場合、処理は、終了する。
すなわち、図7のフローチャートを参照して説明した肌色補正処理がなされることにより、図8で示されるような処理がなされる。
すなわち、図8の左上部で示される可視光画像P1が、画素単位で色差成分からなる画像P2と、輝度成分からなる画像P3とに分離される。そして、可視光画像の輝度成分からなる画像P3と赤外光画像P4とが、図8の左下部で示されるようなGUIにより設定される合成割合で合成されることにより新たな輝度成分からなる画像P5が生成され、色差成分からなる画像P2と新たな輝度成分からなる画像P5とが合成されることにより、合成画像P6が生成され、左下部で示される情報処理装置11の表示部34に表示させる。
このとき、ユーザは、表示部34に表示された画像を見ながら、スライドバーBにおける黒丸印の位置を変化させることで、可視光画像の輝度成分と、赤外光画像との合成割合を変化させながら画像処理を実現することができる。
尚、以上の例においては、画素単位で合成割合を変化させるようにする例について説明してきたが、合成割合について、一度設定した合成割合で、全画素について処理を実行させた後、ユーザが確認し、必要に応じて、合成割合を変化させながら肌色補正処理を繰り返せるようにしてもよい。このような処理により、ユーザが気に入るまで、何度でも、合成割合を変化させながら肌色補正処理を繰り返すことが可能となる。
また、赤外光が、皮膚のシミなどの原因となるメラニン色素を透過して反射することにより、赤外光画像は、シミが目立たない画像となるので、肌色の美白効果を高めることが可能となる。すなわち、赤外光画像を用いた処理であれば、肌色の美白効果を期待することができるので、肌色補正処理については、必ずしも暗時である必要はなく、被写体の周辺環境が明るいときに実行するようにしても、肌色を適切に補正すると共に、肌色の美白効果を高めることが可能である。
さらに、暗時においても、肌色の美白効果を高められることから、例えば、逆光により暗くなった部分の肌色の美白効果を高めることも可能である。この場合、周辺外光は、十分に明るいことが多いので、撮像時には、暗時であるとの認識がなされない可能性もあるが、局所的に暗くなった部分に対しても、上述した肌色補正処理を施すことで、肌色を適切に補正し、さらに、美白効果を高めることが可能となる。
<肌色補正処理部の第2の構成例>
以上においては、赤外光画像と、可視光画像の輝度成分との合成割合をユーザにより設定する例について説明してきたが、赤外光画像と、可視光画像の輝度成分との大小関係、および、可視光画像の輝度成分が無彩色であるか否かに基づいて、ユーザが介在することなく肌色を補正するようにしてもよい。
以上においては、赤外光画像と、可視光画像の輝度成分との合成割合をユーザにより設定する例について説明してきたが、赤外光画像と、可視光画像の輝度成分との大小関係、および、可視光画像の輝度成分が無彩色であるか否かに基づいて、ユーザが介在することなく肌色を補正するようにしてもよい。
図9は、ユーザが介在することなく肌色を補正するようにした肌色補正処理部72の構成例を示している。尚、図6の肌色補正処理部72における構成と同一の機能を備えた構成については、同一の符号および同一の名称を付しており、その説明は適宜省略するものとする。
すなわち、図9の肌色補正処理部72においは、図6の肌色補正処理部72と異なる点は、赤外光画像輝度画像合成部93および合成割合入力部94に代えて、赤外光輝度比較部101、および色差調整部102が設けられた点である。
赤外光輝度比較部101は、画素単位で赤外光画像と、可視光画像の輝度成分との大小関係を比較して、比較結果を色差調整部102に供給する。
色差調整部102は、赤外光輝度比較部101より供給される比較結果、並びに、可視光画像の輝度成分が無彩色判定の閾値との大小関係に基づいて、可視光画像色差輝度分離部92より供給されてくる色差を調整して色差輝度合成部95に出力する。色差調整部102は、色差成分抽出部102aを備えており、処理対象画素の可視光画像の輝度成分が無彩色判定の閾値より小さく、処理対象画素を無彩色の画素であるとみなした場合、可視光画像の処理対象画素の周辺の色差を、例えば、フィルタ処理により抽出して、処理対象画素の色差に置き換える。
<図9の肌色補正処理部による肌色補正処理>
次に、図10のフローチャートを参照して、図9の肌色補正処理部72による肌色補正処理について説明する。
次に、図10のフローチャートを参照して、図9の肌色補正処理部72による肌色補正処理について説明する。
ステップS81において、赤外光画像可視光画像分離部91は、肌領域として分類された可視光画像および赤外光画像を取得する。すなわち、図4のフローチャートを参照して説明したステップS16,S18の処理により撮像された可視光画像および赤外光画像を順次取得する。
ステップS82において、赤外光画像可視光画像分離部91は、可視光画像および赤外光画像の全画素のうち、いずれか、未処理の画素を処理対象画素(注目画素)に設定し、可視光画像の注目画素を可視光画像色差輝度分離部92に供給し、赤外光画像の注目画素を赤外光輝度比較部101および色差輝度合成部95に供給する。
ステップS83において、可視光画像色差画像分離部92は、可視光画像における注目画素を輝度成分と色差成分とに分離して、輝度成分を赤外光輝度比較部101に供給すると共に、色差成分を色差調整部102に供給する。
ステップS84において、赤外光輝度比較部101は、赤外光画像の信号レベルが、可視光画像の輝度成分の信号レベルよりも大きいか否かを判定し、判定結果を色差調整部102に供給する。ステップS84において、例えば、赤外光画像の信号レベルが、可視光画像の輝度成分の信号レベルよりも大きい場合、処理は、ステップS85に進む。
ステップS85において、色差調整部102は、処理対象画素の可視光画像の色差成分の彩度を赤外光画像の信号レベルに適合するように上げて、色差輝度合成部95に供給し、処理は、ステップS88に進む。色差調整部102は、例えば、可視光画像の輝度成分の信号レベルに対する赤外光画像の信号レベルの比率に相当する分だけ色彩成分の彩度を上げる。
一方、ステップS84において、赤外光画像の信号レベルが、可視光画像の輝度成分の信号レベルよりも大きくないとみなされた場合、処理は、ステップS86に進む。
ステップS86において、赤外光輝度比較部101は、赤外光画像の信号レベルが、可視光画像の輝度成分の信号レベルよりも小さいか否かを判定し、判定結果を色差調整部102に供給する。ステップS86において、例えば、赤外光画像の信号レベルが、可視光画像の輝度成分の信号レベルよりも小さい場合、処理は、ステップS87に進む。
ステップS87において、色差調整部102は、処理対象画素の可視光画像の色差成分の彩度を赤外光画像の信号レベルに適合するように下げて、色差輝度合成部95に供給し、処理は、ステップS88に進む。色差調整部102は、例えば、可視光画像の輝度成分の信号レベルに対する赤外光画像の信号レベルの比率に相当する分だけ色彩成分の彩度を下げる。
また、ステップS86において、例えば、赤外光画像の信号レベルが、可視光画像の輝度成分の信号レベルよりも小さくない場合、処理は、ステップS88に進む。
ステップS88において、赤外光輝度比較部101は、可視光画像の輝度成分の信号レベルが、無彩色判定の閾値よりも低いか否かを判定し、判定結果を色差調整部102に供給する。ステップS88において、例えば、可視光画像の輝度成分の信号レベルが、無彩色判定の閾値よりも低い場合、処理は、ステップS89に進む。
ステップS89において、色差調整部102は、色差成分抽出部102aを制御して、可視光画像の処理対象画素の周辺の画素より色差成分をフィルタ処理により抽出する。
ステップS90において、色差調整部102は、処理対象画素の色差成分を、周辺の画素より抽出された色差成分に置き換えて、色差輝度合成部95に供給し、処理は、ステップS91に進む。
ステップS91において、色差輝度合成部95は、色差調整部102より供給されてくる色差成分、および赤外光画像可視光画像分離部91より供給されてくる、輝度成分を合成し、可視光画像の画素を再構成して出力し、処理は、ステップS92に進む。
さらに、ステップS88において、可視光画像の輝度成分の信号レベルが、無彩色判定の閾値よりも低くないと判定された場合、処理は、ステップS93に進む。
ステップS93において、色差調整部102は、可視光画像の色差成分をそのまま色差輝度合成部95に出力する。そして、色差輝度合成部95は、可視光画像の色差成分と輝度成分とから、入力された可視光画像の画素を再生してそのまま出力し、処理は、ステップS92に進む。
ステップS92において、赤外光画像可視光画像分離部91は、未処理の画素がなく、全画素について処理が終了したか否かを判定し、未処理の画素がある場合、処理は、ステップS82に戻り、それ以降の処理が繰り返される。すなわち、全画素について処理がなされるまで、ステップS82乃至S92の処理が繰り返される。そして、ステップS92において、未処理の画素がないとみなされた場合、処理は、終了する。
以上の処理により、赤外光画像および可視光画像における輝度成分の大小関係と、可視光画像の輝度成分が、無彩色とみなせるほど低いか否かに基づいて、色差成分を赤外光画像の信号レベルに揃えるか、または、処理対象画素の周辺画素からフィルタ処理により抽出した色差成分で置き換えるようにした。
結果として、ユーザが介在することなく、赤外光画像および可視光画像の輝度成分により、色差成分が調整されて、肌色を補正することが可能となる。尚、上述したように、赤外光が、皮膚のシミなどの原因となるメラニン色素を透過して反射することにより、赤外光画像は、シミが目立たない画像となるので、この場合の肌色補正処理についても、必ずしも暗時である必要はなく、被写体の周辺環境が明るいときに実行するようにしても、肌色の美白効果を実現することが可能である。また、同様に、肌色補正により、逆光時における暗部の肌色を適切に補正することが可能となる。
<虹彩補正処理部の第1の構成例>
次に、図11のブロック図を参照して、虹彩補正処理部73の第1の構成例について説明する。
次に、図11のブロック図を参照して、虹彩補正処理部73の第1の構成例について説明する。
虹彩補正処理部73は、赤外光画像可視光画像分離部121、ノイズ除去部122、可視光画像色差輝度分離部123、色差輝度合成部124、赤外光画像高周波低周波分離部125、赤外光画像輝度画像合成部126、赤外光画像高周波低周波合成部127、および瞳検出部128を備えている。
赤外光画像可視光画像分離部121は、順次供給されてくる可視光画像および赤外光画像を分離して、可視光画像をノイズ除去部122に供給し、赤外光画像を赤外光画像高周波低周波分離部125、および瞳検出部128に供給する。
瞳検出部128は、SNRの高い赤外光画像に基づいて、瞳の位置と形状を検出して、検出結果をノイズ除去部122に供給する。
ノイズ除去部122は、瞳検出部128より供給されてくる瞳の位置と形状の情報に基づいて、瞳の位置と形状に対応したノイズフィルタを形成して、可視光画像よりノイズを除去し、ノイズ除去した可視光画像を可視光画像色差輝度分離部123に供給する。
可視光画像色差輝度分離部123は、ノイズが除去された可視光画像を色差成分と輝度成分とに分離して、色差成分を色差輝度合成部124に供給し、輝度成分を赤外光画像輝度画像合成部126に供給する。
赤外光画像高周波低周波分離部125は、赤外光画像可視光画像分離部121より供給されてくる赤外光画像の高周波成分と低周波成分とを分離し、高周波成分を赤外光画像高周波低周波合成部127に供給し、低周波成分を赤外光画像輝度画像合成部126に供給する。
赤外光画像輝度画像合成部126は、赤外光画像の低周波成分の信号レベルを、可視光画像の輝度成分の信号レベルに合わせて変調し、赤外光画像高周波低周波合成部127に供給する。
赤外光画像高周波低周波合成部127は、可視光画像の輝度成分の信号レベルに合わせて変調された、赤外光画像の低周波成分と、赤外光画像の高周波成分とを合成して赤外光画像を生成し、これを可視光画像の輝度成分として色差輝度合成部124に供給する。
色差輝度合成部124は、赤外光画像高周波低周波合成部127より供給されてくる赤外光画像を、輝度成分とし、可視光画像色差輝度分離部123より供給されてくる色差成分と合成して、虹彩を補正した画像を出力する。
<図11の虹彩補正処理部による虹彩補正処理>
次に、図12のフローチャートを参照して、図11の虹彩補正処理部73による虹彩補正処理について説明する。
次に、図12のフローチャートを参照して、図11の虹彩補正処理部73による虹彩補正処理について説明する。
ステップS111において、赤外光画像可視光画像分離部121は、順次供給されてくる可視光画像および赤外光画像を分離して、可視光画像をノイズ除去部122に供給し、赤外光画像を赤外光画像高周波低周波分離部125、および瞳検出部128に供給する。
ステップS112において、瞳検出部128は、SNRの高い赤外光画像に基づいて、瞳の位置と形状を検出して、検出結果をノイズ除去部122に供給する。
ステップS113において、ノイズ除去部122は、瞳検出部128より供給されてくる瞳の位置と形状の情報に基づいて、可視光画像の瞳の位置と形状に対応したノイズフィルタを形成して、可視光画像のノイズを除去し、ノイズ除去した可視光画像を可視光画像色差輝度分離部123に供給する。
ステップS114において、可視光画像色差輝度分離部123は、ノイズが除去された可視光画像を色差成分と輝度成分とに分離して、色差成分を色差輝度合成部124に供給し、輝度成分を赤外光画像輝度画像合成部126に供給する。
ステップS115において、赤外光画像高周波低周波分離部125は、赤外光画像可視光画像分離部121より供給されてくる赤外光画像の高周波成分と低周波成分とに分離し、高周波成分を赤外光画像高周波低周波合成部127に供給し、低周波成分を赤外光画像輝度画像合成部126に供給する。
ステップS116において、赤外光画像輝度画像合成部126は、赤外光画像の低周波成分の信号レベルを、可視光画像の輝度成分の信号レベルに合わせて変調し、赤外光画像高周波低周波合成部127に供給する。
ステップS117において、赤外光画像高周波低周波合成部127は、可視光画像の輝度成分の信号レベルに合わせて変調された、赤外光画像の低周波成分と、赤外光画像の高周波成分とを合成して赤外光画像を生成し、これを可視光画像の輝度成分として色差輝度合成部124に供給する。
ステップS118において、色差輝度合成部124は、赤外光画像高周波低周波合成部127より供給されてくる赤外光画像を、輝度成分とし、色差抽出部123より供給されてくる色差成分と合成して、可視光画像を生成し、これを、虹彩を補正した画像として出力する。
すなわち、以上の処理により、例えば、図13で示される赤外光画像からなる画像P21および可視光画像からなる画像P22が供給されるような場合、ステップS111の処理により、画像P21より、画像P23で示されるように、瞳の位置と形状が検出される。尚、画像P23においては、瞳の形状が2個の円状のマークで示されている。
また、ステップS113の処理で、この瞳の形状に対応したノイズ除去フィルタが形成されて、可視光画像からなる画像P22がノイズ除去されることにより、画像P24で示されるような可視光画像が生成される。
そして、このノイズ除去された画像P24より色差成分が抽出されて、赤外光画像からなる画像P21を輝度成分として合成して、画像P25で示されるような画像が生成される。
結果として、暗時でも、瞳の輪郭に生じるボケを抑制することが可能となる。
<虹彩補正処理部の第2の構成例>
以上においては、瞳の位置と形状に応じたノイズ除去フィルタによりノイズ除去された可視光画像より抽出される色差成分とし、赤外光画像を輝度成分として合成することで瞳の虹彩を補正する例について説明してきたが、予め瞳の色をプリセットしておき、選択して自由に色を付けられるようにしてもよい。
以上においては、瞳の位置と形状に応じたノイズ除去フィルタによりノイズ除去された可視光画像より抽出される色差成分とし、赤外光画像を輝度成分として合成することで瞳の虹彩を補正する例について説明してきたが、予め瞳の色をプリセットしておき、選択して自由に色を付けられるようにしてもよい。
図14は、予め瞳の色をプリセットしておき、選択して自由に色を付けられるようにした虹彩補正処理部73の構成例を示している。尚、図14の虹彩補正処理部73の構成において、図11の虹彩補正処理部73と機能が同一の構成については、同一の符号、および同一の名称を付しており、その説明は適宜省略するものとする。
すなわち、図14の虹彩補正処理部73において、図11の虹彩補正処理部73と異なる点は、さらに、瞳付加部131が設けられた点である。
瞳付加部131は、瞳検出部128により検出された瞳の位置と形状に合わせて、プリセット瞳メモリ131aに、予めプリセットされている瞳の色差成分を可視光画像の色差成分に付加する。プリセットされた瞳の色差成分は、例えば、ブラウン、ブルー、ヘーゼル、グレー、グリーン、または、バイオレットなど、様々なものを設定し、予めユーザにより選択することが可能とされている。ここでは、予めいずれかの瞳の色が選択されているものとして説明を進めるが、瞳の色を切り替えるなどして、様々な色の瞳を付加した画像をみて、選択できるようにしてもよい。
<図14の虹彩補正処理部による虹彩補正処理>
次に、図15のフローチャートを参照して、図14の虹彩補正処理部73による虹彩補正処理について説明する。尚、図15のフローチャートにおけるステップS131乃至S137,S139の処理は、図12のフローチャートを参照して説明したステップS111乃至S118の処理と同様であるので、その説明は省略するものとする。
次に、図15のフローチャートを参照して、図14の虹彩補正処理部73による虹彩補正処理について説明する。尚、図15のフローチャートにおけるステップS131乃至S137,S139の処理は、図12のフローチャートを参照して説明したステップS111乃至S118の処理と同様であるので、その説明は省略するものとする。
すなわち、ステップS131乃至S137の処理により、瞳の位置と形状に応じたノイズ除去フィルタによりノイズ除去された可視光画像より抽出される色差成分とし、赤外光画像を輝度成分として合成された後、処理は、ステップS138に進む。
ステップS138において、瞳付加部131は、プリセット瞳メモリ131aにプリセットされている瞳の色差成分うちのいずれか、予め設定されている瞳の色差成分を読み出し、瞳検出部128により検出された位置および形状で、可視光画像の色差成分に付加する。そして、この処理の後、ステップS139において、可視光画像の色差成分と、赤外光画像からなる輝度成分とが合成されて出力される。
すなわち、図16の画像P31で示されるように、瞳の位置と形状に応じたノイズ除去フィルタによりノイズ除去された可視光画像より抽出される色差成分とし、赤外光画像を輝度成分として合成された後、プリセット瞳メモリ131aにプリセットされた瞳C1乃至C4のうちのいずれかが、瞳の位置および形状に合わせて付加される。
尚、図16の画像P31においては、図中の左側の瞳が瞳C3とされ、右側の瞳が瞳C4とされている例が示されているが、両目とも同一の瞳であってもよいし、これ以外の瞳であってもよい。
以上の処理により、虹彩を補正しつつ、任意の色の瞳を切り替えるようにすることが可能となる。
<虹彩補正処理部の第3の構成例>
以上においては、瞳付加部131が、瞳検出部128により検出された瞳の位置と形状に合わせて、プリセット瞳メモリ131aに、予めプリセットされている瞳の色差成分を可視光画像の色差成分に付加する例について説明してきたが、予めプリセットされている瞳の情報については、色差成分のみならず、さらに輝度成分をプリセットさせるようにして、それぞれを色差成分および輝度成分に付加するようにしてもよい。
以上においては、瞳付加部131が、瞳検出部128により検出された瞳の位置と形状に合わせて、プリセット瞳メモリ131aに、予めプリセットされている瞳の色差成分を可視光画像の色差成分に付加する例について説明してきたが、予めプリセットされている瞳の情報については、色差成分のみならず、さらに輝度成分をプリセットさせるようにして、それぞれを色差成分および輝度成分に付加するようにしてもよい。
図17は、予めプリセットされる瞳の情報として、色差成分と共に輝度成分がプリセットされ、瞳検出部128により検出された瞳の位置と形状に合わせて、それぞれ瞳の色差成分および輝度成分を付加するようにした虹彩補正処理部73の第3の構成例を示している。尚、図17の虹彩補正処理部73の構成において、図14の虹彩補正処理部73と機能が同一の構成については、同一の符号、および同一の名称を付しており、その説明は適宜省略するものとする。
すなわち、図17の虹彩補正処理部73において、図14の虹彩補正処理部73と異なる点は、瞳付加部131に代えて瞳付加部141が設けられた点である。
瞳付加部141は、基本的に機能は、瞳付加部131と同様であるが、プリセット瞳メモリ141aに、予めプリセットされている瞳の色差成分および輝度成分を、それぞれ可視光画像の色差成分および輝度成分に付加する。すなわち、この場合、予めプリセットされている瞳の色差成分および輝度成分が、それぞれ可視光画像の色差成分および輝度成分に付加された後、色差成分と輝度成分とが合成される。尚、図17の構成補正処理部73における虹彩補正処理については、基本的に図15のフローチャートを参照して説明した処理と類似しているので、その説明は省略するものとする。
ただし、この場合、ステップS138においては、瞳付加部141が、瞳検出部128により検出された瞳の位置と形状に合わせて、プリセット瞳メモリ141aに、予めプリセットされている瞳の色差成分および輝度成分を読み出して、それぞれ可視光画像の色差成分および輝度成分に付加する。
<虹彩補正処理部の第4の構成例>
以上においては、瞳の位置と形状に応じたノイズ除去フィルタによりノイズ除去された可視光画像より抽出される色差成分とし、赤外光画像を輝度成分として合成することで瞳の虹彩を補正し、さらに、任意の色の瞳を付加する例について説明してきたが、補正後の瞳の部分における赤外光画像の信号レベルが高くなる虹彩色を、予めプリセットされた瞳に近似する虹彩の色を選択できるようにしてもよい。
以上においては、瞳の位置と形状に応じたノイズ除去フィルタによりノイズ除去された可視光画像より抽出される色差成分とし、赤外光画像を輝度成分として合成することで瞳の虹彩を補正し、さらに、任意の色の瞳を付加する例について説明してきたが、補正後の瞳の部分における赤外光画像の信号レベルが高くなる虹彩色を、予めプリセットされた瞳に近似する虹彩の色を選択できるようにしてもよい。
図18は、補正後の瞳の部分における赤外光画像の信号レベルが高くなる虹彩色を、予めプリセットされた瞳に近似する虹彩の色を選択できるようにした虹彩補正処理部73の構成例を示している。尚、図18の虹彩補正処理部73の構成において、図14の虹彩補正処理部73と機能が同一の構成については、同一の符号、および同一の名称を付しており、その説明は適宜省略するものとする。
すなわち、図18の虹彩補正処理部73において、図14の虹彩補正処理部73と異なる点は、瞳付加部131に代えて、瞳付加部151が設けられた点である。
瞳付加部151は、基本的な機能は、瞳付加部131と同様の機能であるが、プリセット瞳メモリ151aに加えて、近似色相選択部151bが設けられている。尚、プリセット瞳メモリ151aにおける機能は、プリセット瞳メモリ131aと同様であり、複数の色の瞳がプリセットされている。
近似色相選択部151bは、補正された画像より、瞳の位置および形状の色を抽出し、予めプリセットされている瞳の色差成分のうち、色が最も近似する瞳を選択し、瞳の位置および形状で色差成分に付加する。
<図18の虹彩補正処理部による虹彩補正処理>
次に、図19のフローチャートを参照して、図18の虹彩補正処理部73による虹彩補正処理について説明する。尚、図19のフローチャートにおけるステップS151乃至S157,S160の処理は、図15のフローチャートを参照して説明したステップS131乃至S137,S139の処理と同様であるので、その説明は省略するものとする。
次に、図19のフローチャートを参照して、図18の虹彩補正処理部73による虹彩補正処理について説明する。尚、図19のフローチャートにおけるステップS151乃至S157,S160の処理は、図15のフローチャートを参照して説明したステップS131乃至S137,S139の処理と同様であるので、その説明は省略するものとする。
すなわち、ステップS151乃至S157の処理により、瞳の位置と形状に応じたノイズ除去フィルタによりノイズ除去された可視光画像より抽出される色差成分とし、赤外光画像を輝度成分として合成された後、処理は、ステップS158に進む。
ステップS158において、瞳付加部151は、近似色相選択部141bを制御して、可視光画像の色差成分における瞳の位置および形状に対応する領域の色と、プリセット瞳メモリ151aにプリセットされている瞳の色差成分のうちの最も近似する色の瞳を選択する。
ステップS159において、瞳付加部151は、選択した色の瞳の色差成分を、瞳が検出された位置および形状にして色差成分に付加する。そして、ステップS160において、瞳が付加された色差成分と、赤外光画像からなる輝度成分とが合成されて、画像が出力される。
すなわち、図20の画像P41で示されるように、瞳の位置と形状に応じたノイズ除去フィルタによりノイズ除去された可視光画像より抽出される色差成分とし、赤外光画像を輝度成分として合成された後、近似色相選択部151bによりプリセット瞳メモリ151aにプリセットされた瞳C11乃至C14のうちのいずれか、その画像における瞳C101と最も近似する色相の瞳が選択されて、選択された瞳が検出された位置および形状に合わせて付加される。
以上の処理により、プリセットされた瞳のうち、最も近似する色相の瞳が、位置および形状で付加されることにより、瞳の形状が補正された上で、最も自然な色の瞳が付加されるため、顔画像を適切に補正することが可能となる。
尚、鼻補正処理については、上述した肌色補正処理と同様に鼻を形成する領域における肌の色を補正することで、鼻の画像を適切に補正することが可能となる。
また、口補正処理については、虹彩補正処理と同様に、唇の色を補正することで、口の画像を適切に補正することが可能となる。
以上の一連の処理により顔画像を構成する各種器官の画像をそれぞれ補正し、補正した器官を合成して顔画像を補正するようにしたので、器官毎に適切な画像の補正が可能となり、暗時においても、適切に顔画像を補正することが可能となる。
<虹彩補正処理部の第5の構成例>
以上においては、瞳付加部151が、瞳検出部128により検出された瞳の位置と形状に合わせて、プリセット瞳メモリ151aに、予めプリセットされている瞳の色差成分のうち、色が最も近似する瞳を選択し、瞳の位置および形状で色差成分に付加する例について説明してきたが、色差成分のみならず、輝度成分についても同様に付加するようにしてもよい。
以上においては、瞳付加部151が、瞳検出部128により検出された瞳の位置と形状に合わせて、プリセット瞳メモリ151aに、予めプリセットされている瞳の色差成分のうち、色が最も近似する瞳を選択し、瞳の位置および形状で色差成分に付加する例について説明してきたが、色差成分のみならず、輝度成分についても同様に付加するようにしてもよい。
図21は、予めプリセットされる瞳の情報として、色差成分と共に輝度成分がプリセットされ、瞳検出部128により検出された瞳の位置と形状に合わせて、それぞれ瞳の色差成分および輝度成分を付加するようにした虹彩補正処理部73の第5の構成例を示している。尚、図21の虹彩補正処理部73の構成において、図18の虹彩補正処理部73と機能が同一の構成については、同一の符号、および同一の名称を付しており、その説明は適宜省略するものとする。
すなわち、図21の虹彩補正処理部73において、図18の虹彩補正処理部73と異なる点は、瞳付加部151に代えて瞳付加部161が設けられた点である。
瞳付加部161は、基本的に機能は、瞳付加部151と同様であるが、近似色相選択部161bが設けられており、プリセット瞳メモリ161aに、予めプリセットされている瞳の色差成分および輝度成分のうち、撮像された色差成分および輝度成分に近似する色差成分および輝度成分に付加する。すなわち、この場合、予めプリセットされている瞳の色差成分および輝度成分が、それぞれ可視光画像の色差成分および輝度成分に付加された後、色差成分と輝度成分とが合成される。尚、図19の構成補正処理部73における虹彩補正処理については、基本的に図18のフローチャートを参照して説明した処理と類似しているので、その説明は省略するものとする。
ただし、この場合、ステップS158においては、瞳付加部161が、瞳検出部128により検出された瞳の位置と形状に合わせて、プリセット瞳メモリ161aに、予めプリセットされている瞳の色差成分および輝度成分を読み出して、それぞれ撮影された可視光画像の色差成分および輝度成分に近いものを近似色相選択部161bが選択し、ステップS159において、付加する。
以上の処理により、顔画像を構成する器官毎の画像が、器官に応じた補正処理により補正され、器官毎に補正された画像を合成することで、顔画像を適切に補正することが可能となる。尚、以上においては、器官として、肌色、瞳、鼻、および口が抽出され、それぞれに対応する画像を補正する例について説明してきたが、それ以外の器官を抽出し、それぞれに対応する補正を施すようにしてもよく、例えば、眉毛や頭髪なども抽出して、それぞれ対応する処理を施すようにしてもよい。
<撮像部、赤外光発光部、および白色光発光部のバリエーション>
撮像部31、赤外光発光部32、および白色光発光部33は、様々な配置のバリエーションが考えられる。
撮像部31、赤外光発光部32、および白色光発光部33は、様々な配置のバリエーションが考えられる。
例えば、図22の左上部で示されるように、図中の左から白色光発光部33、撮像部31、および赤外光発光部32の順に配置されるようにしてもよいし、図22の中央上部で示されるように、白色光発光部33、赤外光発光部32、および撮像部31のように配置してもよい。
また、配置例Pt1で示されるように、赤外光発光部32、撮像部31、および白色光発光部33でもよいし、配置例Pt2で示されるように、撮像部31、白色光発光部33、および赤外光発光部32でもよいし、配置例Pt3で示されるように、赤外光発光部32、白色光発光部33、および撮像部31でもよいし、配置例Pt4で示されるように、撮像部31、赤外光発光部32、および白色光発光部33でもよい。
さらに、図22の右上部で示されるように、白色光発光部33の直下に赤外光発光部32が設けられ、さらに、白色光発光部33および赤外光発光部32の高さ方向に中間位置であって、その右側に撮像部31を設けるようにしてもよい。
同様に、配置例Pt11で示されるように、赤外光発光部32の直下に白色光発光部33が設けられ、さらに、赤外光発光部32および白色光発光部33の高さ方向に中間位置であって、その右側に撮像部31を設けるようにしてもよいし、また、配置例Pt12で示されるように、その左側に撮像部31を設けるようにしてもよい。
さらに、配置例Pt13で示されるように、配置例Pt12における赤外光発光部32および白色光発光部33の上下を入れ替える配置とするようにしてもよい。
また、図23の上段で示されるように、表示部34の周囲を取り囲むフレーム状に、赤外光発光部32を設けて、さらに、その周囲を取り囲むフレーム状に白色光発光部33を設けるようにしてもよい。
さらに、図23の下段で示されるように、表示部34の周囲を取り囲むフレーム状に、白色光発光部33を設けて、さらに、その周囲を取り囲むフレーム状に赤外光発光部32を設けるようにしてもよい。
<ソフトウェアにより実行させる例>
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
図24は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)1001を内蔵している。CPU1001にはバス1004を介して、入出力インタ-フェイス1005が接続されている。バス1004には、ROM(Read Only Memory)1002およびRAM(Random Access Memory)1003が接続されている。
入出力インタ-フェイス1005には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部1006、処理操作画面や処理結果の画像を表示デバイスに出力する出力部1007、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部1008、LAN(Local Area Network)アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部1009が接続されている。また、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、もしくは半導体メモリなどのリムーバブルメディア1011に対してデータを読み書きするドライブ1010が接続されている。
CPU1001は、ROM1002に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア1011ら読み出されて記憶部1008にインストールされ、記憶部1008からRAM1003にロードされたプログラムに従って各種の処理を実行する。RAM1003にはまた、CPU1001が各種の処理を実行する上において必要なデータなども適宜記憶される。
以上のように構成されるコンピュータでは、CPU1001が、例えば、記憶部1008に記憶されているプログラムを、入出力インタフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア1011をドライブ1010に装着することにより、入出力インタフェース1005を介して、記憶部1008にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1009で受信し、記憶部1008にインストールすることができる。その他、プログラムは、ROM1002や記憶部1008に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
尚、本開示は、以下のような構成も取ることができる。
<1> 可視光画像および赤外光画像を撮像する撮像部と、
前記赤外光画像より顔画像を認識し、前記顔画像より器官毎の画像を抽出する器官抽出部と、
前記器官抽出部により抽出された器官に応じて、前記可視光画像および前記赤外光画像を利用して、前記器官毎の画像を補正する器官画像補正部と、
前記器官画像補正部により補正された前記器官毎の画像を合成する合成部と
を含む情報処理装置。
<2>
前記器官画像補正部は、前記器官毎に、前記画像を補正する画像補正部を含む
<1>に記載の情報処理装置。
<3> 前記器官毎の画像は、肌色画像、虹彩画像、口画像、および鼻画像を含み、
前記画像補正部は、前記肌色画像を補正する肌色画像補正部と、前記虹彩画像を補正する虹彩画像補正部と、前記口画像を補正する口画像補正部と、前記鼻画像を補正する鼻画像補正部とを含む
<2>に記載の情報処理装置。
<4> 前記肌色画像補正部は、
前記肌色画像における前記可視光画像を色差成分および輝度成分に分離する分離部と、
前記分離部により分離された前記輝度成分と、前記赤外光画像とを所定の割合で合成し、新たな輝度成分を生成する輝度成分生成部と、
前記新たな輝度成分と、前記色差成分とを合成することで、前記肌色画像を補正した画像を生成する色差輝度合成部とを含む
<3>に記載の情報処理装置。
<5> 前記所定の割合の入力を受け付ける操作入力部をさらに含み、
前記輝度成分生成部は、前記分離部により分離された前記輝度成分と、前記赤外光画像とを、前記操作入力部により入力が受け付けられた、前記所定の割合で合成し、新たな輝度成分を生成する
<4>に記載の情報処理装置。
<6> 前記肌色画像補正部は、
前記肌色画像における前記可視光画像を色差成分および輝度成分に分離する分離部と、
前記分離部により分離された前記輝度成分の信号レベルと、前記赤外光画像の信号レベルとの大小関係を画素単位で比較する比較部と、
前記比較部の比較結果に基づいて、前記色差成分の彩度を前記赤外光画像の信号レベルに適合するように前記画素単位で調整する調整部とを含む
<3>に記載の情報処理装置。
<7> 前記比較部により、前記赤外光画像の信号レベルが、前記分離部により分離された前記輝度成分の信号レベルよりも大きい場合、前記調整部は、前記色差成分の彩度を、前記赤外光画像の信号レベルに適合するように上げるように調整し、
前記比較部により、前記赤外光画像の信号レベルが、前記分離部により分離された前記輝度成分の信号レベルよりも小さい場合、前記調整部は、前記色差成分の彩度を、前記赤外光画像の信号レベルに適合するように下げるように調整する
<6>に記載の情報処理装置。
<8> 前記調整部は、注目画素の周辺の画素の色差成分を抽出する色差成分抽出部を含み、
前記注目画素の輝度成分の信号レベルが無彩色とみなされる閾値よりも低いとき、前記調整部は、前記注目画素における前記可視光画像の色差成分を、前記色差成分抽出部により抽出された、前記注目画素の周辺の画素の色差成分により置き換えるように調整する
<6>に記載の情報処理装置。
<9> 前記鼻画像補正部は、前記肌色画像補正部と同様の手法により前記鼻画像を補正する
<6>に記載の情報処理装置。
<10> 前記虹彩画像補正部は、
前記虹彩画像における前記赤外光画像より瞳の位置と形状を検出する瞳検出部と、
前記瞳検出部により検出された前記瞳の位置と形状に応じたノイズフィルタにより、前記虹彩画像の前記可視光画像のノイズを除去するノイズ除去部と、
前記ノイズ除去部によりノイズ除去された前記虹彩画像の可視光画像より色差成分と輝度成分とを分離する色差輝度分離部と、
前記虹彩画像の前記赤外光成分を、前記虹彩画像の前記可視光画像の輝度成分に合わせて合成する赤外光合成部と、
前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分と、前記赤外光合成部により合成された前記赤外光画像の信号レベルからなる輝度成分とを合成する色差輝度合成部とを含む
<3>に記載の情報処理装置。
<11> 前記虹彩画像補正部は、
複数の色の瞳の色差成分をプリセットで保持する保持部を有し、そのいずれかを前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部をさらに含み、
前記瞳補正部は、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分に対して、前記瞳検出部により検出された位置および形状に合わせて、前記保持部により保持されている、前記複数の色の瞳の色差成分のうち、選択された瞳の色差成分を貼り合わせる
<10>に記載の情報処理装置。
<12> 前記虹彩画像補正部は、
複数の色の瞳の色差成分および輝度成分をプリセットでそれぞれ保持する前記保持部を有し、そのいずれかの色差成分および輝度成分を前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部をさらに含み、
前記瞳補正部は、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分、および、前記赤外光合成部により合成された前記赤外光画像の信号レベルからなる輝度成分のそれぞれに対して、前記瞳検出部により検出された位置および形状に合わせて、前記保持部により保持されている、前記複数の色の瞳の色差成分および輝度成分のうち、選択された瞳の色差成分および輝度成分を、それぞれ貼り合わせる
<10>に記載の情報処理装置。
<13> 前記虹彩画像補正部は、
複数の色の瞳の色差成分をプリセットで保持する保持部と、プリセットで保持する複数の色の瞳の色差成分のうち、前記瞳検出部により検出された位置および形状における近似する色相の瞳を選択する近似色相選択部とを有し、プリセットで保持する複数の色の瞳の色差成分のいずれかを前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部とをさらに含み、
前記瞳補正部は、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分に対して、前記瞳検出部により検出された位置および形状に合わせて、前記保持部により保持されている、前記複数の色の瞳の色差成分のうち、前記近似色相選択部により選択された色相の色の瞳の色差成分を貼り合わせる
<10>に記載の情報処理装置。
<14> 前記虹彩画像補正部は、
複数の色の瞳の色差成分および輝度成分をプリセットで保持する保持部と、プリセットで保持する複数の色の瞳の色差成分および輝度成分のうち、前記瞳検出部により検出された位置および形状における近似する色相の瞳を選択する近似色相選択部を有し、プリセットで保持する複数の色の瞳の色差成分および輝度成分のいずれかを前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部をさらに含み、
前記瞳補正部は、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分、および、前記赤外光合成部により合成された前記赤外光画像の信号レベルからなる輝度成分のそれぞれに対して、前記瞳検出部により検出された位置および形状に合わせて、前記瞳保持部により保持されている、前記複数の色の瞳の色差成分および輝度成分のうち、前記近似色相選択部により選択された色相の色の瞳の色差成分および輝度成分をそれぞれ貼り合わせる
<10>に記載の情報処理装置。
<15> 前記口画像補正部は、前記虹彩画像補正部と同様の手法により前記口画像を補正する
<10>に記載の情報処理装置。
<16> 可視光画像および赤外光画像を撮像し、
前記赤外光画像より顔画像を認識し、前記顔画像より器官毎の画像を抽出し、
抽出された器官に応じて、前記可視光画像および前記赤外光画像を利用して、前記器官毎の画像を補正し、
補正された前記器官毎の画像を合成する
ステップを含む情報処理方法。
<17> 可視光画像および赤外光画像を撮像する撮像部と、
前記赤外光画像より顔画像を認識し、前記顔画像より器官毎の画像を抽出する器官抽出部と、
前記器官抽出部により抽出された器官に応じて、前記可視光画像および前記赤外光画像を利用して、前記器官毎の画像を補正する器官画像補正部と、
前記器官画像補正部により補正された前記器官毎の画像を合成する合成部と
してコンピュータを機能させるプログラム。
<1> 可視光画像および赤外光画像を撮像する撮像部と、
前記赤外光画像より顔画像を認識し、前記顔画像より器官毎の画像を抽出する器官抽出部と、
前記器官抽出部により抽出された器官に応じて、前記可視光画像および前記赤外光画像を利用して、前記器官毎の画像を補正する器官画像補正部と、
前記器官画像補正部により補正された前記器官毎の画像を合成する合成部と
を含む情報処理装置。
<2>
前記器官画像補正部は、前記器官毎に、前記画像を補正する画像補正部を含む
<1>に記載の情報処理装置。
<3> 前記器官毎の画像は、肌色画像、虹彩画像、口画像、および鼻画像を含み、
前記画像補正部は、前記肌色画像を補正する肌色画像補正部と、前記虹彩画像を補正する虹彩画像補正部と、前記口画像を補正する口画像補正部と、前記鼻画像を補正する鼻画像補正部とを含む
<2>に記載の情報処理装置。
<4> 前記肌色画像補正部は、
前記肌色画像における前記可視光画像を色差成分および輝度成分に分離する分離部と、
前記分離部により分離された前記輝度成分と、前記赤外光画像とを所定の割合で合成し、新たな輝度成分を生成する輝度成分生成部と、
前記新たな輝度成分と、前記色差成分とを合成することで、前記肌色画像を補正した画像を生成する色差輝度合成部とを含む
<3>に記載の情報処理装置。
<5> 前記所定の割合の入力を受け付ける操作入力部をさらに含み、
前記輝度成分生成部は、前記分離部により分離された前記輝度成分と、前記赤外光画像とを、前記操作入力部により入力が受け付けられた、前記所定の割合で合成し、新たな輝度成分を生成する
<4>に記載の情報処理装置。
<6> 前記肌色画像補正部は、
前記肌色画像における前記可視光画像を色差成分および輝度成分に分離する分離部と、
前記分離部により分離された前記輝度成分の信号レベルと、前記赤外光画像の信号レベルとの大小関係を画素単位で比較する比較部と、
前記比較部の比較結果に基づいて、前記色差成分の彩度を前記赤外光画像の信号レベルに適合するように前記画素単位で調整する調整部とを含む
<3>に記載の情報処理装置。
<7> 前記比較部により、前記赤外光画像の信号レベルが、前記分離部により分離された前記輝度成分の信号レベルよりも大きい場合、前記調整部は、前記色差成分の彩度を、前記赤外光画像の信号レベルに適合するように上げるように調整し、
前記比較部により、前記赤外光画像の信号レベルが、前記分離部により分離された前記輝度成分の信号レベルよりも小さい場合、前記調整部は、前記色差成分の彩度を、前記赤外光画像の信号レベルに適合するように下げるように調整する
<6>に記載の情報処理装置。
<8> 前記調整部は、注目画素の周辺の画素の色差成分を抽出する色差成分抽出部を含み、
前記注目画素の輝度成分の信号レベルが無彩色とみなされる閾値よりも低いとき、前記調整部は、前記注目画素における前記可視光画像の色差成分を、前記色差成分抽出部により抽出された、前記注目画素の周辺の画素の色差成分により置き換えるように調整する
<6>に記載の情報処理装置。
<9> 前記鼻画像補正部は、前記肌色画像補正部と同様の手法により前記鼻画像を補正する
<6>に記載の情報処理装置。
<10> 前記虹彩画像補正部は、
前記虹彩画像における前記赤外光画像より瞳の位置と形状を検出する瞳検出部と、
前記瞳検出部により検出された前記瞳の位置と形状に応じたノイズフィルタにより、前記虹彩画像の前記可視光画像のノイズを除去するノイズ除去部と、
前記ノイズ除去部によりノイズ除去された前記虹彩画像の可視光画像より色差成分と輝度成分とを分離する色差輝度分離部と、
前記虹彩画像の前記赤外光成分を、前記虹彩画像の前記可視光画像の輝度成分に合わせて合成する赤外光合成部と、
前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分と、前記赤外光合成部により合成された前記赤外光画像の信号レベルからなる輝度成分とを合成する色差輝度合成部とを含む
<3>に記載の情報処理装置。
<11> 前記虹彩画像補正部は、
複数の色の瞳の色差成分をプリセットで保持する保持部を有し、そのいずれかを前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部をさらに含み、
前記瞳補正部は、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分に対して、前記瞳検出部により検出された位置および形状に合わせて、前記保持部により保持されている、前記複数の色の瞳の色差成分のうち、選択された瞳の色差成分を貼り合わせる
<10>に記載の情報処理装置。
<12> 前記虹彩画像補正部は、
複数の色の瞳の色差成分および輝度成分をプリセットでそれぞれ保持する前記保持部を有し、そのいずれかの色差成分および輝度成分を前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部をさらに含み、
前記瞳補正部は、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分、および、前記赤外光合成部により合成された前記赤外光画像の信号レベルからなる輝度成分のそれぞれに対して、前記瞳検出部により検出された位置および形状に合わせて、前記保持部により保持されている、前記複数の色の瞳の色差成分および輝度成分のうち、選択された瞳の色差成分および輝度成分を、それぞれ貼り合わせる
<10>に記載の情報処理装置。
<13> 前記虹彩画像補正部は、
複数の色の瞳の色差成分をプリセットで保持する保持部と、プリセットで保持する複数の色の瞳の色差成分のうち、前記瞳検出部により検出された位置および形状における近似する色相の瞳を選択する近似色相選択部とを有し、プリセットで保持する複数の色の瞳の色差成分のいずれかを前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部とをさらに含み、
前記瞳補正部は、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分に対して、前記瞳検出部により検出された位置および形状に合わせて、前記保持部により保持されている、前記複数の色の瞳の色差成分のうち、前記近似色相選択部により選択された色相の色の瞳の色差成分を貼り合わせる
<10>に記載の情報処理装置。
<14> 前記虹彩画像補正部は、
複数の色の瞳の色差成分および輝度成分をプリセットで保持する保持部と、プリセットで保持する複数の色の瞳の色差成分および輝度成分のうち、前記瞳検出部により検出された位置および形状における近似する色相の瞳を選択する近似色相選択部を有し、プリセットで保持する複数の色の瞳の色差成分および輝度成分のいずれかを前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部をさらに含み、
前記瞳補正部は、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分、および、前記赤外光合成部により合成された前記赤外光画像の信号レベルからなる輝度成分のそれぞれに対して、前記瞳検出部により検出された位置および形状に合わせて、前記瞳保持部により保持されている、前記複数の色の瞳の色差成分および輝度成分のうち、前記近似色相選択部により選択された色相の色の瞳の色差成分および輝度成分をそれぞれ貼り合わせる
<10>に記載の情報処理装置。
<15> 前記口画像補正部は、前記虹彩画像補正部と同様の手法により前記口画像を補正する
<10>に記載の情報処理装置。
<16> 可視光画像および赤外光画像を撮像し、
前記赤外光画像より顔画像を認識し、前記顔画像より器官毎の画像を抽出し、
抽出された器官に応じて、前記可視光画像および前記赤外光画像を利用して、前記器官毎の画像を補正し、
補正された前記器官毎の画像を合成する
ステップを含む情報処理方法。
<17> 可視光画像および赤外光画像を撮像する撮像部と、
前記赤外光画像より顔画像を認識し、前記顔画像より器官毎の画像を抽出する器官抽出部と、
前記器官抽出部により抽出された器官に応じて、前記可視光画像および前記赤外光画像を利用して、前記器官毎の画像を補正する器官画像補正部と、
前記器官画像補正部により補正された前記器官毎の画像を合成する合成部と
してコンピュータを機能させるプログラム。
11 情報処理装置, 31 撮像部, 32 赤外光発光部, 33 白色光発光部, 34 表示部, 51 制御部, 52 画像処理部, 71 器官抽出部, 72 肌色補正処理部, 73 虹彩補正処理部, 74 鼻補正処理部, 75 口補正処理部, 91 赤外光画像可視光画像分離部, 92 可視光画像色差輝度分離部, 93 赤外光画像輝度画像合成部, 94 合成割合入力部, 95 色差輝度合成部, 101 赤外光画像輝度比較部, 102 色差調整部, 102a 色差成分抽出部, 121 赤外光画像可視光画像分離部, 122 ノイズ除去部, 123 色差抽出部, 124 色差輝度合成部, 125 瞳検出部, 131 瞳付加部, 131a プリセット瞳メモリ, 141 瞳付加部, 141a プリセット瞳メモリ, 151 瞳付加部, 151a プリセット瞳メモリ, 161 瞳付加部, 161a プリセット瞳メモリ, 161b 近似色相選択部
Claims (17)
- 可視光画像および赤外光画像を撮像する撮像部と、
前記赤外光画像より顔画像を認識し、前記顔画像より器官毎の画像を抽出する器官抽出部と、
前記器官抽出部により抽出された器官に応じて、前記可視光画像および前記赤外光画像を利用して、前記器官毎の画像を補正する器官画像補正部と、
前記器官画像補正部により補正された前記器官毎の画像を合成する合成部と
を含む情報処理装置。 - 前記器官画像補正部は、前記器官毎に、前記画像を補正する画像補正部を含む
請求項1に記載の情報処理装置。 - 前記器官毎の画像は、肌色画像、虹彩画像、口画像、および鼻画像を含み、
前記画像補正部は、前記肌色画像を補正する肌色画像補正部と、前記虹彩画像を補正する虹彩画像補正部と、前記口画像を補正する口画像補正部と、前記鼻画像を補正する鼻画像補正部とを含む
請求項2に記載の情報処理装置。 - 前記肌色画像補正部は、
前記肌色画像における前記可視光画像を色差成分および輝度成分に分離する分離部と、
前記分離部により分離された前記輝度成分と、前記赤外光画像とを所定の割合で合成し、新たな輝度成分を生成する輝度成分生成部と、
前記新たな輝度成分と、前記色差成分とを合成することで、前記肌色画像を補正した画像を生成する色差輝度合成部とを含む
請求項3に記載の情報処理装置。 - 前記所定の割合の入力を受け付ける操作入力部をさらに含み、
前記輝度成分生成部は、前記分離部により分離された前記輝度成分と、前記赤外光画像とを、前記操作入力部により入力が受け付けられた、前記所定の割合で合成し、新たな輝度成分を生成する
請求項4に記載の情報処理装置。 - 前記肌色画像補正部は、
前記肌色画像における前記可視光画像を色差成分および輝度成分に分離する分離部と、
前記分離部により分離された前記輝度成分の信号レベルと、前記赤外光画像の信号レベルとの大小関係を画素単位で比較する比較部と、
前記比較部の比較結果に基づいて、前記色差成分の彩度を前記赤外光画像の信号レベルに適合するように前記画素単位で調整する調整部とを含む
請求項3に記載の情報処理装置。 - 前記比較部により、前記赤外光画像の信号レベルが、前記分離部により分離された前記輝度成分の信号レベルよりも大きい場合、前記調整部は、前記色差成分の彩度を、前記赤外光画像の信号レベルに適合するように上げるように調整し、
前記比較部により、前記赤外光画像の信号レベルが、前記分離部により分離された前記輝度成分の信号レベルよりも小さい場合、前記調整部は、前記色差成分の彩度を、前記赤外光画像の信号レベルに適合するように下げるように調整する
請求項6に記載の情報処理装置。 - 前記調整部は、注目画素の周辺の画素の色差成分を抽出する色差成分抽出部を含み、
前記注目画素の輝度成分の信号レベルが無彩色とみなされる閾値よりも低いとき、前記調整部は、前記注目画素における前記可視光画像の色差成分を、前記色差成分抽出部により抽出された、前記注目画素の周辺の画素の色差成分により置き換えるように調整する
請求項6に記載の情報処理装置。 - 前記鼻画像補正部は、前記肌色画像補正部と同様の手法により前記鼻画像を補正する
請求項6に記載の情報処理装置。 - 前記虹彩画像補正部は、
前記虹彩画像における前記赤外光画像より瞳の位置と形状を検出する瞳検出部と、
前記瞳検出部により検出された前記瞳の位置と形状に応じたノイズフィルタにより、前記虹彩画像の前記可視光画像のノイズを除去するノイズ除去部と、
前記ノイズ除去部によりノイズ除去された前記虹彩画像の可視光画像より色差成分と輝度成分とを分離する色差輝度分離部と、
前記虹彩画像の前記赤外光成分を、前記虹彩画像の前記可視光画像の輝度成分に合わせて合成する赤外光合成部と、
前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分と、前記赤外光合成部により合成された前記赤外光画像の信号レベルからなる輝度成分とを合成する色差輝度合成部とを含む
請求項3に記載の情報処理装置。 - 前記虹彩画像補正部は、
複数の色の瞳の色差成分をプリセットで保持する保持部を有し、そのいずれかを前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部をさらに含み、
前記瞳補正部は、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分に対して、前記瞳検出部により検出された位置および形状に合わせて、前記保持部により保持されている、前記複数の色の瞳の色差成分のうち、選択された瞳の色差成分を貼り合わせる
請求項10に記載の情報処理装置。 - 前記虹彩画像補正部は、
複数の色の瞳の色差成分および輝度成分をプリセットでそれぞれ保持する前記保持部を有し、そのいずれかの色差成分および輝度成分を前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部をさらに含み、
前記瞳補正部は、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分、および、前記赤外光合成部により合成された前記赤外光画像の信号レベルからなる輝度成分のそれぞれに対して、前記瞳検出部により検出された位置および形状に合わせて、前記保持部により保持されている、前記複数の色の瞳の色差成分および輝度成分のうち、選択された瞳の色差成分および輝度成分を、それぞれ貼り合わせる
請求項10に記載の情報処理装置。 - 前記虹彩画像補正部は、
複数の色の瞳の色差成分をプリセットで保持する保持部と、プリセットで保持する複数の色の瞳の色差成分のうち、前記瞳検出部により検出された位置および形状における近似する色相の瞳を選択する近似色相選択部とを有し、プリセットで保持する複数の色の瞳の色差成分のいずれかを前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部とをさらに含み、
前記瞳補正部は、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分に対して、前記瞳検出部により検出された位置および形状に合わせて、前記保持部により保持されている、前記複数の色の瞳の色差成分のうち、前記近似色相選択部により選択された色相の色の瞳の色差成分を貼り合わせる
請求項10に記載の情報処理装置。 - 前記虹彩画像補正部は、
複数の色の瞳の色差成分および輝度成分をプリセットで保持する保持部と、プリセットで保持する複数の色の瞳の色差成分および輝度成分のうち、前記瞳検出部により検出された位置および形状における近似する色相の瞳を選択する近似色相選択部を有し、プリセットで保持する複数の色の瞳の色差成分および輝度成分のいずれかを前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部をさらに含み、
前記瞳補正部は、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分、および、前記赤外光合成部により合成された前記赤外光画像の信号レベルからなる輝度成分のそれぞれに対して、前記瞳検出部により検出された位置および形状に合わせて、前記保持部により保持されている、前記複数の色の瞳の色差成分および輝度成分のうち、前記近似色相選択部により選択された色相の色の瞳の色差成分および輝度成分をそれぞれ貼り合わせる
請求項10に記載の情報処理装置。 - 前記口画像補正部は、前記虹彩画像補正部と同様の手法により前記口画像を補正する
請求項10に記載の情報処理装置。 - 可視光画像および赤外光画像を撮像し、
前記赤外光画像より顔画像を認識し、前記顔画像より器官毎の画像を抽出し、
抽出された器官に応じて、前記可視光画像および前記赤外光画像を利用して、前記器官毎の画像を補正し、
補正された前記器官毎の画像を合成する
ステップを含む情報処理方法。 - 可視光画像および赤外光画像を撮像する撮像部と、
前記赤外光画像より顔画像を認識し、前記顔画像より器官毎の画像を抽出する器官抽出部と、
前記器官抽出部により抽出された器官に応じて、前記可視光画像および前記赤外光画像を利用して、前記器官毎の画像を補正する器官画像補正部と、
前記器官画像補正部により補正された前記器官毎の画像を合成する合成部と
してコンピュータを機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/776,590 US10719704B2 (en) | 2015-11-25 | 2016-11-11 | Information processing device, information processing method, and computer-readable storage medium storing a program that extracts and corrects facial features in an image |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015229646A JP2017097645A (ja) | 2015-11-25 | 2015-11-25 | 情報処理装置、および情報処理方法、並びにプログラム |
JP2015-229646 | 2015-11-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017090454A1 true WO2017090454A1 (ja) | 2017-06-01 |
Family
ID=58763528
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/083464 WO2017090454A1 (ja) | 2015-11-25 | 2016-11-11 | 情報処理装置、および情報処理方法、並びにプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10719704B2 (ja) |
JP (1) | JP2017097645A (ja) |
WO (1) | WO2017090454A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10812765B2 (en) | 2018-10-29 | 2020-10-20 | Samsung Electronics Co., Ltd. | Image processing apparatus, imaging apparatus, image processing method, and image processing program |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017099616A (ja) * | 2015-12-01 | 2017-06-08 | ソニー株式会社 | 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム |
US10701244B2 (en) * | 2016-09-30 | 2020-06-30 | Microsoft Technology Licensing, Llc | Recolorization of infrared image streams |
JPWO2018079372A1 (ja) * | 2016-10-28 | 2019-09-12 | 京セラ株式会社 | 撮像装置、撮像システム、移動体、及び撮像方法 |
EP3399497A1 (en) * | 2017-05-05 | 2018-11-07 | Koninklijke Philips N.V. | Optimizing decoded high dynamic range image saturation |
JP2019106045A (ja) | 2017-12-13 | 2019-06-27 | キヤノン株式会社 | 画像処理装置、方法及びプログラム |
CN113453618A (zh) * | 2018-12-18 | 2021-09-28 | 日本电气株式会社 | 图像处理设备、图像处理方法和存储介质 |
JP7318251B2 (ja) * | 2019-03-22 | 2023-08-01 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP7403242B2 (ja) * | 2019-06-10 | 2023-12-22 | キヤノン株式会社 | 画像処理システム、画像処理方法、及びプログラム |
CN110493520B (zh) * | 2019-08-20 | 2022-09-13 | 北京千寻未来科技有限公司 | 成像方法、成像装置及电子设备 |
TWI719696B (zh) * | 2019-11-01 | 2021-02-21 | 財團法人工業技術研究院 | 臉部影像重建方法與系統 |
CN110784660B (zh) * | 2019-11-13 | 2020-09-04 | 四川云从天府人工智能科技有限公司 | 一种摄像亮度控制方法、***、设备和介质 |
CN114830627B (zh) * | 2020-11-09 | 2024-07-09 | 谷歌有限责任公司 | 对可见光图像进行重照明的成像***和方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007065880A (ja) * | 2005-08-30 | 2007-03-15 | Tokai Rika Co Ltd | 画像処理装置 |
JP2011066809A (ja) * | 2009-09-18 | 2011-03-31 | Hitachi Kokusai Electric Inc | 撮像装置 |
JP2015103906A (ja) * | 2013-11-22 | 2015-06-04 | 株式会社リコー | 画像処理装置、撮像システム、画像処理方法およびプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5471550B2 (ja) | 2010-02-10 | 2014-04-16 | ソニー株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
JP6033006B2 (ja) | 2012-08-30 | 2016-11-30 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 |
DE112016004437T5 (de) * | 2015-09-29 | 2018-07-05 | BinaryVR, Inc. | Head-Mounted-Display mit Gesichtsausdruck-Erkennungsfähigkeit |
-
2015
- 2015-11-25 JP JP2015229646A patent/JP2017097645A/ja active Pending
-
2016
- 2016-11-11 WO PCT/JP2016/083464 patent/WO2017090454A1/ja active Application Filing
- 2016-11-11 US US15/776,590 patent/US10719704B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007065880A (ja) * | 2005-08-30 | 2007-03-15 | Tokai Rika Co Ltd | 画像処理装置 |
JP2011066809A (ja) * | 2009-09-18 | 2011-03-31 | Hitachi Kokusai Electric Inc | 撮像装置 |
JP2015103906A (ja) * | 2013-11-22 | 2015-06-04 | 株式会社リコー | 画像処理装置、撮像システム、画像処理方法およびプログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10812765B2 (en) | 2018-10-29 | 2020-10-20 | Samsung Electronics Co., Ltd. | Image processing apparatus, imaging apparatus, image processing method, and image processing program |
US11381795B2 (en) | 2018-10-29 | 2022-07-05 | Samsung Electronics Co., Ltd. | Image processing apparatus configured to correct a luminance value of a target pixel, imaging apparatus, image processing method, and image processing program |
Also Published As
Publication number | Publication date |
---|---|
US10719704B2 (en) | 2020-07-21 |
US20180330160A1 (en) | 2018-11-15 |
JP2017097645A (ja) | 2017-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017090454A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
US10459318B2 (en) | Image display apparatus method and storage medium for modifying display luminance | |
US9971153B2 (en) | Method and apparatus for displaying video data | |
WO2017090462A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
US20160065865A1 (en) | Imaging device and imaging system | |
US9443323B2 (en) | Image processing apparatus, image processing method and recording medium | |
Itoh et al. | Semi-parametric color reproduction method for optical see-through head-mounted displays | |
WO2009088080A1 (ja) | プロジェクタ | |
US20080292148A1 (en) | Image editing apparatus, method for controlling image editing apparatus, and recording medium storing image editing program | |
US20190362202A1 (en) | Image processing apparatus, display system, image processing method and storage medium | |
US9997133B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
CN109639959B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
US10477167B2 (en) | Image processing apparatus and image processing method | |
JP2019106045A (ja) | 画像処理装置、方法及びプログラム | |
JP7412920B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6766662B2 (ja) | 画像処理装置、画像投影装置、および画像処理方法 | |
JP2010161459A (ja) | 赤外線照射式撮像装置 | |
US20180025476A1 (en) | Apparatus and method for processing image, and storage medium | |
JP2016142988A (ja) | 表示装置及び表示制御プログラム | |
US11019254B2 (en) | Image processing apparatus, control method for image processing apparatus, and storage medium having correction of effect of virtual light source | |
JP2009171010A (ja) | プロジェクタ | |
CN110557549A (zh) | 用以控制影像捕获设备的电路及相关的控制方法 | |
US20230334631A1 (en) | Glare Reduction in Images | |
JP5444720B2 (ja) | プロジェクタ | |
US20180376031A1 (en) | Projection apparatus that improves dynamic range of luminance of printed material, control method therefor, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16868402 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 15776590 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16868402 Country of ref document: EP Kind code of ref document: A1 |