WO2021059735A1 - 画像処理装置、電子機器、画像処理方法及びプログラム - Google Patents
画像処理装置、電子機器、画像処理方法及びプログラム Download PDFInfo
- Publication number
- WO2021059735A1 WO2021059735A1 PCT/JP2020/029053 JP2020029053W WO2021059735A1 WO 2021059735 A1 WO2021059735 A1 WO 2021059735A1 JP 2020029053 W JP2020029053 W JP 2020029053W WO 2021059735 A1 WO2021059735 A1 WO 2021059735A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- correction
- unit
- frame
- light source
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 110
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000003702 image correction Methods 0.000 claims abstract description 46
- 238000012937 correction Methods 0.000 claims description 172
- 238000000034 method Methods 0.000 claims description 44
- 238000001514 detection method Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 6
- 230000005484 gravity Effects 0.000 description 36
- 238000010187 selection method Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 21
- 230000000694 effects Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 16
- 238000009792 diffusion process Methods 0.000 description 8
- 238000002366 time-of-flight method Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
- G01S7/4918—Controlling received signal intensity, gain or exposure of sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
Definitions
- This disclosure relates to image processing devices, electronic devices, image processing methods and programs.
- TOF Time of Flight
- the TOF sensor may be equipped with an AE (Automatic Exposure) function in order to receive light with an appropriate brightness.
- AE Automatic Exposure
- the exposure is automatically adjusted according to the brightness of the shooting scene, and it is possible to obtain good distance measurement accuracy regardless of the shooting scene.
- the image processing apparatus of one aspect according to the present disclosure generates a first IR image taken with the pulse wave turned on and a second IR image taken with the pulse wave turned off in the frame for IR image.
- An image generation unit is provided, and an image correction unit that corrects the first IR image based on the second IR image.
- the present disclosure can be suitably applied to a technique for correcting an IR image obtained by photographing an object using a TOF sensor. Therefore, first, in order to facilitate the understanding of the present disclosure, the indirect TOF method will be described.
- the object is irradiated with light source light modulated by PWM (Pulse Width Modulation) (for example, laser light in the infrared region), the reflected light is received by a light receiving element, and the received reflected light is received.
- PWM Pulse Width Modulation
- FIG. 1 is a diagram for explaining an example of a configuration of an electronic device according to an embodiment of the present disclosure.
- the electronic device 1 includes an image pickup device 10 and an image processing device 20.
- a program for example, a program according to the present invention stored in a storage unit (not shown) by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like is a RAM (Random Access Memory) or the like. Is realized by executing as a work area.
- the image processing device 20 is a controller, and may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
- the image processing device 20 requests the image pickup device 10 to perform imaging (distance measurement), and receives the image pickup result from the image pickup device 10.
- the image pickup device 10 includes a light source unit 11, a light receiving unit 12, and an image pickup processing unit 13.
- the light source unit 11 includes, for example, a light emitting element that emits light having a wavelength in the infrared region, and a drive circuit that drives the light emitting element to emit light.
- the light emitting element can be realized by, for example, an LED (Light Emitting Diode).
- the light emitting element is not limited to the LED, and may be realized by, for example, a VCSEL (Vertical Cavity Surface Emitting LASER) in which a plurality of light emitting elements are formed in an array.
- the light receiving unit 12 includes, for example, a light receiving element capable of detecting light having a wavelength in the infrared region, and a signal processing circuit that outputs a pixel signal corresponding to the light detected by the light receiving element.
- the light receiving element can be realized by, for example, a photodiode.
- the light receiving element is not limited to the photodiode, and may be realized by other elements.
- the image processing unit 13 executes various image processing processes in response to an image imaging instruction from the image processing device 20, for example.
- the image pickup processing unit 13 generates, for example, a light source control signal for driving the light source unit 11 and outputs the light source control signal to the light source unit 11.
- the image pickup processing unit 13 controls the light reception by the light receiving unit 12 in synchronization with the light source control signal supplied to the light source unit 11.
- the image pickup processing unit 13 generates, for example, an exposure control signal for controlling the exposure time of the light receiving unit 12 in synchronization with the light source control signal, and outputs the exposure control signal to the light receiving unit 12.
- the light receiving unit 12 exposes during the exposure period indicated by the exposure control signal, and outputs the pixel signal to the image pickup processing unit 13.
- the image pickup processing unit 13 calculates the distance information based on the pixel signal output from the light receiving unit 12.
- the image pickup processing unit 13 may generate predetermined image information based on this pixel signal.
- the image processing unit 13 outputs the generated distance information and image information to the image processing device 20.
- the image processing unit 13 generates, for example, a light source control signal for driving the light source unit 11 according to an instruction from the image processing device 20 to execute imaging, and supplies the light source control signal to the light source unit 11.
- the image pickup processing unit 13 generates a light source control signal modulated into a rectangular wave having a predetermined duty by PWM, and supplies the light source control signal to the light source unit 11.
- the image pickup processing unit 13 controls the light reception by the light receiving unit 12 based on the exposure control signal synchronized with the light source control signal.
- the light source unit 11 blinks and emits light according to a predetermined duty according to the light source control signal generated by the image pickup processing unit 13.
- the light emitted from the light source unit 11 is emitted from the light source unit 11 as emission light 30.
- the emitted light 30 is reflected by, for example, the object 31 and is received by the light receiving unit 12 as the reflected light 32.
- the light receiving unit 12 generates a pixel signal corresponding to the light received by the reflected light 32 and outputs the pixel signal to the imaging processing unit 13.
- the light receiving unit 12 also receives ambient light (environmental light), and the pixel signal is transmitted to the background light and the light receiving unit 12 together with the components of the reflected light 32. Contains the resulting dark component.
- the imaging device 10 images the object 31 in an off state in which the light source unit 11 does not emit light. Then, the light receiving unit 12 receives the background light around the object 31. In this case, the pixel signal generated by the light receiving unit 12 includes only the background light and the dark component caused by the light receiving unit 12.
- the image pickup processing unit 13 executes light reception by the light receiving unit 12 a plurality of times in different phases.
- the image pickup processing unit 13 calculates the distance D to the object 31 based on the difference between the pixel signals due to the light reception in different phases.
- the image pickup processing unit 13 calculates the image information obtained by extracting the component of the reflected light 32 based on the difference between the pixel signals and the image information including the component of the reflected light 32 and the component of the ambient light.
- the image information obtained by extracting the component of the reflected light 32 based on the difference between the pixel signals is referred to as direct reflected light information
- the image information including the component of the reflected light 32 and the component of the ambient light is referred to as RAW image information.
- FIG. 2 is a diagram for explaining a frame used by the image pickup apparatus 10 for imaging.
- the frame includes a plurality of microframes such as a first microframe, a second microframe, ..., A th m (m is an integer of 3 or more).
- the period of one microframe is shorter than the period of one frame of imaging (for example, 1/30 second). Therefore, it is possible to execute the processing of a plurality of microframes within one frame period.
- the period of each microframe can be set individually.
- One microframe includes a plurality of phases such as a first phase, a second phase, a third phase, a fourth phase, a fifth phase, a sixth phase, a seventh phase, and an eighth phase.
- a microframe can contain up to eight phases. Therefore, it is possible to execute the processing of a plurality of phases within one microframe period.
- a dead time period is provided at the end of the microframe in order to prevent interference with the processing of the next microframe.
- an object can be imaged in one phase.
- the initialization process, the exposure process, and the read process can be executed in one phase.
- RAW image information can be generated in one phase. Therefore, in this embodiment, a plurality of RAW image information can be generated in one microframe. For example, in one microframe, RAW image information in which the object 31 is imaged with the light source unit 11 on and RAW image information in which the object 31 is imaged with the light source unit 11 off are generated. Can be done. At the end of the phase, a dead time period for adjusting the frame rate is provided.
- FIG. 3 is a diagram for explaining the principle of the indirect TOF method.
- the reflected light 32 is a sine wave having a phase difference corresponding to the distance D with respect to the emitted light 30.
- the image pickup processing unit 13 samples the pixel signal that has received the reflected light 32 a plurality of times in different phases, and acquires a light amount value indicating the light amount for each sampling.
- the light intensity values C 0 , C 90 , C 180 and C 270 are acquired in each phase of phase 0 °, phase 90 °, phase 180 ° and phase 270 ° with respect to the emitted light 30.
- the distance information is calculated based on the difference between the light quantity values of the sets whose phases are different by 180 ° among the phases 0 °, 90 °, 180 ° and 270 °.
- FIG. 4 is a block diagram showing an example of the system configuration of the indirect TOF type distance image sensor according to the present disclosure.
- the indirect TOF type distance image sensor 10000 has a laminated structure including a sensor chip 10001 and a circuit chip 10002 laminated on the sensor chip 10001.
- the sensor chip 10001 and the circuit chip 10002 are electrically connected through a connecting portion (not shown) such as a via (VIA) or a Cu—Cu connection.
- a connecting portion such as a via (VIA) or a Cu—Cu connection.
- FIG. 4 illustrates a state in which the wiring of the sensor chip 10001 and the wiring of the circuit chip 10002 are electrically connected via the above-mentioned connection portion.
- a pixel array unit 10020 is formed on the sensor chip 10001.
- the pixel array unit 10020 includes a plurality of pixels 10230 arranged in a matrix (array shape) in a two-dimensional grid pattern on the sensor chip 10001.
- each of the plurality of pixels 10230 receives infrared light, performs photoelectric conversion, and outputs an analog pixel signal.
- Two vertical signal lines VSL 1 and VSL 2 are wired in the pixel array unit 10020 for each pixel row. Assuming that the number of pixel rows of the pixel array unit 10020 is M (M is an integer), a total of 2 ⁇ M vertical signal lines VSL are wired to the pixel array unit 10020.
- Each of the plurality of pixels 10230 has two taps A and B (details thereof will be described later).
- the vertical signal line VSL 1 outputs the pixel signal AIN P1 based on the charge of the tap A of the pixel 10230 of the corresponding pixel string, and the vertical signal line VSL 2 is output.
- the pixel signals AIN P1 and AIN P2 will be described later.
- a vertical drive circuit 10010, a column signal processing unit 10040, an output circuit unit 10060, and a timing control unit 10050 are arranged on the circuit chip 10002.
- the vertical drive circuit 10010 drives each pixel 10230 of the pixel array unit 10020 in units of pixel rows, and outputs pixel signals AIN P1 and AIN P2. Under the drive of the vertical drive circuit 10010, the pixel signals AIN P1 and AIN P2 output from the pixel 10230 of the selected line are supplied to the column signal processing unit 10040 through the vertical signal lines VSL 1 and VSL 2.
- the column signal processing unit 10040 has a configuration having, for example, a plurality of ADCs (corresponding to the above-mentioned column AD circuit) provided for each pixel array corresponding to the pixel array of the pixel array unit 10020.
- Each ADC performs AD conversion processing on the pixel signals AIN P1 and AIN P2 supplied through the vertical signal lines VSL 1 and VSL 2 , and outputs them to the output circuit unit 10060.
- the output circuit unit 10060 executes CDS processing or the like on the digitized pixel signals AIN P1 and AIN P2 output from the column signal processing unit 10040, and outputs the CDS processing to the outside of the circuit chip 10002.
- the timing control unit 10050 generates various timing signals, clock signals, control signals, etc., and drives the vertical drive circuit 10010, the column signal processing unit 10040, the output circuit unit 10060, etc. based on these signals. Take control.
- FIG. 5 is a circuit diagram showing an example of a pixel circuit configuration in an indirect TOF distance image sensor to which the technique according to the present disclosure is applied.
- the pixel 10230 has, for example, a photodiode 10231 as a photoelectric conversion unit.
- the pixel 10230 includes overflow transistors 10242, two transfer transistors 10232, 10237, two reset transistors 10233, 10238, two floating diffusion layers 10234, 10239, two amplification transistors 10235, 10240, and It has a configuration having two selection transistors 10236 and 10241.
- the two floating diffusion layers 10234 and 10239 correspond to taps A and B shown in FIG.
- the photodiode 10231 photoelectrically converts the received light to generate an electric charge.
- the photodiode 10231 may have a back-illuminated pixel structure.
- the back-illuminated structure is as described in the pixel structure of the CMOS image sensor. However, the structure is not limited to the back-illuminated type, and a surface-irradiated structure that captures the light emitted from the surface side of the substrate can also be used.
- the overflow transistor 10242 is connected between the cathode electrode of the photodiode 10231 and the power supply line of the power supply voltage VDD, and has a function of resetting the photodiode 10231. Specifically, the overflow transistor 10242 becomes conductive in response to the overflow gate signal OFG supplied from the vertical drive circuit 10010, so that the electric charge of the photodiode 10231 is sequentially discharged to the power supply line.
- the two transfer transistors 10232 and 10237 are connected between the cathode electrode of the photodiode 10231 and each of the two floating diffusion layers 10234 and 10239. Then, the transfer transistors 10232 and 10237 are brought into a conductive state in response to the transfer signal TRG supplied from the vertical drive circuit 10010, so that the charges generated by the photodiode 10231 are sequentially transferred to the floating diffusion layers 10234 and 10239, respectively. Transfer to.
- the floating diffusion layers 10234 and 10239 corresponding to the taps A and B accumulate the electric charge transferred from the photodiode 10231 and convert it into a voltage signal having a voltage value corresponding to the amount of the electric charge, thereby converting the pixel signals AIN P1 and AIN P2 . Generate.
- the two reset transistors 10233 and 10238 are connected between each of the two floating diffusion layers 10234 and 10239 and the power supply line of the power supply voltage VDD. Then, the reset transistors 10233 and 10238 are brought into a conductive state in response to the reset signal RST supplied from the vertical drive circuit 10010, so that charges are extracted from each of the floating diffusion layers 10234 and 10239 to initialize the charge amount. To do.
- the two amplification transistors 10235 and 10240 are connected between the power supply line of the power supply voltage VDD and each of the two selection transistors 10236 and 10241, and the voltage signals converted into charge and voltage by the floating diffusion layers 10234 and 10239, respectively. Are amplified respectively.
- the two selection transistors 10236 and 10241 are connected between the two amplification transistors 10235 and 10240 and the vertical signal lines VSL 1 and VSL 2, respectively. Then, the selection transistors 10236 and 10241 are brought into a conductive state in response to the selection signal SEL supplied from the vertical drive circuit 10010, so that the voltage signals amplified by the amplification transistors 10235 and 10240 are converted into pixel signals AIN P1 and Output to 2 vertical signal lines VSL 1 and VSL 2 as AIN P2.
- the vertical signal lines VSL 1 and VSL 2 of 2 are connected to the input end of one ADC in the column signal processing unit 10040 for each pixel row, and the pixel signal AIN P1 output from the pixel 10230 for each pixel row. , AIN P2 is transmitted to ADC.
- the circuit configuration of the pixel 10230 is not limited to the circuit configuration illustrated in FIG. 4 as long as the circuit configuration can generate the pixel signals AIN P1 and AIN P2 by photoelectric conversion.
- FIG. 6 is a block diagram showing an example of the configuration of the image processing device 20 according to the first embodiment of the present disclosure.
- the image processing device 20 includes an IR image processing device 210, a depth image processing device 220, and a storage unit 230.
- the IR image processing device 210 executes a process of correcting the IR image and the like.
- the depth image processing device 220 executes calculation processing of the depth and the like.
- the IR image processing device 210 and the depth image processing device 220 execute processing in parallel.
- the storage unit 230 stores various types of information.
- the storage unit 230 stores, for example, a dark image for correcting an IR image.
- the storage unit 230 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk.
- the IR image processing device 210 includes an acquisition unit 211, an IR image generation unit 212, an image correction unit 213, a normalization unit 214, a reference unit 215, a first exposure time calculation unit 216, and a second exposure time calculation.
- a unit 217 is provided.
- the acquisition unit 211 acquires various information from the image pickup apparatus 10.
- the acquisition unit 211 acquires, for example, RAW image information about an object imaged by the image pickup apparatus 10.
- the acquisition unit 211 selectively acquires, for example, the RAW image information of each phase included in the microframe.
- the acquisition unit 211 contains RAW image information about an object imaged with the light source unit 11 turned on and a RAW image about the object imaged with the light source unit 11 turned off in order to correct the IR image. Get information and.
- the acquisition unit 211 outputs the acquired RAW image information to the IR image generation unit 212.
- the IR image generation unit 212 generates an IR image based on the RAW image information received from the acquisition unit 211.
- the IR image generation unit 212 may, for example, generate an IR image converted to a resolution suitable for face recognition.
- the IR image generation unit 212 outputs the generated IR image to the image correction unit 213.
- the image correction unit 213 executes various correction processes on the IR image received from the IR image generation unit 212.
- the image correction unit 213 executes correction processing so as to be suitable for face recognition of a person included in the IR image.
- the image correction unit 213 executes FPN correction on the IR image received from the IR image generation unit 212 based on the dark image stored in the storage unit 230, for example.
- the image correction unit 213 is, for example, based on an IR image (hereinafter, also referred to as a light source off image) of an object imaged with the light source unit 11 turned off, and the object imaged with the light source unit 11 turned on. Performs FPN correction on the IR image for.
- FIGS. 7A and 7B show the principle of a method of performing FPN correction based on RAW image information captured when the light source is on and when the light source is off.
- FIG. 7A shows the amount of light received by the light receiving unit when the object is imaged with the light source turned on, the output value of the pixel signal output by the tap A, and the output value of the pixel signal output by the tap B.
- FIG. 7B shows the amount of light received by the light receiving unit when the object is imaged with the light source turned off, the output value of the pixel signal output by the tap A, and the output value of the pixel signal output by the tap B.
- FIG. 7A (a) shows the amount of light received by the light receiving unit 12
- FIG. 7A (b) shows the output value of the pixel signal from the tap A
- FIG. 7A (c) shows the output value of the pixel signal from the tap B.
- imaging is started at t1, light reception by the light receiving unit 12 and output from tap A are started at t2, and tap A is started at t3. It is shown that the output of the tap B is started as soon as the output is finished. Further, it is shown that the light receiving by the light receiving unit 12 is finished at the time of t4, and the output of the tap B is finished at the time of t5.
- the reflected light component is shown by hatching.
- the values of the pixel signal A output from the tap A and the pixel signal B output from the tap B can be expressed as follows.
- A G A (S + Amb ) + D A ...
- B G B (P-S + Amb) + D B ...
- Equation (1) in the formula (2), the gain value of G A tap A, the gain value of G B Tap B, P is the reflected light, S is the amount of light received by the tap A of the reflected light, Amb background light, D a dark component of the tap a, D B represents the dark component of the tap B.
- the output value from the tap A includes the background light and the dark component of the tap A in addition to the reflected light from the object.
- the output value from the tap B includes the background light and the dark component of the tap B in addition to the reflected light from the object.
- the image pickup apparatus 10 outputs the sum of the pixel signal A and the pixel signal B as RAW image information to the image processing apparatus 20. Therefore, the RAW image information output by the image pickup apparatus 10 to the image processing apparatus 20 includes the influence of the background light, the dark component of the tap A, and the dark component of the tap B. Therefore, in order to perform recognition processing such as face recognition with high accuracy, it is desirable to remove the influence of the background light, the dark component of tap A, and the dark component of tap B.
- FIG. 7B (a) shows the amount of light received by the light receiving unit 12
- FIG. 7B (b) shows the output value of the pixel signal from the tap A
- FIG. 7B (c) shows the output value of the pixel signal from the tap B.
- the light receiving unit 12 receives only the background light.
- the tap A outputs a pixel signal A Off containing only the background light and the dark component.
- the tap B outputs a pixel signal B Off containing only the background light and the dark component.
- the values of the pixel signal A Off and the pixel signal B Off can be expressed as follows.
- a Off G A (Amb Off ) + D AOff ...
- B Off G B (Amb Off ) + D BOff ... (4)
- the image correction unit 213 can remove the influence of the background light and the dark component based on the RAW image information captured when the light source is on and when the light source is off.
- FIGS. 8A, 8B, and 8C are diagrams for explaining the effect of FPN correction according to the embodiment of the present disclosure.
- FIG. 8A shows the IR image IM1 before correction generated based on the pixel signal from the tap A and the pixel signal from the tap B.
- the IR image IM1 includes a person M1 and the sun S. In the IR image IM1, the entire face of the person M1 is blurred due to the influence of sunlight. Therefore, even if the face recognition process of the person M is executed based on the IR image IM1, the desired recognition accuracy cannot be obtained.
- the IR image IM1 is an IR image captured with the light source unit 11 turned on.
- FIG. 8B shows the IR image IM1A in which the IR image IM1 shown in FIG. 8A is subjected to the conventional FPM correction.
- the image correction unit 213 can obtain the IR image IM1A by performing FPN correction on the IR image IM1 based on the dark image stored in advance in the storage unit 230.
- the IR image IM1A it is difficult to recognize the face of the person M1 due to the influence of the sun S.
- a mismatch with the dark image may occur, and a desired IR image may not be obtained even if FPN correction is performed.
- FIG. 8C shows the IR image IM1B in which the IR image IM1 shown in FIG. 8A is subjected to the FPN correction according to the embodiment of the present disclosure. That is, the image correction unit 213 executes FPN correction on the IR image IM1 captured with the light source unit 11 turned on, based on the light source off image corresponding to the IR image IM1.
- the IR image IM1 and the light source off image corresponding to the IR image IM1 are imaged in each of the consecutive phases in the same microframe. Since the light source off image corresponding to the IR image IM1 does not include the influence of the reflected light, it is an IR image containing only the sun S.
- the influence of the sun S can be removed from the IR image IM1 by using the light source off image corresponding to the IR image IM1. Therefore, the IR image IM1B can clearly recognize the face of the person M1. As a result, the recognition rate in face recognition of the person M is improved.
- the image correction unit 213 outputs the corrected IR image to the normalization unit 214 and the first exposure time calculation unit 216. Specifically, the image correction unit 213 performs at least one of the correction result based on the dark image and the correction result based on the light source off image corresponding to the IR image IM1 with the normalization unit 214 and the first exposure time calculation unit 216. Output to.
- the normalization unit 214 normalizes the IR image received from the image correction unit 213.
- the normalization unit 214 outputs the normalized IR image to the outside. As a result, an IR image suitable for face recognition processing is provided to the user.
- the reference unit 215 receives, for example, the depth calculated by the depth calculation unit 222.
- the reference unit 215 receives, for example, the accuracy of the depth.
- the reference unit 215 generates a mask image based on the depth and the accuracy of the depth.
- the mask image is, for example, an image in which a subject other than the object included in the depth image is masked.
- the reference unit 215 outputs the generated mask image to the first exposure time calculation unit 216 and the second exposure time calculation unit 217.
- the first exposure time calculation unit 216 calculates the exposure time for imaging to generate an IR image based on the corrected IR image received from the image correction unit 213 and the mask image received from the reference unit 215. .. As a result, the optimum exposure time for generating the IR image is calculated.
- the second exposure time calculation unit 217 calculates the exposure time for imaging for calculating the depth based on the mask image received from the reference unit 215 and the accuracy of the depth received from the depth calculation unit 222.
- the depth image processing device 220 includes an acquisition unit 221 and a depth calculation unit 222.
- the acquisition unit 221 acquires various information from the image pickup apparatus 10.
- the acquisition unit 221 acquires, for example, RAW image information about an object imaged by the image pickup apparatus 10.
- the acquisition unit 221 selectively acquires, for example, the RAW image information of each phase included in the microframe.
- the acquisition unit 221 acquires RAW image information for four phases imaged at phases of 0 °, 90 °, 180 °, and 270 ° in order to generate a depth image, for example.
- the acquisition unit 221 outputs the acquired RAW image information to the depth calculation unit 222.
- the depth calculation unit 222 calculates the depth based on, for example, the RAW image information for four phases received from the acquisition unit 221.
- the depth calculation unit 222 calculates the accuracy based on the calculated depth, for example.
- the depth calculation unit 222 may generate a depth image based on the calculated depth, for example.
- the depth calculation unit 222 outputs the calculated depth to the outside. This makes it possible to obtain distance information to the object. Further, the depth calculation unit 222 outputs the calculated depth and the accuracy to the reference unit 215.
- FIGS. 9A and 9B are diagrams for explaining a frame configuration used for imaging according to the embodiment of the present disclosure.
- the frame F1 includes an IR image microframe and a depth image microframe.
- the IR image microframe includes, for example, two phases, phase A0 and phase A1.
- Phase A0 is, for example, a phase in which an object is imaged with the light source unit 11 turned off.
- Phase A1 is, for example, a phase in which an object is imaged with the light source unit 11 turned on.
- the depth image microframe includes, for example, four phases of phase B0, phase B1, phase B2, and phase B3.
- Phase B0 is, for example, a phase in which the object is imaged when the phase difference between the emitted light with respect to the object and the reflected light from the object is 0 °.
- Phase B1 is, for example, a phase in which the object is imaged when the phase difference between the emitted light with respect to the object and the reflected light from the object is 90 °.
- Phase B2 is, for example, a phase in which the object is imaged when the phase difference between the emitted light with respect to the object and the reflected light from the object is 180 °.
- Phase B3 is, for example, a phase in which the object is imaged when the phase difference between the emitted light with respect to the object and the reflected light from the object is 270 °.
- the exposure time of the IR image microframe and the depth image microframe can be individually adjusted (AE: Automatic Exposure).
- AE Automatic Exposure
- the exposure time may be adjusted to be longer in order to secure the brightness
- the exposure time may be adjusted to be shorter in order to suppress power consumption.
- the exposure time between the phase A0 and the phase A1 of the IR image microframe may be adjusted to, for example, 1 ms.
- the exposure time of the phase B0, the phase B1, the phase B2, and the phase B3 of the depth image microframe may be adjusted to, for example, 500 ⁇ s.
- the exposure time of each phase is not limited to these.
- the frame F2 may include a line-of-sight detection microframe in addition to the IR image microframe and the depth image microframe.
- the conditions of the IR image microframe and the depth image microframe are the same as the conditions shown in FIG. 9A, and thus the description thereof will be omitted.
- the line-of-sight detection microframe includes, for example, two phases, phase C0 and phase C1.
- Phase C0 is, for example, a phase in which an object is imaged with the light source unit 11 turned off.
- Phase C1 is, for example, a phase in which an object is imaged with the light source unit 11 turned on.
- the exposure times of the IR image microframe, the depth image microframe, and the line-of-sight detection microframe can be individually adjusted.
- the exposure time may be adjusted to be shorter than that of the IR image microframe and the depth image microframe so that the light is not reflected by the spectacles.
- the exposure time between the phase C0 and the phase C1 of the line-of-sight detection microframe may be adjusted to, for example, 200 ⁇ s.
- the exposure time between the phase C0 and the phase C1 is not limited to this.
- the influence of the sun is affected by correcting the IR image captured in an environment with strong background light such as the sun based on the IR image captured with the light source turned off. Can be removed. This makes it possible to improve the recognition accuracy of face recognition and the like using the IR image captured by the TOF.
- the influence of sunlight can be removed by using a light source off image instead of a dark image.
- the recognition rate can be improved.
- the IR image is corrected by using the light source off image in a situation where there is little ambient light such as indoors, the image may have low contrast and the recognition rate may decrease. Therefore, it is preferable to switch between the correction using the dark image and the correction using the light source off image according to the intensity of the background light.
- FIG. 10 is a block diagram showing a configuration of an image processing device according to a second embodiment of the present disclosure.
- the image processing device 20A is different from the image processing device 20 shown in FIG. 6 in that the IR image processing device 210A includes a correction selection unit 218.
- the correction selection unit 218 selects a correction method for the IR image.
- the correction selection unit 218 receives information about the depth from the reference unit 215, for example.
- the correction selection unit 218 receives, for example, an IR image corrected based on the light source off image from the image correction unit 213.
- the correction selection unit 218 selects a correction method based on the IR image received from the image correction unit 213 and the depth information received from the reference unit 215.
- FIG. 11 is a diagram for explaining a correction selection method. In FIG. 11, it is assumed that the sun S is located above the head of the person M.
- correction selection unit 218 extracts the outer shapes of the head H and the body portion B of the person M, for example, based on the information regarding the depth received from the reference unit 215. Correction selecting unit 218 is, for example, based on the extracted contour, and calculates the center of gravity G M of the person M.
- correction selection unit 218 For example, based on the IR image received from the image correction unit 213, the correction selection unit 218 considers the region where the amount of light is saturated as the sun S and extracts the outer shape. Correction selecting unit 218 is, for example, calculates the center of gravity G S of the sun S on the basis of the extracted contour.
- Correction selecting unit 218, draw a straight line L1 connecting the center of gravity G M and the center of gravity G S. Correction selecting unit 218, passes through the center of gravity G S, and draw a line orthogonal O perpendicular to the straight line L.
- Correction selecting unit 218 is, for example, the center of gravity G S as the origin, a straight line such as the line L2 and the straight line L3 drawn towards the person M is inclined from the straight line L1 angle theta, in a range of ⁇ 90 degrees from the straight line L1 N Subtract a book (N is an integer greater than or equal to 2).
- the correction selection unit 218 extracts the point of contact between the straight line drawn toward the person M and the outer shape of the person M.
- the correction selection unit 218 extracts, for example, the contact point I1 between the straight line L1 and the outer shape of the person M, the contact point I2 between the straight line L2 and the outer shape of the person M, and the contact point I3 between the straight line L3 and the outer shape of the person M.
- Correction selecting unit 218 calculates the distance to the contour of a person from the center of gravity G S. Correction selecting unit 218 is, for example, calculates the distance from the center of gravity G S to the contact point I1. Correction selecting unit 218 is, for example, calculates the distance from the center of gravity G S to the contact I2. Correction selecting unit 218 is, for example, calculates the distance from the center of gravity G S to the contact I3. The correction selection unit 218 sets the shortest of the calculated distances as the shortest distance. In the example shown in FIG. 11, the correction selecting unit 218, the distance from the center of gravity G S to the contact I1 is the shortest distance.
- the correction selection unit 218 determines, for example, that the sun is near if the shortest distance is equal to or less than a predetermined value, and selects correction using a light source off image. For example, when the shortest distance exceeds a predetermined value set in advance or it is determined that there is no sun, the correction selection unit 218 selects correction using a dark image stored in the storage unit 230 in advance. To do.
- the correction selection unit 218 selects the correction by the same method as that shown in FIG. 11 even when the sun S is located at the oblique information of the person M. be able to. Specifically, the correction selecting unit 218, a straight line is drawn L11 connecting the centroid G S and the center of gravity G M, the linear L12 inclined angle ⁇ from the straight line, by pulling a plurality of straight lines such as straight line L13 in the range of 90 degrees ⁇ Good.
- the correction selection unit 218 extracts the contact point I11 between the straight line L11 and the outer shape of the person M, the contact point I12 between the straight line L12 and the outer shape of the person M, and the contact point I13 between the straight line L13 and the outer shape of the person M. Each distance may be calculated. Then, the correction selection unit 218 may set the shortest distance among the calculated distances as the shortest distance.
- 13A, 13B, 14A, 14B, 15A, 15B, 16A, and 16B are used and selected by the correction selection method according to the second embodiment of the present disclosure.
- the effect of the correction will be explained.
- 13A to 16B are diagrams for explaining the effect of the correction selected by the correction selection method according to the second embodiment of the present disclosure.
- the IR image IM2 shown in FIG. 13A is an IR image before correction in which the sun S is located relatively close to the head of the person M2.
- the face of the person M2 is difficult to recognize due to the influence of the sunlight of the sun S.
- the correction selection unit 218 selects the correction using the light source off image.
- the IR image IM2A shown in FIG. 13B is an IR image in which correction is performed on the IR image IM2 based on the light source off image.
- the influence of sunlight is removed by the correction based on the light source off image. Therefore, the IR image IM2A can clearly recognize the face of the person M2. As a result, the recognition rate in face recognition of the person M2 is improved.
- the IR image IM3 shown in FIG. 14A is an IR image before correction in which the sun S is located at a relatively close position diagonally above the head of the person M3.
- the face of the person M3 is difficult to recognize due to the influence of the sunlight of the sun S.
- the correction selection unit 218 selects the correction using the light source off image.
- the IR image IM3A shown in FIG. 14B is an IR image in which correction is performed on the IR image IM3 based on the light source off image.
- the influence of sunlight is removed by the correction based on the light source off image. Therefore, the IR image IM3A can clearly recognize the face of the person M3. As a result, the recognition rate in face recognition of the person M3 is improved.
- the IR image IM4 shown in FIG. 15A is an IR image before correction in which the sun S is located at a relatively distant position diagonally above the head of the person M4.
- the sun S since the sun S is located at a relatively distant position, the face of the person M4 is relatively easy to recognize.
- the correction selection unit 218 selects the correction using a dark image.
- the IR image IM4A shown in FIG. 15B is an IR image in which correction is performed on the IR image IM4 based on a dark image.
- the influence of the background is removed by the correction based on the dark image, so that the face of the person M4 can be recognized more clearly. As a result, the recognition rate in face recognition of the person M4 is improved.
- the IR image IM5 shown in FIG. 16A is an IR image before correction that does not include the sun. Since the IR image IM4 does not include the sun, the face of the person M5 is relatively easy to recognize.
- the correction selection unit 218 selects the correction using a dark image.
- the IR image IM5A shown in FIG. 16B is an IR image in which correction is performed on the IR image IM5 based on a dark image.
- the influence of the background is removed by the correction based on the dark image, so that the face of the person M4 can be recognized more clearly. As a result, the recognition rate in face recognition of the person M5 is improved.
- FIG. 17 is a flowchart showing an example of the processing flow of the correction selection method according to the second embodiment of the present disclosure.
- the correction selection unit 218 extracts the outer shape of the person included in the IR image to be corrected based on the information regarding the depth (step S101). Then, the process proceeds to step S102.
- the correction selection unit 218 calculates the center of gravity of the person based on the outer shape of the person extracted in step S101 (step S102). Then, the process proceeds to step S103.
- the correction selection unit 218 extracts the outer shape of the sun based on the region where the amount of light of the IR image to be corrected is saturated (step S103). Then, the process proceeds to step S104.
- the correction selection unit 218 calculates the center of gravity of the sun based on the outer shape of the sun extracted in step S103 (step S104). Then, the process proceeds to step S105.
- the correction selection unit 218 draws a straight line connecting the center of gravity of the person calculated in step S102 and the center of gravity of the sun calculated in step S104 (step S105). Then, the process proceeds to step S106.
- the correction selection unit 218 draws a plurality of straight lines from the center of gravity of the sun with respect to the person (step S106). Specifically, the correction selection unit 218 draws a plurality of straight lines from the center of gravity of the sun within a range of ⁇ 90 degrees with respect to the straight line drawn in step S105. Then, the process proceeds to step S107.
- the correction selection unit 218 calculates the distance between each straight line drawn from the center of gravity of the sun in step S106 and the intersection of the outer shape of the person (step S107). Then, the process proceeds to step S108.
- the correction selection unit 218 determines whether or not the shortest distance of the straight line drawn from the center of gravity of the sun to the outer shape of the person is equal to or less than a predetermined value (step S108). If it is determined that the shortest distance is equal to or less than a predetermined value (Yes in step S108), the process proceeds to step S109. If it is determined that the shortest distance is not equal to or less than a predetermined value (No in step S108), the process proceeds to step S110.
- step S108 the correction selection unit 218 selects the correction using the light source off image (step S109). Then, the process of FIG. 17 is completed.
- step S108 the correction selection unit 218 selects the correction using the dark image (step S110). Then, the process of FIG. 17 is completed.
- the correction for the IR image can be appropriately selected according to the distance between the person and the sun. As a result, the recognition rate of face recognition and the like can be improved.
- FIGS. 18A and 18B are diagrams for explaining a modification of the second embodiment of the present disclosure.
- the correction method is selected based on the shortest distance from the center of gravity of the sun to the outer shape of the person.
- the correction method may be selected based on the shortest distance from the center of gravity of the sun to the outer shape of the face of a person.
- the correction selecting unit 218, a straight line is drawn L21 to the center of gravity G M of the person M from the center of gravity G S of the sun. Then, the correction selecting unit 218, a straight line L22 toward the center of gravity G S to the outer shape of the person M, straight L23, draw a plurality of straight lines such as straight line L24.
- the correction selection unit 218 includes a contact point I21 between the straight line L21 and the outer shape of the person M, a contact point I22 between the straight line L22 and the outer shape of the person M, a contact point I23 between the straight line L23 and the outer shape of the person M, and the straight line L24.
- the contact point I24 with the outer shape of the person M is extracted.
- the correction selecting unit 218 determines the shortest distance the distance from the center of gravity G S of the sun to the contact I22. Since the center of gravity G S and the contact I22 sun relatively close, the correction selecting unit 218 selects the correction using the light source off images.
- the correction selecting unit 218 calculates the center of gravity G F of the face of the person M. Specifically, the correction selecting unit 218, based on information about depth, by extracting the outline of the person M, calculates the center of gravity G F of the face of the person M.
- the correction selecting unit 218, a straight line is drawn L31 to the center of gravity G F of the face of the person M from the center of gravity G S of the sun. Then, the correction selecting unit 218 draws a plurality of straight lines such as straight line L32, a straight line L33 toward the center of gravity G S to the contour of the face of the person M. Then, the correction selection unit 218 includes contact points I31 between the straight line L31 and the outer shape of the face of the person M, contact I32 between the straight line L32 and the outer shape of the face of the person M, and contact I33 between the straight line L33 and the outer shape of the person M. Is extracted.
- the correction selecting unit 218 determines the shortest distance the distance from the center of gravity G S of the sun to the contact I31. Since the center of gravity G S and the contact I31 sun relatively far, the correction selecting unit 218 selects a correction using the dark image. As a result, the recognition rate when face recognition is performed can be improved.
- the correction for the IR image can be appropriately selected according to the distance between the person's face and the sun. As a result, the recognition rate of face recognition and the like can be further improved.
- the image processing device 20 of one aspect of the present disclosure generates a first IR image captured with the pulse wave on and a second IR image captured with the pulse wave off in the IR image frame. It includes an IR image generation unit 212 and an image correction unit 213 that corrects the first IR image based on the second IR image.
- the IR image frame may be composed of a phase of generating a first IR image and a phase of generating a second IR image.
- the image correction unit 213 may remove the background light and the dark component contained in the first IR image based on the second IR image.
- the image correction unit 213 may individually adjust the exposure time of the TOF sensor for each frame.
- the image correction unit 213 may individually adjust the exposure time of the TOF sensor for each of the IR image frame and the depth image frame.
- the image correction unit 213 may control the exposure time of the phase forming the IR image frame to be longer than the exposure time of the phase forming the depth image frame.
- the IR image and the depth image can be appropriately generated and the power consumption can be suppressed.
- the image correction unit 213 may individually adjust the exposure time of the TOF sensor for each of the IR image frame, the depth image frame, and the line-of-sight detection frame.
- the IR image and the depth image can be appropriately generated, and the line of sight can be detected appropriately.
- the image correction unit 213 is set to increase in the order of the exposure time of the phase forming the IR image frame, the exposure time of the phase forming the line-of-sight detection frame, and the exposure time of the phase forming the depth image frame. You may control it.
- the IR image and the depth image can be generated more appropriately, and the line of sight can be detected more appropriately.
- power consumption can be suppressed.
- a correction selection unit 218 that selects a correction method according to the positional relationship between the subject included in the first IR image and the light source may be further provided.
- an appropriate correction method can be selected according to the positional relationship between the subject and the light source, so that the recognition accuracy is improved.
- the correction selection unit 218 may select a correction method according to the distance between the subject and the light source.
- the correction method can be selected more according to the distance between the subject and the light source, so that the recognition accuracy is further improved.
- the correction selection unit 218 performs either correction based on the second IR image or correction based on the dark image previously stored in the storage unit 230 with respect to the first IR image according to the distance between the subject and the light source. You may choose.
- the correction selection unit 218 selects correction based on the second IR image when the distance between the subject and the light source is equal to or less than the threshold value for the first IR image, and the distance between the subject and the light source exceeds the threshold value. In some cases, correction based on a dark image may be selected.
- a more appropriate legal method can be selected according to whether the distance between the subject and the light source exceeds the threshold value, so that the recognition accuracy is improved.
- the subject may be the face of a person and the light source may be the sun.
- the electronic device 1 of one aspect of the present disclosure includes a TOF sensor, a first IR image captured with a pulse wave on in an IR image frame based on an output from the TOF sensor, and a state in which the pulse wave is off.
- the IR image generation unit 212 that generates the second IR image taken in 1 and the image correction unit 213 that corrects the first IR image based on the second IR image are provided.
- the image processing method of one aspect of the present disclosure generates a first IR image taken with the pulse wave on and a second IR image taken with the pulse wave off in the frame for IR image.
- the first IR image is corrected based on the second IR image.
- the program of one aspect of the present disclosure causes the computer to generate a first IR image captured with the pulse wave on and a second IR image captured with the pulse wave off in the IR image frame.
- the image generation unit is to function as an image correction unit that corrects the first IR image based on the second IR image.
- the present technology can also have the following configurations.
- An image generation unit that generates a first IR image taken with the pulse wave on in the IR image frame and a second IR image taken with the pulse wave off.
- An image correction unit that corrects the first IR image based on the second IR image,
- An image processing device (2)
- the IR image frame is composed of a phase of generating the first IR image and a phase of generating the second IR image.
- the image correction unit removes background light and dark components contained in the first IR image based on the second IR image.
- the image correction unit individually adjusts the exposure time of the TOF sensor for each frame.
- the image processing apparatus according to any one of (1) to (3).
- the image correction unit individually adjusts the exposure time of the TOF sensor for each of the IR image frame and the depth image frame.
- the image correction unit controls the exposure time of the phase constituting the IR image frame to be longer than the exposure time of the phase constituting the depth image frame.
- the image correction unit individually adjusts the exposure time of the TOF sensor for each of the IR image frame, the depth image frame, and the line-of-sight detection frame.
- the image correction unit is set to increase in the order of the exposure time of the phase constituting the IR image frame, the exposure time of the phase constituting the line-of-sight detection frame, and the exposure time of the phase constituting the depth image frame.
- the image processing apparatus according to (7) above.
- a correction selection unit for selecting a correction method according to the positional relationship between the subject included in the first IR image and the light source is further provided.
- the image processing apparatus according to any one of (1) to (8).
- the correction selection unit selects a correction method according to the distance between the subject and the light source.
- the correction selection unit uses the subject and the light source to perform either correction based on the second IR image or correction based on a dark image previously stored in the storage unit for the first IR image. Select according to the distance, The image processing apparatus according to (9) or (10). (12) When the distance between the subject and the light source is equal to or less than the threshold value, the correction selection unit selects the correction based on the second IR image with respect to the first IR image, and the distance between the subject and the light source. If exceeds the threshold value, the correction based on the dark image is selected.
- the subject is a person's face
- the light source is the sun, The image processing apparatus according to any one of (9) to (12).
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Studio Devices (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
画像処理装置は、IR画像用フレーム内でパルス波がオンの状態で撮影された第1IR画像と、パルス波がオフの状態で撮影された第2IR画像とを生成する画像生成部(212)と、第2IR画像に基づいて、第1IR画像を補正する画像補正部(213)と、を備える。
Description
本開示は、画像処理装置、電子機器、画像処理方法及びプログラムに関する。
光源から光が射出されてから、その光が被測定物に反射した反射光を受光部により受光するまでの時間に基づき被測定物までの距離を計測するTOF(Time of Flight)と呼ばれる測距方式が知られている。
また、TOFセンサにおいては、適切な輝度で光を受光するために、AE(Automatic Exposure)機能が搭載される場合がある。AE機能を利用することで、撮影シーンの明るさなどに応じて露光(輝度)が自動調整され、撮影シーンに依らず良好に測距精度を得ることが可能となる。
ところで、TOFセンサを用いた顔認証では、4つのフェーズで画像の確度を計算したConfidence画像を用いることが一般的である。しかしながら、4つのフェーズの画像をマージしてIR(Infrared)画像を出力するため動きに弱く、例えばフェーズ間で被写体に動きがあった場合には、ぼけが起こりやすい。
そのため、1つのフェーズや2つのフェーズといった少ないphase数でIR画像を生成することが考えられる。しかしながら、例えば背景光の強い場合など特定のシーンで撮影した画像に対して事前に用意したダーク画像でFPN(Fixed Pattern Noise)補正を行うと、撮影した画像と、ダーク画像のミスマッチにより、所望の画質を得られない可能性がある。
そこで、本開示では、背景光の影響を適切に取り除くことのできる画像処理装置、電子機器、画像処理方法及びプログラム提案する。
本開示に係る一態様の画像処理装置は、IR画像用フレーム内でパルス波がオンの状態で撮影された第1IR画像と、前記パルス波がオフの状態で撮影された第2IR画像とを生成する画像生成部と、前記第2IR画像に基づいて、前記第1IR画像を補正する画像補正部と、を備える。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
以下に示す項目順序に従って本開示を説明する。
1.電子機器の構成
1-1.フレーム構成
1-2.間接TOF方式
1-3.間接TOF方式距離画像センサのシステム構成
1-4.間接TOF方式距離画像センサにおける画素の回路構成
2.第1実施形態
2-1.画像処理装置の構成
2-2.画像処理方法
2-3.フレーム構成
3.第2実施形態
3-1.画像処理装置
3-2.補正選択方法
3-3.補正選択方法の処理
4.第2実施形態の変形例
1.電子機器の構成
1-1.フレーム構成
1-2.間接TOF方式
1-3.間接TOF方式距離画像センサのシステム構成
1-4.間接TOF方式距離画像センサにおける画素の回路構成
2.第1実施形態
2-1.画像処理装置の構成
2-2.画像処理方法
2-3.フレーム構成
3.第2実施形態
3-1.画像処理装置
3-2.補正選択方法
3-3.補正選択方法の処理
4.第2実施形態の変形例
[1.電子機器の構成]
本開示は、TOFセンサを用いて対象物を撮影して得られたIR画像を補正する技術に対して好適に適用することができる。そこで、まず、本開示の理解を容易とするために、間接TOF方式について説明する。間接TOF方式は、例えばPWM(Pulse Width Modulation)により変調された光源光(例えば赤外領域のレーザ光)を対象物に照射してその反射光を受光素子にて受光し、受光された反射光における位相差に基づき、被測定物に対する測距を行う技術である。
本開示は、TOFセンサを用いて対象物を撮影して得られたIR画像を補正する技術に対して好適に適用することができる。そこで、まず、本開示の理解を容易とするために、間接TOF方式について説明する。間接TOF方式は、例えばPWM(Pulse Width Modulation)により変調された光源光(例えば赤外領域のレーザ光)を対象物に照射してその反射光を受光素子にて受光し、受光された反射光における位相差に基づき、被測定物に対する測距を行う技術である。
図1を用いて、本開示の実施形態に係る電子機器の構成の一例について説明する。図1は、本開示の実施形態に係る電子機器の構成の一例を説明するための図である。
図1に示すように、電子機器1は、撮像装置10と、画像処理装置20とを含む。画像処理装置20は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、図示しない記憶部に記憶されたプログラム(例えば、本発明に係るプログラム)がRAM(Random Access Memory)等を作業領域として実行されることにより実現される。また、画像処理装置20は、コントローラ(Controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。画像処理装置20は、撮像装置10に対して撮像(測距)の実行を要求し、撮像結果を撮像装置10から受ける。
撮像装置10は、光源部11と、受光部12と、撮像処理部13とを含む。
光源部11は、例えば、赤外領域の波長の光を発光する発光素子と、その発光素子を駆動して発光させる駆動回路とを含む。発光素子は、例えば、LED(Light Emitting Diode)で実現することができる。なお、発光素子はLEDに限らず、例えば、複数の発光素子がアレイ状に形成されたVCSEL(Vertical Cavity Surface Emitting LASER)で実現してもよい。
受光部12は、例えば、赤外領域の波長の光を検出可能な受光素子と、その受光素子に検出された光に応じた画素信号を出力する信号処理回路とを含む。受光素子は、例えば、フォトダイオードで実現することができる。なお、受光素子はフォトダイオードに限らず、その他の素子で実現してもよい。
撮像処理部13は、例えば、画像処理装置20からの撮像指示に応じて、各種の撮像処理を実行する。撮像処理部13は、例えば、光源部11を駆動するための光源制御信号を生成し、光源部11に出力する。
撮像処理部13は、光源部11に供給する光源制御信号と同期して受光部12による受光を制御する。撮像処理部13は、例えば、受光部12の露光時間を制御するための露光制御信号を光源制御信号と同期させて生成し、受光部12に出力する。受光部12は、露光制御信号に示される露光期間の間露光して、画素信号を撮像処理部13に出力する。
撮像処理部13は、受光部12から出力された画素信号に基づき距離情報を算出する。撮像処理部13は、この画素信号に基づき所定の画像情報を生成してもよい。撮像処理部13は、生成した距離情報および画像情報を画像処理装置20に出力する。
撮像処理部13は、例えば、画像処理装置20からの撮像を実行する旨の指示に従い、光源部11を駆動するための光源制御信号を生成し、光源部11に供給する。ここでは、撮像処理部13は、PWMにより所定のデューティの矩形波に変調された光源制御信号を生成し、光源部11に供給する。それと共に、撮像処理部13は、受光部12による受光を、光源制御信号に同期した露光制御信号に基づき制御する。
撮像装置10において、光源部11は、撮像処理部13が生成した光源制御信号に応じて所定のデューティに従い明滅して発光する。光源部11において発光した光は、射出光30として光源部11から射出される。射出光30は、例えば、対象物31に反射され、反射光32として受光部12に受光される。受光部12は、反射光32の受光に応じた画素信号生成し、撮像処理部13に出力する。なお、実際には、受光部12には、反射光32以外に、周囲の背景光(環境光)も受光され、画素信号は、反射光32の成分と共に、この背景光と、受光部12に起因するダーク成分が含まれる。
また、本実施形態では、撮像装置10は、光源部11が発光していないオフの状態で対象物31を撮像する。そして、受光部12は、対象物31の周囲の背景光を受光する。この場合、受光部12が生成する画素信号には、背景光と、受光部12に起因するダーク成分のみが含まれる。
撮像処理部13は、異なる位相で複数回にわたって、受光部12による受光を実行する。撮像処理部13は、異なる位相での受光による画素信号の差分に基づき、対象物31までの距離Dを算出する。撮像処理部13は、画素信号の差分に基づき反射光32の成分を抽出した画像情報と、反射光32の成分と環境光の成分とを含む画像情報とを算出する。以下、画素信号の差分に基づき反射光32の成分を抽出した画像情報を直接反射光情報と呼び、反射光32の成分と環境光の成分とを含む画像情報をRAW画像情報と呼ぶ。
(1-1.フレーム構成)
図2を用いて、撮像装置10が撮像に使用するフレームの構成について説明する。図2は、撮像装置10が撮像に使用するフレームを説明するための図である。
図2を用いて、撮像装置10が撮像に使用するフレームの構成について説明する。図2は、撮像装置10が撮像に使用するフレームを説明するための図である。
図2に示すように、フレームは、第1マイクロフレーム、第2マイクロフレーム、・・・、第m(mは3以上の整数)マイクロフレームといったように複数のマイクロフレームを含む。1つのマイクロフレームの期間は、撮像の1フレームの期間(例えば1/30秒)よりも短い期間である。このため、1つのフレーム期間内に、複数のマイクロフレームの処理を実行することができる。また、各マイクロフレームの期間は、個別に設定することができる。
1つのマイクロフレームは、第1フェーズ、第2フェーズ、第3フェーズ、第4フェーズ、第5フェーズ、第6フェーズ、第7フェーズ、第8フェーズといったように複数のフェーズを含む。1つのマイクロフレームには、最大で8個のフェーズを含ませることができる。このため、1つのマイクロフレーム期間内に、複数のフェーズの処理を実行することができる。なお、マイクロフレームの末尾には、次のマイクロフレームの処理との干渉を防止するためにデッドタイムの期間が設けられている。
本実施形態は、1つのフェーズにおいて、対象物を撮像することができる。図2に示すように、1つのフェーズで、初期化処理と、露光処理と、読み出し処理とを実行することができる。言い換えれば、1つのフェーズでRAW画像情報を生成することができる。そのため、本実施形態は、1つのマイクロフレーム内で、複数のRAW画像情報を生成することができる。例えば、1つのマイクロフレーム内で、光源部11をオンの状態で対象物31を撮像したRAW画像情報と、光源部11をオフの状態で対象物31を撮像したRAW画像情報とを生成することができる。なお、フェーズの末尾には、フレームレートを調整するためのデッドタイムの期間が設けられている。
(1-2.間接TOF方式)
図3を用いて、間接TOF方式の原理について説明する。図3は、間接TOF方式の原理を説明するための図である。
図3を用いて、間接TOF方式の原理について説明する。図3は、間接TOF方式の原理を説明するための図である。
図3において、光源部11が射出する射出光30として、正弦波により変調された光を用いている。反射光32は、理想的には、射出光30に対して、距離Dに応じた位相差を持った正弦波となる。
撮像処理部13は、反射光32を受光した画素信号に対して、異なる位相で複数回のサンプリングを行い、サンプリングごとに、光量を示す光量値を取得する。図3の例では、射出光30に対して位相0°、位相90°、位相180°および位相270°の各位相において、光量値C0、C90、C180およびC270をそれぞれ取得している。間接TOF方式においては、各位相0°、90°、180°および270°のうち、位相が180°異なる組の光量値の差分に基づき、距離情報を算出する。
(1-3.間接TOF方式距離画像センサのシステム構成)
図4を用いて、本開示に係る間接TOF方式画像センサのシステム構成の一例について説明する。図4は、本開示に係る間接TOF方式距離画像センサのシステム構成の一例を示すブロック図である。
図4を用いて、本開示に係る間接TOF方式画像センサのシステム構成の一例について説明する。図4は、本開示に係る間接TOF方式距離画像センサのシステム構成の一例を示すブロック図である。
図4に示すように、間接TOF方式距離画像センサ10000は、センサチップ10001、及び、当該センサチップ10001に対して積層された回路チップ10002を含む積層構造を有している。この積層構造において、センサチップ10001と回路チップ10002とは、ビア(VIA)やCu-Cu接続などの接続部(図示せず)を通して電気的に接続される。尚、図4では、センサチップ10001の配線と回路チップ10002の配線とが、上記の接続部を介して電気的に接続された状態を図示している。
センサチップ10001上には、画素アレイ部10020が形成されている。画素アレイ部10020は、センサチップ10001上に2次元のグリッドパターンで行列状(アレイ状)に配置された複数の画素10230を含んでいる。画素アレイ部10020において、複数の画素10230はそれぞれ、赤外光を受光し、光電変換を行ってアナログ画素信号を出力する。画素アレイ部10020には、画素列毎に2本の垂直信号線VSL1,VSL2が配線されている。画素アレイ部10020の画素列の数をM(Mは、整数)とすると、合計で2×M本の垂直信号線VSLが画素アレイ部10020に配線されている。
複数の画素10230はそれぞれ、2つのタップA,B(その詳細については後述する)を有している。2本の垂直信号線VSL1,VSL2のうち、垂直信号線VSL1には、対応する画素列の画素10230のタップAの電荷に基づく画素信号AINP1が出力され、垂直信号線VSL2には、対応する画素列の画素10230のタップBの電荷に基づく画素信号AINP2が出力される。画素信号AINP1,AINP2については後述する。
回路チップ10002上には、垂直駆動回路10010、カラム信号処理部10040、出力回路部10060、及び、タイミング制御部10050が配置されている。垂直駆動回路10010は、画素アレイ部10020の各画素10230を画素行の単位で駆動し、画素信号AINP1,AINP2を出力させる。垂直駆動回路10010による駆動の下に、選択行の画素10230から出力された画素信号AINP1,AINP2は、垂直信号線VSL1,VSL2を通してカラム信号処理部10040に供給される。
カラム信号処理部10040は、画素アレイ部10020の画素列に対応して、例えば、画素列毎に設けられた複数のADC(上述のカラムAD回路に相当)を有する構成となっている。各ADCは、垂直信号線VSL1,VSL2を通して供給される画素信号AINP1,AINP2に対して、AD変換処理を施し、出力回路部10060に出力する。出力回路部10060は、カラム信号処理部10040から出力されるデジタル化された画素信号AINP1,AINP2に対してCDS処理などを実行し、回路チップ10002外へ出力する。
タイミング制御部10050は、各種のタイミング信号、クロック信号、及び、制御信号等を生成し、これらの信号を基に、垂直駆動回路10010、カラム信号処理部10040、及び、出力回路部10060等の駆動制御を行う。
(1-4.間接TOF方式距離画像センサにおける画素の回路構成)
図5は、本開示に係る技術を適用した間接TOF方式距離画像センサにおける画素の回路構成の一例を示す回路図である。
図5は、本開示に係る技術を適用した間接TOF方式距離画像センサにおける画素の回路構成の一例を示す回路図である。
本例に係る画素10230は、光電変換部として、例えば、フォトダイオード10231を有している。画素10230は、フォトダイオード10231に加えて、オーバーフロートランジスタ10242、2つの転送トランジスタ10232,10237、2つのリセットトランジスタ10233,10238、2つの浮遊拡散層10234,10239、2つの増幅トランジスタ10235、10240、及び、2つの選択トランジスタ10236,10241を有する構成となっている。2つの浮遊拡散層10234,10239は、図4に示すタップA,Bに相当する。
フォトダイオード10231は、受光した光を光電変換して電荷を生成する。フォトダイオード10231については、裏面照射型の画素構造とすることができる。裏面照射型の構造については、CMOSイメージセンサの画素構造で述べた通りである。但し、裏面照射型の構造に限られるものではなく、基板表面側から照射される光を取り込む表面照射型の構造とすることもできる。
オーバーフロートランジスタ10242は、フォトダイオード10231のカソード電極と電源電圧VDDの電源ラインとの間に接続されており、フォトダイオード10231をリセットする機能を持つ。具体的には、オーバーフロートランジスタ10242は、垂直駆動回路10010から供給されるオーバーフローゲート信号OFGに応答して導通状態になることで、フォトダイオード10231の電荷をシーケンシャルに電源ラインに排出する。
2つの転送トランジスタ10232,10237は、フォトダイオード10231のカソード電極と2つの浮遊拡散層10234,10239のそれぞれとの間に接続されている。そして、転送トランジスタ10232,10237は、垂直駆動回路10010から供給される転送信号TRGに応答して導通状態になることで、フォトダイオード10231で生成された電荷を、浮遊拡散層10234,10239にそれぞれシーケンシャルに転送する。
タップA,Bに相当する浮遊拡散層10234,10239は、フォトダイオード10231から転送された電荷を蓄積し、その電荷量に応じた電圧値の電圧信号に変換し、画素信号AINP1,AINP2を生成する。
2つのリセットトランジスタ10233,10238は、2つの浮遊拡散層10234,10239のそれぞれと電源電圧VDDの電源ラインとの間に接続されている。そして、リセットトランジスタ10233,10238は、垂直駆動回路10010から供給されるリセット信号RSTに応答して導通状態になることで、浮遊拡散層10234,10239のそれぞれから電荷を引き抜いて、電荷量を初期化する。
2つの増幅トランジスタ10235、10240は、電源電圧VDDの電源ラインと2つの選択トランジスタ10236,10241のそれぞれとの間に接続されており、浮遊拡散層10234,10239のそれぞれで電荷電圧変換された電圧信号をそれぞれ増幅する。
2つの選択トランジスタ10236,10241は、2つの増幅トランジスタ10235、10240のそれぞれと垂直信号線VSL1,VSL2のそれぞれとの間に接続されている。そして、選択トランジスタ10236,10241は、垂直駆動回路10010から供給される選択信号SELに応答して導通状態になることで、増幅トランジスタ10235、10240のそれぞれで増幅された電圧信号を画素信号AINP1,AINP2として2の垂直信号線VSL1,VSL2に出力する。
2の垂直信号線VSL1,VSL2は、画素列毎に、カラム信号処理部10040内の1つのADCの入力端に接続されており、画素列毎に画素10230から出力される画素信号AINP1,AINP2をADCに伝送する。
尚、画素10230の回路構成については、光電変換によって画素信号AINP1,AINP2を生成することができる回路構成であれば、図4に例示した回路構成に限定されるものではない。
[2.第1実施形態]
(2-1.画像処理装置)
図6を用いて、本開示の第1実施形態に係る画像処理装置20の構成について説明する。図6は、本開示の第1実施形態に係る画像処理装置20の構成の一例を示すブロック図である。
(2-1.画像処理装置)
図6を用いて、本開示の第1実施形態に係る画像処理装置20の構成について説明する。図6は、本開示の第1実施形態に係る画像処理装置20の構成の一例を示すブロック図である。
図6に示すように、画像処理装置20は、IR画像処理装置210と、デプス画像処理装置220と、記憶部230とを備える。
IR画像処理装置210は、IR画像を補正する処理等を実行する。デプス画像処理装置220は、デプスを算出処理する等を実行する。IR画像処理装置210と、デプス画像処理装置220とは、並行して処理を実行する。
記憶部230は、各種の情報を記憶している。記憶部230は、例えば、IR画像を補正するためのダーク画像を記憶している。記憶部230は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
IR画像処理装置210は、取得部211と、IR画像生成部212と、画像補正部213と、正規化部214と、参照部215と、第1露光時間算出部216と、第2露光時間算出部217を備える。
取得部211は、撮像装置10から各種の情報を取得する。取得部211は、例えば、撮像装置10が撮像した対象物に関するRAW画像情報を取得する。取得部211は、例えば、マイクロフレームに含まれる各フェーズのRAW画像情報を選択的に取得する。取得部211は、例えば、IR画像を補正するために、光源部11がオンの状態で撮像された対象物に関するRAW画像情報と、光源部11がオフの状態で撮像された対象部に関するRAW画像情報とを取得する。取得部211は、取得したRAW画像情報をIR画像生成部212に出力する。
IR画像生成部212は、取得部211から受けたRAW画像情報に基づいてIR画像を生成する。IR画像生成部212は、例えば、顔認証に適した解像度に変換したIR画像を生成してもよい。IR画像生成部212は、生成したIR画像を画像補正部213に出力する。
画像補正部213は、IR画像生成部212から受けたIR画像に対して各種の補正処理を実行する。画像補正部213は、IR画像に含まれる人物の顔認証に適するように補正処理を実行する。画像補正部213は、例えば、記憶部230に記憶されたダーク画像に基づいて、IR画像生成部212から受けたIR画像に対してFPN補正を実行する。画像補正部213は、例えば、光源部11がオフの状態で撮像された対象物に関するIR画像(以下、光源オフ画像とも呼ぶ)に基づいて、光源部11がオンの状態で撮像された対象物に関するIR画像に対してFPN補正を実行する。
(2-2.画像処理方法)
図7Aと、図7Bとを用いて、光源がオンの状態と光源がオフの状態とで撮像されたRAW画像情報に基づいてFPN補正を実行する方法の原理について説明する。図7Aは、光源がオンの状態で対象物を撮像した場合に受光部が受光する光量と、タップAが出力する画素信号の出力値と、タップBが出力する画素信号の出力値を示している。図7Bは、光源がオフの状態で対象物を撮像した場合に受光部が受光する光量と、タップAが出力する画素信号の出力値と、タップBが出力する画素信号の出力値を示している。
図7Aと、図7Bとを用いて、光源がオンの状態と光源がオフの状態とで撮像されたRAW画像情報に基づいてFPN補正を実行する方法の原理について説明する。図7Aは、光源がオンの状態で対象物を撮像した場合に受光部が受光する光量と、タップAが出力する画素信号の出力値と、タップBが出力する画素信号の出力値を示している。図7Bは、光源がオフの状態で対象物を撮像した場合に受光部が受光する光量と、タップAが出力する画素信号の出力値と、タップBが出力する画素信号の出力値を示している。
図7A(a)は受光部12が受光する光量、図7A(b)はタップAからの画素信号の出力値、図7A(c)はタップBからの画素信号の出力値を示している。
図7A(a)~図7A(c)に示す例では、t1の時点で撮像が開始され、t2の時点で受光部12の受光およびタップAからの出力が開始され、t3の時点でタップAから出力が終わるとともにタップBの出力が開始されたことが示されている。また、t4の時点で受光部12の受光が終わり、t5の時点でタップBの出力が終わったことが示されている。図7A(a)~図7A(c)においては、反射光の成分はハッチングで示している。
図7A(a)~図7(c)に示す例において、タップAから出力される画素信号Aと、タップBから出力される画素信号Bの値は以下のように表すことができる。
A=GA(S+Amb)+DA …(1)
B=GB(P-S+Amb)+DB …(2)
A=GA(S+Amb)+DA …(1)
B=GB(P-S+Amb)+DB …(2)
式(1)、式(2)において、GAはタップAのゲイン値、GBはタップBのゲイン値、Pは反射光、Sは反射光のうちタップAで受光した光量、Ambは背景光、DAはタップAのダーク成分、DBはタップBのダーク成分を示している。
すなわち、タップAからの出力値には、対象物からの反射光に加えて、背景光と、タップAのダーク成分が含まれる。同様に、タップBからの出力値には、対象物からの反射光に加えて、背景光と、タップBのダーク成分が含まれる。撮像装置10は、画素信号Aと画素信号Bとの和をRAW画像情報として、画像処理装置20に出力する。そのため、撮像装置10が画像処理装置20に出力するRAW画像情報には、背景光と、タップAのダーク成分と、タップBのダーク成分との影響が含まれる。そのため、顔認証などの認識処理を精度よく行うためには、背景光と、タップAのダーク成分と、タップBのダーク成分との影響を取り除くことが望ましい。
図7B(a)は受光部12が受光する光量、図7B(b)はタップAからの画素信号の出力値、図7B(c)はタップBからの画素信号の出力値を示している。
図7B(a)に示すように、光源部11がオフの状態であるので、受光部12は、背景光のみを受光する。このような状況で撮像装置10が対象物を撮像すると、タップAは、背景光と、ダーク成分とのみを含む画素信号AOffを出力する。同様に、タップBは、背景光と、ダーク成分とのみを含む画素信号BOffを出力する。このときの、画素信号AOffと、画素信号BOffの値は以下のように表すことができる。
AOff=GA(AmbOff)+DAOff …(3)
BOff=GB(AmbOff)+DBOff …(4)
AOff=GA(AmbOff)+DAOff …(3)
BOff=GB(AmbOff)+DBOff …(4)
式(3)、式(4)において、AmbOffは光源部11がオフ状態の時の背景光、DAOffは光源部11がオフ状態の時のタップAのダーク成分、DBOffは光源部11がオフ状態の時のタップBのダーク成分である。背景光と、ダーク成分は、光源部11の状態がオン状態であっても、オフ状態であっても変化しないので、以下の関係が成り立つ。
AmbOff=Amb …(5)
DAOff=DA …(6)
DBOff=DB …(7)
AmbOff=Amb …(5)
DAOff=DA …(6)
DBOff=DB …(7)
式(5)~式(7)を式(3)に代入し、式(1)から式(3)を引くと以下の関係が得られる。
A-AOff=SGA …(8)
A-AOff=SGA …(8)
式(5)~式(7)を式(4)に代入し、式(2)から式(4)を引くと以下の関係が得られる。
B-BOFF=SGB …(9)
B-BOFF=SGB …(9)
そして、式(8)と式(9)を計算すると、以下の関係が得られる。
(A-AOff)+(B-BOff)=S(GA+GB) …(10)
(A-AOff)+(B-BOff)=S(GA+GB) …(10)
このように、画像補正部213は、光源がオンの状態と光源がオフの状態とで撮像されたRAW画像情報に基づいて背景光と、ダーク成分との影響を取り除くことができる。
図8Aと、図8Bと、図8Cとを用いて、本開示の実施形態に係るFPN補正の効果について説明する。図8A~図8Cは、本開示の実施形態に係るFPN補正の効果を説明するための図である。
図8Aは、タップAからの画素信号と、タップBからの画素信号とに基づいて生成された補正前のIR画像IM1を示している。IR画像IM1には、人物M1と、太陽Sとが含まれている。IR画像IM1では、太陽光の影響で人物M1の顔全体がぼやけてしまっている。そのため、IR画像IM1に基づいて人物Mの顔認証処理を実行したとしても、所望の認識精度を得ることができない。なお、IR画像IM1は、光源部11がオンの状態で撮像されたIR画像である。
図8Bは、図8Aに示すIR画像IM1に対して従来のFPM補正が施された、IR画像IM1Aを示している。例えば、画像補正部213は、記憶部230に予め記憶されたダーク画像に基づいて、IR画像IM1に対してFPN補正を実行することで、IR画像IM1Aを得ることができる。しかしながら、IR画像IM1Aにおいても、太陽Sの影響により人物M1の顔が認識し難くなっている。このように、例えば、太陽光などの強い光がある環境下では、ダーク画像とのミスマッチが発生し、FPN補正を行ったとしても所望のIR画像を得ることができないことがある。
図8Cは、図8Aに示すIR画像IM1に対して本開示の実施形態に係るFPN補正が施された、IR画像IM1Bを示している。すなわち、画像補正部213は、光源部11がオンの状態で撮像されたIR画像IM1に対して、IR画像IM1に対応する光源オフ画像に基づいて、FPN補正を実行する。IR画像IM1と、IR画像IM1に対応する光源オフ画像とは、同一のマイクロフレーム内の連続したフェーズのそれぞれで撮像される。IR画像IM1に対応する光源オフ画像は、反射光の影響が含まれていないので、太陽Sのみが含まれたIR画像となる。そのため、IR画像IM1に対応する光源オフ画像を用いることで、IR画像IM1から太陽Sの影響を取り除くことができる。そのため、IR画像IM1Bでは、人物M1の顔を明確に認識することができる。これにより、人物Mの顔認証における認識率が向上する。
再び図6を参照する。画像補正部213は、補正したIR画像を正規化部214と、第1露光時間算出部216とに出力する。具体的には、画像補正部213は、ダーク画像に基づく補正結果と、IR画像IM1に対応する光源オフ画像に基づく補正結果との少なくとも一方を正規化部214と、第1露光時間算出部216とに出力する。
正規化部214は、画像補正部213から受けたIR画像を正規化する。正規化部214は、正規化したIR画像を外部に出力する。これにより、顔認識処理に適したIR画像が、ユーザに提供される。
参照部215は、例えば、デプス算出部222によって算出されたデプスを受ける。参照部215は、例えば、デプスの確度を受ける。参照部215は、デプスと、デプスの確度とに基づいて、マスク画像を生成する。ここで、マスク画像は、例えば、デプス画像に含まれる対象物以外の被写体にマスキングが施された画像である。参照部215は、生成したマスク画像を第1露光時間算出部216と、第2露光時間算出部217とに出力する。
第1露光時間算出部216は、画像補正部213から受けた補正されたIR画像と、参照部215から受けたマスク画像とに基づいて、IR画像を生成するための撮像の露光時間を算出する。これにより、IR画像を生成するための最適な露光時間が算出される。
第2露光時間算出部217は、参照部215から受けたマスク画像と、デプス算出部222から受けたデプスの確度とに基づいて、デプスを算出するための撮像の露光時間を算出する。
デプス画像処理装置220は、取得部221と、デプス算出部222とを備える。
取得部221は、撮像装置10から各種の情報を取得する。取得部221は、例えば、撮像装置10が撮像した対象物に関するRAW画像情報を取得する。取得部221は、例えば、マイクロフレームに含まれる各フェーズのRAW画像情報を選択的に取得する。取得部221は、例えば、デプス画像を生成するために位相が0°、90°、180°、270°で撮像された4フェーズ分のRAW画像情報を取得する。取得部221は、取得したRAW画像情報をデプス算出部222に出力する。
デプス算出部222は、例えば、取得部221から受けた4フェーズ分のRAW画像情報に基づいて、デプスを算出する。デプス算出部222は、例えば、算出したデプスに基づいて確度を算出する。デプス算出部222は、例えば、算出したデプスに基づいてデプス画像を生成してもよい。デプス算出部222は、算出したデプスを外部に出力する。これにより、対象物までの距離情報を得ることができる。また、デプス算出部222は、算出したデプスと、確度とを参照部215に出力する。
(2-3.フレーム構成)
図9Aと、図9Bとを用いて、本開示の実施形態に係る撮像に使用するフレーム構成について説明する。図9Aと、図9Bとは、本開示の実施形態に係る撮像に使用するフレーム構成を説明するための図である。
図9Aと、図9Bとを用いて、本開示の実施形態に係る撮像に使用するフレーム構成について説明する。図9Aと、図9Bとは、本開示の実施形態に係る撮像に使用するフレーム構成を説明するための図である。
図9Aに示すように、本開示の実施形態に係るフレームF1は、IR画像用マイクロフレームと、デプス画像用マイクロフレームとを含む。
IR画像用マイクロフレームは、例えば、フェーズA0と、フェーズA1との2つのフェーズを含む。フェーズA0は、例えば、光源部11をオフの状態で対象物を撮像するフェーズである。フェーズA1は、例えば、光源部11をオンの状態で対象物を撮像するフェーズである。
デプス画像用マイクロフレームは、例えば、フェーズB0と、フェーズB1と、フェーズB2と、フェーズB3との4つのフェーズを含む。フェーズB0は、例えば、対象物に対する射出光と、対象物からの反射光の位相差が0°の時に対象物を撮像するフェーズである。フェーズB1は、例えば、対象物に対する射出光と、対象物からの反射光の位相差が90°の時に対象物を撮像するフェーズである。フェーズB2は、例えば、対象物に対する射出光と、対象物からの反射光の位相差が180°の時に対象物を撮像するフェーズである。フェーズB3は、例えば、対象物に対する射出光と、対象物からの反射光の位相差が270°の時に対象物を撮像するフェーズである。
フレームF1では、IR画像用マイクロフレームと、デプス画像用マイクロフレームとの露光時間をそれぞれ個別に調整(AE : Automatic Exposure)することができる。例えば、IR画像用マイクロフレームでは、明るさを確保するために露光時間を長めに調整し、デプス画像用マイクロフレームでは、消費電力を抑えるために露光時間を短めに調整してよい。この場合、IR画像用マイクロフレームのフェーズA0と、フェーズA1との露光時間は、例えば、1msに調整すればよい。また、デプス画像用マイクロフレームのフェーズB0と、フェーズB1と、フェーズB2と、フェーズB3との露光時間は、例えば、500μsに調整すればよい。なお、各フェーズの露光時間は、これらに限定されない。
図9Bに示すように、本開示の実施形態に係るフレームF2は、IR画像用マイクロフレームと、デプス画像用マイクロフレームに加えて、視線検出用マイクロフレームを含んでもよい。以下では、IR画像用マイクロフレームと、デプス画像用マイクロフレームとの条件は、図9Aに示した条件と同様なので、説明を省略する。
視線検出用マイクロフレームは、例えば、フェーズC0と、フェーズC1との2つのフェーズを含む。フェーズC0は、例えば、光源部11をオフの状態で対象物を撮像するフェーズである。フェーズC1は、例えば、光源部11をオンの状態で対象物を撮像するフェーズである。
フレームF2では、IR画像用マイクロフレームと、デプス画像用マイクロフレームと、視線検出用マイクロフレームとの露光時間をそれぞれ個別に調整することができる。例えば、撮影対象者が眼鏡をかけている場合、顔認証に必要な視線検出を行う際に、光が眼鏡に反射してしまい視線を検出することができない場合がある。そのため、光が眼鏡に反射しないように、視線検出用マイクロフレームでは、露光時間をIR画像用マイクロフレームおよびデプス画像用マイクロフレームよりも短めに調整してよい。例えば、視線検出用マイクロフレームのフェーズC0と、フェーズC1との露光時間は、例えば、200μsに調整すればよい。なお、フェーズC0と、フェーズC1との露光時間は、これに限定されない。
上述のとおり、第1実施形態では、太陽等の背景光の強い環境下で撮像されたIR画像を、光源をオフの状態で撮像したIR画像に基づいて補正をすることで、太陽の影響を除去することができる。これにより、TOFで撮像されたIR画像を用いた顔認証などの認識精度を向上させることができる。
[3.第2実施形態]
本開示の第2実施形態に係る補正方法の選択処理について説明する。
本開示の第2実施形態に係る補正方法の選択処理について説明する。
上述したように、太陽光などの強い光が含まれるIR画像を用いて顔認証を行う際にはダーク画像に代えて光源オフ画像を用いることで、太陽光の影響を取り除くことができるので、認識率を向上させることができる。しかしながら、例えば、屋内などの環境光の少ない状況で光源オフ画像を用いてIR画像を補正すると、コントラストの小さい画像となり認識率が低下する可能性がある。したがって、背景光の強さに応じて、ダーク画像を用いた補正と、光源オフ画像を用いた補正とを切り替えることが好ましい。
(3-1.画像処理装置)
図10を用いて、本開示の第2実施形態に係る画像処理装置の構成について説明する。図10は、本開示の第2実施形態に係る画像処理装置の構成を示すブロック図である。
図10を用いて、本開示の第2実施形態に係る画像処理装置の構成について説明する。図10は、本開示の第2実施形態に係る画像処理装置の構成を示すブロック図である。
図10に示すように、画像処理装置20Aは、IR画像処理装置210Aが補正選択部218を備えている点で、図6に図示の画像処理装置20と異なっている。
補正選択部218は、IR画像に対する補正の方法を選択する。補正選択部218は、例えば、参照部215からデプスに関する情報を受け付ける。補正選択部218は、例えば、画像補正部213から光源オフ画像に基づいて補正されたIR画像を受け付ける。補正選択部218は、画像補正部213から受けつけたIR画像と、参照部215から受け付けたデプスに関する情報に基づいて補正方法を選択する。
(3-2.補正選択方法)
図11を用いて、補正選択方法について説明する。図11は、補正選択方法を説明するための図である。図11では、人物Mの頭上に太陽Sが位置している状況を想定している。
図11を用いて、補正選択方法について説明する。図11は、補正選択方法を説明するための図である。図11では、人物Mの頭上に太陽Sが位置している状況を想定している。
補正選択部218は、例えば、参照部215から受けたデプスに関する情報に基づいて、人物Mの頭部Hおよび胴体部Bの外形を抽出する。補正選択部218は、例えば、抽出した外形に基づいて、人物Mの重心GMを算出する。
補正選択部218は、例えば、画像補正部213から受け付けたIR画像に基づいて、光量が飽和している領域を太陽であると太陽Sとみなして、外形を抽出する。補正選択部218は、例えば、抽出した外形に基づいて太陽Sの重心GSを算出する。
補正選択部218は、重心GMと重心GSとを結ぶ直線L1を引く。補正選択部218は、重心GSを通過し、かつ直線Lと直交する直交線Oを引く。補正選択部218は、例えば、重心GSを原点として、直線L1から角度θ傾けて人物Mに向かって引いた直線L2および直線L3といったような直線を、直線L1から±90度の範囲でN本(Nは2以上の整数)引く。
補正選択部218は、人物Mに向かって引いた直線と、人物Mの外形との接点を抽出する。補正選択部218は、例えば、直線L1と人物Mの外形との接点I1と、直線L2と人物Mの外形との接点I2と、直線L3と人物Mの外形との接点I3を抽出する。
補正選択部218は、重心GSから人物の外形までの距離を算出する。補正選択部218は、例えば、重心GSから接点I1までの距離を算出する。補正選択部218は、例えば、重心GSから接点I2までの距離を算出する。補正選択部218は、例えば、重心GSから接点I3までの距離を算出する。補正選択部218は、算出した距離のうち、最も短いものを最短距離とする。図11に示す例では、補正選択部218は、重心GSから接点I1までの距離を最短距離とする。
補正選択部218は、例えば、最短距離が予め定められた所定値以下であれば太陽が近いと判断し、光源オフ画像を用いた補正を選択する。補正選択部218は、例えば、最短距離が予め定められた所定値を超えていたり、太陽がないと判断されたりした場合には予め記憶部230に記憶されているダーク画像を用いた補正を選択する。
なお、図12に示すように、補正選択部218は、太陽Sが人物Mの斜め情報に位置していた場合であっても、図11で示した方法と同様の方法で、補正を選択することができる。具体的には、補正選択部218は、重心GSと重心GMとを結ぶ直線L11を引き、その直線から角度θ傾けた直線L12、直線L13といった直線を±90度の範囲で複数引けばよい。この場合、補正選択部218は、直線L11と人物Mの外形との接点I11と、直線L12と人物Mの外形との接点I12と、直線L13と人物Mの外形との接点I13を抽出し、それぞれの距離を算出すればよい。そして、補正選択部218は、算出した距離のうち、最も短いものを最短距離とすればよい。
図13Aと、図13Bと、図14Aと、図14Bと、図15Aと、図15Bと、図16Aと、図16Bとを用いて、本開示の第2実施形態に係る補正選択方法で選択された補正の効果を説明する。図13A~図16Bは、本開示の第2実施形態に係る補正選択方法で選択された補正の効果を説明するための図である。
図13Aに示すIR画像IM2は、人物M2の頭の真上の比較的近い位置に太陽Sが位置している補正前のIR画像である。IR画像IM2では、太陽Sの太陽光の影響で、人物M2の顔が認識しづらくなっている。このような、IR画像IM2の場合を補正する場合、補正選択部218によって、光源オフ画像を用いた補正が選択される。
図13Bに示すIR画像IM2Aは、IR画像IM2に対して光源オフ画像に基づいて補正が実行されたIR画像である。IR画像IM2Aでは、光源オフ画像に基づく補正により、太陽光の影響が除去されている。そのため、IR画像IM2Aでは、人物M2の顔を明確に認識することができる。これにより、人物M2の顔認証における認識率が向上する。
図14Aに示すIR画像IM3は、人物M3の頭の斜め上の比較的近い位置に太陽Sが位置している補正前のIR画像である。IR画像IM3では、太陽Sの太陽光の影響で、人物M3の顔が認識しづらくなっている。このような、IR画像IM3の場合を補正する場合、補正選択部218によって、光源オフ画像を用いた補正が選択される。
図14Bに示すIR画像IM3Aは、IR画像IM3に対して光源オフ画像に基づいて補正が実行されたIR画像である。IR画像IM3Aでは、光源オフ画像に基づく補正により、太陽光の影響が除去されている。そのため、IR画像IM3Aでは、人物M3の顔を明確に認識することができる。これにより、人物M3の顔認証における認識率が向上する。
図15Aに示すIR画像IM4は、人物M4の頭の斜め上の比較的遠い位置に太陽Sが位置している補正前のIR画像である。IR画像IM4では、太陽Sが比較的遠い位置に位置しているので、人物M4の顔が比較的認識しやすくなっている。このような、IR画像IM4の場合を補正する場合、補正選択部218によって、ダーク画像を用いた補正が選択される。
図15Bに示すIR画像IM4Aは、IR画像IM4に対してダーク画像に基づいて補正が実行されたIR画像である。IR画像IM4Aでは、ダーク画像に基づく補正により、背景の影響が除去されたため人物M4の顔がより明確に認識できるようになっている。これにより、人物M4の顔認証における認識率が向上する。
図16Aに示すIR画像IM5は、太陽が含まれていない補正前のIR画像である。IR画像IM4では、太陽が含まれていないので、人物M5の顔が比較的認識しやすくなっている。このような、IR画像IM5の場合を補正する場合、補正選択部218によって、ダーク画像を用いた補正が選択される。
図16Bに示すIR画像IM5Aは、IR画像IM5に対してダーク画像に基づいて補正が実行されたIR画像である。IR画像IM5Aでは、ダーク画像に基づく補正により、背景の影響が除去されたため人物M4の顔がより明確に認識できるようになっている。これにより、人物M5の顔認証における認識率が向上する。
(3-3.補正選択方法の処理)
図17を用いて、本開示の第2実施形態に係る補正選択方法の処理の流れについて説明する。図17は、本開示の第2実施形形態に係る補正選択方法の処理の流れの一例を示すフローチャートである。
図17を用いて、本開示の第2実施形態に係る補正選択方法の処理の流れについて説明する。図17は、本開示の第2実施形形態に係る補正選択方法の処理の流れの一例を示すフローチャートである。
まず、補正選択部218は、補正対象であるIR画像に含まれる人物の外形を、デプスに関する情報に基づいて抽出する(ステップS101)。そして、ステップS102に進む。
補正選択部218は、ステップS101で抽出した人物の外形に基づいて、人物の重心を算出する(ステップS102)。そして、ステップS103に進む。
補正選択部218は、補正対象であるIR画像の光量が飽和している領域に基づいて、太陽の外形を抽出する(ステップS103)。そして、ステップS104に進む。
補正選択部218は、ステップS103で抽出した太陽の外形に基づいて、太陽の重心を算出する(ステップS104)。そして、ステップS105に進む。
補正選択部218は、ステップS102で算出した人物の重心と、ステップS104で算出した太陽の重心とを結ぶ直線を引く(ステップS105)。そして、ステップS106に進む。
補正選択部218は、太陽の重心から人物に対して複数の直線を引く(ステップS106)。具体的には、補正選択部218は、太陽の重心から、ステップS105で引いた直線に対して、±90度の範囲で複数の直線を引く。そして、ステップS107に進む。
補正選択部218は、ステップS106で太陽の重心から引いた各直線と人物の外形の交点までの距離を計算する(ステップS107)。そして、ステップS108に進む。
補正選択部218は、太陽の重心から人物の外形に引いた直線の最短距離が所定値以下であるか否かを判定する(ステップS108)。最短距離が所定値以下であると判定された場合(ステップS108のYes)、ステップS109に進む。最短距離が所定値以下でないと判定された場合(ステップS108のNo)、ステップS110に進む。
ステップS108でYesと判定された場合、補正選択部218は、光源オフ画像を用いた補正を選択する(ステップS109)。そして、図17の処理を終了する。
一方、ステップS108でNoと判定された場合、補正選択部218は、ダーク画像を用いた補正を選択する(ステップS110)。そして、図17の処理を終了する。
上述のとおり、第2実施形態では、人物と太陽までの距離に応じて、IR画像に対する補正の適切に選択することができる。これにより、顔認証などの認識率を向上させることができる。
[4.第2実施形態の変形例]
図18Aと、図18Bとを用いて、本開示の第2実施形態の変形例について説明する。図18Aと、図18Bとは、本開示の第2実施形態の変形例を説明するための図である。
図18Aと、図18Bとを用いて、本開示の第2実施形態の変形例について説明する。図18Aと、図18Bとは、本開示の第2実施形態の変形例を説明するための図である。
上述の通り、第2実施形態では、太陽の重心から人物の外形までの最短距離に基づいて、補正方法を選択していた。例えば、顔認証では必要な情報は顔の情報なので、第2実施形態の変形例では、太陽の重心から人物の顔の外形までの最短距離に基づいて、補正方法を選択してもよい。
図18Aに示すように、人物Mの横に太陽Sがある状況を考える。この場合、補正選択部218は、太陽の重心GSから人物Mの重心GMに直線L21を引く。そして、補正選択部218は、重心GSから人物Mの外形に向かって直線L22、直線L23、直線L24などの複数の直線を引く。そして、補正選択部218は、直線L21と人物Mの外形との接点I21と、直線L22と人物Mの外形との接点I22と、直線L23と人物Mの外形との接点I23と、直線L24と人物Mの外形との接点I24とを抽出する。この場合、補正選択部218は、太陽の重心GSから接点I22までの距離を最短距離と判定する。太陽の重心GSと接点I22は比較的近いので、補正選択部218は、光源オフ画像を用いた補正を選択する。しかしながら、太陽の重心GSから人物Mの顔までの距離(太陽の重心GSから接点I23までの距離)は比較的遠いので、光源オフ画像を用いた補正では、顔認証を行った際に所望の認識精度を得られない可能性がある。
第2実施形態の変形例では、図18Bに示すように、補正選択部218は、人物Mの顔の重心GFを算出する。具体的には、補正選択部218は、デプスに関する情報に基づいて、人物Mの外形を抽出して、人物Mの顔の重心GFを算出する。
図18Bに示す例では、補正選択部218は、太陽の重心GSから人物Mの顔の重心GFに直線L31を引く。そして、補正選択部218は、重心GSから人物Mの顔の外形に向かって直線L32、直線L33などの複数の直線を引く。そして、補正選択部218は、直線L31と人物Mの顔の外形との接点I31と、直線L32と人物Mの顔の外形との接点I32と、直線L33と人物Mの外形との接点I33とを抽出する。この場合、補正選択部218は、太陽の重心GSから接点I31までの距離を最短距離と判定する。太陽の重心GSと接点I31は比較的遠いので、補正選択部218は、ダーク画像を用いた補正を選択する。これにより、顔認証を行った際の認識率を向上させることができる。
上述のとおり、第2実施形態の変形例では、人物の顔と太陽までの距離に応じて、IR画像に対する補正の適切に選択することができる。これにより、顔認証などの認識率をより向上させることができる。
(効果)
本開示の一態様の画像処理装置20は、IR画像用フレーム内でパルス波がオンの状態で撮影された第1IR画像と、パルス波がオフの状態で撮影された第2IR画像とを生成するIR画像生成部212と、第2IR画像に基づいて、第1IR画像を補正する画像補正部213と、を備える。
本開示の一態様の画像処理装置20は、IR画像用フレーム内でパルス波がオンの状態で撮影された第1IR画像と、パルス波がオフの状態で撮影された第2IR画像とを生成するIR画像生成部212と、第2IR画像に基づいて、第1IR画像を補正する画像補正部213と、を備える。
これにより、パルス波がオンの状態で撮像されたIR画像を、パルス派がオフの状態で撮像されたIR画像に基づいて、補正することができる。これにより、太陽などの強い光の影響を除去することができるので、認識率を向上させることができる。
また、IR画像用フレームは、第1IR画像を生成するフェーズと、第2IR画像を生成するフェーズとから構成されてよい。
これにより、1つのマイクロフレーム内で、パルス波がオンの状態のIR画像と、おアルス波がオフの状態のIR画像とを生成することができる。
また、画像補正部213は、前記第2IR画像に基づいて前記第1IR画像に含まれる背景光とダーク成分を除去してよい。
これにより、反射光の成分のみを抽出することができる。
また、画像補正部213は、TOFセンサの露光時間をフレームごとに個別に調整してよい。
これにより、各処理の露光時間を適切に調整することができる。
また、画像補正部213は、TOFセンサの露光時間をIR画像用フレームおよびデプス画像用フレームごとに個別に調整してよい。
これにより、IR画像と、デプス画像とを適切に生成することができる。
また、画像補正部213は、IR画像用フレームを構成するフェーズの露光時間をデプス画像用フレームを構成するフェーズの露光時間よりも長くなるように制御してよい。
これにより、IR画像と、デプス画像とを適切に生成するとともに、消費電力を抑制することができる。
また、画像補正部213は、TOFセンサの露光時間をIR画像用フレーム、デプス画像用フレーム、および視線検出用フレームごとに個別に調整してよい。
これにより、IR画像と、デプス画像とを適切に生成するとともに、適切に視線を検出することができる。
また、画像補正部213は、IR画像用フレームを構成するフェーズの露光時間、視線検出用フレームを構成するフェーズの露光時間、およびデプス画像用フレームを構成するフェーズの露光時間の順に長くなるように制御してよい。
これにより、IR画像と、デプス画像とをより適切に生成するとともに、適切に視線をより適切に検出することができる。また、消費電力を抑制することができる。
第1IR画像に含まれる被写体と、光源の位置関係に応じて補正の方法を選択する補正選択部218を更に備えてよい。
これにより、被写体と、光源の位置関係に応じて適切な補正方法を選択することができるので、認識精度が向上する。
補正選択部218は、被写体と、光源との距離に応じて補正の方法を選択してよい。
これにより、被写体と、光源との距離に応じてより補正方法を選択することができるので、認識精度がより向上する。
補正選択部218は、第1IR画像に対して、第2IR画像に基づいた補正と、予め記憶部230に記憶されたダーク画像に基づいた補正とのいずれかを、被写体と光源との距離に応じて選択してよい。
これにより、被写体と、光源との距離に応じてより適切な補正方法を選択することができるので、認識精度がより向上する。
補正選択部218は、第1IR画像に対して、被写体と光源との距離が閾値以下である場合には第2IR画像に基づいた補正を選択し、被写体と光源との距離が閾値を超えている場合にはダーク画像に基づいた補正を選択してよい。
これにより、被写体と、光源との距離が閾値を超えているかに応じて、より適切な法制方法を選択することができるので、認識精度が向上する。
被写体は人物の顔であり、光源は太陽であってよい。
これにより、太陽光の影響が強い屋外における、顔認証の精度を向上させることができる。
本開示の一態様の電子機器1は、TOFセンサと、TOFセンサからの出力に基づいてIR画像用フレーム内でパルス波がオンの状態で撮影された第1IR画像と、パルス波がオフの状態で撮影された第2IR画像とを生成するIR画像生成部212と、第2IR画像に基づいて、第1IR画像を補正する画像補正部213と、を備える。
これにより、パルス波がオンの状態で撮像されたIR画像を、パルス派がオフの状態で撮像されたIR画像に基づいて、補正することができる。これにより、太陽などの強い光の影響を除去することができるので、認識率を向上させることができる。
本開示の一態様の画像処理方法は、IR画像用フレーム内でパルス波がオンの状態で撮影された第1IR画像と、パルス波がオフの状態で撮影された第2IR画像とを生成し、第2IR画像に基づいて、第1IR画像を補正する。
これにより、パルス波がオンの状態で撮像されたIR画像を、パルス派がオフの状態で撮像されたIR画像に基づいて、補正することができる。これにより、太陽などの強い光の影響を除去することができるので、認識率を向上させることができる。
本開示の一態様のプログラムは、コンピュータを、IR画像用フレーム内でパルス波がオンの状態で撮影された第1IR画像と、前記パルス波がオフの状態で撮影された第2IR画像とを生成する画像生成部と、前記第2IR画像に基づいて、前記第1IR画像を補正する画像補正部と、として機能させる。
これにより、パルス波がオンの状態で撮像されたIR画像を、パルス派がオフの状態で撮像されたIR画像に基づいて、補正することができる。これにより、太陽などの強い光の影響を除去することができるので、認識率を向上させることができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
IR画像用フレーム内でパルス波がオンの状態で撮影された第1IR画像と、前記パルス波がオフの状態で撮影された第2IR画像とを生成する画像生成部と、
前記第2IR画像に基づいて、前記第1IR画像を補正する画像補正部と、
を備える、画像処理装置。
(2)
前記IR画像用フレームは、前記第1IR画像を生成するフェーズと、前記第2IR画像を生成するフェーズとから構成される、
前記(1)に記載の画像処理装置。
(3)
前記画像補正部は、前記第2IR画像に基づいて前記第1IR画像に含まれる背景光とダーク成分を除去する、
前記(1)または(2)に記載の画像処理装置。
(4)
前記画像補正部は、TOFセンサの露光時間をフレームごとに個別に調整する、
前記(1)~(3)のいずれか1つに記載の画像処理装置。
(5)
前記画像補正部は、前記TOFセンサの露光時間をIR画像用フレームおよびデプス画像用フレームごとに個別に調整する、
前記(4)に記載の画像処理装置。
(6)
前記画像補正部は、前記IR画像用フレームを構成するフェーズの露光時間を前記デプス画像用フレームを構成するフェーズの露光時間よりも長くなるように制御する、
前記(5)に記載の画像処理装置。
(7)
前記画像補正部は、前記TOFセンサの露光時間をIR画像用フレーム、デプス画像用フレーム、および視線検出用フレームごとに個別に調整する、
前記(4)に記載の画像処理装置。
(8)
前記画像補正部は、前記IR画像用フレームを構成するフェーズの露光時間、前記視線検出用フレームを構成するフェーズの露光時間、および前記デプス画像用フレームを構成するフェーズの露光時間の順に長くなるように制御する、
前記(7)に記載の画像処理装置。
(9)
前記第1IR画像に含まれる被写体と、光源の位置関係に応じて補正の方法を選択する補正選択部を更に備える、
前記(1)~(8)のいずれか1つに記載の画像処理装置。
(10)
前記補正選択部は、前記被写体と、前記光源との距離に応じて補正の方法を選択する、
前記(9)に記載の画像処理装置。
(11)
前記補正選択部は、前記第1IR画像に対して、前記第2IR画像に基づいた補正と、予め記憶部に記憶されたダーク画像に基づいた補正とのいずれかを、前記被写体と前記光源との距離に応じて選択する、
前記(9)または(10)に記載の画像処理装置。
(12)
前記補正選択部は、前記第1IR画像に対して、前記被写体と前記光源との距離が閾値以下である場合には前記第2IR画像に基づいた補正を選択し、前記被写体と前記光源との距離が閾値を超えている場合には前記ダーク画像に基づいた補正を選択する、
前記(9)~(11)のいずれか1つに記載の画像処理装置。
(13)
前記被写体は人物の顔であり、
前記光源は太陽である、
前記(9)~(12)のいずれか1つに記載の画像処理装置。
(14)
TOFセンサと、
前記TOFセンサからの出力に基づいてIR画像用フレーム内でパルス波がオンの状態で撮影された第1IR画像と、前記パルス波がオフの状態で撮影された第2IR画像とを生成する画像生成部と、
前記第2IR画像に基づいて、前記第1IR画像を補正する画像補正部と、
を備える、
電子機器。
(15)
IR画像用フレーム内でパルス波がオンの状態で撮影された第1IR画像と、前記パルス波がオフの状態で撮影された第2IR画像とを生成し、
前記第2IR画像に基づいて、前記第1IR画像を補正する、
画像処理方法。
(16)
コンピュータを、
IR画像用フレーム内でパルス波がオンの状態で撮影された第1IR画像と、前記パルス波がオフの状態で撮影された第2IR画像とを生成する画像生成部と、
前記第2IR画像に基づいて、前記第1IR画像を補正する画像補正部と、
として機能させるプログラム。
(1)
IR画像用フレーム内でパルス波がオンの状態で撮影された第1IR画像と、前記パルス波がオフの状態で撮影された第2IR画像とを生成する画像生成部と、
前記第2IR画像に基づいて、前記第1IR画像を補正する画像補正部と、
を備える、画像処理装置。
(2)
前記IR画像用フレームは、前記第1IR画像を生成するフェーズと、前記第2IR画像を生成するフェーズとから構成される、
前記(1)に記載の画像処理装置。
(3)
前記画像補正部は、前記第2IR画像に基づいて前記第1IR画像に含まれる背景光とダーク成分を除去する、
前記(1)または(2)に記載の画像処理装置。
(4)
前記画像補正部は、TOFセンサの露光時間をフレームごとに個別に調整する、
前記(1)~(3)のいずれか1つに記載の画像処理装置。
(5)
前記画像補正部は、前記TOFセンサの露光時間をIR画像用フレームおよびデプス画像用フレームごとに個別に調整する、
前記(4)に記載の画像処理装置。
(6)
前記画像補正部は、前記IR画像用フレームを構成するフェーズの露光時間を前記デプス画像用フレームを構成するフェーズの露光時間よりも長くなるように制御する、
前記(5)に記載の画像処理装置。
(7)
前記画像補正部は、前記TOFセンサの露光時間をIR画像用フレーム、デプス画像用フレーム、および視線検出用フレームごとに個別に調整する、
前記(4)に記載の画像処理装置。
(8)
前記画像補正部は、前記IR画像用フレームを構成するフェーズの露光時間、前記視線検出用フレームを構成するフェーズの露光時間、および前記デプス画像用フレームを構成するフェーズの露光時間の順に長くなるように制御する、
前記(7)に記載の画像処理装置。
(9)
前記第1IR画像に含まれる被写体と、光源の位置関係に応じて補正の方法を選択する補正選択部を更に備える、
前記(1)~(8)のいずれか1つに記載の画像処理装置。
(10)
前記補正選択部は、前記被写体と、前記光源との距離に応じて補正の方法を選択する、
前記(9)に記載の画像処理装置。
(11)
前記補正選択部は、前記第1IR画像に対して、前記第2IR画像に基づいた補正と、予め記憶部に記憶されたダーク画像に基づいた補正とのいずれかを、前記被写体と前記光源との距離に応じて選択する、
前記(9)または(10)に記載の画像処理装置。
(12)
前記補正選択部は、前記第1IR画像に対して、前記被写体と前記光源との距離が閾値以下である場合には前記第2IR画像に基づいた補正を選択し、前記被写体と前記光源との距離が閾値を超えている場合には前記ダーク画像に基づいた補正を選択する、
前記(9)~(11)のいずれか1つに記載の画像処理装置。
(13)
前記被写体は人物の顔であり、
前記光源は太陽である、
前記(9)~(12)のいずれか1つに記載の画像処理装置。
(14)
TOFセンサと、
前記TOFセンサからの出力に基づいてIR画像用フレーム内でパルス波がオンの状態で撮影された第1IR画像と、前記パルス波がオフの状態で撮影された第2IR画像とを生成する画像生成部と、
前記第2IR画像に基づいて、前記第1IR画像を補正する画像補正部と、
を備える、
電子機器。
(15)
IR画像用フレーム内でパルス波がオンの状態で撮影された第1IR画像と、前記パルス波がオフの状態で撮影された第2IR画像とを生成し、
前記第2IR画像に基づいて、前記第1IR画像を補正する、
画像処理方法。
(16)
コンピュータを、
IR画像用フレーム内でパルス波がオンの状態で撮影された第1IR画像と、前記パルス波がオフの状態で撮影された第2IR画像とを生成する画像生成部と、
前記第2IR画像に基づいて、前記第1IR画像を補正する画像補正部と、
として機能させるプログラム。
1 電子機器
10 撮像装置
11 光源部
12 受光部
13 撮像処理部
20 画像処理装置
30 射出光
31 対象物
32 反射光
210 IR画像処理装置
211,221 取得部
212 IR画像生成部
213 画像補正部
214 正規化部
215 参照部
216 第1露光時間算出部
217 第2露光時間算出部
218 補正選択部
220 デプス画像処理装置
222 デプス算出部
230 記憶部
10 撮像装置
11 光源部
12 受光部
13 撮像処理部
20 画像処理装置
30 射出光
31 対象物
32 反射光
210 IR画像処理装置
211,221 取得部
212 IR画像生成部
213 画像補正部
214 正規化部
215 参照部
216 第1露光時間算出部
217 第2露光時間算出部
218 補正選択部
220 デプス画像処理装置
222 デプス算出部
230 記憶部
Claims (16)
- IR画像用フレーム内でパルス波がオンの状態で撮影された第1IR画像と、前記パルス波がオフの状態で撮影された第2IR画像とを生成する画像生成部と、
前記第2IR画像に基づいて、前記第1IR画像を補正する画像補正部と、
を備える、画像処理装置。 - 前記IR画像用フレームは、前記第1IR画像を生成するフェーズと、前記第2IR画像を生成するフェーズとから構成される、
請求項1に記載の画像処理装置。 - 前記画像補正部は、前記第2IR画像に基づいて前記第1IR画像に含まれる背景光とダーク成分を除去する、
請求項1に記載の画像処理装置。 - 前記画像補正部は、TOFセンサの露光時間をフレームごとに個別に調整する、
請求項1に記載の画像処理装置。 - 前記画像補正部は、前記TOFセンサの露光時間をIR画像用フレームおよびデプス画像用フレームごとに個別に調整する、
請求項4に記載の画像処理装置。 - 前記画像補正部は、前記IR画像用フレームを構成するフェーズの露光時間を前記デプス画像用フレームを構成するフェーズの露光時間よりも長くなるように制御する、
請求項5に記載の画像処理装置。 - 前記画像補正部は、前記TOFセンサの露光時間をIR画像用フレーム、デプス画像用フレーム、および視線検出用フレームごとに個別に調整する、
請求項4に記載の画像処理装置。 - 前記画像補正部は、前記IR画像用フレームを構成するフェーズの露光時間、前記視線検出用フレームを構成するフェーズの露光時間、および前記デプス画像用フレームを構成するフェーズの露光時間の順に長くなるように制御する、
請求項7に記載の画像処理装置。 - 前記第1IR画像に含まれる被写体と、光源の位置関係に応じて補正の方法を選択する補正選択部を更に備える、
請求項1に記載の画像処理装置。 - 前記補正選択部は、前記被写体と、前記光源との距離に応じて補正の方法を選択する、
請求項9に記載の画像処理装置。 - 前記補正選択部は、前記第1IR画像に対して、前記第2IR画像に基づいた補正と、予め記憶部に記憶されたダーク画像に基づいた補正とのいずれかを、前記被写体と前記光源との距離に応じて選択する、
請求項10に記載の画像処理装置。 - 前記補正選択部は、前記第1IR画像に対して、前記被写体と前記光源との距離が閾値以下である場合には前記第2IR画像に基づいた補正を選択し、前記被写体と前記光源との距離が閾値を超えている場合には前記ダーク画像に基づいた補正を選択する、
請求項11に記載の画像処理装置。 - 前記被写体は人物の顔であり、
前記光源は太陽である、
請求項12に記載の画像処理装置。 - TOFセンサと、
前記TOFセンサからの出力に基づいてIR画像用フレーム内でパルス波がオンの状態で撮影された第1IR画像と、前記パルス波がオフの状態で撮影された第2IR画像とを生成する画像生成部と、
前記第2IR画像に基づいて、前記第1IR画像を補正する画像補正部と、
を備える、
電子機器。 - IR画像用フレーム内でパルス波がオンの状態で撮影された第1IR画像と、前記パルス波がオフの状態で撮影された第2IR画像とを生成し、
前記第2IR画像に基づいて、前記第1IR画像を補正する、
画像処理方法。 - コンピュータを、
IR画像用フレーム内でパルス波がオンの状態で撮影された第1IR画像と、前記パルス波がオフの状態で撮影された第2IR画像とを生成する画像生成部と、
前記第2IR画像に基づいて、前記第1IR画像を補正する画像補正部と、
として機能させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE112020004555.2T DE112020004555T5 (de) | 2019-09-26 | 2020-07-29 | Bildverarbeitungsvorrichtung, elektronisches gerät, bildverarbeitungsverfahren und programm |
CN202080065424.XA CN114424522B (zh) | 2019-09-26 | 2020-07-29 | 图像处理装置、电子设备、图像处理方法与程序 |
US17/753,897 US20220360702A1 (en) | 2019-09-26 | 2020-07-29 | Image processing device, electronic equipment, image processing method, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019175291A JP2021051042A (ja) | 2019-09-26 | 2019-09-26 | 画像処理装置、電子機器、画像処理方法及びプログラム |
JP2019-175291 | 2019-09-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021059735A1 true WO2021059735A1 (ja) | 2021-04-01 |
Family
ID=75157662
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/029053 WO2021059735A1 (ja) | 2019-09-26 | 2020-07-29 | 画像処理装置、電子機器、画像処理方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220360702A1 (ja) |
JP (1) | JP2021051042A (ja) |
CN (1) | CN114424522B (ja) |
DE (1) | DE112020004555T5 (ja) |
WO (1) | WO2021059735A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023033057A1 (ja) * | 2021-08-31 | 2023-03-09 | 株式会社アスタリスク | ゲートシステム、セキュリティシステム、及びセンサユニット |
EP4156674A4 (en) * | 2021-08-12 | 2023-10-11 | Honor Device Co., Ltd. | METHOD AND DEVICE FOR DATA COLLECTION |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009014494A (ja) * | 2007-07-04 | 2009-01-22 | Konica Minolta Sensing Inc | 計測装置 |
JP2015170322A (ja) * | 2014-03-10 | 2015-09-28 | 富士通株式会社 | 画像処理装置、生体認証装置、画像処理方法及びプログラム |
JP2016186793A (ja) * | 2012-01-17 | 2016-10-27 | リープ モーション, インコーポレーテッドLeap Motion, Inc. | 物体検出のためのコントラストの改善及び光学画像化による特徴評価 |
WO2019044571A1 (ja) * | 2017-09-01 | 2019-03-07 | ソニー株式会社 | 画像処理装置、および画像処理方法、プログラム、並びに移動体 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015119277A (ja) * | 2013-12-17 | 2015-06-25 | オリンパスイメージング株式会社 | 表示機器、表示方法及び表示プログラム |
WO2016093070A1 (ja) * | 2014-12-10 | 2016-06-16 | ソニー株式会社 | 撮像装置、撮像方法、およびプログラム、並びに画像処理装置 |
JP2017224970A (ja) * | 2016-06-15 | 2017-12-21 | ソニー株式会社 | 画像処理装置、画像処理方法、および撮像装置 |
JP6691101B2 (ja) | 2017-01-19 | 2020-04-28 | ソニーセミコンダクタソリューションズ株式会社 | 受光素子 |
CN106896370B (zh) * | 2017-04-10 | 2023-06-13 | 上海图漾信息科技有限公司 | 结构光测距装置及方法 |
-
2019
- 2019-09-26 JP JP2019175291A patent/JP2021051042A/ja active Pending
-
2020
- 2020-07-29 US US17/753,897 patent/US20220360702A1/en active Pending
- 2020-07-29 CN CN202080065424.XA patent/CN114424522B/zh active Active
- 2020-07-29 DE DE112020004555.2T patent/DE112020004555T5/de active Pending
- 2020-07-29 WO PCT/JP2020/029053 patent/WO2021059735A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009014494A (ja) * | 2007-07-04 | 2009-01-22 | Konica Minolta Sensing Inc | 計測装置 |
JP2016186793A (ja) * | 2012-01-17 | 2016-10-27 | リープ モーション, インコーポレーテッドLeap Motion, Inc. | 物体検出のためのコントラストの改善及び光学画像化による特徴評価 |
JP2015170322A (ja) * | 2014-03-10 | 2015-09-28 | 富士通株式会社 | 画像処理装置、生体認証装置、画像処理方法及びプログラム |
WO2019044571A1 (ja) * | 2017-09-01 | 2019-03-07 | ソニー株式会社 | 画像処理装置、および画像処理方法、プログラム、並びに移動体 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4156674A4 (en) * | 2021-08-12 | 2023-10-11 | Honor Device Co., Ltd. | METHOD AND DEVICE FOR DATA COLLECTION |
WO2023033057A1 (ja) * | 2021-08-31 | 2023-03-09 | 株式会社アスタリスク | ゲートシステム、セキュリティシステム、及びセンサユニット |
Also Published As
Publication number | Publication date |
---|---|
JP2021051042A (ja) | 2021-04-01 |
CN114424522B (zh) | 2024-06-21 |
DE112020004555T5 (de) | 2022-06-15 |
US20220360702A1 (en) | 2022-11-10 |
CN114424522A (zh) | 2022-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9807369B2 (en) | 3D imaging apparatus | |
JP6480441B2 (ja) | 飛行時間型カメラシステム | |
EP2519001B1 (en) | Structured light imaging system | |
US10181485B2 (en) | Solid-state image sensor, electronic apparatus, and imaging method | |
IL276581A (en) | Dual imaging system that includes auto-ficus and methods for operating it | |
US20140198183A1 (en) | Sensing pixel and image sensor including same | |
WO2021059735A1 (ja) | 画像処理装置、電子機器、画像処理方法及びプログラム | |
US20180295274A1 (en) | Image-capturing apparatus and motion detection method | |
JP6716902B2 (ja) | 電子機器 | |
CN113366383B (zh) | 摄像头装置及其自动聚焦方法 | |
US11431911B2 (en) | Imaging device and signal processing device | |
US20210067705A1 (en) | Phase detection autofocus (pdaf) sensor | |
WO2020170969A1 (ja) | 測距装置及び測距装置の制御方法、並びに、電子機器 | |
US11610339B2 (en) | Imaging processing apparatus and method extracting a second RGB ToF feature points having a correlation between the first RGB and TOF feature points | |
WO2020196378A1 (ja) | 距離画像の取得方法、及び、距離検出装置 | |
JP7164579B2 (ja) | 画像センサー及び電子デバイス | |
WO2021059699A1 (ja) | 測距装置及び測距装置の制御方法、並びに、電子機器 | |
WO2020066341A1 (ja) | 合焦度検出装置、深度マップ生成装置、及び、電子機器 | |
CN114599999A (zh) | 移动量估计装置、移动量估计方法、移动量估计程序以及移动量估计*** | |
JP2009010627A (ja) | 固体撮像装置およびこれを用いたカメラ | |
JP7431552B2 (ja) | センサ、センサシステム、および撮像方法 | |
WO2023119918A1 (ja) | 測距装置および電子機器 | |
CN114631310B (zh) | 图像传感器、控制方法、摄像头组件及移动终端 | |
KR20240101035A (ko) | 이미지 프로세서와 그를 포함하는 이미지 처리 시스템 | |
JP2010147880A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20869651 Country of ref document: EP Kind code of ref document: A1 |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20869651 Country of ref document: EP Kind code of ref document: A1 |