WO2021059748A1 - 情報処理装置、補正方法およびプログラム - Google Patents

情報処理装置、補正方法およびプログラム Download PDF

Info

Publication number
WO2021059748A1
WO2021059748A1 PCT/JP2020/029674 JP2020029674W WO2021059748A1 WO 2021059748 A1 WO2021059748 A1 WO 2021059748A1 JP 2020029674 W JP2020029674 W JP 2020029674W WO 2021059748 A1 WO2021059748 A1 WO 2021059748A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
image information
unit
pixel
light receiving
Prior art date
Application number
PCT/JP2020/029674
Other languages
English (en)
French (fr)
Inventor
小野　博明
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/761,936 priority Critical patent/US20220390577A1/en
Priority to KR1020227009318A priority patent/KR20220069944A/ko
Priority to CN202080067172.4A priority patent/CN114521241A/zh
Priority to JP2021548399A priority patent/JPWO2021059748A1/ja
Priority to EP20870098.9A priority patent/EP4036521A4/en
Publication of WO2021059748A1 publication Critical patent/WO2021059748A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement

Definitions

  • This disclosure relates to information processing devices, correction methods and programs.
  • ToF Time of Flight
  • ToF type distance measuring device a distance measuring device that performs ToF type distance measurement
  • the intensity of the light received by the light receiving unit is high, and the amount of light received by the light receiving unit may be saturated.
  • an object of the present disclosure is to provide an information processing device, a correction method, and a program capable of suppressing a decrease in accuracy of an image acquired by a ToF type distance measuring device.
  • an information processing device includes a control unit.
  • the control unit is a light receiving sensor that receives the reflected light reflected from the object to be measured by the emitted light emitted from the light source, and determines the saturation region of the light receiving image information generated based on the pixel signal output by the light receiving sensor. To detect.
  • the pixel signal is used to calculate the distance to the object to be measured.
  • the saturated region is a region of the received image information generated based on the saturated pixel signal.
  • the control unit corrects the received image information in the saturation region based on the pixel signal.
  • the present disclosure is suitable for use in a technique for performing distance measurement using light.
  • an indirect ToF (Time of Flight) method will be described as one of the distance measuring methods applied to the embodiment in order to facilitate understanding.
  • the light source light modulated by PWM Pulse Width Modulation
  • the reflected light is received by the light receiving element, and the received reflection is received.
  • PWM Pulse Width Modulation
  • FIG. 1 is a block diagram showing an example of the configuration of an electronic device using the distance measuring device applied to each embodiment.
  • the electronic device 1 includes a distance measuring device 10 and an application unit 20.
  • the application unit 20 is realized by, for example, operating a program on a CPU (Central Processing Unit), requests the distance measuring device 10 to execute distance measurement, and measures distance information or the like which is the result of distance measurement. Receive from device 10.
  • CPU Central Processing Unit
  • the distance measuring device 10 includes a light source unit 11, a light receiving unit 12, and a distance measuring processing unit 13.
  • the light source unit 11 includes, for example, a light emitting element that emits light having a wavelength in the infrared region, and a drive circuit that drives the light emitting element to emit light.
  • an LED Light Emitting Diode
  • a VCSEL Vertical Cavity Surface Emitting LASER
  • the light emitting element of the light source unit 11 emits light is described as “the light source unit 11 emits light”.
  • the light receiving unit 12 includes, for example, a light receiving element that detects light having a wavelength in the infrared region, and a signal processing circuit that outputs a pixel signal corresponding to the light detected by the light receiving element.
  • a photodiode may be applied as the light receiving element included in the light receiving unit 12.
  • the light receiving element included in the light receiving unit 12 receives light is described as “the light receiving unit 12 receives light”.
  • the distance measurement processing unit 13 executes the distance measurement processing in the distance measurement device 10 in response to a distance measurement instruction from the application unit 20, for example.
  • the distance measuring processing unit 13 generates a light source control signal for driving the light source unit 11 and supplies the light source control signal to the light source unit 11.
  • the distance measuring processing unit 13 controls the light reception by the light receiving unit 12 in synchronization with the light source control signal supplied to the light source unit 11.
  • the distance measuring processing unit 13 generates an exposure control signal for controlling the exposure period in the light receiving unit 12 in synchronization with the light source control signal, and supplies the light receiving unit 12.
  • the light receiving unit 12 outputs a valid pixel signal within the exposure period indicated by the exposure control signal.
  • the distance measuring processing unit 13 calculates the distance information based on the pixel signal output from the light receiving unit 12 in response to the light reception. Further, the distance measuring processing unit 13 may generate predetermined image information based on the pixel signal. The distance measuring processing unit 13 passes the distance information and the image information calculated and generated based on the pixel signal to the application unit 20.
  • the distance measurement processing unit 13 generates a light source control signal for driving the light source unit 11 and supplies the light source control signal to the light source unit 11 in accordance with an instruction from the application unit 20 to execute the distance measurement, for example. ..
  • the distance measuring processing unit 13 generates a light source control signal modulated into a rectangular wave having a predetermined duty by PWM, and supplies the light source control signal to the light source unit 11.
  • the distance measuring processing unit 13 controls the light received by the light receiving unit 12 based on the exposure control signal synchronized with the light source control signal.
  • the light source unit 11 irradiates light modulated according to the light source control signal generated by the distance measuring processing unit 13.
  • the light source unit 11 blinks and emits light according to a predetermined duty according to the light source control signal.
  • the light emitted from the light source unit 11 is emitted from the light source unit 11 as emission light 30.
  • the emitted light 30 is reflected by, for example, the object to be measured 31, and is received by the light receiving unit 12 as the reflected light 32.
  • the light receiving unit 12 supplies a pixel signal corresponding to the light received by the reflected light 32 to the distance measuring processing unit 13.
  • the light receiving unit 12 receives ambient ambient light in addition to the reflected light 32, and the pixel signal includes the component of the ambient light together with the component of the reflected light 32.
  • the distance measuring processing unit 13 executes light reception by the light receiving unit 12 a plurality of times in different phases for each light receiving element.
  • the distance measuring processing unit 13 calculates the distance D to the object to be measured based on the difference between the pixel signals due to the light reception in different phases.
  • the distance measuring processing unit 13 includes the first image information obtained by extracting the component of the reflected light 32 based on the difference of the pixel signals, and the second image information including the component of the reflected light 32 and the component of the ambient light. , Is calculated.
  • the first image information is referred to as reflected light image information
  • the value of each pixel of the reflected light image information is referred to as a pixel value Confidence (or Confidence value).
  • the second image information is referred to as IR image information, and the value of each pixel of the IR image information is referred to as a pixel value IR (or IR value). Further, the reflected light image information and the IR image information are collectively referred to as received image information.
  • FIG. 2 is a diagram for explaining the principle of the indirect ToF method.
  • light modulated by a sine wave is used as the emission light 30 emitted by the light source unit 11.
  • the reflected light 32 is a sine wave having a phase difference phase corresponding to the distance D with respect to the emitted light 30.
  • the distance measuring processing unit 13 samples the pixel signal that has received the reflected light 32 a plurality of times for each phase, and acquires a light amount value (pixel signal value) indicating the amount of light for each sampling.
  • a light amount value pixel signal value
  • the distance information is calculated based on the difference between the light quantity values of the sets whose phases are different by 180 ° among the phases 0 °, 90 °, 180 ° and 270 °.
  • FIG. 3 is a diagram showing an example in which the emitted light 30 from the light source unit 11 is a rectangular wave modulated by PWM.
  • the emitted light 30 by the light source unit 11 and the reflected light 32 reaching the light receiving unit 12 are shown.
  • the light source unit 11 periodically blinks with a predetermined duty to emit the emitted light 30.
  • the phase 0 ° 0 °
  • the phase 90 ° 90 °
  • the phase 180 ° 180 °
  • the period during which the exposure control signal is in the high state is defined as the exposure period during which the light receiving element of the light receiving unit 12 outputs a valid pixel signal.
  • the emission light 30 is emitted from the light source unit 11 at the time point t 0 , and the emission light 30 is applied to the time point t 1 after a delay corresponding to the distance D from the time point t 0 to the object to be measured.
  • the reflected light 32 reflected by the object to be measured reaches the light receiving unit 12.
  • the light receiving unit 12 starts the exposure period having a phase of 0 ° in synchronization with the time point t 0 of the injection timing of the emission light 30 in the light source unit 11 according to the exposure control signal from the distance measuring processing unit 13.
  • the light receiving unit 12 starts the exposure period of phase 90 °, phase 180 ° and phase 270 ° according to the exposure control signal from the distance measuring processing unit 13.
  • the exposure period in each phase follows the duty of the emitted light 30.
  • the exposure periods of the respective phases are shown to be in parallel in time, but in reality, the light receiving unit 12 has the exposure periods of the respective phases sequentially.
  • the specified light intensity values C 0 , C 90 , C 180 and C 270 for each phase are acquired, respectively.
  • the arrival timing of the reflected light 32 is the time point t 1 , t 2 , t 3 , ...
  • the light amount value C 0 at the phase 0 ° is the time point from the time point t 0 to the phase 0 °. It is acquired as an integrated value of the amount of received light up to the end of the exposure period including t 0.
  • the light intensity value C 180 is the fall of the reflected light 32 included in the exposure period from the start of the exposure period at the phase 180 °. It is acquired as an integral value of the amount of received light up to the time point t 2.
  • phase C90 and the phase 270 ° which is 180 ° different from the phase 90 °
  • the period during which the reflected light 32 reaches within each exposure period is the same as in the case of the above-mentioned phases 0 ° and 180 °.
  • the integrated value of the received light amount of is acquired as the light amount values C 90 and C 270.
  • phase difference phase is calculated by the following equation (3).
  • the phase difference phase is defined in the range of (0 ⁇ phase ⁇ 2 ⁇ ).
  • phase tan -1 (Q / I)... (3)
  • the component of the reflected light 32 (pixel value Confidence of the reflected light image information) can be extracted from the component of the light received by the light receiving unit 12.
  • one pixel of the reflected light image information is calculated from the light quantity values C 0 , C 90 , C 180 and C 270 in the four phases of the light receiving unit 12.
  • the light intensity values C 0 , C 90 , C 180 and C 270 for each phase are acquired from the corresponding light receiving elements of the light receiving unit 12.
  • FIG. 4 is a diagram showing an example of the amount of light received by the light receiving unit 12.
  • the pixel signal output by the light receiving unit 12 includes a direct current component such as a so-called dark current (dark noise).
  • the amount of light received by the light receiving unit 12 is the sum of the amount of directly reflected light, the amount of ambient light, and dark noise.
  • FIG. 5 is a diagram for explaining a first method of acquiring each light intensity value and calculating each information applied to each embodiment.
  • the light receiving unit 12 sequentially acquires the respective light intensity values C 0 , C 90 , C 180, and C 270 for each phase.
  • the light receiving unit 12 is exposed at a phase of 0 ° during the period from the time points t 10 to t 11 , and the time points t 12 to t are sandwiched between the time points t 11 and a predetermined time (for example, the processing switching time). Exposure with a phase of 90 ° is performed for 13 periods.
  • light reception is performed at a phase of 180 ° during the period from the time point t 13 to the time point t 14 to t 15 with a predetermined time in between, and during the period from the time point t 15 to the time point t 16 to t 17 with a predetermined time in between.
  • Exposure is performed with a phase of 270 °.
  • the sequence of exposure according to each phase is defined as 1 microframe ( ⁇ Frame).
  • the period of time t 10 ⁇ t 18 becomes the period of one micro-frame.
  • the period of one microframe is shorter than the period of one frame of imaging (for example, 1/30 sec), and the processing of one microframe can be executed a plurality of times within the period of one frame.
  • the ranging processing unit 13 stores, for example, the respective light intensity values C 0 , C 90 , C 180, and C 270 acquired sequentially in each phase, which are acquired within the period of one microframe, in a memory.
  • the distance measuring processing unit 13 calculates the distance information Dept and the pixel value Confidence of the reflected light image information based on the respective light amount values C 0 , C 90 , C 180 and C 270 stored in the memory.
  • FIG. 6 is a diagram for explaining a second method of acquiring each light intensity value and calculating each information applied to each embodiment.
  • the light receiving unit 12 includes two reading circuits (referred to as taps A and tap B) for one light receiving element, and the readings by the taps A and B are sequentially executed (alternately).
  • taps A and tap B the reading circuits for taps A and B are sequentially executed (alternately).
  • the reading method by tap A and tap B is also referred to as a two-tap method.
  • FIG. 6 is a diagram for explaining a second method of acquiring each light intensity value and calculating each information applied to each embodiment.
  • the emitted light 30 by the light source unit 11 and the reflected light 32 reaching the light receiving unit 12 are shown.
  • the light source unit 11 emits emission light 30 that blinks at a predetermined cycle.
  • the light source unit 11 emits the emission light 30 that emits light during the period T in, for example, one cycle.
  • FIG. 6 further shows an exposure control signal (DIMIX_A) at the tap A having a phase of 0 ° of the light receiving unit 12 and an exposure control signal (DIMIX_B) at the tap B.
  • the period in which the exposure control signals (DIMIX_A, DIMIX_B) are in the high state is defined as the exposure period in which the light receiving unit 12 outputs a valid pixel signal.
  • DIMIX_A and DIMIX_B are exposure control signals having an exposure period according to the duty of the emission light 30. Further, DIMIX_A and DIMIX_B are signals whose phases are 180 ° out of phase with each other.
  • the light receiving unit 12 starts the exposure period according to the exposure control signal (DIMIX_A) from the distance measuring processing unit 13 in synchronization with the time point t 10 of the injection timing of the emitted light 30 in the light source unit 11.
  • the light receiving unit 12 starts the exposure period according to the exposure control signal (DIMIX_B) from the distance measuring processing unit 13 in synchronization with the time point t 12 whose phase is 180 ° different from that of DIMIX_A.
  • the light receiving unit 12 acquires the light intensity values (pixel signals) A 0 and B 0 for each of the taps A and B having a phase of 0 °.
  • the arrival timing of the reflected light 32 is the time point t 11 , t 14 , t 13 , ...
  • the light amount value A 0 at the tap A having a phase of 0 ° is the corresponding time point t 10 to DIMIX_A. It is acquired as an integral value of the amount of received light up to the end point t 12 of the exposure period including the time point t 0.
  • the light quantity value B 0 is, from the start t 12 of the exposure period in the DIMIX_B, reflected light included in the exposure period 32 is obtained as the integral value of the amount of light received to the time t 13 the fall of the.
  • the light intensity values A 0 and B 0 are acquired in the same manner after the arrival timing t 14 of the next reflected light 32.
  • the light amount values A 0 and B 0 acquired by the light receiving unit 12 using the exposure control signals (DIMIX_A, DIMIX_B) having a phase of 0 ° have been described.
  • the light receiving unit 12 uses the exposure control signals (DIMIX_A, DIMIX_B) of each of the phases 90 °, 180 °, and 270 °, and the light intensity values A 90 , B 90 , A 180 , B 180 , and A 270. , Get B 270 .
  • FIG. 7 is a diagram showing an example of an exposure control signal in each phase.
  • ⁇ 270 °)
  • the exposure control signals (DIMIX_A, DIMIX_B) for each are shown.
  • DIMIX_A having a phase of 90 ° is an exposure control signal having a phase shifted by 90 ° from the emission timing of the emission light 30, and DIMIX_B having a phase of 90 ° is an exposure control signal having a phase 180 ° different from that of DIMIX_A having a phase of 90 °.
  • DIMIX_A having a phase of 180 ° is an exposure control signal having a phase 180 ° out of phase with the emission timing of the emission light 30, and DIMIX_B having a phase of 180 ° is an exposure control signal having a phase 180 ° different from that of DIMIX_A having a phase of 180 °. Is.
  • DIMIX_A having a phase of 270 ° is an exposure control signal having a phase shifted by 270 ° from the emission timing of the emission light 30, and DIMIX_B having a phase of 270 ° is an exposure control signal having a phase 180 ° different from that of DIMIX_A having a phase of 270 °. ..
  • the exposure period in each phase follows the duty of the emitted light 30.
  • FIG. 8 is a diagram showing an example of the exposure period of tap A and tap B at each phase of 0 °, 90 °, 180 ° and 270 ° of each light receiving unit 12 (each light receiving element).
  • the exposure periods of each phase are shown side by side in parallel with each other in phase.
  • exposures by taps A and B with phases 0 ° are sequentially (alternately) performed.
  • the exposure by tap A and tap B having a phase of 180 ° is delayed by 180 ° from the exposure by tap A and tap B having a phase of 0 °, and the exposure by tap A and tap B is executed sequentially.
  • the phases of the exposure period of the tap A at the phase 0 ° and the exposure period of the tap B at the phase 180 ° coincide with each other.
  • the phase of the exposure period by tap B at phase 0 ° and the exposure period by tap A at phase 180 ° coincide with each other.
  • FIG. 9 is a diagram for explaining the light receiving timing by the light receiving unit 12. As shown in FIG. 9, the light receiving unit 12 sequentially executes reading of tap A and tap B in each phase. Further, the light receiving unit 12 sequentially executes reading of each phase within a period of 1 microframe.
  • the light receiving unit 12 performs exposure at a phase of 0 ° during the period from time points t 20 to t 21.
  • the distance measuring processing unit 13 obtains a light amount value A 0 and a light amount value B 0 , respectively, based on the pixel signals read by the tap A and the tap B respectively.
  • the light receiving unit 12 performs exposure at a phase of 90 ° during a period from time points t 22 to t 23 with a predetermined time from time point t 21.
  • the distance measuring processing unit 13 obtains the light amount value A 90 and the light amount value B 90 , respectively, based on the pixel signals read by the tap A and the tap B respectively.
  • the distance measuring processing unit 13 obtains the light amount value A 180 and the light amount value B 180 , respectively, based on the pixel signals read by the tap A and the tap B, respectively. Further, the light receiving unit 12 performs exposure at a phase of 270 ° during a period from time point t 26 to t 27 with a predetermined time between the time point t 25. The distance measuring processing unit 13 obtains the light amount value A 270 and the light amount value B 270 , respectively, based on the pixel signals read by the tap A and the tap B respectively.
  • the readings by taps A and B are sequentially executed for each of the phases 0 °, 90 °, 180 ° and 270 ° shown in FIG. 9, and the light intensity values based on the readings of taps A and B for each phase are further executed.
  • the method of obtaining the above is called a 2-tap method (4 phase).
  • the differences I and Q are calculated using the following equations (7) using the respective light intensity values A 0 and B 0 , A 90 and B 90 , A 180 and B 180 , and A 270 and B 270. ) And (8).
  • the pixel value confidence of the phase difference phase, the distance information depth, and the reflected light image information is determined by the above equations (3), (4), and the above-mentioned equations (3), (4), and the difference I and Q calculated by these equations (7) and (8). Calculated according to (6).
  • the exposure period in each phase is made redundant by tap A and tap B. Therefore, it is possible to improve the calculated distance information depth and the S / N ratio of the reflected light image information.
  • FIG. 10 is a diagram for explaining a third method of acquiring each light intensity value and calculating each information applied to each embodiment.
  • the light receiving unit 12 includes taps A and B as in the second method described above, and is different from the second method in that reading from the taps A and B is sequentially executed. It is the same.
  • the third method is different from the second method in that the light receiving unit 12 sequentially executes the above-mentioned readings of the phases 0 ° and 90 ° and does not execute the readings of the phases 180 ° and 270 °.
  • the light receiving unit 12 includes taps A and B as in the second method described above, and sequentially executes reading from the taps A and B. Further, the light receiving unit 12 sequentially executes reading of the phases 0 ° and 90 ° out of the above-mentioned phases 0 °, 90 °, 180 ° and 270 °.
  • the period of reading out the phases of 0 ° and 90 ° is defined as a period of 1 microframe.
  • the read sequence is the same sequence as the time points t 20 to 24 in FIG. 9 described above. That is, the light receiving unit 12 performs exposure at a phase of 0 ° during the period from time point t 30 to t 31.
  • the distance measuring processing unit 13 obtains a light amount value A 0 and a light amount value B 0 , respectively, based on the pixel signals read by the tap A and the tap B respectively.
  • the light receiving unit 12 performs exposure at a phase of 90 ° during a period from time point t 32 to t 33 with a predetermined time from time point t 31.
  • the distance measuring processing unit 13 obtains the light amount value A 90 and the light amount value B 90 , respectively, based on the pixel signals read by the tap A and the tap B respectively.
  • the readings by taps A and B are sequentially executed for each of the phases 0 ° and 90 shown in FIG. 10, and the respective light intensity values based on the readings of taps A and B are obtained for each of the phases 0 ° and 90 °.
  • the method is called a 2-tap method (2 phase).
  • the exposure control signals DIMIX_A and DIMIX_B in tap A and tap B of each phase are signals whose phases are inverted. Therefore, DIMIX_A having a phase of 0 ° and DIMIX_B having a phase of 180 ° are signals having the same phase. Similarly, DIMIX_B having a phase of 0 ° and DIMIX_A having a phase of 180 ° are signals having the same phase. Further, DIMIX_A having a phase of 90 ° and DIMIX_B having a phase of 270 ° are signals having the same phase, and DIMIX_B having a phase of 90 ° and DIMIX_A having a phase of 270 ° are signals having the same phase.
  • the light quantity value B 0 is the same as the read value of the light receiving unit 12 in the phase 180 °
  • the light quantity value B 90 is the same as the read value of the light receiving unit 12 in the phase 270 °.
  • the phase 90 ° it corresponds to executing the reading of the phase 90 ° and the phase 270 ° whose phase is 180 ° different from the phase 90 °.
  • the exposure period of the tap B in the phase 0 ° can be said to be the exposure period in the phase 180 °. Further, it can be said that the exposure period of the tap B in the phase 90 ° is the exposure period in the phase 270 °. Therefore, in the case of this third method, the differences I and Q are calculated by the following equations (9) and (10) using the respective light intensity values A 0 and B 0 , and A 90 and B 90.
  • the pixel value confidence of the phase difference phase, the distance information depth, and the reflected light image information is determined by the above equations (3), (4), and the above equations (3), (4), and the difference I and Q calculated by these equations (9) and (10). It can be calculated by (6).
  • the IR image information is image information including the component of the reflected light 32 and the component of the ambient light.
  • the light received by the light receiving unit 12 includes a direct current component such as a dark current (dark noise) in addition to the reflected light 32 component and the ambient light component. Therefore, the IR image information is calculated by subtracting the DC component from the pixel signal output by the light receiving unit 12. Specifically, the pixel value IR of the IR image information is calculated using the following equation (11).
  • C FPN , A FPN and B FPN are direct current components such as dark current (dark noise) and are fixed pattern noise.
  • C FPN , A FPN and B FPN shall be obtained in advance by experiments, simulations, etc.
  • C FPN , A FPN, and B FPN may be used as pixel signals output from the light receiving unit 12, for example, when the light receiving unit 12 is not receiving light.
  • the pixel signal is acquired by the distance measuring device 10 acquiring the signal output from the light receiving unit 12 before the light source unit 11 emits the emitted light 30.
  • the pixel value IR of the IR image information in the phase 0 ° is calculated has been described, but the pixels of the IR image information in other phases (phases 90 °, 180 ° and 270 °) are similarly described.
  • the value IR may be calculated.
  • the average value of the pixel value IR calculated for each phase may be used as the pixel value IR of the IR image information calculated from the reflected light 32.
  • FIG. 11 is a block diagram showing a configuration of an example of an electronic device applied to each embodiment.
  • the electronic device 1 has a CPU (Central Processing Unit) 100, a ROM (Read Only Memory) 101, a RAM (Random Access Memory) 102, a storage 103, a UI (User Interface) unit 104, and an interface. (I / F) 105 and.
  • the electronic device 1 includes a light source unit 110 and a sensor unit 111 corresponding to the light source unit 11 and the light receiving unit 12 of FIG. 1, respectively.
  • a smartphone multifunctional mobile phone terminal
  • a tablet-type personal computer can be considered.
  • the device to which the electronic device 1 is applied is not limited to these smartphones and tablet-type personal computers.
  • the storage 103 is a non-volatile storage medium such as a flash memory or a hard disk drive.
  • the storage 103 can store various data and a program for operating the CPU 100. Further, the storage 103 can store an application program (hereinafter, abbreviated as an application) for realizing the application unit 20 described with reference to FIG.
  • the ROM 101 stores in advance a program and data for operating the CPU 100.
  • the RAM 102 is a volatile storage medium for storing data.
  • the CPU 100 operates using the RAM 102 as a work memory according to a program stored in the storage 103 or the ROM 101, and controls the overall operation of the electronic device 1.
  • the UI unit 104 is provided with various controls for operating the electronic device 1, display elements for displaying the status of the electronic device 1, and the like.
  • the UI unit 104 may further include a display that displays an image captured by the sensor unit 111, which will be described later.
  • the display may be a touch panel in which a display device and an input device are integrally formed, and various controls may be configured by each component displayed on the touch panel.
  • the light source unit 110 includes a light emitting element such as an LED or a VCSEL, and a driver for driving the light emitting element.
  • the driver generates a drive signal having a predetermined duty according to the instruction of the CPU 100.
  • the light emitting element emits light according to a drive signal generated by the driver, and emits light modulated by PWM as emission light 30.
  • the sensor unit 111 drives a pixel array unit in which a plurality of light receiving elements are arranged in an array, and a plurality of light receiving elements arranged in the pixel array unit, and outputs a pixel signal read from each light receiving element. Including the circuit.
  • the pixel signal output from the sensor unit 111 is supplied to the CPU 100.
  • FIG. 12 is a block diagram showing an example of the configuration of the sensor unit 111 applied to each embodiment.
  • the sensor unit 111 has a laminated structure including a sensor chip 1110 and a circuit chip 1120 laminated on the sensor chip 1110.
  • the sensor chip 1110 and the circuit chip 1120 are electrically connected through a connecting portion (not shown) such as a via (VIA) or a Cu—Cu connection.
  • a connecting portion such as a via (VIA) or a Cu—Cu connection.
  • VIA via
  • FIG. 8 the state in which the wiring of the sensor chip 1110 and the wiring of the circuit chip 1120 are connected by the connection portion is shown.
  • the pixel area 1111 includes a plurality of pixels 1112 arranged in an array on the sensor chip 1110. For example, one frame of image signal is formed based on the pixel signals output from the plurality of pixels 1112 included in the pixel area 1111.
  • Each pixel 1112 arranged in the pixel area 1111 is capable of receiving infrared light, for example, performs photoelectric conversion based on the received infrared light, and outputs an analog pixel signal.
  • Two vertical signal lines VSL 1 and VSL 2 are connected to each pixel 1112 included in the pixel area 1111.
  • a vertical drive circuit 1121 In the sensor unit 111, a vertical drive circuit 1121, a column signal processing unit 1122, a timing control circuit 1123, and an output circuit 1124 are further arranged on the circuit chip 1120.
  • the timing control circuit 1123 controls the drive timing of the vertical drive circuit 1121 according to the element control signal supplied from the outside via the control line 150. Further, the timing control circuit 1123 generates a vertical synchronization signal based on the element control signal.
  • the column signal processing unit 1122 and the output circuit 1124 execute their respective processes in synchronization with the vertical synchronization signal generated by the timing control circuit 1123.
  • each pixel 1112 includes two taps A (TAP_A) and taps B (TAP_B) that accumulate charges generated by photoelectric conversion, respectively.
  • the vertical signal line VSL 1 is connected to tap A of pixel 1112, and the vertical signal line VSL 2 is connected to tap B of pixel 1112.
  • the vertical signal line VSL 1 outputs a pixel signal AIN P1 which is an analog pixel signal based on the charge of tap A of the pixel 1112 of the corresponding pixel sequence. Further, the vertical signal line VSL 2 outputs a pixel signal AIN P2 which is an analog pixel signal based on the charge of the tap B of the pixel 1112 of the corresponding pixel string.
  • the vertical drive circuit 1121 drives each pixel 1112 included in the pixel area 1111 in units of pixel rows according to the timing control by the timing control circuit 1123, and outputs the pixel signals AIN P1 and AIN P2.
  • the pixel signals AIN P1 and AIN P2 output from each pixel 1112 are supplied to the column signal processing unit 1122 via the vertical signal lines VSL 1 and VSL 2 of each column.
  • the column signal processing unit 1122 includes, for example, a plurality of AD converters provided for each pixel sequence corresponding to the pixel array of the pixel area 1111. Each AD converter included in the column signal processing unit 1122 performs AD conversion on the pixel signals AIN P1 and AIN P2 supplied via the vertical signal lines VSL 1 and VSL 2 , and is converted into a digital signal.
  • the pixel signals AIN P1 and AIN P2 are supplied to the output circuit 1124.
  • the output circuit 1124 executes signal processing such as CDS (Correlated Double Sampling) processing on the pixel signals AIN P1 and AIN P2 converted into digital signals output from the column signal processing unit 1122, and performs signal processing.
  • the pixel signals AIN P1 and AIN P2 are output to the outside of the sensor unit 111 via the output line 51 as pixel signals read from tap A and pixel signals read from tap B, respectively.
  • FIG. 13 is a circuit diagram showing a configuration of an example of pixels 1112 applied to each embodiment.
  • Pixels 1112 are photodiodes 231 and two transfer transistors 232 and 237, two reset transistors 233 and 238, two stray diffusion layers 234 and 239, two amplification transistors 235 and 240, and two selection transistors 236 and 241. including.
  • the floating diffusion layers 234 and 239 correspond to the above-mentioned tap A (described as TAP_A) and tap B (described as TAP_B), respectively.
  • the photodiode 231 is a light receiving element that generates an electric charge by photoelectrically converting the received light.
  • the photodiode 231 is arranged on the back surface with respect to the front surface, with the surface on which the circuit is arranged on the semiconductor substrate as the front surface.
  • Such a solid-state image sensor is called a back-illuminated solid-state image sensor.
  • a front-illuminated type configuration in which the photodiode 231 is arranged on the surface can also be used.
  • the overflow transistor 242 is connected between the cathode of the photodiode 231 and the power supply line VDD, and has a function of resetting the photodiode 231. That is, the overflow transistor 242 is turned on according to the overflow gate signal OFG supplied from the vertical drive circuit 1121, so that the electric charge of the photodiode 231 is sequentially discharged to the power supply line VDD.
  • the transfer transistor 232 is connected between the cathode of the photodiode 231 and the floating diffusion layer 234. Further, the transfer transistor 237 is connected between the cathode of the photodiode 231 and the floating diffusion layer 239. The transfer transistors 232 and 237 sequentially transfer the charges generated by the photodiode 231 to the stray diffusion layers 234 and 239 in response to the transfer signal TRG supplied from the vertical drive circuit 1121, respectively.
  • the floating diffusion layers 234 and 239 corresponding to the tap A and the tap B accumulate the electric charge transferred from the photodiode 231 and convert it into a voltage signal having a voltage value corresponding to the accumulated electric charge, which is an analog pixel signal.
  • the pixel signals AIN P1 and AIN P2 are generated, respectively.
  • two reset transistors 233 and 238 are connected between the power supply line VDD and the floating diffusion layers 234 and 239, respectively.
  • the reset transistors 233 and 238 are turned on in response to the reset signals RST and RST p supplied from the vertical drive circuit 1121 to extract charges from the floating diffusion layers 234 and 239, respectively, and the floating diffusion layers 234 and 239. To initialize.
  • the two amplification transistors 235 and 240 are connected between the power supply line VDD and the selection transistors 236 and 241 respectively. Each amplification transistor 235 and 240 amplifies a voltage signal whose charge is converted into a voltage at each of the floating diffusion layers 234 and 239, respectively.
  • the selection transistor 236 is connected between the amplification transistor 235 and the vertical signal line VSL 1. Further, the selection transistor 241 is connected between the amplification transistor 240 and the vertical signal line VSL 2. The selection transistors 236 and 241 are turned on according to the selection signals SEL and SEL p supplied from the vertical drive circuit 1121 to obtain the pixel signals AIN P1 and AIN P2 amplified by the amplification transistors 235 and 240, respectively. , Output to the vertical signal line VSL 1 and the vertical signal line VSL 2, respectively.
  • the vertical signal line VSL 1 and the vertical signal line VSL 2 connected to the pixel 1112 are connected to the input end of one AD converter included in the column signal processing unit 1122 for each pixel sequence.
  • the vertical signal line VSL 1 and the vertical signal line VSL 2 supply the pixel signals AIN P1 and AIN P2 output from the pixel 1112 to the AD converter included in the column signal processing unit 1122 for each pixel row.
  • the laminated structure of the sensor unit 111 will be schematically described with reference to FIGS. 14 and 15.
  • the sensor unit 111 is formed by a two-layer structure in which semiconductor chips are laminated in two layers.
  • FIG. 14 is a diagram showing an example in which the sensor unit 111 applied to each embodiment is formed by a two-layer structure laminated CIS (Complementary Metal Oxide Semiconductor Image Sensor).
  • the pixel area 1111 is formed on the semiconductor chip of the first layer which is the sensor chip 1110, and the circuit portion is formed on the semiconductor chip of the second layer which is the circuit chip 1120.
  • the circuit unit includes, for example, a vertical drive circuit 1121, a column signal processing unit 1122, a timing control circuit 1123, and an output circuit 1124.
  • the sensor chip 1110 may include a pixel area 1111 and, for example, a vertical drive circuit 1121.
  • the sensor unit 111 is configured as one solid-state image sensor by bonding the sensor chip 1110 and the circuit chip 1120 while electrically contacting each other.
  • the sensor unit 111 is formed by a three-layer structure in which semiconductor chips are laminated in three layers.
  • FIG. 15 is a diagram showing an example in which the sensor unit 111 applied to each embodiment is formed by a laminated CIS having a three-layer structure.
  • the pixel area 1111 is formed on the semiconductor chip of the first layer, which is the sensor chip 1110.
  • the circuit chip 1120 described above is divided into a first circuit chip 1120a made of a semiconductor chip of the second layer and a second circuit chip 1120b made of a semiconductor chip of the third layer.
  • the sensor unit 111 is attached to one solid by attaching the sensor chip 1110, the first circuit chip 1120a, and the second circuit chip 1120b to each other while making electrical contact with each other. It is configured as an image sensor.
  • the distance measuring device generates reflected light image information in addition to the distance D to the object to be measured based on the reflected light 32 received by the light receiving unit 12. At this time, for example, if the intensity of the reflected light 32 received by the light receiving unit 12 is high and the light intensity is saturated, the accuracy of generating the reflected light image information may decrease.
  • the reflected light image information when the light intensity is saturated will be described with reference to FIG. 16, and a method for correcting the reflected light image information will be described. Note that FIG. 16 is a diagram for explaining an outline of the correction method according to the first embodiment of the present disclosure.
  • the reflected light 32 includes ambient light and dark noise in addition to the directly reflected light reflected by the object to be measured 31.
  • the intensity of the reflected light 32 received by the light receiving unit 12 becomes high, and the light intensity values C 0 , C 90 , C 180 and C 270 may be saturated.
  • the intensity of the reflected light 32 received by the light receiving unit 12 is high.
  • the light intensity values C 0 , C 90 , C 180 and C 270 may be saturated.
  • the intensity of the reflected light 32 received by the light receiving unit 12 is high, and the light intensity values C 0 , C 90 , C 180 and C 270 are saturated at the light intensity value C max. It shall be.
  • the pixel value Confidence of the reflected light image information is calculated by the above-mentioned equations (5) to (8).
  • the I and Q components become zero, and the pixel value Confidence of the reflected light image information also becomes zero.
  • the pixel value Confidence of the corresponding reflected light image information becomes zero, for example, as shown in image I2 of FIG. Region R sa (hereinafter, also referred to as saturated region R sa) is generated. As shown in the graph G2 of FIG.
  • the graph G2 is a graph showing the pixel value Confidence of the reflected light image information in the line segment AA'of the image I2.
  • the reflected light image information is discontinuous in this way, a problem may occur in the processing by the application unit 20.
  • the application unit 20 recognizes the saturated region R sa of the reflected light image information as a feature, an error may occur in the recognition result of the reflected light image information.
  • the application unit 20 performs face recognition using reflected light image information, if the saturated region R sa is recognized as a facial feature (for example, a mole), face recognition may not be performed correctly. ..
  • the discontinuity of the reflected light image information is eliminated by correcting the pixel value Confidence in the saturation region R sa of the reflected light image information. As a result, it is possible to suppress a decrease in the generation accuracy of the reflected light image information and suppress the occurrence of a defect in the application unit 20.
  • the pixel value Confidence in the saturation region R sa of the reflected light image information is corrected from zero to a predetermined value.
  • the correction value P max1 of the pixel value Confidence is larger than the pixel values P b1 of the non-saturated region R nsa and the pixel values P b of M b2 in contact with the saturated region R sa (P max1 >. P b ).
  • the discontinuity of the reflected light image information can be eliminated.
  • the boundary line is shown by a black line in order to make the boundary between the saturated region R sa and the non-saturated region R n sa easy to understand.
  • FIG. 17 is a functional block diagram of an example for explaining the function of the distance measuring device according to the first embodiment of the present disclosure.
  • the distance measuring device 10a includes a light source unit 11, a light receiving unit 12, a control unit 40, a distance measuring unit 50, and a correction unit 60.
  • the light source unit 11, the light receiving unit 12, the control unit 40, the distance measuring unit 50, and the correction unit 60 are, for example, a predetermined program on the CPU 100 (see FIG. 11). Consists of operating.
  • control unit 40 the distance measuring unit 50, and the correction unit 60 may be configured by a hardware circuit that operates in cooperation with each other.
  • the device including the control unit 40, the distance measuring unit 50, and the correction unit 60 is also simply referred to as an information processing device.
  • the two-tap method (4 phase) is applied to the acquisition of each light intensity value and the calculation of each information at each phase 0 °, 90 °, 180 ° and 270 ° in the light receiving unit 12. To do.
  • each light amount value may be acquired and each information may be calculated by using a method other than the 2-tap method (4 phase).
  • the control unit 40 generates a light source control signal and supplies it to the light source unit 11.
  • the light source control signal includes information that specifies, for example, the duty in PWM modulation, the intensity of light emitted by the light source unit 11, the timing of emission, and the like.
  • the light source unit 11 emits the emission light 30 (see FIG. 1) modulated by PWM in response to the light source control signal supplied from the control unit 40.
  • control unit 40 generates an exposure control signal and supplies it to the light receiving unit 12.
  • the exposure control signal includes information that controls the light receiving unit 12 to perform exposure with an exposure length according to the duty of the light source unit 11 in different phases. Further, the exposure control signal further includes information for controlling the exposure amount in the light receiving unit 12.
  • the pixel signals of each phase output from the light receiving unit 12 are supplied to the distance measuring unit 50.
  • the distance measuring unit 50 calculates the pixel value Confidence of the distance information depth and the reflected light image information based on the pixel signals of each phase supplied from the light receiving unit 12.
  • the distance measuring unit 50 passes the calculated distance information depth and the pixel value Confidence of the reflected light image information to, for example, the application unit 20.
  • FIG. 18 is a diagram for explaining a method of calculating the pixel value Confidence of the reflected light image information in the 2-tap method (4 phase).
  • the pixel signal used for calculating the distance D1 to the object to be measured 31A and the pixel signal used to calculate the distance D2 to the object to be measured 31B are shown for each tap of each phase.
  • the object to be measured 31A and the object to be measured 31B may be different objects to be measured arranged in the same space. Alternatively, the same object to be measured may be measured in different frames, or the same object to be measured may be measured in different places.
  • the pixel signal includes a directly reflected light component, an ambient light component, and a dark noise component.
  • the pixel value Confidence of the reflected light image information is calculated from the components of the directly reflected light. Specifically, as described above, the pixel value Confidence of the reflected light image information is calculated using the following equations (5), (7) and (8).
  • I (A 0- B 0 )-(A 180- B 180 ) ... (7)
  • the pixel signal used for calculating the distance D2 is not saturated.
  • the pixel signal used for calculating the distance D1 is saturated with the tap A having a phase of 0 ° and the tap B having a phase of 180 °. Therefore, the pixel value Confidence of the reflected light image information corresponding to the distance D2 can be calculated with high accuracy, but the pixel value Confidence of the reflected light image information corresponding to the distance D1 cannot be calculated with high accuracy. Therefore, in the present embodiment, when the light receiving element of the light receiving unit 12 is saturated, the correction unit 60 corrects the pixel value Confidence of the reflected light image information, and the control unit 40 adjusts the control signal in the next frame.
  • control unit 40 controls the exposure amount in the light receiving unit 12 based on each pixel signal of each phase (for example, phases 0 °, 90 °, 180 ° and 270 °) supplied from the light receiving unit 12.
  • This control signal generated by the control unit 40 is for the distance measuring unit 50 to appropriately calculate the distance information depth regardless of the scene to be imaged.
  • the control unit 40 generates a control signal so as to adjust each light amount value based on the pixel signal of each phase to a value within an appropriate range.
  • one or more pixel signals among the pixel signals corresponding to each phase are saturated, or the level is equal to or less than a predetermined level.
  • the differences I and Q may not be calculated appropriately.
  • the reliability of the distance information depth calculated by the distance measuring unit 50 based on the differences I and Q is also low.
  • control unit 40 obtains a control signal for controlling each light amount value based on each pixel signal of each phase to a value within an appropriate range.
  • the control unit 40 controls the gain and exposure time of the light receiving unit 12 and the duty and intensity of light emission by the light source unit 11 based on the obtained control signal, and adjusts the amount of light received by the light receiving unit 12 to be appropriate. To do.
  • the control unit 40 when the reflectance of the object to be measured 31 is low, or when the distance indicated in the distance information depth calculated by the distance measuring unit 50 is equal to or greater than a predetermined distance, the S / N of the calculated distance information depth becomes low. The accuracy of this distance information depth is reduced.
  • the control unit 40 generates a control signal for controlling the light receiving unit 12 so that the exposure time by the light receiving unit 12 becomes longer in order to maintain the S / N of the distance information depth calculated by the distance measuring unit 50. To do.
  • the control unit 40 stores the generated control signal in a register (not shown) or the like.
  • the control unit 40 executes light emission by the light source unit 11 and light reception by the light receiving unit 12 at predetermined frame intervals.
  • the control unit 40 performs processing for one frame based on the control information stored in the register, obtains a control signal based on the processing result, and updates the control signal stored in the register.
  • the correction unit 60 corrects the pixel value Confidence of the reflected light image information by using each pixel signal of each phase.
  • the correction unit 60 includes a saturation region detection unit 61, a saturation value estimation unit 62, and a saturation region compensation unit 63.
  • the saturation region detection unit 61 detects the saturation region R sa of the reflected light image information.
  • the pixel signal output by the light receiving element of the light receiving unit 12 includes saturation information indicating whether or not the pixel signal is saturated.
  • the saturation region detection unit 61 detects the saturation region R sa by detecting a light receiving element in which the pixel signal is saturated based on the saturation information.
  • the saturated region detection unit 61 may detect the saturated light receiving element, that is, the saturated region R sa , by determining whether or not the value is the value when the pixel signal is saturated.
  • the saturation region detection unit 61 detects the saturation region R sa by determining whether or not the pixel value Confidence of the reflected light image information is saturated (for example, the pixel value Confidence is zero). It may be.
  • the saturation value estimation unit 62 estimates a correction value used for correction of the pixel value Confidence of the reflected light image information by the saturation region compensation unit 63. Saturated value estimating unit 62, the pixel value Confidence of non-saturation region R nsa adjacent to the saturation region R sa ambient, i.e., based on the pixel signal does not saturate adjacent to the saturation region R sa ambient, to estimate the correction value.
  • FIG. 19 is a diagram for explaining the correction value estimated by the saturation value estimation unit 62.
  • the saturated region is displayed in white, and the non-saturated region adjacent to the periphery of the saturated region is indicated by a black line.
  • the saturation value estimation unit 62 corrects, for example, based on the average value of the pixel value Confidence of the non-saturation region R nsa (the region shown by the black line in FIG. 19) adjacent (located) around the first saturation region R sa1. Estimate the value.
  • the saturation value estimation unit 62 detects the boundary between the first saturated region R sa1 and the non-saturated region R nsa by scanning the reflected light image information in a matrix for each row or column, for example.
  • the saturation value estimation unit 62 detects the pixel value Confidence of the non-saturation region R nsa at the detected boundary.
  • the saturation value estimation unit 62 is adjacent to the periphery of the first saturation region R sa1 by detecting the pixel value Confidence of the non-saturation region R nsa adjacent to the first saturation region R sa1 for all rows and all columns. All the pixel value Confidence of the non-saturated region R nsa is detected. Saturated value estimating unit 62, the non-saturation region R nsa adjacent the average value of the pixel values Confidence of all the non-saturation region R nsa detected around the first saturation region R sa1 (region indicated by a white line in FIG. 19) It is calculated as the average value of the pixel value Confidence of.
  • the saturation value estimation unit 62 sets a value obtained by adding a constant value to the average value of the pixel value Confidence of the non-saturation region R nsa (the region shown by the white line in FIG. 19) adjacent to the periphery of the first saturation region R sa1. Estimate as a correction value.
  • the saturation value estimation unit 62 estimates the correction value of the second saturation region R sa2 in the same manner as the first saturation region R sa1.
  • the saturation region compensation unit 63 corrects the pixel value Confidence of the saturation region R sa detected by the saturation region detection unit 61 with the correction value estimated by the saturation value estimation unit 62. As shown in FIG. 20, for example, the saturation region compensation unit 63 corrects the pixel value Confidence by replacing the pixel value Confidence of the saturation region R sa with a correction value.
  • FIG. 20 is a diagram for explaining the correction of the pixel value Confidence by the saturation region compensation unit 63.
  • FIG. 20 for example, among the reflected light image information arranged in a matrix, the reflected light image information in a predetermined line is shown.
  • the graph shown on the left side of FIG. 20 is a graph showing the reflected light image information before correction.
  • the saturation region compensation unit 63 replaces the pixel value Confidence of the reflected light image information in the saturation region R sa with a correction value. Thereby, the discontinuity of the reflected light image information can be improved.
  • FIG. 21 is a diagram showing an example of reflected light image information before correction by the saturation region compensation unit 63.
  • a black saturated region R sa is generated in the reflected light image information I5.
  • the saturated region R sa is generated in the reflected light image information I5 in this way, for example, the accuracy of face recognition by the application unit 20 in the subsequent stage may decrease. This is because the application unit 20 may recognize the saturated region R sa as a feature of the reflected light image information I5.
  • the saturation region compensation unit 63 corrects the pixel value Confidence in the saturation region R sa of the reflected light image information.
  • FIG. 22 is a diagram showing an example of the reflected light image information corrected by the saturation region compensation unit 63. As shown in the reflected light image information I6 of FIG. 22, the saturation region compensation unit 63 corrects the saturation region R sa , so that the saturation region R sa, which was displayed in black in FIG. 21, is displayed in white. That is, by correcting such saturation region R sa is displayed in white, it is possible to eliminate discontinuity between saturation region R sa and non-saturation region R nsa.
  • the saturation region compensation unit 63 corrects the discontinuity of the reflected light image information to suppress a decrease in the accuracy of the reflected light image information and suppress a defect (for example, a decrease in the face recognition system) caused by the application unit 20. be able to.
  • FIG. 23 is a flowchart showing an example of the correction process in the distance measuring device 10a according to the first embodiment. Such correction processing is started, for example, by passing an image pickup start instruction instructing the start of imaging (distance measurement) to the distance measuring device 10a from the application unit 20.
  • control unit 40 of the distance measuring device 10a controls the light source unit 11 and the light receiving unit 12 based on the control signal stored in the register to perform imaging (step S101).
  • the pixel signals of each phase obtained by imaging are passed from the light receiving unit 12 to the control unit 40, the distance measuring unit 50, and the correction unit 60.
  • the distance measuring unit 50 of the distance measuring device 10a calculates the pixel value Confidence of the distance information depth and the reflected light image information based on the imaging result imaged in step S101 (step S102).
  • the distance measuring unit 50 of the distance measuring device 10a outputs the calculated distance information depth to, for example, the application unit 20, and outputs the pixel value Confidence of the reflected light image information to the application unit 20 and the correction unit 60.
  • the saturation region detection unit 61 of the distance measuring device 10a calculates the saturation region R sa of the reflected light image information based on the imaging result imaged in step S101 (step S103).
  • the saturation region detection unit 61 calculates the saturation region R sa of the reflected light image information by detecting the light receiving element in which the pixel signal is saturated.
  • the saturation value estimation unit 62 of the distance measuring device 10a calculates a correction value based on the saturation region R sa calculated in step S103 and the pixel value Confidence of the reflected light image information calculated in step S102 (step S104). More specifically, the saturation value estimation unit 62 estimates as a correction value a value obtained by adding a predetermined value to the average value of the pixel value Confidence of the reflected light image information of the non-saturation region R nsa around the saturation region R sa. ..
  • the saturation region compensation unit 63 of the ranging device 10a corrects the pixel value Confidence of the reflected light image information of the saturation region R sa based on the correction value estimated by the saturation value estimation unit 62 in step S104 (step S105).
  • the saturation region compensation unit 63 replaces the pixel value Confidence value of the reflected light image information with the correction value by adding the calculated correction value to the pixel value Confidence of the reflected light image information of the saturation region R sa.
  • the control unit 40 of the distance measuring device 10a obtains a control signal for controlling the light source unit 11 and the light receiving unit 12 based on each pixel signal of each phase captured in step S101 (step S106).
  • the control unit 40 stores the obtained control signal in a register or the like.
  • the ranging device 10a determines whether or not the imaging is completed (step S107).
  • the distance measuring device 10a receives, for example, an imaging end instruction instructing the end of imaging from the application unit 20, the ranging device 10a determines that the imaging has been completed (step S107, “Yes”). In this case, the ranging device 10a ends the correction process.
  • step S107 determines that the imaging has not been completed.
  • the process returns to step S101.
  • steps S101 to S107 are repeated, for example, in units of one frame.
  • the distance measuring device 10a (an example of the information processing device) according to the first embodiment includes a correction unit 60 (an example of a control unit).
  • the correction unit 60 is a pixel signal (pixel signal) output by a light receiving unit 12 (an example of a light receiving sensor) that receives the reflected light 32 reflected by the light source unit 11 (an example of a light source) and reflected by the object 31 to be measured.
  • the saturation region R sa of the reflected light image information (an example of the received light image information) generated based on (one example) is detected.
  • the pixel signal is used to calculate the distance to the object to be measured 31.
  • the saturated region R sa is a region of reflected light image information generated based on a saturated pixel signal.
  • the correction unit 60 corrects the reflected light image information in the saturation region R sa based on the pixel signal.
  • the discontinuity of the received light image information (reflected light image information in the first embodiment) can be improved, and the decrease in the accuracy of the received image information can be suppressed.
  • the ranging device uses the IR image information to correct the saturation region R sa of the reflected light image information.
  • FIG. 24 is a block diagram for explaining an example of the function of the distance measuring device 10b according to the second embodiment.
  • the distance measuring device 10b shown in FIG. 24 includes a correction unit 60b instead of the correction unit 60 in FIG.
  • the correction unit 60b does not include the saturation value estimation unit 62 of FIG. 17, but instead includes an IR calculation unit 64.
  • the correction unit 60b includes a saturation region compensation unit 63b instead of the saturation region compensation unit 63 of FIG.
  • the correction unit 60b may be configured by operating a program on the CPU 100 (see FIG. 11), or may be realized by a hardware circuit.
  • the IR calculation unit 64 calculates IR image information based on the pixel signal output by the light receiving unit 12.
  • the IR image information is calculated based on the above-mentioned equation (11) or equation (12).
  • the IR image information is calculated by subtracting a DC component such as a dark current (dark noise) from the pixel signal. Therefore, even in the saturation region R sa , the pixel value IR of the IR image information does not become zero, and the IR image information becomes image information that maintains continuity even when the saturation region R sa occurs.
  • the saturation region compensation unit 63b corrects the reflected light image information of the saturation region R sa based on the reflected light image information and the IR image information.
  • the saturation region compensation unit 63 corrects the reflected light image information according to the gradient (change rate) of the IR image information in the saturation region R sa. Such correction will be described in detail with reference to FIG.
  • FIG. 25 is a diagram for explaining the correction of the saturation region R sa by the saturation region compensation unit 63b.
  • FIG. 25 shows a graph corresponding to one row (or one column) of the reflected light image information and the IR image information.
  • the graph on the left side of FIG. 25 is a graph showing IR image information generated by the IR calculation unit 64.
  • the graph showing the IR image information is a continuous graph that does not become zero even in the saturation region R sa.
  • the lower left graph of FIG. 25 is a graph showing the reflected light image information generated by the ranging unit 50. As described above, the graph showing the reflected light image information is a discontinuous graph because it becomes zero in the saturation region R sa.
  • IR image information is information including a component of directly reflected light and a component of ambient light.
  • the reflected light image information is information including a component of directly reflected light.
  • the components of ambient light are considered to be the same. Therefore, the component that contributes to the change in the pixel value IR of the IR image information and the component that contributes to the change in the pixel value Confidence of the reflected light image information are both the same component of the directly reflected light, and the rate of change is the same. it is conceivable that.
  • the saturation region compensation unit 63b corrects the pixel value Confidence of the reflected light image information in the saturation region R sa according to the gradient (change rate) of the pixel value IR of the IR image information. Specifically, by multiplying the value of the pixel adjacent to the pixel of the reflected light image information to be corrected (hereinafter, also referred to as the correction pixel) by the rate of change of the pixel value IR of the IR image information corresponding to the correction pixel, Calculate the correction value of the correction pixel. The saturation region compensation unit 63b corrects the pixel value Confidence of the correction pixel using the calculated correction value.
  • the saturation region compensation unit 63b calculates the correction value in order from the pixels of the saturation region R sa adjacent to the non-saturation region R nsa, and moves the pixels to be corrected sequentially in the horizontal direction or the vertical direction while the saturation region R sa.
  • the correction value is calculated for all the pixels included in.
  • the graph on the right side of FIG. 25 is a graph showing the reflected light image information after correction by the saturation region compensation unit 63b.
  • the corrected reflected light image information is a graph having a pixel value Confidence having the same gradient (change rate) as the IR image information in the saturation region R sa, and the discontinuity is eliminated. You can see that.
  • the saturation region compensation unit 63b corrects the reflected light image information according to the gradient (change rate) of the IR image information, so that the correction can be performed according to the change of the actual directly reflected light component. , It is possible to further suppress a decrease in accuracy of reflected light image information.
  • the saturation region compensation unit 63b corrects the reflected light image information for each row or column, but the present invention is not limited to this.
  • the saturation region compensation unit 63b may calculate the correction value of the reflected light image information for each row and each column. In this case, two correction values corresponding to the row and column directions are calculated for one correction pixel.
  • the saturation region compensation unit 63b may correct the correction pixel by using, for example, the average value of the two correction values.
  • FIG. 26 is a flowchart showing an example of the correction process in the distance measuring device 10b according to the second embodiment. Similar to the correction process of FIG. 23, such a correction process is started when, for example, the application unit 20 passes an image pickup start instruction instructing the distance measurement device 10b to start imaging (distance measurement).
  • steps S101 to S103 are the same as the corresponding processes of FIG. 23 described above, and thus detailed description thereof will be omitted here.
  • the process shifts to step S201.
  • the IR calculation unit 64 of the distance measuring device 10b calculates IR image information based on the imaging result imaged in step S101 (step S201).
  • the IR calculation unit 64 outputs the calculated IR image information to the saturation region compensation unit 63b.
  • the IR calculation unit 64 may output the calculated IR image information to the application unit 20.
  • the saturation region compensation unit 63b of the ranging device 10b corrects the reflected light image information of the saturation region R sa based on the gradient of the IR image information calculated by the IR calculation unit 64 in step S104 (step S202).
  • the saturation region compensation unit 63b corrects the correction pixel by multiplying the pixel value Confidence of the pixel adjacent to the correction pixel by the rate of change of the pixel value IR of the IR image information corresponding to the correction pixel.
  • the control unit 40 of the distance measuring device 10b obtains a control signal for controlling the light source unit 11 and the light receiving unit 12 based on each pixel signal of each phase captured in step S101 (step S106).
  • the control unit 40 stores the obtained control signal in a register or the like.
  • the ranging device 10b determines whether or not the imaging is completed (step S107).
  • the distance measuring device 10b receives, for example, an imaging end instruction instructing the end of imaging from the application unit 20, it determines that the imaging has been completed (step S107, “Yes”). In this case, the ranging device 10b ends the correction process.
  • step S107 determines that the imaging has not been completed.
  • the process returns to step S101.
  • steps S101 to S107 are repeated, for example, in units of one frame.
  • the distance measuring device 10b (an example of an information processing device) according to the second embodiment includes a correction unit 60b (an example of a control unit).
  • the correction unit 60b corrects the pixel value Confidence in the saturated region of the reflected light image information according to the gradient (change rate) of the pixel value IR of the IR image information.
  • the discontinuity of the received light image information (reflected light image information in the second embodiment) can be improved, and the decrease in the accuracy of the received image information can be suppressed.
  • the ranging device corrects the saturation region R sa of the IR image information.
  • FIG. 27 is a block diagram for explaining an example of the function of the distance measuring device 10c according to the third embodiment.
  • the distance measuring device 10c shown in FIG. 27 includes a correction unit 60c instead of the correction unit 60b in FIG. 24.
  • the correction unit 60c includes a saturation value estimation unit 62c instead of the saturation value estimation unit 62 in FIG.
  • the correction unit 60c includes a saturation region compensation unit 63 instead of the saturation region compensation unit 63 of FIG.
  • the correction unit 60c may be configured by operating a program on the CPU 100 (see FIG. 11), or may be realized by a hardware circuit.
  • the saturation value estimation unit 62c estimates the correction value of the pixel value IR in the saturation region R sa of the IR image information.
  • the saturation value estimation unit 62c estimates, for example, a predetermined value as a correction value.
  • the saturation value estimation unit 62c may estimate the correction value based on the average value of the pixel value IR of the non-saturation region R nsa located around the saturation region R sa in the IR image information.
  • the saturation value estimation unit 62c may estimate the correction value by adding a predetermined value to the average value.
  • the IR image information does not become discontinuous even if the saturation region R sa exists.
  • the pixel value IR is calculated based on the saturated pixel signal in the saturated region R sa. Therefore, the pixel value IR in the saturated region R sa is not a correct value, but a saturated value (a value clipped to a predetermined value). Therefore, in the present embodiment, the deterioration of the accuracy of the IR image information is suppressed by correcting the pixel value IR of the saturation region R sa of the IR image information.
  • the saturation area detection unit 61 by detecting the saturation region R sa of the reflected light image information, it is assumed to detect the saturation region R sa corresponding IR image information is not limited to this.
  • the saturation region detection unit 61 may detect the saturation region R sa of the IR image information by determining whether or not the pixel value IR of the IR image information is a value when the IR is saturated.
  • the correction unit 60c may correct the reflected light image information in addition to the IR image information. Since the correction of the reflected light image information is the same as that of the first and second embodiments, the description thereof will be omitted.
  • FIG. 28 is a flowchart showing an example of correction processing in the distance measuring device 10c according to the third embodiment. Similar to the correction process of FIG. 23, such a correction process is started when, for example, the application unit 20 passes an image pickup start instruction instructing the distance measurement device 10c to start imaging (distance measurement).
  • steps S101 to S201 are the same as the corresponding processes of FIG. 26 described above, and thus detailed description thereof will be omitted here.
  • the process shifts to step S301.
  • the saturation value estimation unit 62c of the distance measuring device 10c calculates a correction value based on the saturation region R sa calculated in step S103 and the IR image information calculated in step S201 (step S301).
  • the saturation region compensation unit 63c of the ranging device 10c corrects the IR image information of the saturation region R sa based on the correction value calculated by the saturation value estimation unit 62c in step S301 (step S302).
  • the control unit 40 of the distance measuring device 10c obtains a control signal for controlling the light source unit 11 and the light receiving unit 12 based on each pixel signal of each phase captured in step S101 (step S106).
  • the control unit 40 stores the obtained control signal in a register or the like.
  • the ranging device 10c determines whether or not the imaging is completed (step S107).
  • the distance measuring device 10a receives, for example, an imaging end instruction instructing the end of imaging from the application unit 20, the ranging device 10a determines that the imaging has been completed (step S107, “Yes”). In this case, the ranging device 10c ends the correction process.
  • step S107 determines that the imaging has not been completed (step S107, "No")
  • the process returns to step S101.
  • steps S101 to S107 are repeated, for example, in units of one frame.
  • the distance measuring device 10c (an example of an information processing device) according to the third embodiment includes a correction unit 60c (an example of a control unit).
  • the correction unit 60c corrects the pixel value in the saturation region of the IR image information (an example of the received image information). As a result, it is possible to suppress a decrease in the accuracy of the received image information (IR image information in the third embodiment).
  • the distance measuring device 10a has been described as being configured as a hardware device by an electronic device 1 including a CPU 100, a ROM 101, a RAM 102, a UI unit 104, a storage 103, an I / F 105, and the like. This is not limited to this example.
  • the distance measuring device 10a including the control unit 40, the distance measuring unit 50, and the correction unit 60 shown in FIG. 17 is included. As a whole, it can be configured as one semiconductor element. This can be similarly applied to the distance measuring devices 10b and 10c according to the second and third embodiments.
  • the present invention is not limited to this.
  • the pixel value Confidence of the reflected light image information may not become zero.
  • the pixel value Confidence includes an error, and the reflected light image information may be discontinuous. There is. Therefore, even when a part of the pixel signal in each phase of the light receiving unit 12 is saturated in this way, the correction processing by the correction units 60 and 60b may be performed.
  • the correction units 60, 60b, 60c perform the correction of the received image information, but the present invention is not limited to this.
  • the application unit 20 may perform correction of the received image information.
  • the electronic device 1 of FIG. 1 is an information processing device that corrects the received image information.
  • correction units 60, 60b, 60c of the above embodiment may be realized by a dedicated computer system or a general-purpose computer system.
  • a program for executing the above-mentioned correction processing operation is stored and distributed in a computer-readable recording medium such as an optical disk, a semiconductor memory, a magnetic tape, a flexible disk, or a hard disk. Then, for example, the program is installed in a computer and the above-mentioned processing is executed to configure an information processing device including the correction unit 60.
  • the information processing device may be an external device (for example, a personal computer) of the electronic device 1. Further, the information processing device may be an internal device (for example, a control unit 40) of the electronic device 1.
  • the above communication program may be stored in a disk device provided in a server device on a network such as the Internet so that it can be downloaded to a computer or the like.
  • the above-mentioned functions may be realized by collaboration between the OS (Operating System) and the application software.
  • the part other than the OS may be stored in a medium and distributed, or the part other than the OS may be stored in the server device so that it can be downloaded to a computer or the like.
  • each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of them may be functionally or physically distributed / physically in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • the present technology can also have the following configurations.
  • It is a light receiving sensor that receives the reflected light reflected by the object to be measured by the emitted light emitted from the light source, and detects the saturated region of the light receiving image information generated based on the pixel signal output by the light receiving sensor.
  • the pixel signal is used to calculate the distance to the object to be measured.
  • the saturated region is a region of the received image information generated based on the saturated pixel signal.
  • An information processing device including a control unit that corrects the received image information in the saturation region based on the pixel signal.
  • (2) The information processing apparatus according to (1), wherein the received image information is image information generated according to a component of the reflected light included in the pixel signal.
  • the information processing apparatus wherein the received image information is image information generated according to a component of the reflected light and a component of ambient light included in the pixel signal.
  • the control unit The information according to (2) or (3), which corrects the pixel value in the saturated region based on the pixel value of the received image information adjacent to the saturated region in the non-saturated region in which the pixel signal is not saturated. Processing equipment.
  • the control unit Of the non-saturated region where the pixel signal is not saturated the pixel value in the saturated region is set using a correction value calculated based on the average value of the pixel values of the received image information located around the saturated region.
  • the information processing apparatus according to (4) for correction.
  • the information processing apparatus according to (5), wherein the correction value is a value larger than the average value.
  • the control unit The information processing apparatus according to (4), wherein the pixel value in the saturation region is corrected according to the rate of change of the received light value calculated according to the component of the reflected light and the component of the ambient light contained in the pixel signal. .. (8) It is a light receiving sensor that receives the reflected light reflected by the object to be measured by the emitted light emitted from the light source, and detects the saturated region of the light receiving image information generated based on the pixel signal output by the light receiving sensor. , The pixel signal is used to calculate the distance to the object to be measured.
  • the saturated region is a region of the received image information generated based on the saturated pixel signal. Correcting the received image information in the saturation region based on the pixel signal, and Correction method including.
  • (9) Computer It is a light receiving sensor that receives the reflected light reflected by the object to be measured by the emitted light emitted from the light source, and detects the saturated region of the light receiving image information generated based on the pixel signal output by the light receiving sensor. The pixel signal is used to calculate the distance to the object to be measured.
  • the saturated region is a region of the received image information generated based on the saturated pixel signal.
  • a program for functioning as a control unit that corrects the received image information in the saturated region based on the pixel signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本開示に係る情報処理装置（１０ａ）は、制御部（６０）を備える。制御部（６０）は、光源から照射された射出光が被測定物に反射した反射光を受光する受光センサであって、受光センサが出力する画素信号に基づいて生成される受光画像情報の飽和領域を検出する。画素信号は被測定物までの距離の算出に用いられる。飽和領域は、飽和した画素信号に基づいて生成される受光画像情報の領域である。制御部（６０）は、飽和領域の受光画像情報を画素信号に基づき補正する。

Description

情報処理装置、補正方法およびプログラム
　本開示は、情報処理装置、補正方法およびプログラムに関する。
　光源から光が射出されてから、その光が被測定物に反射した反射光を受光部により受光するまでの時間に基づき被測定物までの距離を計測するＴｏＦ(Time　of　Flight)と呼ばれる測距方式が知られている。このＴｏＦ方式の測距において、受光部が受光する光には、測距に有効な光源から射出された光の反射光以外にも、太陽光などによる環境光が含まれる。ＴｏＦ方式の測距を行う測距装置（以下、ＴｏＦ方式測距装置）では、受光部に受光された光から、この環境光の成分を除去した反射光成分に基づき、被測定物までの距離を取得する。
特開２０１７－１３３８５３号公報
　ところで、ＴｏＦ方式測距装置において取得された、環境光成分を含む光による画像や、環境光成分を除去した反射光成分の光による画像を、測距以外の他の用途に利用したい場合がある。また、ＴｏＦ方式測距装置においては、受光部が受光する光の強度が高く、受光部が受光する光量が飽和する場合がある。
　このように、ＴｏＦ方式測距装置において取得された画像を副次的に利用する場合に、受光部が受光する光量が飽和すると、取得された画像の精度が低下し、画像の副次的利用に不都合が生じる可能性がある。
　そこで、本開示では、ＴｏＦ方式測距装置において取得された画像の精度低下を抑制することができる情報処理装置、補正方法およびプログラムを提供することを目的とする。
　本開示によれば、情報処理装置が提供される。情報処理装置は、制御部を備える。制御部は、光源から照射された射出光が被測定物に反射した反射光を受光する受光センサであって、前記受光センサが出力する画素信号に基づいて生成される受光画像情報の飽和領域を検出する。前記画素信号は前記被測定物までの距離の算出に用いられる。前記飽和領域は、飽和した前記画素信号に基づいて生成される前記受光画像情報の領域である。制御部は、前記飽和領域の前記受光画像情報を前記画素信号に基づき補正する。
各実施形態に適用される測距装置を用いた電子機器の構成の一例を示すブロック図である。 間接ＴｏＦ方式の原理を説明するための図である。 光源部からの射出光がＰＷＭにより変調された矩形波である場合の例を示す図である。 受光部に受光される光量の例を示す図である。 各実施形態に適用される各光量値の取得および各情報の算出の第１の方法を説明するための図である。 各実施形態に適用される各光量値の取得および各情報の算出の第２の方法を説明するための図である。 各位相における露光制御信号の一例を示す図である。 受光部毎（受光素子毎）の各位相０°、９０°、１８０°および２７０°におけるタップＡおよびタップＢの露光期間の例を示す図である。 受光部１２による受光タイミングを説明するための図である。 各実施形態に適用される各光量値の取得および各情報の算出の第３の方法を説明するための図である。 各実施形態に適用される電子機器の一例の構成を示すブロック図である。 各実施形態に適用されるセンサユニットの構成の例を示すブロック図である。 各実施形態に適用される画素の一例の構成を示す回路図である。 各実施形態に適用されるセンサユニットを層構造の積層型ＣＩＳにより形成した例を示す図である。 各実施形態に適用されるセンサユニットを層構造の積層型ＣＩＳにより形成した例を示す図である。 本開示の第１の実施形態に係る補正方法の概要を説明するための図である。 本開示の第１の実施形態に係る測距装置の機能を説明するための一例の機能ブロック図である。 ２タップ方式（４ｐｈａｓｅ）における反射光画像情報の算出方法を説明するための図である。 飽和値推定部が推定する飽和値について説明するための図である。 補正領域補償部による画素信号の補正について説明するための図である。 飽和領域補償部による補正前の反射光画像情報の一例を示す図である。 飽和領域補償部による補正後の反射光画像情報の一例を示す図である。 第１の実施形態に係る測距装置における補正処理の一例を示すフローチャートである。 第２の実施形態に係る測距装置の機能の一例を説明するためのブロック図である。 飽和領域補償部による飽和領域の補正について説明するための図である。 第２の実施形態に係る測距装置における補正処理の一例を示すフローチャートである。 第３の実施形態に係る測距装置の機能の一例を説明するためのブロック図である。 第３の実施形態に係る測距装置における補正処理の一例を示すフローチャートである。
　以下に、本開示の各実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．はじめに
　　　１．１．各実施形態に共通の構成
　　　１．２．各実施形態に適用される間接ＴｏＦ方式による測距について
　　　１．３．各実施形態に適用される構成
　　２．第１の実施形態
　　　２．１．補正処理の概要
　　　２．２．測距装置の構成例
　　　２．３．測距装置における補正処理
　　３．第２の実施形態
　　　３．１．測距装置の構成例
　　　３．２．測距装置における補正処理
　　４．第３の実施形態
　　　４．１．測距装置の構成例
　　　４．２．測距装置における補正処理
　　５．変形例
　　６．むすび
＜１．はじめに＞
＜１．１．各実施形態に共通の構成＞
　本開示は、光を用いて測距を行う技術に用いて好適なものである。本開示の実施形態の説明に先んじて、理解を容易とするために、実施形態に適用される測距方式の一つとして、間接ＴｏＦ(Time　of　Flight)方式について説明する。間接ＴｏＦ方式は、例えばＰＷＭ(Pulse　Width　Modulation)により変調された光源光（例えば赤外領域のレーザ光）を被測定物に照射してその反射光を受光素子にて受光し、受光された反射光における位相差に基づき、被測定物に対する測距を行う技術である。
　図１は、各実施形態に適用される測距装置を用いた電子機器の構成の一例を示すブロック図である。図１において、電子機器１は、測距装置１０と、アプリケーション部２０と、を含む。アプリケーション部２０は、例えばＣＰＵ(Central　Processing　Unit)上でプログラムが動作することで実現され、測距装置１０に対して測距の実行を要求し、測距の結果である距離情報などを測距装置１０から受け取る。
　測距装置１０は、光源部１１と、受光部１２と、測距処理部１３と、を含む。光源部１１は、例えば赤外領域の波長の光を発光する発光素子と、当該発光素子を駆動して発光させる駆動回路と、を含む。光源部１１が含む発光素子として、例えばＬＥＤ(Light　Emitting　Diode)を適用してもよい。これに限らず、光源部１１が含む発光素子として、複数の発光素子がアレイ状に形成されたＶＣＳＥＬ(Vertical　Cavity　Surface　Emitting　LASER)を適用してもよい。以下、特に記載の無い限り、「光源部１１の発光素子が発光する」ことを、「光源部１１が発光する」などのように記述する。
　受光部１２は、例えば赤外領域の波長の光を検出する受光素子と、当該受光素子に検出された光に応じた画素信号を出力する信号処理回路と、を含む。受光部１２が含む受光素子として、フォトダイオードを適用してもよい。以下、特に記載の無い限り、「受光部１２が含む受光素子が受光する」ことを、「受光部１２が受光する」などのように記述する。
　測距処理部１３は、例えばアプリケーション部２０からの測距指示に応じて、測距装置１０における測距処理を実行する。例えば、測距処理部１３は、光源部１１を駆動するための光源制御信号を生成し、光源部１１に供給する。また、測距処理部１３は、光源部１１に供給する光源制御信号と同期して受光部１２による受光を制御する。例えば、測距処理部１３は、受光部１２における露光期間を制御する露光制御信号を光源制御信号と同期させて生成し、受光部１２供給する。受光部１２は、この露光制御信号に示される露光期間内において、有効な画素信号を出力する。
　測距処理部１３は、受光に応じて受光部１２から出力された画素信号に基づき距離情報を算出する。また、測距処理部１３が、この画素信号に基づき所定の画像情報を生成するようにしてもよい。測距処理部１３は、画素信号に基づき算出および生成した距離情報および画像情報をアプリケーション部２０に渡す。
　このような構成において、測距処理部１３は、例えばアプリケーション部２０からの測距を実行する旨の指示に従い、光源部１１を駆動するための光源制御信号を生成し、光源部１１に供給する。ここでは、測距処理部１３は、ＰＷＭにより所定のデューティの矩形波に変調された光源制御信号を生成し、光源部１１に供給する。それと共に、測距処理部１３は、受光部１２による受光を、光源制御信号に同期した露光制御信号に基づき制御する。
　測距装置１０において、光源部１１は、測距処理部１３が生成した光源制御信号に応じて変調された光を照射する。図１の例では光源部１１は、光源制御信号に応じて、所定のデューティに従い明滅して発光する。光源部１１において発光した光は、射出光３０として光源部１１から射出される。この射出光３０は、例えば被測定物３１に反射され、反射光３２として受光部１２に受光される。受光部１２は、反射光３２の受光に応じた画素信号を測距処理部１３に供給する。なお、実際には、受光部１２には、反射光３２以外に、周囲の環境光も受光され、画素信号は、反射光３２の成分と共に、この環境光の成分を含む。
　測距処理部１３は、受光部１２による受光を、受光素子ごとに異なる位相で複数回、実行する。測距処理部１３は、異なる位相での受光による画素信号の差分に基づき、被測定物までの距離Ｄを算出する。また、測距処理部１３は、当該画素信号の差分に基づき反射光３２の成分を抽出した第１の画像情報と、反射光３２の成分と環境光の成分とを含む第２の画像情報と、を算出する。以下、第１の画像情報を反射光画像情報と呼び、反射光画像情報の各画素の値を画素値Confidence（またはConfidence値）と呼ぶ。また、第２の画像情報をＩＲ画像情報と呼び、ＩＲ画像情報の各画素の値を画素値ＩＲ（またはＩＲ値）と呼ぶ。また、反射光画像情報およびＩＲ画像情報をまとめて受光画像情報と呼ぶ。
＜１．２．各実施形態に適用される間接ＴｏＦ方式による測距について＞
　次に、各実施形態に適用される間接ＴｏＦ方式による測距について説明する。図２は、間接ＴｏＦ方式の原理を説明するための図である。図２において、光源部１１が射出する射出光３０として、正弦波により変調された光を用いている。反射光３２は、理想的には、射出光３０に対して、距離Ｄに応じた位相差ｐｈａｓｅを持った正弦波となる。
　測距処理部１３は、反射光３２を受光した画素信号に対して、位相ごとに複数回のサンプリングを行い、サンプリング毎に、光量を示す光量値（画素信号の値）を取得する。図２の例では、射出光３０に対して位相が９０°ずつ異なる、位相０°、位相９０°、位相１８０°および位相２７０°の各位相において、光量値Ｃ0、Ｃ90、Ｃ180およびＣ270をそれぞれ取得する。間接ＴｏＦ方式においては、各位相０°、９０°、１８０°および２７０°のうち、位相が１８０°異なる組の光量値の差分に基づき、距離情報を算出する。
　図３を用いて、間接ＴｏＦ方式における距離情報の算出方法について、より具体的に説明する。図３は、光源部１１からの射出光３０がＰＷＭにより変調された矩形波である場合の例を示す図である。図３において、上段から、光源部１１による射出光３０、受光部１２に到達した反射光３２を示す。図３の上段に示されるように、光源部１１は、所定のデューティで周期的に明滅して射出光３０を射出する。
　図３において、さらに、受光部１２の位相０°（Φ＝０°と記載）、位相９０°（Φ＝９０°と記載）、位相１８０°（Φ＝１８０°と記載）、および、位相２７０°（Φ＝２７０°と記載）それぞれにおける露光制御信号を示している。例えば、この露光制御信号がハイ（Ｈｉｇｈ）状態の期間が、受光部１２の受光素子が有効な画素信号を出力する露光期間とされる。
　図３の例では、時点ｔ0において光源部１１から射出光３０が射出され、時点ｔ0から被測定物までの距離Ｄに応じた遅延の後の時点ｔ1に、当該射出光３０が被測定物により反射された反射光３２が受光部１２に到達している。
　一方、受光部１２は、測距処理部１３からの露光制御信号に従い、光源部１１における射出光３０の射出タイミングの時点ｔ0に同期して、位相０°の露光期間が開始される。同様に、受光部１２は、測距処理部１３からの露光制御信号に従い、位相９０°、位相１８０°および位相２７０°の露光期間が開始される。ここで、各位相における露光期間は、射出光３０のデューティに従ったものとなる。なお、図３の例では、説明のため、各位相の露光期間が時間的に並列しているように示されているが、実際には、受光部１２は、各位相の露光期間がシーケンシャルに指定され、各位相の光量値Ｃ0、Ｃ90、Ｃ180およびＣ270がそれぞれ取得される。
　図３の例では、反射光３２の到達タイミングが、時点ｔ1、ｔ2、ｔ3、…となっており、位相０°における光量値Ｃ0が、時点ｔ0から位相０°における当該時点ｔ0が含まれる露光期間の終了時点までの受光量の積分値として取得される。一方、位相０°に対して１８０°位相が異なる位相１８０°においては、光量値Ｃ180が、当該位相１８０°における露光期間の開始時点から、当該露光期間に含まれる反射光３２の立ち下がりの時点ｔ2までの受光量の積分値として取得される。
　位相Ｃ９０と、当該位相９０°に対して１８０°位相が異なる位相２７０°についても、上述の位相０°および１８０°の場合と同様にして、それぞれの露光期間内において反射光３２が到達した期間の受光量の積分値が、光量値Ｃ90およびＣ270として取得される。
　これら光量値Ｃ0、Ｃ90、Ｃ180およびＣ270のうち、次式（１）および式（２）に示されるように、位相が１８０°異なる光量値の組み合わせに基づき、差分Ｉと差分Ｑとを求める。
Ｉ＝Ｃ0－Ｃ180　　…（１）
Ｑ＝Ｃ90－Ｃ270　　…（２）
　これら差分ＩおよびＱに基づき、位相差ｐｈａｓｅは、次式（３）により算出される。なお、式（３）において、位相差ｐｈａｓｅは、（０≦ｐｈａｓｅ＜２π）の範囲で定義される。
ｐｈａｓｅ＝ｔａｎ-1(Ｑ／Ｉ)　　…（３）
　位相差ｐｈａｓｅと、所定の係数ｒａｎｇｅとを用いて、距離情報Ｄｅｐｔｈは、次式（４）により算出される。
Ｄｅｐｔｈ＝(ｐｈａｓｅ×ｒａｎｇｅ)／２π　　…（４）
　また、差分ＩおよびＱに基づき、受光部１２に受光された光の成分から反射光３２の成分（反射光画像情報の画素値Confidence）を抽出できる。反射光画像情報の画素値Confidenceは、差分ＩおよびＱそれぞれの絶対値を用いて、次式（５）により算出される。
Confidence＝｜Ｉ｜＋｜Ｑ｜　　…（５）
　このように、反射光画像情報の１つの画素は、受光部１２の４つの位相における光量値Ｃ0、Ｃ90、Ｃ180およびＣ270から算出される。各位相の光量値Ｃ0、Ｃ90、Ｃ180およびＣ270は、受光部１２の対応する受光素子から取得される。
　図４は、受光部１２に受光される光量の例を示す図である。上述したように、受光部１２には、光源部１１からの射出光３０が被測定物３１で反射した反射光３２すなわち直接反射光に加えて、光源部１１からの射出光３０が寄与しない環境光も受光される。また、また、受光部１２が出力する画素信号には、いわゆる暗電流（ダークノイズ）等の直流成分が含まれる。
　そのため、受光部１２に受光される光量は、直接反射光の光量と、環境光の光量と、ダークノイズの和となる。上述した式（１）～式（３）、および、式（５）の計算により、環境光の成分およびダークノイズがキャンセルされ、直接反射光の成分が抽出される。
　次に、図５～図９を用いて、各位相の各光量値Ｃ0、Ｃ90、Ｃ180およびＣ270の取得方法、ならびに、距離情報および反射光画像情報の画素値Confidenceの計算方法について、より具体的に説明する。
（第１の方法）
　図５は、各実施形態に適用される各光量値の取得および各情報の算出の第１の方法を説明するための図である。図５において、受光部１２は、各位相についてシーケンシャルに各光量値Ｃ0、Ｃ90、Ｃ180およびＣ270を取得する。図５の例では、受光部１２は、時点ｔ10～ｔ11の期間に位相０°による露光を行い、時点ｔ11から所定の時間（例えば処理の切り替え時間）を挟んだ時点ｔ12～ｔ13の期間に位相９０°による露光を行う。以下同様に、時点ｔ13から所定の時間を挟んだ時点ｔ14～ｔ15の期間に位相１８０°による受光を行い、時点ｔ15から所定の時間を挟んだ時点ｔ16～ｔ17の期間に位相２７０°による露光を行う。
　時点ｔ17から所定の時間を挟んだ時点ｔ18において、上述した時点ｔ10からの動作を再び実行する。
　ここで、各位相による露光を行うシーケンスを、１マイクロフレーム（μＦｒａｍｅ）とする。図５の例では、時点ｔ10～ｔ18の期間が、１マイクロフレームの期間となる。１マイクロフレームの期間は、撮像の１フレーム期間（例えば１／３０ｓｅｃ）より短い期間であって、１マイクロフレームの処理を、１フレーム期間内に複数回、実行することができる。
　測距処理部１３は、１マイクロフレームの期間内に取得された、各位相において順次に取得された各光量値Ｃ0、Ｃ90、Ｃ180およびＣ270を、例えばメモリに記憶する。測距処理部１３は、メモリに記憶された各光量値Ｃ0、Ｃ90、Ｃ180およびＣ270に基づき、距離情報Ｄｅｐｔｈ、反射光画像情報の画素値Confidenceをそれぞれ算出する。
　なお、この場合、差分ＩおよびＱ、位相差ｐｈａｓｅ、ならびに、距離情報Ｄｅｐｔｈは、上述した式（１）～式（４）により算出される。また、反射光画像情報の画素値Confidenceは、ここでは、次式（６）を用いて算出される。
Confidence＝(Ｉ2＋Ｑ2)1/2　　…（６）
（第２の方法）
　図６は、各実施形態に適用される各光量値の取得および各情報の算出の第２の方法を説明するための図である。この第２の方法では、受光部１２は、１つの受光素子に対して２つの読み出し回路（タップＡ、タップＢとする）を備え、このタップＡおよびタップＢによる読み出しをシーケンシャル（交互）に実行する（詳細は図１３を用いて後述する）。以下、タップＡおよびタップＢによる読み出し方式を２タップ方式ともいう。
　図６を用いて、２タップ方式における距離情報の算出方法について、より具体的に説明する。図６は、各実施形態に適用される各光量値の取得および各情報の算出の第２の方法を説明するための図である。図６において、上段から、光源部１１による射出光３０、受光部１２に到達した反射光３２を示す。図６の上段に示されるように、光源部１１は、所定の周期で明滅する射出光３０を射出する。光源部１１は、例えば１周期のうち期間Ｔの間発光する射出光３０を射出する。
　図６には、さらに、受光部１２の位相０°のタップＡにおける露光制御信号（ＤＩＭＩＸ＿Ａ）およびタップＢにおける露光制御信号（ＤＩＭＩＸ＿Ｂ）を示している。例えば、この露光制御信号（ＤＩＭＩＸ＿Ａ、ＤＩＭＩＸ＿Ｂ）がハイ（Ｈｉｇｈ）状態の期間が、受光部１２が有効な画素信号を出力する露光期間とされる。ＤＩＭＩＸ＿ＡおよびＤＩＭＩＸ＿Ｂは、射出光３０のデューティに従った露光期間を有する露光制御信号である。また、ＤＩＭＩＸ＿ＡおよびＤＩＭＩＸ＿Ｂは、互いに位相が１８０°異なる信号である。
　図６の例では、時点ｔ10において光源部１１から射出光３０が射出される。また、射出光３０が射出されてから、被測定物までの距離Ｄに応じた遅延ΔＴの後の時点ｔ11に、当該射出光３０が被測定物により反射された反射光３２が受光部１２に到達している。
　一方、受光部１２は、測距処理部１３からの露光制御信号（ＤＩＭＩＸ＿Ａ）に従い、光源部１１における射出光３０の射出タイミングの時点ｔ10に同期して、露光期間を開始する。同様に、受光部１２は、測距処理部１３からの露光制御信号（ＤＩＭＩＸ＿Ｂ）に従い、ＤＩＭＩＸ＿Ａとは位相が１８０°異なる時点ｔ12に同期して、露光期間を開始する。これにより、受光部１２によって、位相０°のタップＡ、Ｂごとに光量値（画素信号）Ａ0、Ｂ0が取得される。
　図６の例では、反射光３２の到達タイミングが、時点ｔ11、ｔ14、ｔ13、…となっており、位相０°のタップＡにおける光量値Ａ0が、時点ｔ10からＤＩＭＩＸ＿Ａにおける当該時点ｔ0が含まれる露光期間の終了時点ｔ12までの受光光量の積分値として取得される。一方、位相０°のＤＩＭＩＸ＿Ａに対して１８０°位相が異なる位相０°のＤＩＭＩＸ＿Ｂにおいては、光量値Ｂ0が、当該ＤＩＭＩＸ＿Ｂにおける露光期間の開始時点ｔ12から、当該露光期間に含まれる反射光３２の立ち下がりの時点ｔ13までの受光量の積分値として取得される。次の反射光３２の到達タイミングｔ14以降も同様にして光量値Ａ0、Ｂ0が取得される。
　図６では、位相０°の露光制御信号（ＤＩＭＩＸ＿Ａ、ＤＩＭＩＸ＿Ｂ）を用いて受光部１２が取得する光量値Ａ0、Ｂ0について説明した。なお、受光部１２は、位相９０°、位相１８０°、および、位相２７０°それぞれの露光制御信号（ＤＩＭＩＸ＿Ａ、ＤＩＭＩＸ＿Ｂ）を用いて、光量値Ａ90、Ｂ90、Ａ180、Ｂ180、Ａ270、Ｂ270を取得する。
　図７は、各位相における露光制御信号の一例を示す図である。図７では、受光部１２の位相０°（Φ＝０°と記載）、位相９０°（Φ＝９０°と記載）、位相１８０°（Φ＝１８０°と記載）、および、位相２７０°（Φ＝２７０°と記載）それぞれにおける露光制御信号（ＤＩＭＩＸ＿Ａ、ＤＩＭＩＸ＿Ｂ）を示している。
　例えば、位相９０°のＤＩＭＩＸ＿Ａは、射出光３０の射出タイミングから９０°ずれた位相である露光制御信号であり、位相９０°のＤＩＭＩＸ＿Ｂは、位相９０°のＤＩＭＩＸ＿Ａと位相が１８０°異なる露光制御信号である。また、位相１８０°のＤＩＭＩＸ＿Ａは、射出光３０の射出タイミングから１８０°ずれた位相である露光制御信号であり、位相１８０°のＤＩＭＩＸ＿Ｂは、位相１８０°のＤＩＭＩＸ＿Ａと位相が１８０°異なる露光制御信号である。位相２７０°のＤＩＭＩＸ＿Ａは、射出光３０の射出タイミングから２７０°ずれた位相である露光制御信号であり、位相２７０°のＤＩＭＩＸ＿Ｂは、位相２７０°のＤＩＭＩＸ＿Ａと位相が１８０°異なる露光制御信号である。ここで、各位相における露光期間は、射出光３０のデューティに従ったものとなる。
　図８を用いて、受光部１２におけるタップＡおよびタップＢによる読み出しの位相差について説明する。図８は、受光部１２毎（受光素子毎）の各位相０°、９０°、１８０°および２７０°におけるタップＡおよびタップＢの露光期間の例を示す図である。なお、図８では、説明のため、各位相の露光期間を、位相を合わせて並列に並べて示している。
　図８において、位相０°のタップＡおよびタップＢによる露光（それぞれ光量値Ａ0およびＢ0として示す）がシーケンシャルに（交互に）実行される。一方、位相１８０°のタップＡおよびタップＢによる露光が、位相０°のタップＡおよびタップＢによる露光に対して位相が１８０°遅れて、タップＡおよびタップＢによる露光がシーケンシャルに実行される。このとき、位相０°におけるタップＡによる露光期間と、位相１８０°におけるタップＢの露光期間と、の位相が一致する。同様に、位相０°におけるタップＢによる露光期間と、位相１８０°におけるタップＡによる露光期間と、の位相が一致する。
　図９は、受光部１２による受光タイミングを説明するための図である。図９に示すように、受光部１２は、各位相それぞれにおいて、タップＡおよびタップＢの読み出しをシーケンシャルに実行する。さらに、受光部１２は、１マイクロフレームの期間内において、各位相の読み出しをシーケンシャルに実行する。
　すなわち、図９の例では、受光部１２は、時点ｔ20～ｔ21の期間に、位相０°による露光を行う。測距処理部１３は、タップＡおよびタップＢそれぞれにより読み出された画素信号に基づき、光量値Ａ0および光量値Ｂ0をそれぞれ求める。受光部１２は、時点ｔ21から所定の時間を挟んだ時点ｔ22～ｔ23の期間に位相９０°による露光を行う。測距処理部１３は、タップＡおよびタップＢそれぞれにより読み出された画素信号に基づき、光量値Ａ90および光量値Ｂ90をそれぞれ求める。
　以下同様に、時点ｔ23から所定の時間を挟んだ時点ｔ24～ｔ25の期間に位相１８０°による露光を行う。測距処理部１３は、タップＡおよびタップＢそれぞれにより読み出された画素信号に基づき、光量値Ａ180および光量値Ｂ180をそれぞれ求める。さらに、受光部１２は、時点ｔ25から所定の時間を挟んだ時点ｔ26～ｔ27の期間に位相２７０°による露光を行う。測距処理部１３は、タップＡおよびタップＢそれぞれにより読み出された画素信号に基づき、光量値Ａ270および光量値Ｂ270をそれぞれ求める。
　時点ｔ27から所定の時間を挟んだ時点ｔ28において、上述した時点ｔ20からの動作を再び実行する。
　この、図９に示した、各位相０°、９０°、１８０°および２７０°についてタップＡおよびＢによる読み出しをシーケンシャルに実行し、さらに、各位相についてタップＡおよびＢの読み出しに基づく各光量値を求める方法を、２タップ方式（４ｐｈａｓｅ）と呼ぶ。
　この第２の方法の場合、差分ＩおよびＱは、各光量値Ａ0およびＢ0、Ａ90およびＢ90、Ａ180およびＢ180、ならびに、Ａ270およびＢ270を用いて、次式（７）および（８）により算出される。
Ｉ＝Ｃ0－Ｃ180＝(Ａ0－Ｂ0)－(Ａ180－Ｂ180)　　…（７）
Ｑ＝Ｃ90－Ｃ270＝(Ａ90－Ｂ90)－(Ａ270－Ｂ270)　　…（８）
　位相差ｐｈａｓｅ、距離情報Ｄｅｐｔｈおよび反射光画像情報の画素値Confidenceは、これら式（７）および（８）により算出された差分ＩおよびＱを用いて、上述した式（３）、（４）および（６）により算出される。
　この図６～図８に示した２タップ方式（４ｐｈａｓｅ）では、各位相における露光期間を、タップＡおよびタップＢにより冗長化している。そのため、算出される距離情報Ｄｅｐｔｈ、反射光画像情報のＳ／Ｎ比を向上させることが可能となる。
（第３の方法）
　図１０は、各実施形態に適用される各光量値の取得および各情報の算出の第３の方法を説明するための図である。この第３の方法では、受光部１２は、上述の第２の方法と同様にタップＡおよびタップＢを備え、このタップＡおよびタップＢからの読み出しをシーケンシャルに実行する点で第２の方法と同じである。一方、第３の方式では、受光部１２は、上述した各位相０°、９０°の読み出しをシーケンシャルに実行し、位相１８０°、２７０°の読み出しを実行しない点で第２の方法と異なる。
　図１０に示すように、受光部１２は、上述の第２の方法と同様にタップＡおよびタップＢを備え、このタップＡおよびタップＢからの読み出しをシーケンシャルに実行する。さらに、受光部１２は、上述した各位相０°、９０°、１８０°および２７０°のうち、位相０°および９０°の読み出しをシーケンシャルに実行する。この第３の方法では、この位相０°および９０°の読み出しの期間を、１マイクロフレームの期間としている。
　図１０の場合、読み出しシーケンスは、上述した図９の時点ｔ20～24と同様のシーケンスとなる。すなわち、受光部１２は、時点ｔ30～ｔ31の期間に、位相０°による露光を行う。測距処理部１３は、タップＡおよびタップＢそれぞれにより読み出された画素信号に基づき、光量値Ａ0および光量値Ｂ0をそれぞれ求める。受光部１２は、時点ｔ31から所定の時間を挟んだ時点ｔ32～ｔ33の期間に位相９０°による露光を行う。測距処理部１３は、タップＡおよびタップＢそれぞれにより読み出された画素信号に基づき、光量値Ａ90および光量値Ｂ90をそれぞれ求める。
　時点ｔ33から所定の時間を挟んだ時点ｔ34において、上述した時点ｔ30からの動作を再び実行する。
　この、図１０に示した、各位相０°および９０についてタップＡおよびＢによる読み出しをシーケンシャルに実行し、さらに、各位相０°および９０°についてタップＡおよびＢの読み出しに基づく各光量値を求める方法を、２タップ方式（２ｐｈａｓｅ）と呼ぶ。
　上述したように、各位相のタップＡおよびタップＢにおける露光制御信号ＤＩＭＩＸ＿Ａ、ＤＩＭＩＸ＿Ｂは、位相が反転した信号である。そのため、位相０°のＤＩＭＩＸ＿Ａと位相１８０°のＤＩＭＩＸ＿Ｂは同じ位相の信号となる。同様に、位相０°のＤＩＭＩＸ＿Ｂと位相１８０°のＤＩＭＩＸ＿Ａは同じ位相の信号となる。また、位相９０°のＤＩＭＩＸ＿Ａと位相２７０°のＤＩＭＩＸ＿Ｂは同じ位相の信号となり、位相９０°のＤＩＭＩＸ＿Ｂと位相２７０°のＤＩＭＩＸ＿Ａは同じ位相の信号となる。
　従って、光量値Ｂ0は位相１８０°における受光部１２の読み出し値と同じになり、光量値Ｂ90は位相２７０°における受光部１２の読み出し値と同じになる。換言すると、例えば位相０°において、位相０°と、位相０°から位相が１８０°異なる位相１８０°と、の読み出しをそれぞれ実行していることに相当する。同様に、位相９０°において、位相９０°と、位相９０°から位相が１８０°異なる位相２７０°と、の読み出しをそれぞれ実行していることに相当する。
　すなわち、例えば位相０°におけるタップＢの露光期間は、位相１８０°における露光期間であるともいえる。また、位相９０°におけるタップＢの露光期間は、位相２７０°における露光期間であるともいえる。したがって、この第３の方法の場合、差分ＩおよびＱは、各光量値Ａ0およびＢ0、ならびに、Ａ90およびＢ90を用いて、次式（９）および（１０）により算出される。
Ｉ＝Ｃ0－Ｃ180＝(Ａ0－Ｂ0)　　…（９）
Ｑ＝Ｃ90－Ｃ270＝(Ａ90－Ｂ90)　　…（１０）
　位相差ｐｈａｓｅ、距離情報Ｄｅｐｔｈおよび反射光画像情報の画素値Confidenceは、これら式（９）および（１０）により算出された差分ＩおよびＱを用いて、上述した式（３）、（４）および（６）により算出できる。
　このように、１つの受光素子に対して２つの読み出し回路（タップＡおよびタップＢ）が設けられ、これらタップＡおよびタップＢによる読み出しをシーケンシャルに実行する。これにより、位相が１８０°異なる露光期間を１つの位相（例えば位相０°）において実現できる。したがって、図１０に示した２タップ方式（２ｐｈａｓｅ）では、図５に示した１タップ方式と同等の結果を、１タップ方式に対してより少ない受光素子で得ることができる。そのため、距離情報および受光画像情報の解像度を向上させることができる。
　ここで、ＩＲ画像情報の画素値ＩＲの算出方法の一例について説明する。上述したようにＩＲ画像情報は、反射光３２の成分と環境光の成分とを含む画像情報である。一方、受光部１２が受光する光には、反射光３２の成分および環境光の成分に加え、暗電流（ダークノイズ）等の直流成分が含まれる。そのため、ＩＲ画像情報は、受光部１２が出力する画素信号から直流成分を減算することで算出される。具体的には、ＩＲ画像情報の画素値ＩＲは、次式（１１）を用いて算出される。
ＲＡＷ＝Ｃ0－ＣFPN＝（Ａ0－ＡFPN）＋（Ｂ0－ＢFPN）　　…（１１）
　なお、ＣFPN、ＡFPNおよびＢFPNは暗電流（ダークノイズ）等の直流成分であり、固定パターンノイズである。ＣFPN、ＡFPNおよびＢFPNは、実験やシミュレーション等によって予め求められているものとする。
　あるいは、ＣFPN、ＡFPNおよびＢFPNを、例えば受光部１２が光を受光していないときに受光部１２から出力される画素信号としてもよい。この場合、例えば光源部１１が射出光３０を射出する前に受光部１２から出力される信号を、測距装置１０が取得することで、かかる画素信号が取得されるものとする。
　なお、式（１１）では、位相０°におけるＩＲ画像情報の画素値ＩＲを算出する場合について説明したが、他の位相（位相９０°、１８０°および２７０°）でも同様にＩＲ画像情報の画素値ＩＲを算出するようにしてもよい。この場合、例えば位相ごとに算出した画素値ＩＲの平均値を、反射光３２から算出されるＩＲ画像情報の画素値ＩＲとしてもよい。
＜１．３．各実施形態に適用される構成＞
　次に、各実施形態に適用される構成の例について説明する。図１１は、各実施形態に適用される電子機器の一例の構成を示すブロック図である。図１１において、電子機器１は、ＣＰＵ(Central　Processing　Unit)１００と、ＲＯＭ(Read　Only　Memory)１０１と、ＲＡＭ(Random　Access　Memory)１０２と、ストレージ１０３と、ＵＩ(User　Interface)部１０４と、インタフェース（Ｉ／Ｆ）１０５と、を含む。さらに、電子機器１は、図１の光源部１１および受光部１２にそれぞれ対応する光源ユニット１１０およびセンサユニット１１１と、を含む。
　なお、この図１１に示す電子機器１として、例えばスマートフォン（多機能型携帯電話端末）やタブレット型パーソナルコンピュータを適用することが考えられる。この電子機器１が適用される機器は、これらスマートフォンやタブレット型パーソナルコンピュータに限定されない。
　ストレージ１０３は、フラッシュメモリやハードディスクドライブといった、不揮発性の記憶媒体である。ストレージ１０３は、各種のデータや、ＣＰＵ１００が動作するためのプログラムを記憶することができる。また、ストレージ１０３は、図１を用いて説明したアプリケーション部２０を実現するためのアプリケーションプログラム（以下、アプリと略称する）を記憶することができる。ＲＯＭ１０１は、ＣＰＵ１００が動作するためのプログラムおよびデータが予め記憶される。ＲＡＭ１０２は、データを記憶する揮発性の記憶媒体である。
　ＣＰＵ１００は、ストレージ１０３やＲＯＭ１０１に記憶されるプログラムに従い、ＲＡＭ１０２をワークメモリとして用いて動作し、この電子機器１の全体の動作を制御する。
　ＵＩ部１０４は、この電子機器１を操作するための各種操作子、電子機器１の状態を表示するための表示素子などが配置される。ＵＩ部１０４は、さらに、後述するセンサユニット１１１により撮像された画像を表示するディスプレイを含めてもよい。また、このディスプレイを、表示デバイスと入力デバイスとが一体的に形成されたタッチパネルとしてもよく、各種操作子を、タッチパネルに表示される各部品により構成してもよい。
　光源ユニット１１０は、ＬＥＤやＶＣＳＥＬといった発光素子と、当該発光素子を駆動するためのドライバと、を含む。光源ユニット１１０において、ドライバは、ＣＰＵ１００の指示に応じて所定のデューティの駆動信号を生成する。発光素子は、ドライバにより生成された駆動信号に従い発光し、ＰＷＭにより変調された光を射出光３０として射出する。
　センサユニット１１１は、複数の受光素子がアレイ状に配列された画素アレイ部と、画素アレイ部に配列される複数の受光素子を駆動し、各受光素子から読み出された画素信号を出力する駆動回路と、を含む。センサユニット１１１から出力された画素信号は、ＣＰＵ１００に供給される。
　次に、図１２～図１５を用いて、各実施形態に適用されるセンサユニット１１１について説明する。
　図１２は、各実施形態に適用されるセンサユニット１１１の構成の例を示すブロック図である。図１２において、センサユニット１１１は、センサチップ１１１０と、センサチップ１１１０に積層された回路チップ１１２０と、を含む積層構造を有している。この積層構造において、センサチップ１１１０と回路チップ１１２０とは、ビア（ＶＩＡ）やＣｕ－Ｃｕ接続などの接続部（図示しない）を通じて、電気的に接続される。図８の例では、当該接続部により、センサチップ１１１０の配線と、回路チップ１１２０の配線とが接続された状態が示されている。
　画素エリア１１１１は、センサチップ１１１０上にアレイ状の配列で配置された複数の画素１１１２を含んでいる。例えば、この画素エリア１１１１に含まれる複数の画素１１１２から出力される画素信号に基づき、１フレームの画像信号が形成される。画素エリア１１１１に配置された各画素１１１２は、例えば赤外光を受光可能とされ、受光した赤外光に基づき光電変換を行いアナログ画素信号を出力する。画素エリア１１１１に含まれる各画素１１１２は、それぞれ２本の垂直信号線ＶＳＬ1およびＶＳＬ2が接続される。
　センサユニット１１１は、さらに、垂直駆動回路１１２１、カラム信号処理部１１２２、タイミング制御回路１１２３および出力回路１１２４が回路チップ１１２０に配置されている。
　タイミング制御回路１１２３は、外部から制御線１５０を介して供給される素子制御信号に応じて、垂直駆動回路１１２１の駆動タイミングを制御する。また、タイミング制御回路１１２３は、当該素子制御信号に基づき垂直同期信号を生成する。カラム信号処理部１１２２、出力回路１１２４は、タイミング制御回路１１２３により生成された垂直同期信号と同期して、それぞれの処理を実行する。
　画素１１１２の列毎に、図１２上の垂直方向に垂直信号線ＶＳＬ1およびＶＳＬ2が配線される。画素エリア１１１１内の列の総数をＭ列（Ｍは１以上の整数）とすると、画素エリア１１１１には、合計で２×Ｍ本の垂直信号線が配線される。詳細は後述するが、それぞれの画素１１１２は、それぞれ光電変換により生成された電荷を蓄積する２つのタップＡ（ＴＡＰ＿Ａ）およびタップＢ（ＴＡＰ＿Ｂ）を含む。垂直信号線ＶＳＬ1は、画素１１１２のタップＡに接続され、垂直信号線ＶＳＬ2は、画素１１１２のタップＢに接続される。
　垂直信号線ＶＳＬ1は、対応する画素列の画素１１１２のタップＡの電荷に基づくアナログ画素信号である画素信号ＡＩＮP1が出力される。また、垂直信号線ＶＳＬ2は、対応する画素列の画素１１１２のタップＢの電荷に基づくアナログ画素信号である画素信号ＡＩＮP2が出力される。
　垂直駆動回路１１２１は、タイミング制御回路１１２３によるタイミング制御に従い、画素エリア１１１１に含まれる各画素１１１２を画素行の単位で駆動し、画素信号ＡＩＮP1およびＡＩＮP2を出力させる。各画素１１１２から出力された画素信号ＡＩＮP1およびＡＩＮP2は、各列の垂直信号線ＶＳＬ1およびＶＳＬ2を介してカラム信号処理部１１２２に供給される。
　カラム信号処理部１１２２は、画素エリア１１１１の画素列に対応して、例えば画素列毎に設けられた複数のＡＤ変換器を含む。カラム信号処理部１１２２に含まれる各ＡＤ変換器は、垂直信号線ＶＳＬ1およびＶＳＬ2を介して供給される画素信号ＡＩＮP1およびＡＩＮP2に対してＡＤ変換を実行し、ディジタル信号に変換された画素信号ＡＩＮP1およびＡＩＮP2を出力回路１１２４に供給する。
　出力回路１１２４は、ＣＤＳ(Correlated　Double　Sampling)処理などの信号処理を、カラム信号処理部１１２２から出力された、ディジタル信号に変換された画素信号ＡＩＮP1およびＡＩＮP2に対して実行し、信号処理された画素信号ＡＩＮP1およびＡＩＮP2を、それぞれタップＡから読み出した画素信号、タップＢから読み出した画素信号として、出力線５１を介してセンサユニット１１１の外部に出力する。
　図１３は、各実施形態に適用される画素１１１２の一例の構成を示す回路図である。画素１１１２は、フォトダイオード２３１、２つの転送トランジスタ２３２および２３７、２つのリセットトランジスタ２３３および２３８、２つの浮遊拡散層２３４および２３９、２つの増幅トランジスタ２３５および２４０、ならびに、２つの選択トランジスタ２３６および２４１を含む。浮遊拡散層２３４および２３９は、それぞれ上述したタップＡ（ＴＡＰ＿Ａと記載）およびタップＢ（ＴＡＰ＿Ｂと記載）に対応する。
　フォトダイオード２３１は、受光した光を光電変換して電荷を生成する受光素子である。フォトダイオード２３１は、半導体基板において回路を配置する面を表面として、表面に対する裏面に配置される。このような固体撮像素子は、裏面照射型の固体撮像素子と呼ばれる。なお、裏面照射型の代わりに、表面にフォトダイオード２３１を配置する表面照射型の構成を用いることもできる。
　オーバーフロートランジスタ２４２は、フォトダイオード２３１のカソードと電源ラインＶＤＤとの間に接続されており、フォトダイオード２３１をリセットする機能を有する。すなわち、オーバーフロートランジスタ２４２は、垂直駆動回路１１２１から供給されるオーバーフローゲート信号ＯＦＧに応じてオン状態となることで、フォトダイオード２３１の電荷をシーケンシャルに電源ラインＶＤＤに排出する。
　転送トランジスタ２３２は、フォトダイオード２３１のカソードと浮遊拡散層２３４と、の間に接続される。また、転送トランジスタ２３７は、フォトダイオード２３１のカソードと、浮遊拡散層２３９と、の間に接続される。転送トランジスタ２３２および２３７は、それぞれ、垂直駆動回路１１２１から供給される転送信号ＴＲＧに応じて、フォトダイオード２３１で生成された電荷を、浮遊拡散層２３４および２３９にそれぞれシーケンシャルに転送する。
　それぞれタップＡおよびタップＢに対応する浮遊拡散層２３４および２３９は、フォトダイオード２３１から転送された電荷を蓄積し、蓄積した電荷量に応じた電圧値の電圧信号に変換し、アナログ画素信号である画素信号ＡＩＮP1およびＡＩＮP2をそれぞれ生成する。
　また、２つのリセットトランジスタ２３３および２３８が電源ラインＶＤＤと、浮遊拡散層２３４および２３９それぞれとの間に接続される。リセットトランジスタ２３３および２３８は、垂直駆動回路１１２１から供給されるリセット信号ＲＳＴおよびＲＳＴpに応じてオン状態となることで、浮遊拡散層２３４および２３９それぞれから電荷を引き抜いて、浮遊拡散層２３４および２３９を初期化する。
　２つの増幅トランジスタ２３５および２４０は、電源ラインＶＤＤと、選択トランジスタ２３６および２４１それぞれとの間に接続される。各増幅トランジスタ２３５および２４０は、浮遊拡散層２３４および２３９のそれぞれで電荷が電圧に変換された電圧信号を増幅する。
　選択トランジスタ２３６は、増幅トランジスタ２３５と、垂直信号線ＶＳＬ1との間に接続される。また、選択トランジスタ２４１は、増幅トランジスタ２４０と、垂直信号線ＶＳＬ2との間に接続される。選択トランジスタ２３６および２４１は、垂直駆動回路１１２１から供給される選択信号ＳＥＬおよびＳＥＬpに応じてオン状態とされることで、増幅トランジスタ２３５および２４０それぞれで増幅された画素信号ＡＩＮP1およびＡＩＮP2を、それぞれ垂直信号線ＶＳＬ1および垂直信号線ＶＳＬ2に出力する。
　画素１１１２に接続される垂直信号線ＶＳＬ1および垂直信号線ＶＳＬ2は、画素列毎に、カラム信号処理部１１２２に含まれる１つのＡＤ変換器の入力端に接続される。垂直信号線ＶＳＬ1および垂直信号線ＶＳＬ2は、画素列毎に、画素１１１２から出力される画素信号ＡＩＮP1およびＡＩＮP2を、カラム信号処理部１１２２に含まれるＡＤ変換器に供給する。
　図１４および図１５を用いて、センサユニット１１１の積層構造について概略的に説明する。
　一例として、センサユニット１１１は、半導体チップを２層に積層した２層構造により形成される。図１４は、各実施形態に適用されるセンサユニット１１１を２層構造の積層型ＣＩＳ(Complementary　Metal　Oxide　Semiconductor　Image　Sensor)により形成した例を示す図である。図１４の構造では、センサチップ１１１０である第１層の半導体チップに画素エリア１１１１を形成し、回路チップ１１２０である第２層の半導体チップに回路部を形成している。
　回路部は、例えば、垂直駆動回路１１２１、カラム信号処理部１１２２、タイミング制御回路１１２３および出力回路１１２４を含む。なお、センサチップ１１１０が画素エリア１１１１と例えば垂直駆動回路１１２１とを含む構成でもよい。図１４の右側に示されるように、センサチップ１１１０と、回路チップ１１２０とを電気的に接触させつつ貼り合わせることで、センサユニット１１１を１つの固体撮像素子として構成する。
　別の例として、センサユニット１１１は、半導体チップを３層に積層した３層構造により形成される。図１５は、各実施形態に適用されるセンサユニット１１１を３層構造の積層型ＣＩＳにより形成した例を示す図である。図１５の構造では、センサチップ１１１０である第１層の半導体チップに画素エリア１１１１を形成する。また、上述した回路チップ１１２０を、第２層の半導体チップによる第１の回路チップ１１２０ａと、第３層の半導体チップによる第２の回路チップ１１２０ｂと、に分割して形成している。図１５の右側に示されるように、センサチップ１１１０と、第１の回路チップ１１２０ａと、第２の回路チップ１１２０ｂと、を電気的に接触させつつ貼り合わせることで、センサユニット１１１を１つの固体撮像素子として構成する。
＜２．第１の実施形態＞
＜２．１．補正処理の概要＞
　次に、本開示の第１の実施形態について説明する。本実施形態に係る測距装置は、受光部１２が受光した反射光３２に基づき、被測定物までの距離Ｄに加え、反射光画像情報を生成する。このとき、例えば受光部１２が受光した反射光３２の強度が高く、光強度が飽和してしまうと、反射光画像情報の生成精度が低下する場合がある。以下、図１６を用いて、光強度が飽和した場合の反射光画像情報について説明し、かかる反射光画像情報の補正方法について説明する。なお、図１６は、本開示の第１の実施形態に係る補正方法の概要を説明するための図である。
　上述したように、反射光３２には、被測定物３１で反射した直接反射光に加え、環境光およびダークノイズが含まれる。このうち、例えば環境光の光強度が高い場合、受光部１２が受光する反射光３２の強度が高くなり、光量値Ｃ0、Ｃ90、Ｃ180およびＣ270が飽和してしまう場合がある。あるいは、射出光の強度が高い場合や被測定物３１の反射率が高かったり、被測定物３１までの距離Ｄが近かったりする場合でも受光部１２が受光する反射光３２の強度が高くなり、光量値Ｃ0、Ｃ90、Ｃ180およびＣ270が飽和してしまう場合がある。なお、ここでは、図１６のグラフＧ１に示すように、受光部１２が受光した反射光３２の強度が高く、光量値Ｃ0、Ｃ90、Ｃ180およびＣ270が光量値Ｃmaxで飽和したものとする。
　ここで、反射光画像情報の画素値Confidenceは、上述した式（５）～（８）により算出される。光量値Ｃ0、Ｃ90、Ｃ180およびＣ270が光量値Ｃmaxで飽和すると、Ｉ、Ｑ成分がゼロとなり、反射光画像情報の画素値Confidenceもゼロとなってしまう。このように、受光部１２が受光した反射光３２の強度が高く、受光素子が飽和すると、例えば、図１６の画像Ｉ２に示すように、対応する反射光画像情報の画素値Confidenceがゼロとなる領域Ｒsa（以下、飽和領域Ｒsaともいう）が発生する。図１６のグラフＧ２に示すように、この飽和領域Ｒsaでは、反射光画像情報の画素値Confidenceがゼロとなるため、飽和領域Ｒsaと、受光素子が飽和していない領域Ｒnsa（以下、非飽和領域Ｒnsaともいう）との間で不連続が発生してしまう。なお、グラフＧ２は、画像Ｉ２の線分Ａ－Ａ‘における反射光画像情報の画素値Confidenceを示すグラフである。
　このように、反射光画像情報に不連続が発生すると、アプリケーション部２０での処理において不具合が発生する場合がある。例えば、アプリケーション部２０が、反射光画像情報の飽和領域Ｒsaを特徴として認識してしまうことで、反射光画像情報の認識結果に誤りが発生する場合がある。例えば、アプリケーション部２０が、反射光画像情報を用いて顔認識を行う場合、飽和領域Ｒsaを顔の特徴（例えば、ほくろ）として認識してしまうと、正しく顔認識を行えない可能性がある。
　そこで、本開示の第１の実施形態では、反射光画像情報の飽和領域Ｒsaにおける画素値Confidenceを補正することで、反射光画像情報の不連続を解消する。これにより、反射光画像情報の生成精度の低下を抑制し、アプリケーション部２０における不具合の発生を抑制することができる。
　具体的には、本開示の第１の実施形態に係る補正方法では、反射光画像情報の飽和領域Ｒsaにおける画素値Confidenceをゼロから所定の値で補正する。図１６に示す例では、グラフＧ３に示すように、飽和領域Ｒsaにおける画素値Confidenceを、Confidence＝Ｐmax1に補正する。なお、グラフＧ３に示すように、画素値Confidenceの補正値Ｐmax1は、飽和領域Ｒsaに接する非飽和領域Ｒnsaの画素Ｍb1、Ｍb2の画素値Ｐｂよりも大きな値（Ｐmax1＞Ｐｂ）である。
　これにより、図１６の画像Ｉ３に示すように、反射光画像情報の不連続を解消することができる。なお、画像Ｉ３では、飽和領域Ｒsaと非飽和領域Ｒnsaとの境界をわかりやすくするため、境界線を黒色の線で示している。
＜２．２．測距装置の構成例＞
　図１７は、本開示の第１の実施形態に係る測距装置の機能を説明するための一例の機能ブロック図である。図１７において、測距装置１０ａは、光源部１１と、受光部１２と、制御部４０と、測距部５０と、補正部６０と、を含む。これら光源部１１、受光部１２、制御部４０、測距部５０および補正部６０のうち、制御部４０、測距部５０および補正部６０は、例えばＣＰＵ１００（図１１参照）上で所定のプログラムが動作することで構成される。これに限らず、制御部４０、測距部５０および補正部６０のうち一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。なお、以下、制御部４０、測距部５０および補正部６０で構成される装置を単に情報処理装置とも呼ぶ。
　なお、以下では、説明のため、受光部１２における各位相０°、９０°、１８０°および２７０°における各光量値の取得および各情報の算出は、２タップ方式（４ｐｈａｓｅ）を適用するものとする。なお、２タップ方式（４ｐｈａｓｅ）以外の方式を用いて各光量値の取得および各情報の算出を行ってもよい。
　制御部４０は、光源制御信号を生成し、光源部１１に供給する。光源制御信号は、例えばＰＷＭの変調におけるデューティ、光源部１１により発光される光の強度、発光のタイミングなどを指定する情報を含む。光源部１１は、制御部４０から供給される光源制御信号に応じて、ＰＷＭにより変調された射出光３０（図１参照）を射出する。
　また、制御部４０は、露光制御信号を生成し、受光部１２に供給する。露光制御信号は、受光部１２に対して、光源部１１のデューティに従った露光長の露光を、異なる位相それぞれにおいて行うように制御する情報を含む。また、露光制御信号は、受光部１２における露光量を制御するための情報をさらに含む。
　受光部１２から出力された各位相の画素信号は、測距部５０に供給される。測距部５０は、受光部１２から供給された各位相の画素信号に基づき、距離情報Ｄｅｐｔｈおよび反射光画像情報の画素値Confidenceを算出する。測距部５０は、算出した距離情報Ｄｅｐｔｈおよび反射光画像情報の画素値Confidenceを、例えばアプリケーション部２０に渡す。
　ここで、図１８を用いて反射光画像情報の画素値Confidenceについて説明する。図１８は、２タップ方式（４ｐｈａｓｅ）における反射光画像情報の画素値Confidenceの算出方法を説明するための図である。図１８では、被測定物３１Ａまでの距離Ｄ１の算出に用いる画素信号および被測定物３１Ｂまでの距離Ｄ２の算出に用いる画素信号を各位相のタップごとに示している。なお、被測定物３１Ａおよび被測定物３１Ｂは、同じ空間に配置された異なる被測定物であってもよい。あるいは、同じ被測定物を異なるフレームで測定したものであってもよく、同じ被測定物の異なる場所であってもよい。
　図１８に示すように、画素信号には、直接反射光成分、環境光成分およびダークノイズ成分が含まれる。反射光画像情報の画素値Confidenceは、このうち直接反射光の成分から算出されるものである。具体的には、上述したように、反射光画像情報の画素値Confidenceは、以下の式（５）、（７）および（８）を用いて算出される。
Ｉ＝(Ａ0－Ｂ0)－(Ａ180－Ｂ180)　　…（７）
Ｑ＝(Ａ90－Ｂ90)－(Ａ270－Ｂ270)　　…（８）
Confidence＝｜Ｉ｜＋｜Ｑ｜　　…（５）
　図１８に示すように、距離Ｄ２の算出に用いる画素信号は飽和していない。一方、距離Ｄ１の算出に用いる画素信号は位相０°のタップＡおよび位相１８０°のタップＢで飽和している。そのため、距離Ｄ２に対応する反射光画像情報の画素値Confidenceは高精度に算出することができるが、距離Ｄ１に対応する反射光画像情報の画素値Confidenceは高精度に算出することができない。そこで、本実施形態では、受光部１２の受光素子が飽和している場合、補正部６０が反射光画像情報の画素値Confidenceを補正し、制御部４０が次のフレームにおける制御信号を調整する。
　図１７に戻り、制御部４０は、受光部１２から供給された各位相（例えば位相０°、９０°、１８０°および２７０°）の各画素信号に基づき、受光部１２における露光量を制御するための制御信号を生成する。制御部４０が生成するこの制御信号は、測距部５０が、撮像するシーンに依らず適切に距離情報Ｄｅｐｔｈを算出するためのものである。例えば、制御部４０は、各位相の画素信号に基づく各光量値を適切な範囲内の値に調整するように、制御信号を生成する。
　すなわち、より具体的には、上述した式（１）および（２）を参照すると、各位相それぞれに対応する各画素信号のうち１以上の画素信号が飽和している、あるいは、所定以下のレベルであるような場合、差分ＩおよびＱを適切に算出できないおそれがある。この場合、測距部５０において差分ＩおよびＱに基づき算出される距離情報Ｄｅｐｔｈの信頼性も、低いものとなってしまう。
　そのため、制御部４０は、各位相の各画素信号に基づく各光量値を適切な範囲内の値に制御するする制御信号を求める。制御部４０は、求めた制御信号に基づき、受光部１２によるゲインや露光時間、光源部１１による発光のデューティや強度を制御して、受光部１２に受光される光量が適切になるように調整する。
　一例として、被測定物３１の反射率が低い場合や、測距部５０が算出した距離情報Ｄｅｐｔｈに示される距離が所定以上である場合、算出される距離情報ＤｅｐｔｈのＳ／Ｎが低くなり、この距離情報Ｄｅｐｔｈの精度が低下する。この場合、制御部４０は、測距部５０により算出される距離情報ＤｅｐｔｈのＳ／Ｎを維持するために、受光部１２による露光時間が長くなるように受光部１２を制御する制御信号を生成する。
　制御部４０は、生成した制御信号をレジスタ（不図示）などに記憶する。制御部４０は、光源部１１による発光および受光部１２による受光を、所定周期のフレーム毎に実行する。制御部４０は、レジスタに記憶された制御情報に基づき１フレーム分の処理を行い、処理の結果に基づき制御信号を求め、レジスタに記憶される制御信号を更新する。
　補正部６０は、各位相の各画素信号を用いて、反射光画像情報の画素値Confidenceを補正する。補正部６０は、飽和領域検出部６１と、飽和値推定部６２と、飽和領域補償部６３と、を有する。
　飽和領域検出部６１は、反射光画像情報の飽和領域Ｒsaを検出する。受光部１２の受光素子が出力する画素信号には、当該画素信号が飽和したか否かを示す飽和情報が含まれる。飽和領域検出部６１は、飽和情報に基づき、画素信号が飽和した受光素子を検出することで飽和領域Ｒsaを検出する。あるいは、飽和領域検出部６１が、画素信号が飽和した場合の値であるか否かを判定することで、飽和した受光素子、すなわち、飽和領域Ｒsaを検出するようにしてもよい。あるいは、飽和領域検出部６１が、反射光画像情報の画素値Confidenceが飽和した場合の値（例えば画素値Confidenceがゼロ）であるか否かを判定することで、飽和領域Ｒsaを検出するようにしてもよい。
　飽和値推定部６２は、飽和領域補償部６３による反射光画像情報の画素値Confidenceの補正に用いる補正値を推定する。飽和値推定部６２は、飽和領域Ｒsa周囲に隣接する非飽和領域Ｒnsaの画素値Confidence、すなわち、飽和領域Ｒsa周囲に隣接する飽和していない画素信号に基づき、補正値を推定する。
　例えば、飽和領域検出部６１が、図１９に示す反射光画像情報Ｉ４から第１の飽和領域Ｒsa1および第２の飽和領域Ｒsa2を検出した場合に、飽和値推定部６２が推定する補正値について説明する。なお、図１９は、飽和値推定部６２が推定する補正値について説明するための図である。図１９では、図を見やすくするために、飽和領域を白色で表示し、飽和領域の周囲に隣接する非飽和領域を黒線で示している。
　飽和値推定部６２は、例えば第１の飽和領域Ｒsa1の周囲に隣接する（位置する）非飽和領域Ｒnsa（図１９の黒線で示す領域）の画素値Confidenceの平均値に基づき、補正値を推定する。飽和値推定部６２は、例えばマトリクス状の反射光画像情報を行または列ごとにスキャンすることで、第１の飽和領域Ｒsa1と非飽和領域Ｒnsaとの境界を検出する。飽和値推定部６２は、検出した境界における非飽和領域Ｒnsaの画素値Confidenceを検出する。飽和値推定部６２は、全ての行および全ての列について第１の飽和領域Ｒsa1に隣接する非飽和領域Ｒnsaの画素値Confidenceを検出することで、第１の飽和領域Ｒsa1周囲に隣接する非飽和領域Ｒnsaの画素値Confidenceを全て検出する。飽和値推定部６２は、検出した全ての非飽和領域Ｒnsaの画素値Confidenceの平均値を第１の飽和領域Ｒsa1の周囲に隣接する非飽和領域Ｒnsa（図１９の白線で示す領域）の画素値Confidenceの平均値として算出する。
　ここで、第１の飽和領域Ｒsa1では画素信号の値が飽和している。そのため、第１の飽和領域Ｒsa1の実際の画素値Confidence、すなわち画素信号の値が飽和していなかった場合の画素値Confidenceは、周囲の非飽和領域Ｒnsaの画素値Confidenceより高いと考えられる。そこで、飽和値推定部６２は、第１の飽和領域Ｒsa1の周囲に隣接する非飽和領域Ｒnsa（図１９の白線で示す領域）の画素値Confidenceの平均値に一定値を加えた値を補正値として推定する。なお、飽和値推定部６２は、第２の飽和領域Ｒsa2の補正値も第１の飽和領域Ｒsa1と同様にして推定する。
　飽和領域補償部６３は、飽和領域検出部６１が検出した飽和領域Ｒsaの画素値Confidenceを、飽和値推定部６２が推定した補正値で補正する。図２０に示すように、例えば、飽和領域補償部６３は、飽和領域Ｒsaの画素値Confidenceを補正値に置き換えることで、画素値Confidenceを補正する。
　なお、図２０は、飽和領域補償部６３による画素値Confidenceの補正について説明するための図である。図２０では、例えばマトリクス状に配置される反射光画像情報のうち、所定の一行における反射光画像情報を示している。図２０の左側に示すグラフが補正前の反射光画像情報を示すグラフである。図２０に示すように、補正前の反射光画像情報では、飽和領域Ｒsaで反射光画像情報の画素値Confidenceがゼロになっており、グラフが不連続になっている。そこで、飽和領域補償部６３は、右側のグラフに示すように、飽和領域Ｒsaにおける反射光画像情報の画素値Confidenceを補正値に置き換える。これにより、反射光画像情報の不連続を改善することができる。
　図２１は、飽和領域補償部６３による補正前の反射光画像情報の一例を示す図である。受光部１２の受光素子が飽和した場合、図２１に示すように、反射光画像情報Ｉ５には黒い飽和領域Ｒsaが発生する。このように、反射光画像情報Ｉ５に飽和領域Ｒsaが発生すると、例えば後段のアプリケーション部２０による顔認証の精度が低下するおそれがある。これは、アプリケーション部２０が飽和領域Ｒsaを反射光画像情報Ｉ５の特徴として認識してしまうおそれがあるためである。
　そこで、本開示の第１の実施形態では、上述したように、飽和領域補償部６３が反射光画像情報の飽和領域Ｒsaにおける画素値Confidenceを補正する。図２２は、飽和領域補償部６３による補正後の反射光画像情報の一例を示す図である。図２２の反射光画像情報Ｉ６に示すように、飽和領域補償部６３が飽和領域Ｒsaを補正することで、図２１では黒く表示されていた飽和領域Ｒsaが白く表示されるようになる。すなわち、飽和領域Ｒsaが白く表示されるように補正することで、飽和領域Ｒsaと非飽和領域Ｒnsaとの不連続を解消することができる。
　顔認証の場合、認証画像に図２２に示すような白飛びが発生する場合よりも、図２１に示すような不連続が発生する場合の方が、認証精度が低下する。そこで、飽和領域補償部６３によって、反射光画像情報の不連続を補正することで、反射光画像情報の精度の低下を抑制し、アプリケーション部２０による不具合（例えば顔認証制度の低下）を抑制することができる。
＜２．３．測距装置における補正処理＞
　図２３は、第１の実施形態に係る測距装置１０ａにおける補正処理の一例を示すフローチャートである。かかる補正処理は、例えば、アプリケーション部２０から測距装置１０ａに対して、撮像（測距）の開始を指示する撮像開始指示が渡されることで開始される。
　まず、測距装置１０ａの制御部４０は、レジスタに記憶された制御信号に基づき、光源部１１および受光部１２を制御して、撮像を行う（ステップＳ１０１）。撮像により得られた各位相の画素信号は、受光部１２から制御部４０、測距部５０および補正部６０に渡される。
　測距装置１０ａの測距部５０は、ステップＳ１０１で撮像された撮像結果に基づき、距離情報Ｄｅｐｔｈおよび反射光画像情報の画素値Confidenceを算出する（ステップＳ１０２）。測距装置１０ａの測距部５０は、算出した距離情報Ｄｅｐｔｈを、例えばアプリケーション部２０に出力し、反射光画像情報の画素値Confidenceをアプリケーション部２０および補正部６０に出力する。
　次に、測距装置１０ａの飽和領域検出部６１は、ステップＳ１０１で撮像された撮像結果に基づき、反射光画像情報の飽和領域Ｒsaを算出する（ステップＳ１０３）。飽和領域検出部６１は、画素信号が飽和した受光素子を検出することで、反射光画像情報の飽和領域Ｒsaを算出する。
　測距装置１０ａの飽和値推定部６２は、ステップＳ１０３で算出された飽和領域ＲsaおよびステップＳ１０２で算出された反射光画像情報の画素値Confidenceに基づき、補正値を算出する（ステップＳ１０４）。より具体的には、飽和値推定部６２は、飽和領域Ｒsaの周囲の非飽和領域Ｒnsaの反射光画像情報の画素値Confidenceの平均値に所定値を加算した値を補正値として推定する。
　測距装置１０ａの飽和領域補償部６３は、ステップＳ１０４で飽和値推定部６２が推定した補正値に基づき、飽和領域Ｒsaの反射光画像情報の画素値Confidenceを補正する（ステップＳ１０５）。飽和領域補償部６３は、飽和領域Ｒsaの反射光画像情報の画素値Confidenceに算出した補正値を加算することで、反射光画像情報の画素値Confidenceの値を補正値に置き換える。
　測距装置１０ａの制御部４０は、ステップＳ１０１で撮像された各位相の各画素信号に基づき、光源部１１および受光部１２を制御する制御信号を求める（ステップＳ１０６）。制御部４０は、求めた制御信号をレジスタなどに記憶する。
　測距装置１０ａは、撮像が終了したか否かを判定する（ステップＳ１０７）。測距装置１０ａは、例えば、アプリケーション部２０から撮像の終了を指示する撮像終了指示を受け取った場合に、撮像が終了したと判定する（ステップＳ１０７、「Ｙｅｓ」）。この場合、測距装置１０ａは、補正処理を終了する。
　一方、測距装置１０ａは、アプリケーション部２０から撮像終了指示を受け取っておらず、撮像が終了していないと判定した場合（ステップＳ１０７、「Ｎｏ」）、処理をステップＳ１０１に戻す。このステップＳ１０１～ステップＳ１０７の処理は、例えば１フレーム単位で繰り返される。
　このように、第１の実施形態に係る測距装置１０ａ（情報処理装置の一例）は、補正部６０（制御部の一例）を備える。補正部６０は、光源部１１（光源の一例）から照射された射出光が被測定物３１に反射した反射光３２を受光する受光部１２（受光センサの一例）が出力する画素信号（画素信号の一例）に基づいて生成される反射光画像情報（受光画像情報の一例）の飽和領域Ｒsaを検出する。画素信号は、被測定物３１までの距離の算出に用いられる。飽和領域Ｒsaは、飽和した画素信号に基づいて生成される反射光画像情報の領域である。補正部６０は、飽和領域Ｒsaの反射光画像情報を画素信号に基づき補正する。
　これにより、受光画像情報（第１の実施形態では反射光画像情報）の不連続を改善することができ、受光画像情報の精度の低下を抑制することができる。
＜３．第２の実施形態＞
　次に、本開示の第２の実施形態について説明する。第２の実施形態に係る測距装置は、ＩＲ画像情報を用いて、反射光画像情報の飽和領域Ｒsaを補正する。
＜３．１．測距装置の構成例＞
　図２４は、第２の実施形態に係る測距装置１０ｂの機能の一例を説明するためのブロック図である。図２４に示す測距装置１０ｂは、図１７の補正部６０に代えて補正部６０ｂを備える。補正部６０ｂは、図１７の飽和値推定部６２を備えておらず、代わりにＩＲ算出部６４を備える。また、補正部６０ｂは、図１７の飽和領域補償部６３に代えて飽和領域補償部６３ｂを備える。補正部６０ｂは、ＣＰＵ１００（図１１参照）上でプログラムが動作することで構成されてもよいし、ハードウェア回路により実現してもよい。
　ＩＲ算出部６４は、受光部１２が出力する画素信号に基づき、ＩＲ画像情報を算出する。ここで、ＩＲ画像情報は、上述した式（１１）または式（１２）に基づいて算出される。ＩＲ画像情報は、画素信号から暗電流（ダークノイズ）等の直流成分を減算することで算出される。従って、飽和領域ＲsaでもＩＲ画像情報の画素値ＩＲはゼロにはならず、ＩＲ画像情報は、飽和領域Ｒsaが発生しても連続性を保った画像情報となる。
　飽和領域補償部６３ｂは、反射光画像情報およびＩＲ画像情報に基づき、飽和領域Ｒsaの反射光画像情報を補正する。飽和領域補償部６３は、飽和領域ＲsaにおけるＩＲ画像情報の勾配（変化率）に応じて反射光画像情報を補正する。かかる補正について、図２５を用いて詳細に説明する。
　図２５は、飽和領域補償部６３ｂによる飽和領域Ｒsaの補正について説明するための図である。図２５では、反射光画像情報およびＩＲ画像情報の一行（あるいは一列）に対応するグラフを示している。
　図２５の左側上のグラフは、ＩＲ算出部６４が生成したＩＲ画像情報を示すグラフである。ＩＲ画像情報を示すグラフは、飽和領域Ｒsaでもゼロにならず連続したグラフになっている。
　図２５の左側下のグラフは、測距部５０が生成した反射光画像情報を示すグラフである。上述したように、反射光画像情報を示すグラフは、飽和領域Ｒsaでゼロになるため不連続なグラフになっている。
　上述したように、ＩＲ画像情報は、直接反射光の成分と環境光の成分を含む情報である。また、反射光画像情報は、直接反射光の成分を含む情報である。同じフレーム内であれば環境光の成分は同じであると考えられる。そのため、ＩＲ画像情報の画素値ＩＲの変化に寄与する成分と、反射光画像情報の画素値Confidenceの変化に寄与する成分とは、どちらも同じ直接反射光の成分であり、その変化率は等しいと考えられる。
　そこで、本実施形態に係る飽和領域補償部６３ｂは、飽和領域Ｒsaにおける反射光画像情報の画素値Confidenceを、ＩＲ画像情報の画素値ＩＲの勾配（変化率）に応じて補正する。具体的には、補正する反射光画像情報の画素（以下、補正画素ともいう）に隣接する画素の値に、補正画素に対応するＩＲ画像情報の画素値ＩＲの変化率を乗算することで、補正画素の補正値を算出する。飽和領域補償部６３ｂは、算出した補正値を用いて補正画素の画素値Confidenceを補正する。
　飽和領域補償部６３ｂは、例えば非飽和領域Ｒnsaに隣接する飽和領域Ｒsaの画素から順に補正値を算出し、補正対象の画素を水平方向または垂直方向に順次移動させながら、飽和領域Ｒsaに含まれる全ての画素について補正値を算出する。
　図２５の右側のグラフは、飽和領域補償部６３ｂによる補正後の反射光画像情報を示すグラフである。図２５に示すように、補正後の反射光画像情報は、飽和領域ＲsaでＩＲ画像情報と同じ勾配（変化率）の画素値Confidenceを有するグラフとなっており、不連続が解消されていることがわかる。
　このように、飽和領域補償部６３ｂがＩＲ画像情報の勾配（変化率）に応じて反射光画像情報を補正することで、実際の直接反射光の成分の変化に応じた補正を行うことができ、反射光画像情報の精度低下をより抑制することができる。
　なお、ここでは、飽和領域補償部６３ｂが行または列ごとに反射光画像情報を補正するとしたが、これに限定されない。例えば、飽和領域補償部６３ｂが、行および列ごとにそれぞれ反射光画像情報の補正値を算出するようにしてもよい。この場合、１つの補正画素に対して、行および列方向に対応する２つの補正値が算出される。飽和領域補償部６３ｂは、例えば２つの補正値の平均値を用いて補正画素を補正するようにしてもよい。
＜３．２．測距装置における補正処理＞
　図２６は、第２の実施形態に係る測距装置１０ｂにおける補正処理の一例を示すフローチャートである。かかる補正処理は、図２３の補正処理と同様に、例えば、アプリケーション部２０から測距装置１０ｂに対して、撮像（測距）の開始を指示する撮像開始指示が渡されることで開始される。
　図２６のフローチャートにおいて、ステップＳ１０１～ステップＳ１０３の処理は、上述した図２３の対応する処理と同様であるので、ここでの詳細な説明を省略する。測距装置１０ｂは、ステップＳ１０３で光源部１１および受光部１２を制御する制御信号を求めると、処理をステップＳ２０１に移行する。
　測距装置１０ｂのＩＲ算出部６４は、ステップＳ１０１で撮像された撮像結果に基づき、ＩＲ画像情報を算出する（ステップＳ２０１）。ＩＲ算出部６４は、算出したＩＲ画像情報を、飽和領域補償部６３ｂに出力する。あるいは、ＩＲ算出部６４は、算出したＩＲ画像情報をアプリケーション部２０に出力するようにしてもよい。
　測距装置１０ｂの飽和領域補償部６３ｂは、ステップＳ１０４でＩＲ算出部６４が算出したＩＲ画像情報の勾配に基づき、飽和領域Ｒsaの反射光画像情報を補正する（ステップＳ２０２）。飽和領域補償部６３ｂは、補正画素に隣接する画素の画素値Confidenceに、補正画素に対応するＩＲ画像情報の画素値ＩＲの変化率を乗算することで、補正画素を補正する。
　測距装置１０ｂの制御部４０は、ステップＳ１０１で撮像された各位相の各画素信号に基づき、光源部１１および受光部１２を制御する制御信号を求める（ステップＳ１０６）。制御部４０は、求めた制御信号をレジスタなどに記憶する。
　測距装置１０ｂは、撮像が終了したか否かを判定する（ステップＳ１０７）。測距装置１０ｂは、例えば、アプリケーション部２０から撮像の終了を指示する撮像終了指示を受け取った場合に、撮像が終了したと判定する（ステップＳ１０７、「Ｙｅｓ」）。この場合、測距装置１０ｂは、補正処理を終了する。
　一方、測距装置１０ｂは、アプリケーション部２０から撮像終了指示を受け取っておらず、撮像が終了していないと判定した場合（ステップＳ１０７、「Ｎｏ」）、処理をステップＳ１０１に戻す。このステップＳ１０１～ステップＳ１０７の処理は、例えば１フレーム単位で繰り返される。
　このように、第２の実施形態に係る測距装置１０ｂ（情報処理装置の一例）は、補正部６０ｂ（制御部の一例）を備える。補正部６０ｂは、ＩＲ画像情報の画素値ＩＲの勾配（変化率）に応じて反射光画像情報の飽和領域における画素値Confidenceを補正する。これにより、受光画像情報（第２の実施形態では反射光画像情報）の不連続を改善することができ、受光画像情報の精度の低下を抑制することができる。
＜４．第３の実施形態＞
　次に、本開示の第３の実施形態について説明する。第３の実施形態に係る測距装置は、ＩＲ画像情報の飽和領域Ｒsaを補正する。
＜４．１．測距装置の構成例＞
　図２７は、第３の実施形態に係る測距装置１０ｃの機能の一例を説明するためのブロック図である。図２７に示す測距装置１０ｃは、図２４の補正部６０ｂに代えて補正部６０ｃを備える。補正部６０ｃは、図１７の飽和値推定部６２に代えて、飽和値推定部６２ｃを備える。補正部６０ｃは、図１７の飽和領域補償部６３に代えて、飽和領域補償部６３を備える。補正部６０ｃは、ＣＰＵ１００（図１１参照）上でプログラムが動作することで構成されてもよいし、ハードウェア回路により実現してもよい。
　飽和値推定部６２ｃは、ＩＲ画像情報の飽和領域Ｒsaにおける画素値ＩＲの補正値を推定する。飽和値推定部６２ｃは、例えば予め定められた値を補正値として推定する。あるいは、飽和値推定部６２ｃが、ＩＲ画像情報において飽和領域Ｒsaの周囲に位置する非飽和領域Ｒnsaの画素値ＩＲの平均値に基づき、補正値を推定してもよい。例えば飽和値推定部６２ｃがかかる平均値に予め定められた値を加算することで、補正値を推定するようにしてもよい。
　ＩＲ画像情報は、上述したように、飽和領域Ｒsaが存在しても不連続にはならない。しかしながら、ＩＲ画像情報であっても、飽和領域Ｒsaにおいては飽和した画素信号に基づいて画素値ＩＲが算出される。そのため、飽和領域Ｒsaにおける画素値ＩＲは正しい値ではなく、飽和した値（所定値にクリップした値）となってしまう。そこで、本実施形態では、ＩＲ画像情報の飽和領域Ｒsaの画素値ＩＲを補正することで、ＩＲ画像情報の精度劣化を抑制する。
　なお、ここでは、飽和領域検出部６１が、反射光画像情報の飽和領域Ｒsaを検出することで、対応するＩＲ画像情報の飽和領域Ｒsaを検出するものとするが、これに限定されない。例えば、飽和領域検出部６１が、ＩＲ画像情報の画素値ＩＲが飽和した場合の値であるか否かを判定することで、ＩＲ画像情報の飽和領域Ｒsaを検出するようにしてもよい。
　また、ここでは、補正部６０ｃがＩＲ画像情報を補正する場合について説明したが、補正部６０ｃがＩＲ画像情報に加え、反射光画像情報を補正するようにしてもよい。反射光画像情報の補正は、第１、第２の実施形態の場合と同様であるため、説明を省略する。
＜４．２．測距装置における補正処理＞
　図２８は、第３の実施形態に係る測距装置１０ｃにおける補正処理の一例を示すフローチャートである。かかる補正処理は、図２３の補正処理と同様に、例えば、アプリケーション部２０から測距装置１０ｃに対して、撮像（測距）の開始を指示する撮像開始指示が渡されることで開始される。
　図２８のフローチャートにおいて、ステップＳ１０１～ステップＳ２０１の処理は、上述した図２６の対応する処理と同様であるので、ここでの詳細な説明を省略する。測距装置１０ｃは、ステップＳ２０１でＩＲ画像情報を算出すると、処理をステップＳ３０１に移行する。
　測距装置１０ｃの飽和値推定部６２ｃは、ステップＳ１０３で算出された飽和領域ＲsaおよびステップＳ２０１で算出されたＩＲ画像情報に基づき、補正値を算出する（ステップＳ３０１）。
　測距装置１０ｃの飽和領域補償部６３ｃは、ステップＳ３０１で飽和値推定部６２ｃが算出した補正値に基づき、飽和領域ＲsaのＩＲ画像情報を補正する（ステップＳ３０２）。
　測距装置１０ｃの制御部４０は、ステップＳ１０１で撮像された各位相の各画素信号に基づき、光源部１１および受光部１２を制御する制御信号を求める（ステップＳ１０６）。制御部４０は、求めた制御信号をレジスタなどに記憶する。
　測距装置１０ｃは、撮像が終了したか否かを判定する（ステップＳ１０７）。測距装置１０ａは、例えば、アプリケーション部２０から撮像の終了を指示する撮像終了指示を受け取った場合に、撮像が終了したと判定する（ステップＳ１０７、「Ｙｅｓ」）。この場合、測距装置１０ｃは、補正処理を終了する。
　一方、測距装置１０ｃは、アプリケーション部２０から撮像終了指示を受け取っておらず、撮像が終了していないと判定した場合（ステップＳ１０７、「Ｎｏ」）、処理をステップＳ１０１に戻す。このステップＳ１０１～ステップＳ１０７の処理は、例えば１フレーム単位で繰り返される。
　このように、第３の実施形態に係る測距装置１０ｃ（情報処理装置の一例）は、補正部６０ｃ（制御部の一例）を備える。補正部６０ｃは、ＩＲ画像情報（受光画像情報の一例）の飽和領域における画素値を補正する。これにより、受光画像情報（第３の実施形態ではＩＲ画像情報）の精度の低下を抑制することができる。
＜５．変形例＞
　上記第１の実施形態では、測距装置１０ａがＣＰＵ１００、ＲＯＭ１０１、ＲＡＭ１０２、ＵＩ部１０４、ストレージ１０３、Ｉ／Ｆ１０５などを含む電子機器１により、ハードウェア装置として構成されるように説明したが、これはこの例に限定されない。例えば、図１１または図１２に示した、半導体チップを積層して構成したセンサユニット１１１に対して、図１７に示した制御部４０、測距部５０および補正部６０を含め、測距装置１０ａの全体として、１つの半導体素子として構成することもできる。これは、第２、第３の実施形態に係る測距装置１０ｂ、１０ｃにも、同様に適用できる。
　また、上記実施形態では、飽和領域Ｒsaにおいて、反射光画像情報の画素値Confidenceがゼロになるとして説明したが、これに限定されない。例えば、受光部１２の各位相における画素信号の一部が飽和した場合、反射光画像情報の画素値Confidenceがゼロにならない場合もある。ただし、この場合でも、飽和した画素信号に基づいて反射光画像情報の画素値Confidenceを算出するため、画素値Confidenceには誤差が含まれることとなり、反射光画像情報が不連続になってしまうおそれがある。そこで、このように、受光部１２の各位相における画素信号の一部が飽和した場合でも、補正部６０、６０ｂによる補正処理を行うようにしてもよい。
　また、上記実施形態では、受光画像情報の補正を補正部６０、６０ｂ、６０ｃが行うとしたが、これに限定されない。例えば、受光画像情報の補正をアプリケーション部２０が行うようにしてもよい。この場合、図１の電子機器１が受光画像情報の補正を行う情報処理装置となる。
　あるいは、上記実施形態の補正部６０、６０ｂ、６０ｃを、専用のコンピュータシステムで実現してもよいし、汎用のコンピュータシステムで実現してもよい。
　例えば、上述の補正処理の動作を実行するためのプログラムを、光ディスク、半導体メモリ、磁気テープ、フレキシブルディスク、ハードディスク等のコンピュータ読み取り可能な記録媒体に格納して配布する。そして、例えば、該プログラムをコンピュータにインストールし、上述の処理を実行することによって補正部６０を含む情報処理装置を構成する。このとき、情報処理装置は、電子機器１の外部装置（例えば、パーソナルコンピュータ）であってもよい。また、情報処理装置は、電子機器１の内部の装置（例えば、制御部４０）であってもよい。
　また、上記通信プログラムをインターネット等のネットワーク上のサーバ装置が備えるディスク装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。また、上述の機能を、ＯＳ（Operating　System）とアプリケーションソフトとの協働により実現してもよい。この場合には、ＯＳ以外の部分を媒体に格納して配布してもよいし、ＯＳ以外の部分をサーバ装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。
　また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
＜６．むすび＞
　以上、本開示の各実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態および変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　光源から照射された射出光が被測定物に反射した反射光を受光する受光センサであって、前記受光センサが出力する画素信号に基づいて生成される受光画像情報の飽和領域を検出し、
　前記画素信号は前記被測定物までの距離の算出に用いられ、
　前記飽和領域は、飽和した前記画素信号に基づいて生成される前記受光画像情報の領域であり、
　前記飽和領域の前記受光画像情報を前記画素信号に基づき補正する制御部
　を備える情報処理装置。
（２）
　前記受光画像情報は、前記画素信号に含まれる前記反射光の成分に応じて生成される画像情報である
　（１）に記載の情報処理装置。
（３）
　前記受光画像情報は、前記画素信号に含まれる前記反射光の成分および環境光の成分に応じて生成される画像情報である
　（１）に記載の情報処理装置。
（４）
　前記制御部は、
　前記画素信号が飽和していない非飽和領域のうち前記飽和領域に隣接する前記受光画像情報の画素値に基づき、前記飽和領域の前記画素値を補正する
　（２）または（３）に記載の情報処理装置。
（５）
　前記制御部は、
　前記画素信号が飽和していない非飽和領域のうち前記飽和領域の周囲に位置する前記受光画像情報の前記画素値の平均値に基づいて算出した補正値を用いて前記飽和領域の前記画素値を補正する
　（４）に記載の情報処理装置。
（６）
　前記補正値は、前記平均値より大きい値である
　（５）に記載の情報処理装置。
（７）
　前記制御部は、
　前記画素信号に含まれる前記反射光の成分および環境光の成分に応じて算出される受光値の変化率に応じて、前記飽和領域の前記画素値を補正する
　（４）に記載の情報処理装置。
（８）
　光源から照射された射出光が被測定物に反射した反射光を受光する受光センサであって、前記受光センサが出力する画素信号に基づいて生成される受光画像情報の飽和領域を検出することと、
　前記画素信号は前記被測定物までの距離の算出に用いられ、
　前記飽和領域は、飽和した前記画素信号に基づいて生成される前記受光画像情報の領域であり、
　前記飽和領域の前記受光画像情報を前記画素信号に基づき補正することと、
　を含む補正方法。
（９）
　コンピュータを、
　光源から照射された射出光が被測定物に反射した反射光を受光する受光センサであって、前記受光センサが出力する画素信号に基づいて生成される受光画像情報の飽和領域を検出し、
　前記画素信号は前記被測定物までの距離の算出に用いられ、
　前記飽和領域は、飽和した前記画素信号に基づいて生成される前記受光画像情報の領域であり、
　前記飽和領域の前記受光画像情報を前記画素信号に基づき補正する制御部
　として機能させるためのプログラム。
１　電子機器
１０、１０ａ、１０ｂ、１０ｃ　測距装置
１１　光源部
１２　受光部
１３　測距処理部
２０　アプリケーション部
４０　制御部
５０　測距部
６０、６０ｂ、６０ｃ　補正部
６１　飽和領域検出部
６２、６２ｃ　飽和値推定部
６３、６３ｂ、６３ｃ　飽和領域補償部
６４　ＩＲ算出部

Claims (9)

  1. 　光源から照射された射出光が被測定物に反射した反射光を受光する受光センサであって、前記受光センサが出力する画素信号に基づいて生成される受光画像情報の飽和領域を検出し、
    　前記画素信号は前記被測定物までの距離の算出に用いられ、
    　前記飽和領域は、飽和した前記画素信号に基づいて生成される前記受光画像情報の領域であり、
    　前記飽和領域の前記受光画像情報を前記画素信号に基づき補正する制御部
    　を備える情報処理装置。
  2. 　前記受光画像情報は、前記画素信号に含まれる前記反射光の成分に応じて生成される画像情報である
    　請求項１に記載の情報処理装置。
  3. 　前記受光画像情報は、前記画素信号に含まれる前記反射光の成分および環境光の成分に応じて生成される画像情報である
    　請求項１に記載の情報処理装置。
  4. 　前記制御部は、
    　前記画素信号が飽和していない非飽和領域のうち前記飽和領域に隣接する前記受光画像情報の画素値に基づき、前記飽和領域の前記画素値を補正する
    　請求項２に記載の情報処理装置。
  5. 　前記制御部は、
    　前記画素信号が飽和していない非飽和領域のうち前記飽和領域の周囲に位置する前記受光画像情報の前記画素値の平均値に基づいて算出した補正値を用いて前記飽和領域の前記画素値を補正する
    　請求項４に記載の情報処理装置。
  6. 　前記補正値は、前記平均値より大きい値である
    　請求項５に記載の情報処理装置。
  7. 　前記制御部は、
    　前記画素信号に含まれる前記反射光の成分および環境光の成分に応じて算出される受光値の変化率に応じて、前記飽和領域の前記画素値を補正する
    　請求項４に記載の情報処理装置。
  8. 　光源から照射された射出光が被測定物に反射した反射光を受光する受光センサであって、前記受光センサが出力する画素信号に基づいて生成される受光画像情報の飽和領域を検出することと、
    　前記画素信号は前記被測定物までの距離の算出に用いられ、
    　前記飽和領域は、飽和した前記画素信号に基づいて生成される前記受光画像情報の領域であり、
    　前記飽和領域の前記受光画像情報を前記画素信号に基づき補正することと、
    　を含む補正方法。
  9. 　コンピュータを、
    　光源から照射された射出光が被測定物に反射した反射光を受光する受光センサであって、前記受光センサが出力する画素信号に基づいて生成される受光画像情報の飽和領域を検出し、
    　前記画素信号は前記被測定物までの距離の算出に用いられ、
    　前記飽和領域は、飽和した前記画素信号に基づいて生成される前記受光画像情報の領域であり、
    　前記飽和領域の前記受光画像情報を前記画素信号に基づき補正する制御部
    　として機能させるためのプログラム。
PCT/JP2020/029674 2019-09-27 2020-08-03 情報処理装置、補正方法およびプログラム WO2021059748A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US17/761,936 US20220390577A1 (en) 2019-09-27 2020-08-03 Information processing apparatus, correction method, and program
KR1020227009318A KR20220069944A (ko) 2019-09-27 2020-08-03 정보 처리 장치, 보정 방법 및 프로그램
CN202080067172.4A CN114521241A (zh) 2019-09-27 2020-08-03 信息处理装置、校正方法以及程序
JP2021548399A JPWO2021059748A1 (ja) 2019-09-27 2020-08-03
EP20870098.9A EP4036521A4 (en) 2019-09-27 2020-08-03 INFORMATION PROCESSING DEVICE, CORRECTION METHOD, AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019176862 2019-09-27
JP2019-176862 2019-09-27

Publications (1)

Publication Number Publication Date
WO2021059748A1 true WO2021059748A1 (ja) 2021-04-01

Family

ID=75166581

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/029674 WO2021059748A1 (ja) 2019-09-27 2020-08-03 情報処理装置、補正方法およびプログラム

Country Status (7)

Country Link
US (1) US20220390577A1 (ja)
EP (1) EP4036521A4 (ja)
JP (1) JPWO2021059748A1 (ja)
KR (1) KR20220069944A (ja)
CN (1) CN114521241A (ja)
TW (1) TW202130973A (ja)
WO (1) WO2021059748A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11922606B2 (en) * 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss
CN117523437A (zh) * 2023-10-30 2024-02-06 河南送变电建设有限公司 一种用于变电站近电作业现场实时风险识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008061033A (ja) * 2006-08-31 2008-03-13 Sanyo Electric Co Ltd スミア推測方法およびスミア除去回路
JP2016183922A (ja) * 2015-03-26 2016-10-20 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
JP2017133853A (ja) 2016-01-25 2017-08-03 株式会社リコー 測距装置
JP2018077071A (ja) * 2016-11-08 2018-05-17 株式会社リコー 測距装置、監視カメラ、３次元計測装置、移動体、ロボット、光源駆動条件設定方法及び測距方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107710015B (zh) * 2015-07-03 2021-08-24 新唐科技日本株式会社 距离测量装置以及距离图像合成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008061033A (ja) * 2006-08-31 2008-03-13 Sanyo Electric Co Ltd スミア推測方法およびスミア除去回路
JP2016183922A (ja) * 2015-03-26 2016-10-20 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
JP2017133853A (ja) 2016-01-25 2017-08-03 株式会社リコー 測距装置
JP2018077071A (ja) * 2016-11-08 2018-05-17 株式会社リコー 測距装置、監視カメラ、３次元計測装置、移動体、ロボット、光源駆動条件設定方法及び測距方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4036521A4

Also Published As

Publication number Publication date
US20220390577A1 (en) 2022-12-08
KR20220069944A (ko) 2022-05-27
EP4036521A4 (en) 2022-10-19
JPWO2021059748A1 (ja) 2021-04-01
CN114521241A (zh) 2022-05-20
EP4036521A1 (en) 2022-08-03
TW202130973A (zh) 2021-08-16

Similar Documents

Publication Publication Date Title
CN109698917B (zh) 固体摄像装置、固体摄像装置的驱动方法以及电子设备
US9357122B2 (en) Photoelectric conversion apparatus, focus detecting apparatus, imaging system, and driving method of photoelectric conversion apparatus
US10389957B2 (en) Readout voltage uncertainty compensation in time-of-flight imaging pixels
CN106664379B (zh) 高动态范围像素和用于操作高动态范围像素的方法
JP5552858B2 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
JP5978771B2 (ja) 信号処理装置および方法、撮像素子、並びに、撮像装置
KR101215142B1 (ko) 고체 촬상 장치 및 촬상 시스템
US10491842B2 (en) Imaging device, a solid-state imaging device for use in the imaging device
US8687099B2 (en) Imaging device, imaging method, and electronic device
US20170117310A1 (en) Solid-state image sensor, electronic apparatus, and imaging method
TW202127650A (zh) 光偵測裝置
TW200939758A (en) Solid-state image sensing device, method for reading signal of solid-state image sensing device, and image pickup apparatus
CN104272723A (zh) 特别用于将时变图像数据的取样亮度感测和异步检测相结合的光电阵列
WO2021059748A1 (ja) 情報処理装置、補正方法およびプログラム
JP2013207433A (ja) 固体撮像装置、撮像信号出力方法および電子機器
US20220046158A1 (en) Distance measuring device
WO2006129460A1 (ja) 撮像装置
KR20160040173A (ko) 변환 장치, 촬상 장치, 전자 기기, 변환 방법
KR20140084817A (ko) 3차원 이미지 센서의 거리 픽셀 및 이를 포함하는 3차원 이미지 센서
JP6173058B2 (ja) 撮像装置、撮像システム、撮像装置の駆動方法、撮像システムの駆動方法
JP2017107132A (ja) 電子機器
US20220146648A1 (en) Distance measuring device, method for controlling distance measuring device, and electronic device
KR20130098040A (ko) 깊이 이미지를 자동으로 캘리브레이션하는 이미지 시스템
JP6539987B2 (ja) 撮像素子および撮像装置
WO2020196378A1 (ja) 距離画像の取得方法、及び、距離検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20870098

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021548399

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2020870098

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2020870098

Country of ref document: EP

Effective date: 20220428