WO2020184028A1 - 測距装置 - Google Patents

測距装置 Download PDF

Info

Publication number
WO2020184028A1
WO2020184028A1 PCT/JP2020/005036 JP2020005036W WO2020184028A1 WO 2020184028 A1 WO2020184028 A1 WO 2020184028A1 JP 2020005036 W JP2020005036 W JP 2020005036W WO 2020184028 A1 WO2020184028 A1 WO 2020184028A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
light
distance measuring
information
phase
Prior art date
Application number
PCT/JP2020/005036
Other languages
English (en)
French (fr)
Inventor
小野　博明
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/310,804 priority Critical patent/US20220046158A1/en
Publication of WO2020184028A1 publication Critical patent/WO2020184028A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4918—Controlling received signal intensity, gain or exposure of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present invention relates to a ranging device.
  • ToF Time of Flight
  • the light received by the light receiving unit includes ambient light such as sunlight in addition to the reflected light of the light emitted from the light source effective for distance measurement.
  • ToF type distance measuring device a distance measuring device that performs ToF type distance measurement (hereinafter referred to as ToF type distance measuring device) the distance from the light received by the light receiving unit to the object to be measured based on the reflected light component obtained by removing the component of the ambient light. To get.
  • the ToF type distance measuring device may be equipped with an AE (Automatic Exposure) function in order to receive light with an appropriate brightness.
  • AE Automatic Exposure
  • the exposure is automatically adjusted according to the brightness of the shooting scene, and it is possible to obtain good distance measurement accuracy regardless of the shooting scene.
  • An object of the present disclosure is to provide a distance measuring device capable of improving convenience when an image adjusted in accordance with the ToF method is secondarily used.
  • the light receiving unit receives light in each phase according to the light emission of the light source unit, and distance information is calculated based on the light receiving signal for each phase output by the light receiving unit in each phase.
  • a unit a control unit that controls the level of the received light signal for each phase according to the calculation of distance information based on the received signal for each phase, a generation unit that generates an image signal based on the received signal for each phase, and an adjustment value.
  • the control unit includes an adjustment unit that adjusts the level of the image signal according to the above, and the control unit generates an adjustment value based on the received light signal for each phase controlled according to the calculation of the distance information.
  • the present disclosure is suitable for use in a technique for performing distance measurement using light.
  • an indirect ToF (Time of Flight) method will be described as one of the distance measuring methods applicable to the embodiment in order to facilitate understanding.
  • a light source light modulated by PWM Pulse Width Modulation
  • PWM Pulse Width Modulation
  • the reflected light is received by a light receiving element, and the received reflection is received.
  • FIG. 1 is a block diagram showing a configuration of an example of an electronic device using a distance measuring device applicable to each embodiment.
  • the electronic device 1 includes a distance measuring device 10 and an application unit 20.
  • the application unit 20 is realized by, for example, operating a program on a CPU (Central Processing Unit), requests the distance measuring device 10 to execute distance measurement, and measures distance information or the like which is the result of distance measurement. Receive from device 10.
  • CPU Central Processing Unit
  • the distance measuring device 10 includes a light source unit 11, a light receiving unit 12, and a distance measuring processing unit 13.
  • the light source unit 11 includes, for example, a light emitting element that emits light having a wavelength in the infrared region, and a drive circuit that drives the light emitting element to emit light.
  • a light emitting element included in the light source unit 11 for example, an LED (Light Emitting Diode) can be applied.
  • a VCSEL Very Cavity Surface Emitting LASER
  • the light emitting element of the light source unit 11 emits light is described as “the light source unit 11 emits light” or the like.
  • the light receiving unit 12 includes, for example, a light receiving element capable of detecting light having a wavelength in the infrared region, and a signal processing circuit that outputs a pixel signal corresponding to the light detected by the light receiving element.
  • a photodiode can be applied as the light receiving element included in the light receiving unit 12.
  • the light receiving element included in the light receiving unit 12 receives light is described as “the light receiving unit 12 receives light”.
  • the distance measuring processing unit 13 executes the distance measuring processing in the distance measuring device 10 in response to the distance measuring instruction from the application unit 20, for example.
  • the distance measuring processing unit 13 generates a light source control signal for driving the light source unit 11 and supplies it to the light source unit 11.
  • the distance measuring processing unit 13 controls the light reception by the light receiving unit 12 in synchronization with the light source control signal supplied to the light source unit 11.
  • the distance measuring processing unit 13 generates an exposure control signal for controlling the exposure period in the light receiving unit 12 in synchronization with the light source control signal, and supplies the light receiving unit 12.
  • the light receiving unit 12 outputs a valid pixel signal within the exposure period indicated by the exposure control signal.
  • the distance measuring processing unit 13 calculates the distance information based on the pixel signal output from the light receiving unit 12 in response to the light reception. Further, the distance measuring processing unit 13 can also generate predetermined image information based on the pixel signal. The distance measuring processing unit 13 passes the distance information and image information calculated and generated based on the pixel signal to the application unit 20.
  • the distance measurement processing unit 13 generates a light source control signal for driving the light source unit 11 and supplies the light source control signal to the light source unit 11 in accordance with an instruction from the application unit 20, for example, to execute the distance measurement. ..
  • the distance measuring processing unit 13 generates a light source control signal modulated into a rectangular wave having a predetermined duty by PWM and supplies it to the light source unit 11.
  • the distance measuring processing unit 13 controls the light received by the light receiving unit 12 based on the exposure control signal synchronized with the light source control signal.
  • the light source unit 11 blinks and emits light according to a predetermined duty according to the light source control signal generated by the distance measuring processing unit 13.
  • the light emitted from the light source unit 11 is emitted from the light source unit 11 as emission light 30.
  • the emitted light 30 is reflected by, for example, the object to be measured 31, and is received by the light receiving unit 12 as reflected light 32.
  • the light receiving unit 12 supplies a pixel signal corresponding to the light received by the reflected light 32 to the distance measuring processing unit 13.
  • the light receiving unit 12 receives ambient ambient light in addition to the reflected light 32, and the pixel signal includes the component of the ambient light together with the component of the reflected light 32.
  • the distance measuring processing unit 13 executes light reception by the light receiving unit 12 a plurality of times in different phases.
  • the distance measuring processing unit 13 calculates the distance D to the object to be measured based on the difference between the pixel signals due to the light reception in different phases.
  • the distance measuring processing unit 13 includes the first image information obtained by extracting the component of the reflected light 32 based on the difference of the pixel signals, and the second image information including the component of the reflected light 32 and the component of the ambient light. , Is calculated.
  • the first image information is referred to as direct reflected light information
  • the second image information is referred to as RAW image information.
  • FIG. 2 is a diagram for explaining the principle of the indirect ToF method.
  • light modulated by a sine wave is used as the emission light 30 emitted by the light source unit 11.
  • the reflected light 32 is a sine wave having a phase difference phase corresponding to the distance D with respect to the emitted light 30.
  • the distance measuring processing unit 13 samples the pixel signal that has received the reflected light 32 a plurality of times in different phases, and acquires a light amount value indicating the light amount for each sampling.
  • the distance information is calculated based on the difference between the light intensity values of the sets having 180 ° different phases among the 0 °, 90 °, 180 °, and 270 ° phases.
  • FIG. 3 is a diagram showing an example in which the emitted light 30 from the light source unit 11 is a rectangular wave modulated by PWM.
  • the emitted light 30 by the light source unit 11 and the reflected light 32 reaching the light receiving unit 12 are shown.
  • the light source unit 11 periodically blinks with a predetermined duty to emit the emitted light 30.
  • the phase 0 ° 0 °
  • the phase 90 ° 90 °
  • the phase 180 ° 180 °
  • the period during which the exposure control signal is in the high state is defined as the exposure period during which the light receiving unit 12 outputs a valid pixel signal.
  • the emission light 30 is emitted from the light source unit 11 at the time point t 0 , and the emission light 30 is applied to the time point t 1 after a delay corresponding to the distance D from the time point t 0 to the object to be measured.
  • the reflected light 32 reflected by the object to be measured reaches the light receiving unit 12.
  • the light receiving unit 12 starts the exposure period of phase 0 ° in synchronization with the time point t 0 of the injection timing of the emission light 30 in the light source unit 11 according to the exposure control signal from the distance measuring processing unit 13. Similarly, the light receiving unit 12 starts the exposure period of phase 90 °, phase 180 ° and phase 270 ° according to the exposure control signal from the distance measuring processing unit 13.
  • the exposure period in each phase follows the duty of the emitted light 30.
  • the exposure periods of the respective phases are shown to be in parallel in time, but in reality, the light receiving unit 12 has the exposure periods of the respective phases sequentially.
  • the light intensity values C 0 , C 90 , C 180 and C 270 for each phase are acquired as specified.
  • the arrival timing of the reflected light 32 is the time point t 1 , t 2 , t 3 , ...
  • the light quantity value C 0 at the phase 0 ° is the time point from the time point t 0 to the phase 0 °. It is acquired as an integrated value of the amount of received light up to the end of the exposure period including t 0 .
  • the light intensity value C 180 is the fall of the reflected light 32 included in the exposure period from the start of the exposure period at the phase 180 °. It is acquired as an integrated value of the amount of received light up to the time point t 2 .
  • phase C90 and the phase 270 ° which is 180 ° different from the phase 90 °
  • the period during which the reflected light 32 reaches within each exposure period is the same as in the case of the above-mentioned phases 0 ° and 180 °.
  • the integrated value of the received light amount of is acquired as the light amount values C 90 and C 270 .
  • phase difference phase is calculated by the following equation (3).
  • the phase difference phase is defined in the range of (0 ⁇ phase ⁇ 2 ⁇ ).
  • phase tan -1 (Q / I)... (3)
  • the component of the reflected light 32 (direct reflected light information) can be extracted from the component of the light received by the light receiving unit 12.
  • the direct reflected light information DiRefl is calculated by the following equation (5) using the absolute values of the differences I and Q, respectively.
  • DiRef
  • RAW image information RAW can be calculated as the average value of the respective light intensity values C 0 , C 90 , C 180 and C 270 as shown in the following equation (6).
  • RAW (C 0 + C 90 + C 180 + C 270 ) / 4 ... (6)
  • FIG. 4 is a diagram showing an example of the amount of light received by the light receiving unit 12.
  • the component of the ambient light is canceled and the component of the directly reflected light is extracted.
  • the RAW image is an average value of the light intensity values C 0 , C 90 , C 180 and C 270 of each phase as shown in the above equation (6), and therefore, as illustrated in FIG. 4, the environment. It contains a light component.
  • FIG. 5A is a diagram for explaining a first method of acquiring each light intensity value and calculating each information applicable to each embodiment.
  • the light receiving unit 12 sequentially acquires the respective light intensity values C 0 , C 90 , C 180, and C 270 for each phase.
  • the light receiving unit 12 is exposed at a phase of 0 ° during the period from the time points t 10 to t 11 , and the time points t 12 to t are sandwiched between the time points t 11 and a predetermined time (for example, the processing switching time). Exposure with a phase of 90 ° is performed for 13 periods.
  • light is received at a phase of 180 ° during the period from time point t 13 to the time point t 14 to t 15 with a predetermined time in between, and during the period from time point t 15 to time point t 16 to t 17 with a predetermined time in between.
  • Exposure is performed with a phase of 270 °.
  • the method of sequentially acquiring the respective light intensity values C 0 , C 90 , C 180 and C 270 for each phase shown in FIG. 5A is called a one-tap method.
  • the sequence of exposure according to each phase is defined as 1 microframe ( ⁇ Frame).
  • the period of time t 10 ⁇ t 18 becomes the period of one micro-frame.
  • the period of one microframe is shorter than the period of one frame of imaging (for example, 1/30 sec), and the processing of one microframe can be executed a plurality of times within the period of one frame.
  • the distance measuring processing unit 13 stores, for example, the respective light intensity values C 0 , C 90 , C 180, and C 270 acquired sequentially in each phase, which are acquired within the period of one microframe , in a memory.
  • the distance measuring processing unit 13 calculates the distance information Dept, the direct reflected light information DiRefl, and the RAW image information RAW, respectively, based on the respective light amount values C 0 , C 90 , C 180, and C 270 stored in the memory.
  • FIG. 5B is a diagram for explaining a second method of acquiring each light intensity value and calculating each information applicable to each embodiment.
  • the light receiving unit 12 includes two reading circuits (referred to as taps A and tap B) for one light receiving element, and the readings by the taps A and B are sequentially executed (alternately). It is possible (details will be described later).
  • the light receiving unit 12 sequentially executes reading of tap A and tap B in each phase. Further, the light receiving unit 12 sequentially executes reading of each phase within a period of 1 microframe.
  • the light receiving unit 12 performs exposure at a phase of 0 ° during the period from time points t 20 to t 21 .
  • the distance measuring processing unit 13 obtains a light amount value A 0 and a light amount value B 0 , respectively, based on the pixel signals read by the tap A and the tap B respectively.
  • the light receiving unit 12 performs exposure at a phase of 90 ° during a period from time points t 22 to t 23 with a predetermined time from time point t 21 .
  • the distance measuring processing unit 13 obtains the light amount value A 90 and the light amount value B 90 , respectively, based on the pixel signals read by the tap A and the tap B respectively.
  • the distance measuring processing unit 13 obtains the light amount value A 180 and the light amount value B 180 , respectively, based on the pixel signals read by the tap A and the tap B respectively. Further, the light receiving unit 12 performs exposure at a phase of 270 ° during the period from the time point t 26 to t 27 with a predetermined time between the time point t 25 . The distance measuring processing unit 13 obtains the light amount value A 270 and the light amount value B 270 , respectively, based on the pixel signals read by the tap A and the tap B respectively.
  • the readings by taps A and B are sequentially executed for each of the phases 0 °, 90 °, 180 ° and 270 ° shown in FIG. 5B, and each light intensity value based on the readings of taps A and B for each phase. Is called a 4-phase / 2-tap method.
  • the differences I and Q are calculated using the following equations (8) using the respective light intensity values A 0 and B 0 , A 90 and B 90 , A 180 and B 180 , and A 270 and B 270. ) And (9).
  • the phase difference phase, the distance information Dept, and the direct reflected light information DiRefl use the differences I and Q calculated by these equations (8) and (9), and the above-mentioned equations (3), (4), and (7) are used.
  • the RAW image information RAW is calculated as the average value of the respective light intensity values A 0 and B 0 , A 90 and B 90 , A 180 and B 180 , and A 270 and B 270 according to the above equation (6). it can.
  • the exposure period in each phase is made redundant by tap A and tap B. Therefore, it is possible to improve the S / N ratio of the calculated distance information Depth, the direct reflected light information DiRefl, and the RAW image information RAW.
  • FIG. 5C is a diagram for explaining a third method of acquiring each light intensity value and calculating each information applicable to each embodiment.
  • the light receiving unit 12 includes the tap A and the tap B as in the second method described above, and sequentially executes reading from the tap A and the tap B. Further, the light receiving unit 12 sequentially executes reading of the phases 0 ° and 90 ° out of the phases 0 °, 90 °, 180 ° and 270 ° described above.
  • the period of reading out the phases of 0 ° and 90 ° is defined as a period of 1 microframe.
  • the read sequence is the same sequence as the time points t 20 to 24 in FIG. 5B described above. That is, the light receiving unit 12 performs exposure at a phase of 0 ° during the period from time point t 30 to t 31 .
  • the distance measuring processing unit 13 obtains a light amount value A 0 and a light amount value B 0 , respectively, based on the pixel signals read by the tap A and the tap B respectively.
  • the light receiving unit 12 performs exposure at a phase of 90 ° during a period from time point t 32 to t 33 with a predetermined time from time point t 31 .
  • the distance measuring processing unit 13 obtains the light amount value A 90 and the light amount value B 90 , respectively, based on the pixel signals read by the tap A and the tap B respectively.
  • the readings by taps A and B are sequentially executed for each of the phases 0 ° and 90 shown in FIG. 5C, and the respective light intensity values based on the readings of taps A and B are obtained for each of the phases 0 ° and 90 °.
  • the method is called a two-phase / two-tap method.
  • reading by tap A and tap B is sequentially executed at each phase of 0 ° and 90 °, respectively.
  • This corresponds to, for example, reading out the phase 0 ° and the phase 180 ° whose phase is 180 ° different from the phase 0 ° at the phase 0 °.
  • the phase 90 ° it corresponds to executing the reading of the phase 90 ° and the phase 270 ° whose phase is 180 ° different from the phase 90 °.
  • FIG. 6 is a diagram showing an example of the exposure period of tap A and tap B at each phase of 0 °, 90 °, 180 ° and 270 ° of each light receiving unit 12 (each light receiving element).
  • the exposure periods of each phase are shown side by side in parallel with each other in phase. In practice, as described with reference to FIGS. 5A-5C, the exposure of each phase is performed sequentially.
  • exposures by taps A and B with phases 0 ° are performed sequentially (alternately).
  • the exposure by tap A and tap B having a phase of 180 ° is delayed by 180 ° from the exposure by tap A and tap B having a phase of 0 °, and the exposure by tap A and tap B is executed sequentially.
  • the phases of the exposure period of the tap A at the phase 0 ° and the exposure period of the tap B at the phase 180 ° coincide with each other.
  • the phase of the exposure period by tap B at phase 0 ° and the exposure period by tap A at phase 180 ° coincide with each other.
  • the differences I and Q are calculated by the following equations (10) and (11) using the respective light intensity values A 0 and B 0 , and A 90 and B 90 .
  • the phase difference phase, the distance information Dept, and the direct reflected light information DiRefl use the differences I and Q calculated by these equations (10) and (11), and the above-mentioned equations (3), (4), and (7) are used.
  • the RAW image information RAW can be calculated as the average values of the respective light intensity values A 0 and B 0 and A 90 and B 90 according to the above equation (6).
  • FIG. 7 is a block diagram showing a configuration of an example of an electronic device applicable to each embodiment.
  • the electronic device 2 has a CPU (Central Processing Unit) 100, a ROM (Read Only Memory) 101, a RAM (Random Access Memory) 102, a storage 103, a UI (User Interface) unit 104, and an interface. (I / F) 105 and.
  • the electronic device 2 includes a light source unit 110 and a sensor unit 111 corresponding to the light source unit 11 and the light receiving unit 12 of FIG. 1, respectively.
  • a smartphone multifunctional mobile phone terminal
  • a tablet-type personal computer can be considered.
  • the device to which the electronic device 2 is applied is not limited to these smartphones and tablet-type personal computers.
  • the storage 103 is a non-volatile storage medium such as a flash memory or a hard disk drive.
  • the storage 103 can store various data and a program for operating the CPU 100. Further, the storage 103 can store an application program (hereinafter, abbreviated as an application) for realizing the application unit 20 described with reference to FIG.
  • the ROM 101 stores in advance a program and data for operating the CPU 100.
  • the RAM 102 is a volatile storage medium for storing data.
  • the CPU 100 operates using the RAM 102 as a work memory according to a program stored in the storage 103 or the ROM 101, and controls the overall operation of the electronic device 2.
  • the UI unit 104 is provided with various controls for operating the electronic device 2, display elements for displaying the status of the electronic device 2, and the like.
  • the UI unit 104 may further include a display that displays an image captured by the sensor unit 111, which will be described later.
  • the display may be a touch panel in which a display device and an input device are integrally formed, and various controls may be configured by each component displayed on the touch panel.
  • the light source unit 110 includes a light emitting element such as an LED or a VCSEL, and a driver for driving the light emitting element.
  • the driver generates a drive signal having a predetermined duty according to the instruction of the CPU 100.
  • the light emitting element emits light according to the drive signal generated by the driver, and emits the light modulated by PWM as the emission light 30.
  • the sensor unit 111 drives a pixel array unit in which a plurality of light receiving elements are arranged in an array, and a plurality of light receiving elements arranged in the pixel array unit, and outputs a pixel signal read from each light receiving element. Including the circuit.
  • the pixel signal output from the sensor unit 111 is supplied to the CPU 100.
  • FIG. 8 is a block diagram showing an example of the configuration of the sensor unit 111 applicable to each embodiment.
  • the sensor unit 111 has a laminated structure including a sensor chip 1110 and a circuit chip 1120 laminated on the sensor chip 1110.
  • the sensor chip 1110 and the circuit chip 1120 are electrically connected through a connecting portion (not shown) such as a via (VIA) or a Cu—Cu connection.
  • a connecting portion such as a via (VIA) or a Cu—Cu connection.
  • the pixel area 1111 includes a plurality of pixels 1112 arranged in an array on the sensor chip 1110. For example, one frame of image signal is formed based on the pixel signals output from the plurality of pixels 1112 included in the pixel area 1111.
  • Each pixel 1112 arranged in the pixel area 1111 is capable of receiving infrared light, for example, performs photoelectric conversion based on the received infrared light, and outputs an analog pixel signal.
  • Two vertical signal lines VSL 1 and VSL 2 are connected to each pixel 1112 included in the pixel area 1111.
  • a vertical drive circuit 1121 In the sensor unit 111, a vertical drive circuit 1121, a column signal processing unit 1122, a timing control circuit 1123, and an output circuit 1124 are further arranged on the circuit chip 1120.
  • the timing control circuit 1123 controls the drive timing of the vertical drive circuit 1121 according to the element control signal supplied from the outside via the control line 50. Further, the timing control circuit 1123 generates a vertical synchronization signal based on the element control signal.
  • the column signal processing unit 1122 and the output circuit 1124 execute their respective processes in synchronization with the vertical synchronization signal generated by the timing control circuit 1123.
  • each pixel 1112 includes two taps A (TAP_A) and taps B (TAP_B) that accumulate charges generated by photoelectric conversion, respectively.
  • the vertical signal line VSL 1 is connected to tap A of pixel 1112, and the vertical signal line VSL 2 is connected to tap B of pixel 1112.
  • the vertical signal line VSL 1 outputs a pixel signal AIN P1 which is an analog pixel signal based on the charge of tap A of the pixel 1112 of the corresponding pixel sequence. Further, the vertical signal line VSL 2 outputs a pixel signal AIN P2 which is an analog pixel signal based on the charge of the tap B of the pixel 1112 of the corresponding pixel string.
  • the vertical drive circuit 1121 drives each pixel 1112 included in the pixel area 1111 in units of pixel rows according to the timing control by the timing control circuit 1123, and outputs the pixel signals AIN P1 and AIN P2 .
  • the pixel signals AIN P1 and AIN P2 output from each pixel 1112 are supplied to the column signal processing unit 1122 via the vertical signal lines VSL 1 and VSL 2 of each column.
  • the column signal processing unit 1122 includes, for example, a plurality of AD converters provided for each pixel sequence corresponding to the pixel array of the pixel area 1111. Each AD converter included in the column signal processing unit 1122 performs AD conversion on the pixel signals AIN P1 and AIN P2 supplied via the vertical signal lines VSL 1 and VSL 2 , and is converted into a digital signal.
  • the pixel signals AIN P1 and AIN P2 are supplied to the output circuit 1124.
  • the output circuit 1124 executes signal processing such as CDS (Correlated Double Sampling) processing on the pixel signals AIN P1 and AIN P2 converted into digital signals output from the column signal processing unit 1122, and performs signal processing.
  • the pixel signals AIN P1 and AIN P2 are output to the outside of the sensor unit 111 via the output line 51 as pixel signals read from tap A and pixel signals read from tap B, respectively.
  • FIG. 9 is a circuit diagram showing an example configuration of pixels 1112 applicable to each embodiment.
  • Pixels 1112 include photodiode 231, two transfer transistors 232 and 237, two reset transistors 233 and 238, two stray diffusion layers 234 and 239, two amplification transistors 235 and 240, and two selection transistors 236 and 241. including.
  • the floating diffusion layers 234 and 239 correspond to tap A (described as TAP_A) and tap B (described as TAP_B) described above, respectively.
  • the photodiode 231 is a light receiving element that photoelectrically converts the received light to generate an electric charge.
  • the photodiode 231 is arranged on the back surface with respect to the front surface, with the surface on which the circuit is arranged on the semiconductor substrate as the front surface.
  • Such a solid-state image sensor is called a back-illuminated solid-state image sensor.
  • a front-illuminated type configuration in which the photodiode 231 is arranged on the surface can also be used.
  • the overflow transistor 242 is connected between the cathode of the photodiode 231 and the power supply line VDD, and has a function of resetting the photodiode 231. That is, the overflow transistor 242 is turned on in response to the overflow gate signal OFG supplied from the vertical drive circuit 1121, so that the electric charge of the photodiode 231 is sequentially discharged to the power supply line VDD.
  • the transfer transistor 232 is connected between the cathode of the photodiode 231 and the floating diffusion layer 234. Further, the transfer transistor 237 is connected between the cathode of the photodiode 231 and the floating diffusion layer 239. The transfer transistors 232 and 237 sequentially transfer the charges generated by the photodiode 231 to the stray diffusion layers 234 and 239 in response to the transfer signal TRG supplied from the vertical drive circuit 1121, respectively.
  • the floating diffusion layers 234 and 239 corresponding to the tap A and the tap B accumulate the electric charge transferred from the photodiode 231 and convert it into a voltage signal having a voltage value corresponding to the accumulated electric charge, which is an analog pixel signal.
  • the pixel signals AIN P1 and AIN P2 are generated, respectively.
  • two reset transistors 233 and 238 are connected between the power supply line VDD and the floating diffusion layers 234 and 239, respectively.
  • the reset transistors 233 and 238 are turned on in response to the reset signals RST and RST p supplied from the vertical drive circuit 1121 to extract charges from the floating diffusion layers 234 and 239, respectively, and the floating diffusion layers 234 and 239. To initialize.
  • the two amplification transistors 235 and 240 are connected between the power supply line VDD and the selection transistors 236 and 241 respectively. Each amplification transistor 235 and 240 amplifies a voltage signal whose charge is converted into a voltage at each of the floating diffusion layers 234 and 239, respectively.
  • the selection transistor 236 is connected between the amplification transistor 235 and the vertical signal line VSL 1 . Further, the selection transistor 241 is connected between the amplification transistor 240 and the vertical signal line VSL 2 .
  • the selection transistors 236 and 241 are turned on according to the selection signals SEL and SEL p supplied from the vertical drive circuit 1121 to obtain the pixel signals AIN P1 and AIN P2 amplified by the amplification transistors 235 and 240, respectively. , Output to the vertical signal line VSL 1 and the vertical signal line VSL 2 , respectively.
  • the vertical signal line VSL 1 and the vertical signal line VSL 2 connected to the pixel 1112 are connected to the input end of one AD converter included in the column signal processing unit 1122 for each pixel sequence.
  • the vertical signal line VSL 1 and the vertical signal line VSL 2 supply the pixel signals AIN P1 and AIN P2 output from the pixel 1112 to the AD converter included in the column signal processing unit 1122 for each pixel row.
  • the laminated structure of the sensor unit 111 will be schematically described with reference to FIGS. 10 and 11.
  • the sensor unit 111 can be formed by a two-layer structure in which semiconductor chips are laminated in two layers.
  • FIG. 10 is a diagram showing an example in which the sensor unit 111 applicable to each embodiment is formed by a two-layer structure laminated CIS (Complementary Metal Oxide Semiconductor Image Sensor).
  • the pixel area 1111 is formed on the semiconductor chip of the first layer which is the sensor chip 1110, and the circuit portion is formed on the semiconductor chip of the second layer which is the circuit chip 1120.
  • the circuit unit includes, for example, a vertical drive circuit 1121, a column signal processing unit 1122, a timing control circuit 1123, and an output circuit 1124.
  • the sensor chip 1110 may include a pixel area 1111 and, for example, a vertical drive circuit 1121. As shown on the right side of FIG. 10, the sensor unit 111 is configured as one solid-state image sensor by bonding the sensor chip 1110 and the circuit chip 1120 while electrically contacting each other.
  • the sensor unit 111 can be formed by a three-layer structure in which semiconductor chips are laminated in three layers.
  • FIG. 11 is a diagram showing an example in which the sensor unit 111, which is applicable to each embodiment, is formed by a three-layer structure laminated CIS.
  • the pixel area 1111 is formed on the semiconductor chip of the first layer, which is the sensor chip 1110.
  • the circuit chip 1120 described above is divided into a first circuit chip 1120a made of a second layer semiconductor chip and a second circuit chip 1120b made of a third layer semiconductor chip.
  • the sensor unit 111 is attached to one solid by bonding the sensor chip 1110, the first circuit chip 1120a, and the second circuit chip 1120b while electrically contacting each other. It is configured as an image sensor.
  • FIG. 12 is a functional block diagram of an example for explaining the function of the distance measuring device according to the existing technique.
  • the distance measuring device 1000 includes a light source unit 11, a light receiving unit 12, a control unit 140, and a distance measuring unit 141.
  • the control unit 140 generates a light source control signal and supplies it to the light source unit 11.
  • the light source control signal includes information that specifies, for example, the duty in PWM modulation, the intensity of light emitted by the light source unit 11, the timing of emission, and the like.
  • the light source unit 11 emits the emission light 30 (see FIG. 1) modulated by PWM in response to the light source control signal supplied from the control unit 140.
  • the control unit 140 generates an exposure control signal and supplies it to the light receiving unit 12.
  • the exposure control signal includes information that controls the light receiving unit 12 to perform exposure with an exposure length according to the duty of the light source unit 11 in different phases. Further, the exposure control signal further includes information for controlling the exposure amount in the light receiving unit 12.
  • the pixel signals of each phase output from the light receiving unit 12 are supplied to the distance measuring unit 141.
  • the distance measuring unit 141 performs the calculations of the above equations (1) to (4), (6) and (7) based on the pixel signals of each phase supplied from the light receiving unit 12, and performs the distance information depth and direct reflection.
  • the optical information DiRefl and the RAW image information RAW are calculated. Equation (5) may be used instead of equation (7).
  • the distance measuring unit 141 passes the calculated distance information Dept, the direct reflected light information DiRefl, and the RAW image information RAW to, for example, the application unit 20.
  • control unit 140 controls the exposure amount in the light receiving unit 12 based on each pixel signal of each phase (for example, phases 0 °, 90 °, 180 °, and 270 °) supplied from the light receiving unit 12.
  • This control signal generated by the control unit 140 is for enabling the distance measuring unit 141 to appropriately calculate the distance information depth regardless of the scene to be imaged.
  • the control unit 140 generates a control signal so as to adjust each light amount value based on the pixel signal of each phase to a value within an appropriate range.
  • one or more pixel signals among the pixel signals corresponding to each phase are saturated, or the level is equal to or less than a predetermined level.
  • the differences I and Q may not be calculated appropriately.
  • the reliability of the distance information depth calculated by the distance measuring unit 141 based on the differences I and Q is also low.
  • control unit 140 seeks a control signal that controls each light amount value based on each pixel signal of each phase to a value within an appropriate range. Based on the obtained control signal, the control unit 140 controls the gain and exposure time of the light receiving unit 12, the duty and intensity of light emission by the light source unit 11, and adjusts the amount of light received by the light receiving unit 12 to be appropriate. To do.
  • the control unit 140 when the reflectance of the object to be measured 31 is low, or when the distance indicated in the distance information Dept calculated by the distance measuring unit 141 is equal to or greater than a predetermined value, the S / N of the calculated distance information Dept becomes low. The accuracy of this distance information depth is reduced.
  • the control unit 140 generates a control signal for controlling the light receiving unit 12 so that the exposure time by the light receiving unit 12 becomes longer in order to maintain the S / N of the distance information depth calculated by the distance measuring unit 141. To do.
  • the control unit 140 stores the generated control signal in a register or the like.
  • the control unit 140 executes light emission by the light source unit 11 and light reception by the light receiving unit 12 at predetermined frame intervals.
  • the control unit 140 performs processing for one frame based on the control information stored in the register, obtains a control signal based on the processing result, and updates the control signal stored in the register.
  • FIG. 13 is an example flowchart showing processing in the ranging device 1000 according to the existing technology. For example, when the application unit 20 passes an imaging start instruction instructing the ranging device 1000 to start imaging (distance measuring), the process according to the flowchart of FIG. 13 is started.
  • step S100 the distance measuring device 1000 controls the light source unit 11 and the light receiving unit 12 based on the control signal stored in the register by the control unit 140 to perform imaging.
  • the pixel signals of each phase obtained by the imaging are passed from the light receiving unit 12 to the control unit 140 and the distance measuring unit 141.
  • the distance measuring device 1000 calculates the distance information Depth based on the imaging result imaged in step S100 by the distance measuring unit 141. More specifically, the distance measuring unit 141 calculates the distance information depth by performing the calculations of the above equations (1) to (4) based on the pixel signals of the respective phases imaged and supplied from the light receiving unit 12. .. The distance measuring device 1000 outputs the distance information Dept calculated by the distance measuring unit 141 to, for example, the application unit 20.
  • the distance measuring device 1000 calculates the direct reflected light information DiRefl by the distance measuring unit 141 based on the imaging result imaged in step S100. More specifically, the distance measuring unit 141 performs the calculation of the above equation (7) or (5) based on the difference I and Q obtained at the time of calculating the distance information depth in step S101, and directly reflected light. The information DiRefl is calculated. The distance measuring device 1000 outputs the directly reflected light information DiRefl calculated by the distance measuring unit 141 to, for example, the application unit 20.
  • the ranging device 1000 calculates the RAW image information RAW based on the imaging result imaged in step S100 by the ranging unit 141. More specifically, the ranging unit 141 calculates the RAW image information RAW by performing the calculation of the above equation (6) based on each pixel signal of each phase acquired by the imaging in step S100. The distance measuring device 1000 outputs the RAW image information RAW calculated by the distance measuring unit 141 to, for example, the application unit 20.
  • the distance measuring device 1000 obtains a control signal for controlling the light source unit 11 and the light receiving unit 12 based on each pixel signal of each phase imaged in step S100 by the control unit 140.
  • the control unit 140 stores the obtained control signal in a register or the like.
  • the ranging device 1000 determines whether or not the imaging has been completed. For example, when the distance measuring device 1000 receives an imaging end instruction instructing the end of imaging from the application unit 20, it determines that the imaging has been completed (step S105, “Yes”). In this case, the ranging device 1000 ends a series of processes according to the flowchart of FIG.
  • step S105 the distance measuring device 1000 has not received the imaging end instruction from the application unit 20 and determines that the imaging has not been completed (step S105, "No"), the process returns to step S100.
  • steps S100 to S105 are repeated, for example, in units of one frame.
  • the signal values of the direct reflected light information DiRefl and the RAW image information RAW generated by the ranging unit 141 fluctuate. To do.
  • the directly reflected light information DiRefl and the RAW image information RAW generated by the distance measuring unit 141 can be used for various purposes other than the distance measuring.
  • the directly reflected light information DiRefl and the RAW image information RAW for improving the accuracy of the distance information Depth. It is also conceivable to apply these directly reflected light information DiRefl and RAW image information RAW to face recognition, SLAM (Simultaneous Localization And Mapping), and the like. Further, it is possible that the image from the viewpoint as an indirect ToF sensor is important.
  • the distance measuring device 1000 when the distance measuring device 1000 is applied to a smartphone and a composite image is created from an image captured by the multi-lens camera, such as when the smartphone is equipped with a multi-lens camera, these directly reflected light information DiRefl and RAW image information RAW may be used.
  • an adjustment value is generated according to a control signal generated so that the distance information depth is appropriately calculated, and based on this adjustment value, the scale (signal) of the direct reflected light information DiRefl and the RAW image information RAW is generated. Level) is adjusted. As a result, even when the pixel signal output from the light receiving unit 12 is controlled in order to appropriately calculate the distance information depth, the signal values of the direct reflected light information DiRefl and the RAW image information RAW are stabilized. be able to.
  • FIG. 14 is a functional block diagram of an example for explaining the function of the distance measuring device according to the first embodiment.
  • the distance measuring device 10a includes a light source unit 11, a light receiving unit 12, a control unit 130, a distance measuring unit 131, and an adjusting unit 132.
  • the control unit 130, the distance measuring unit 131, and the adjusting unit 132 are, for example, a predetermined program on the CPU 100 (see FIG. 7). Consists of operating. Not limited to this, a part or all of the control unit 130, the distance measuring unit 131, and the adjusting unit 132 may be configured by a hardware circuit that operates in cooperation with each other.
  • the acquisition of each light intensity value and the calculation of each information at each phase 0 °, 90 °, 180 ° and 270 ° in the light receiving unit 12 are performed by the one-tap method described with reference to FIG. 5A. It shall be executed.
  • the 4-phase / 2 tap method shown in FIG. 5B is applied to the acquisition of each light amount value in each phase and the calculation of each information, the calculated distance information Dept, direct reflected light information DiRef and RAW It is possible to improve the S / N ratio of the image information RAW, which is preferable.
  • the control unit 130 generates a light source control signal for controlling the drive of the light source unit 11 and an exposure control signal for controlling the exposure in the light receiving unit 12.
  • the control unit 130 stores each generated control signal (light source control signal and exposure control signal) in a register or the like.
  • the parameter Param is supplied from the application unit 20 to the control unit 130.
  • the parameter Param includes, for example, a value indicating the operation mode of the application unit 20.
  • an authentication system operation mode such as a mode in which face authentication is performed based on the pixel signal output from the light receiving unit 12 and a mode in which person authentication is performed based on the pixel signal can be considered.
  • an operation mode of the application unit 20 an operation mode of displaying an image based on the pixel signal can be considered.
  • the face recognition mode may include a three-dimensional face recognition mode using three-dimensional information based on the distance information depth and a two-dimensional face recognition mode using two-dimensional information based on the direct reflected light information DiRefl. it can.
  • the control unit 130 applies the above-mentioned light source control signal and exposure control signal to the parameter Param supplied from the application unit 20, and the pixel signal output from the light receiving unit 12 becomes appropriate for the operation mode of the application unit 20. As described above, the light source control signal and the exposure control signal are generated.
  • the control unit 130 determines that the distance information Dept calculated by the distance measuring unit 131 is appropriate for face recognition by the three-dimensional face recognition mode.
  • the light source control signal and the exposure control signal are generated so as to be.
  • this parameter Param can include, for example, each parameter for the control unit 130 to generate a light source control signal and an exposure control signal.
  • the control unit 130 further generates an adjustment value for adjusting the scale of the direct reflected light information DiRefl and the RAW image information RAW based on the light source control signal and the exposure control signal.
  • the control unit 130 supplies the generated adjustment value to the adjustment unit 132 and stores it in a register or the like.
  • the distance measuring unit 131 has a function corresponding to the distance measuring unit 141 described with reference to FIG. That is, the distance measuring unit 131 performs the calculations of the above equations (1) to (4), (6) and (7) based on the pixel signals of each phase supplied from the light receiving unit 12, and the distance information Dept.
  • the direct reflected light information DiRefl and the RAW image information RAW are calculated.
  • the distance information Dept, the direct reflected light information DiRefl, and the RAW image information RAW output from the distance measuring unit 131 are supplied to, for example, the application unit 20. Further, the direct reflected light information DiRefl and the RAW image information RAW output from the distance measuring unit 131 are also supplied to the adjusting unit 132.
  • the adjustment unit 132 adjusts the scales of the direct reflected light information DiRefl and the RAW image information RAW supplied from the distance measuring unit 131 based on the adjustment values supplied from the control unit 130.
  • the adjusting unit 132 passes the directly reflected light information DiRefl and the RAW image information Scaled_RAW adjusted for the scale of the direct reflected light information DiRefl and the RAW image information RAW to the application unit 20.
  • FIG. 15 is a functional block diagram of an example for explaining the function of the control unit 130 applicable to the first embodiment.
  • the control unit 130 includes a control value generation unit 1300, a storage unit 1301, a drive signal generation unit 1302, a light reception control unit 1303, and a light reception amount detection unit 1304.
  • the drive signal generation unit 1302 generates a drive signal that is modulated by PWM of a predetermined duty and controlled to a predetermined level according to the light source control signal generated by the control value generation unit 1300.
  • the drive signal generation unit 1302 supplies the generated drive signal to the light source unit 11.
  • the light source unit 11 emits light based on the supplied drive signal, and emits the emission light 30 modulated by PWM of a predetermined duty.
  • the light receiving control unit 1303 controls the exposure period and gain in the light receiving unit 12 according to the exposure control signal generated by the control value generating unit 1300.
  • the light receiving unit 12 controls the exposure period and gain by the light receiving control unit 1303, and outputs a pixel signal corresponding to the light received during the exposure period.
  • the light receiving amount detection unit 1304 is supplied with the pixel signal output by the light receiving unit 12.
  • the pixel signals output by the light receiving unit 12 are pixel signals having phases of 0 °, 90 °, 180 °, and 270 °, respectively.
  • the light receiving amount detecting unit 1304 obtains the light amount values C 0 , C 90 , C 180 and C 270 of the light received in each phase based on the pixel signal supplied from the light receiving unit 12.
  • the light receiving amount detecting unit 1304 passes the obtained light amount values C 0 , C 90 , C 180 and C 270 to the control value generating unit 1300.
  • the control value generation unit 1300 generates a light source control signal and an exposure control signal based on the light amount values C 0 , C 90 , C 180 and C 270 passed from the light reception amount detection unit 1304. Not limited to this, the control value generation unit 1300 may generate at least one of the light source control signal and the exposure control signal. For example, when at least one of the light intensity values C 0 , C 90 , C 180, and C 270 is out of the predetermined range, the control value generator 1300 has the light intensity value within the predetermined range. Generates one or both of the light source control signal and the exposure control signal so as to have a value of.
  • control value generation unit 1300 generates a light source control signal for controlling the amount of light emitted from the light source unit 11 for the light source unit 11.
  • the control value generation unit 1300 generates an exposure control signal for controlling the amount of light received within the exposure period for the light receiving unit 12.
  • the storage unit 1301 is, for example, a register and stores the light source control signal and the exposure control signal generated by the control value generation unit 1300.
  • the control value generation unit 1300 can supply the light source control signal and the exposure control signal stored in the storage unit 1301 to the drive signal generation unit 1302 and the light reception control unit 1303, respectively.
  • 16A to 16C are diagrams for schematically explaining the control signal generated by the control value generation unit 1300, which is applicable to each embodiment.
  • FIG. 16A is a diagram showing a first example of control by the control value generation unit 1300.
  • the control value generation unit 1300 controls the light receiving unit 12 by the exposure control signal.
  • charts 50a and 51a show, for example, examples of light emission of the light source unit 11 in the default state and exposure period of the light receiving unit 12. More specifically, the chart 50a shows an example of light emission in one cycle of the light source unit 11 in the default state. Further, the chart 51a shows an example of an exposure period (long exposure) in the light receiving unit 12 in the default state corresponding to the light emission cycle of the light source unit 11.
  • the control value generating unit 1300 defaults the exposure period of the light receiving unit 12 as illustrated in Chart 51b of FIG. 16A.
  • An exposure control signal is generated, which is half the time of the exposure period of the state.
  • the control value generation unit 1300 passes the generated exposure control signal to the light receiving control unit 1303. Due to this exposure control signal, the exposure time of the light receiving unit 12 is halved from the above-mentioned long exposure, and the amount of light received is reduced with respect to the default state.
  • control value generation unit 1300 generates a light source control signal in which the emission duty of the light source unit 11 is halved of the default state, as shown by a solid line in the chart 50b of FIG. 16A, and the light source unit 1300 generates a light source control signal.
  • the period during which the 11 is emitting light and the exposure period of the light receiving unit 12 are synchronized.
  • the emission duty of the light source unit 11 may be left as the default state.
  • FIG. 16B is a diagram showing a second example of control by the control value generation unit 1300.
  • the control value generation unit 1300 controls the light source unit 11 by the light source control signal.
  • the control value generating unit 1300 is a light source as illustrated in chart 52b of FIG. 16B.
  • a light source control signal is generated in which the emission duty in unit 11 is 25% of 1/2 of the default state.
  • the control value generation unit 1300 passes the generated light source control signal to the drive signal generation unit 1302.
  • the exposure period of the light receiving unit 12 is left in the default state as illustrated in Chart 53b. Due to this light source control signal, the time for the light source unit 11 to emit light in one cycle of the PWM waveform is halved of the default state, and the amount of light received by the light receiving unit 12 is reduced with respect to the default state.
  • FIG. 16C is a diagram showing a third example of control by the control value generation unit 1300.
  • the control value generation unit 1300 controls the light source unit 11 by the light source control signal.
  • charts 54a and 55a show, for example, examples of light emission of the light source unit 11 in the default state and exposure period of the light receiving unit 12. More specifically, the chart 54a shows an example of light emission in one cycle of the light source unit 11 in the default state. Further, the chart 55a shows an example of the exposure period in the light receiving unit 12 in the default state corresponding to the light emitting cycle of the light source unit 11.
  • the control value generating unit 1300 is a light source as illustrated in chart 54b of FIG. 16C.
  • a light source control signal is generated in which the emission intensity in unit 11 is halved from the default state.
  • the control value generation unit 1300 passes the generated light source control signal to the drive signal generation unit 1302.
  • the exposure period of the light receiving unit 12 is left in the default state as illustrated in Chart 55b. Due to this light source control signal, the amount of light emitted by the light source unit 11 in one cycle becomes half the time of the default state, and the amount of light received by the light receiving unit 12 decreases with respect to the default state.
  • the control value generation unit 1300 is based on each of the light intensity values C 0 , C 90 , C 180 and C 270 passed from the light reception amount detection unit 1304, and is any one of the above-mentioned first to third examples, or , A control signal for controlling the amount of light received by the light receiving unit 12 is generated by a combination of two or more of the first to third examples. As described above, the control signal generated here is at least one of the exposure control signal and the light source control signal.
  • the control value generation unit 1300 stores the generated control signal in the storage unit 1301.
  • control value generation unit 1300 can also control the gain in the light receiving unit 12, for example. By controlling the gain in the light receiving unit 12, the level of the pixel signal output from the light receiving unit 12 is controlled.
  • the control value generation unit 1300 generates a gain control signal for controlling the gain in the light receiving unit 12, and passes it to the light receiving control unit 1303.
  • the light receiving control unit 1303 controls the output gain of, for example, the output circuit 1124 (see FIG. 8) in the light receiving unit 12 according to the gain control signal passed from the control value generating unit 1300.
  • the control value generation unit 1300 generates an adjustment value for adjusting the scale (signal level) of the direct reflected light information DiRefl and the RAW image information RAW based on the generated control signal.
  • the control value generation unit 1300 outputs the generated adjustment value from the control unit 130.
  • FIG. 17 is a functional block diagram of an example for explaining the function of the ranging unit 131 applicable to the first embodiment.
  • the distance measuring unit 131 includes a distance measuring calculation unit 1310, a memory 1311, a direct reflected light information calculation unit 1312, and a RAW image information calculation unit 1313.
  • Each pixel signal of each phase output from the light receiving unit 12 is supplied to the distance measurement calculation unit 1310.
  • the distance measurement calculation unit 1310 obtains the light intensity values C 0 , C 90 , C 180, and C 270 of the light received in each phase based on the pixel signal supplied from the light receiving unit 12.
  • the distance measuring calculation unit 1310 stores the obtained light quantity values C 0 , C 90 , C 180 and C 270 in the memory 1311.
  • the distance measuring calculation unit 1310 calculates the differences I and Q based on the above equations (1) and (2). Further, the distance measurement calculation unit 1310 calculates the distance information depth by the above equations (3) and (4) based on the calculated differences I and Q. The distance measurement calculation unit 1310 outputs the calculated distance information depth from the distance measurement unit 131.
  • the distance measurement calculation unit 1310 directly passes the calculated difference I and Q to the reflected light information calculation unit 1312.
  • the direct reflected light information calculation unit 1312 calculates the direct reflected light information DiRefl based on the above equation (7) using the differences I and Q passed from the distance measurement calculation unit 1310.
  • the direct reflected light information calculation unit 1312 is not limited to this, and may calculate the direct reflected light information DiRefl based on the above-mentioned equation (5).
  • the direct reflected light information calculation unit 1312 outputs the calculated direct reflected light information DiRefl from the distance measuring unit 131.
  • the distance measurement calculation unit 1310 passes the light amount values C 0 , C 90 , C 180 and C 270 stored in the memory 1311 to the RAW image information calculation unit 1313.
  • the RAW image information calculation unit 1313 calculates the RAW image information RAW based on the above equation (6).
  • the RAW image information calculation unit 1313 outputs the calculated RAW image information RAW from the distance measuring unit 131.
  • FIG. 18 is a functional block diagram of an example for explaining the function of the adjusting unit 132, which is applicable to the first embodiment.
  • the adjusting unit 132 includes a coefficient generating unit 1320D and a multiplier 1321D as a configuration for adjusting the direct reflected light information DiRefl. Further, the adjusting unit 132 includes a coefficient generating unit 1320R and a multiplier 1321R as a configuration for adjusting the RAW image information RAW.
  • the adjustment value output from the control value generation unit 1300 and the parameter Param output from the application unit 20 are input to the coefficient generation units 1320D and 1320R, respectively.
  • the parameter Param further includes the target information target indicating the signal level of the direct reflected light information DiRefl and the RAW image information RAW requested by the application unit 20 in addition to the information indicating the above-mentioned operation mode.
  • the parameter Param can include a target information target for each of the direct reflected light information DiRefl and the RAW image information RAW.
  • the target information target corresponds to the direct reflected light information DiRefl.
  • the target information target is, for example, a value normalized based on the signal level of the direct reflected light information DiRefl in a predetermined default state.
  • the coefficient generation unit 1320D has the direct reflected light information DiRefl based on the adjustment value output from the control value generation unit 1300 and the target information target included in the parameter Param. Find the coefficient k D for adjusting the signal level (scale) of.
  • the scale scale is defined by the following equation (12) based on the target information target and the adjustment value.
  • Scale target / adjustment value ... (12)
  • the coefficient generation unit 1320D inputs the calculated coefficient k D to the multiplication value input end of the multiplier 1321D.
  • the direct reflected light information DiRefl output from the direct reflected light information calculation unit 1312 is input to the multiplicand value input end of the multiplier 1321D.
  • the multiplier 1321D outputs the scale-adjusted direct reflected light information Scaled_DiRefl by multiplying the direct reflected light information DiRefl input to the multiplied value input end by the coefficient k D input to the multiplication input end.
  • the configuration for adjusting the RAW image information RAW also has the same function as the configuration for adjusting the directly reflected light information DiRefl described above. That is, the coefficient generation unit 1320R is based on the adjustment value output from the control value generation unit 1300 and the target information target for the RAW image information RAW included in the parameter Param, and the RAW image information is based on the above equation (12). Calculate the coefficient k R for adjusting the RAW signal level. The coefficient generation unit 1320R inputs the calculated coefficient k R to the multiplication value input end of the multiplier 1321R.
  • the RAW image information RAW output from the RAW image information calculation unit 1313 is input to the multiplied value input end of the multiplier 1321R.
  • the multiplier 1321R multiplies the RAW image information RAW input to the multiplied value input end by the coefficient k R input to the multiplication input end, and outputs the scale-adjusted RAW image information Scaled_RAW.
  • FIG. 19A is a diagram showing an example of the object to be measured 31 imaged by the light receiving unit 12.
  • the head of the mannequin is used as the object to be measured 31.
  • FIG. 19B is a diagram showing an example of distance information Dept.
  • the distance information Depth is represented as an image based on the distance information Depth corresponding to each pixel position.
  • the distance information Depth to each part of the object to be measured 31 is represented by the brightness of the pixels. For example, the closer the distance is, the brighter it is expressed, and the farther the distance is, the darker it is expressed. Face authentication in the three-dimensional face recognition mode using the three-dimensional information can be executed based on the distance information depth as shown in FIG. 19B.
  • FIG. 19C is a diagram showing an example of direct reflected light information DiRefl. Since the reflected light 32 in which the emitted light 30 from the light source unit 11 is reflected from the object to be measured 31 is extracted, a portion having high reflectance in the object to be measured 31, such as a skin portion of the face, is displayed brighter than the surroundings. ing. In addition, small parts (eyes, lips, eyebrows, etc.) on the head of the mannequin are obscured.
  • FIG. 19D is a diagram showing an example of the directly reflected light information Scaled_DiRefl with scale adjustment according to each embodiment.
  • the portion of the object to be measured 31 having high reflectance is displayed more clearly as compared with the example of FIG. 19C described above.
  • parts such as eyes, lips, and eyebrows that were unclear in the example of FIG. 19C can be recognized more clearly.
  • the scale-adjusted direct reflected light information Scaled_DiRefl shown in FIG. 19D is used rather than the directly reflected light information DiRefl of FIG. 19C described above.
  • the recognition process can be executed with higher accuracy by using it.
  • FIG. 20 is a flowchart of an example showing the processing in the distance measuring device 10a according to the first embodiment. Similar to the flowchart of FIG. 13, for example, when the application unit 20 passes an imaging start instruction instructing the start of imaging (distance measurement) to the ranging device 10a, the process according to the flowchart of FIG. 20 is started. The flow chart. Along with this, the application unit 20 passes a parameter Param including information indicating the operation mode of the application unit 20 and target information target for the direct reflected light information DiRefl and the RAW image information RAW to the distance measuring device 10a.
  • a parameter Param including information indicating the operation mode of the application unit 20 and target information target for the direct reflected light information DiRefl and the RAW image information RAW to the distance measuring device 10a.
  • step S100 the distance measuring device 10a controls the light source unit 11 and the light receiving unit 12 based on the control signal stored in the register by the control unit 130 to perform imaging.
  • the pixel signals of each phase obtained by the imaging are passed from the light receiving unit 12 to the control unit 140 and the distance measuring unit 141.
  • the distance measuring device 10a calculates the distance information Depth based on the imaging result imaged in step S100 by the distance measuring unit 131.
  • the distance measuring device 10a outputs the distance information Depth calculated by the distance measuring unit 141 to, for example, the application unit 20.
  • the distance measuring device 10a calculates the directly reflected light information DiRefl by the distance measuring unit 131 based on the imaging result imaged in step S100.
  • the distance measuring device 10a outputs the directly reflected light information DiRefl calculated by the distance measuring unit 131 to, for example, the application unit 20.
  • the distance measuring device 10a calculates the RAW image information RAW by the distance measuring unit 131 based on the imaging result imaged in the step S100.
  • the distance measuring device 10a outputs the RAW image information RAW calculated by the distance measuring unit 131 to, for example, the application unit 20.
  • the distance measuring device 10a obtains control information for controlling the light source unit 11 and the light receiving unit 12 by the control unit 130 based on each pixel signal of each phase imaged in the step S100.
  • the control unit 140 stores the obtained control information in a register or the like.
  • the distance measuring device 10a directly reflects the light information DiRefl and the RAW image information RAW based on the control information obtained in step S104 by the control unit 130 and the parameter Param passed from the application unit 20. Calculate the adjustment value for adjusting the scale of. The calculated adjustment value is passed to the adjustment unit 132.
  • the distance measuring device 10a receives the direct reflected light information DiRefl calculated in step S102 and the RAW image information calculated in step S103 based on the adjustment value calculated in step S110 by the adjusting unit 132.
  • the RAW and the RAW are adjusted, and the scale-adjusted direct reflected light information Scaled_DiRefl and the RAW image information Scaled_RAW are acquired respectively.
  • the ranging device 10a outputs the acquired scale-adjusted direct reflected light information Scaled_DiRefl and RAW image information Scaled_RAW to, for example, the application unit 20.
  • the ranging device 10a determines whether or not the imaging has been completed. For example, when the distance measuring device 10a receives an imaging end instruction from the application unit 20, it determines that the imaging has been completed (step S105, “Yes”), and ends a series of processes according to the flowchart of FIG.
  • step S105 the distance measuring device 1000 has not received the imaging end instruction from the application unit 20 and determines that the imaging has not been completed (step S105, "No"), the process returns to step S100.
  • steps S100 to S105 including steps S110 and S111 are repeated, for example, in units of one frame.
  • the direct reflected light information DiRefl and RAW calculated based on the pixel signal based on the control signal that controls the amount of received light received by the light receiving unit 12 for the calculation of the distance information depth.
  • Scale adjustment is performed for the image information RAW. Therefore, even when the amount of light received by the light receiving unit 12 is changed for the calculation of the distance information depth, the change in the brightness of the direct reflected light information DiRefl and the RAW image information RAW is suppressed, and the direct reflected light information DiRefl and the RAW image information are suppressed. It is possible to output a moving image with constant brightness by RAW. Thereby, for example, the convenience when the application unit 20 directly uses the reflected light information DiRefl and the RAW image information RAW can be improved.
  • the distance measuring device 10a calculates the direct reflected light information DiRefl and the RAW image information RAW, respectively, and adjusts the scale of the calculated direct reflected light information DiRefl and the RAW image information RAW, respectively.
  • the ranging device 10a may calculate only one of the direct reflected light information DiRefl and the RAW image information RAW, and perform scale adjustment on the calculated information.
  • the distance measuring device 10a calculates the direct reflected light information DiRefl and the RAW image information RAW, respectively, and the calculated distance measuring device 10a refers to only one of the direct reflected light information DiRefl and the RAW image information RAW. You may adjust the scale. Of the direct reflected light information DiRefl and the RAW image information RAW, the information for calculation and scale adjustment can be specified to the distance measuring device 10a by the application unit 20 including it in the parameter Param, for example.
  • one of the non-scaled direct reflected light information DiRefl and RAW image information RAW and the scaled direct reflected light information DiRefl_Scale and RAW image information RAW_Scale is selected and the application unit 20 is selected. This is an example of making it possible to output to.
  • FIG. 21 is a functional block diagram of an example for explaining the function of the distance measuring device according to the second embodiment.
  • the distance measuring device 10b has a selector 133 added to the distance measuring device 10a described with reference to FIG.
  • the selector 133 may be configured by operating a program on the CPU 100 (see FIG. 7), or may be realized by a hardware circuit.
  • the selector 133 For the selector 133, the set of the direct reflected light information DiRefl and the RAW image information RAW output from the ranging unit 131 and the scale-adjusted direct reflected light information Scaled_DiRefl and the RAW image information output from the adjusting unit 132, respectively.
  • the set of Scaled_RAW and is input.
  • the selector 133 selects one of these two sets based on, for example, the information indicating the operation mode of the application unit 20 included in the parameter Param output from the application unit 20.
  • the selector 133 supplies the selected set of directly reflected light information and RAW image information to the application unit 20 as direct reflected light information DiRefl'and RAW image information RAW', respectively.
  • the distance measuring device 10b has the set of the directly reflected light information DiRefl and the RAW image information RAW that are not scale-adjusted by the selector 133, and the scale-adjusted direct reflected light information Scaled_DiRefl, respectively. And the set of RAW image information Scaled_RAW, and one of them is selected and supplied to the application unit 20. Therefore, the distance measuring device 10b can provide the application unit 20 with a wider variety of usage forms of the direct reflected light information and the RAW image information, and the application unit 20 can provide the direct reflected light information DiRefl and the RAW image information. It is possible to improve the convenience when using RAW.
  • a third embodiment of the present disclosure will be described.
  • a specific subject is detected based on the pixel signal output from the light receiving unit 12.
  • the scale is adjusted for the directly reflected light information DiRefl and the RAW image information RAW in the subject region including the subject detected in the captured frame.
  • FIG. 22 is a functional block diagram of an example for explaining the function of the distance measuring device according to the third embodiment.
  • the subject detecting unit 134 is added to the distance measuring device 10a described with reference to FIG. 14, and the function of the adjusting unit 132'is changed.
  • the subject detection unit 134 may be configured by operating a program on the CPU 100 (see FIG. 7), or may be realized by a hardware circuit.
  • the distance information Depth output from the distance measuring unit 131 and the direct reflected light information DiRefl are supplied to the subject detection unit 134.
  • the subject detection unit 134 detects a specific subject (for example, a face) included in the frame based on at least one of the information of one frame of distance information Dept and the direct reflected light information DiRefl.
  • the subject to be detected is not limited to the face. That is, if the three-dimensional or two-dimensional shape pattern of the subject is known, another type of subject may be detected.
  • the subject detection unit 134 when performing face detection, detects a face region in the frame based on, for example, the distance information depth (see FIG. 19B), and further, the detected face region is three-dimensionally detected. Information pattern matching and the like are performed to detect the position and shape of each part of the face as three-dimensional information. Further, the subject detection unit 134, for example, performs image analysis on the directly reflected light information DiRefl to detect a facial region (see FIG. 19D), and further performs pattern matching of two-dimensional information to perform pattern matching of the face. The position and shape of each part as two-dimensional information are detected. Further, the subject detection unit 134 can also perform face detection by using the face detection result based on the distance information Dept and the face detection result based on the direct reflected light information DiRefl in combination.
  • the subject detection unit 134 obtains a region in the frame in which a specific subject is detected as a subject region, and acquires coordinate information of the subject region.
  • the coordinate information for example, referring to FIG. 8, information indicating the position of each pixel 1112 in the pixel area 1111 can be applied.
  • the subject detection unit 134 supplies the acquired coordinate information of the subject area as the subject area information Subj to the adjustment unit 132'.
  • the adjustment unit 132' Based on the subject area information Subj, the adjustment unit 132'adjusts the scale of the direct reflected light information DiRef and the RAW image information RAW supplied from the distance measuring unit 131 to the information of the area shown in the subject area information Subj. ..
  • FIG. 23 is a functional block diagram of an example for explaining the function of the adjusting unit 132 ′ according to the third embodiment.
  • the adjusting unit 132' includes a coefficient generating unit 1320D'and a multiplier 1321D as a configuration for adjusting the direct reflected light information DiRefl, similarly to the adjusting unit 132 described with reference to FIG. Further, the adjusting unit 132 includes a coefficient generating unit 1320R'and a multiplier 1321R as a configuration for adjusting the RAW image information RAW.
  • the subject area information Subj supplied from the subject detection unit 134 is input to the coefficient generation unit 1320D'and the coefficient generation unit 1320R'.
  • the coefficient generation unit 1320D' is based on the above-mentioned equation (12) based on the adjustment value output from the control value generation unit 1300 and the target information target included in the parameter Param, in the same manner as in the description using FIG. )
  • the coefficient k D for adjusting the signal level (scale) of the direct reflected light information DiRefl is obtained from the coefficient generation unit 1320D' and the coefficient generation unit 1320R'.
  • Coefficient generator 1320D ' is further directly reflected light information DiRefl input, a coefficient k D obtained, adjusting section 132' of the direct reflection light information DiRefl inputted to, the region indicated in the subject region information Subj Apply.
  • the coefficient generation unit 1320D' applies, for example, a coefficient "1" to a region other than the region shown in the subject area information Subj of the direct reflected light information DiRefl.
  • the multiplier 1321D ' selectively multiplying by the factor k D for the area indicated in the subject region information Subj is executed, the direct reflected light information DiRefl, for the area indicated in the subject region information Subj Scale adjustment can be performed.
  • FIG. 24 is a flowchart of an example showing the processing in the distance measuring device 10c according to the third embodiment. Similar to the flowchart of FIG. 20, for example, when the application unit 20 passes an imaging start instruction instructing the start of imaging (distance measurement) to the ranging device 10c, the process according to the flowchart of FIG. 24 is started. The flow chart. Along with this, the application unit 20 passes a parameter Param including information indicating the operation mode of the application unit 20 and target information target for the direct reflected light information DiRefl and the RAW image information RAW to the distance measuring device 10c.
  • a parameter Param including information indicating the operation mode of the application unit 20 and target information target for the direct reflected light information DiRefl and the RAW image information RAW to the distance measuring device 10c.
  • steps S100 to S104 are the same as the corresponding processes of FIG. 20 described above, and thus detailed description thereof will be omitted here.
  • the distance measuring device 10c obtains a control signal for controlling the light source unit 11 and the light receiving unit 12 in step S104, the process shifts to step S110. Since the process of step S110 is equivalent to the process of step S110 of FIG. 20 described above, detailed description thereof will be omitted here.
  • the distance measuring device 10c calculates an adjustment value for performing scale adjustment of the direct reflected light information DiRefl and the RAW image information RAW based on the control information and the parameter Param in step S110.
  • the distance measuring device 10c passes the calculated adjustment value to the adjustment unit 132, the process shifts to step S120.
  • the distance measuring device 10c is specified to be included in the frame based on at least one of the distance information Dept of one frame and the direct reflected light information DiRefl output from the distance measuring unit 131 by the subject detection unit 134. Detects the subject.
  • the subject detection unit 134 obtains a region in the frame in which a specific subject is detected as a subject region, and acquires coordinate information of the subject region.
  • the subject detection unit 134 passes the subject area information Subj indicating the subject area to the adjustment unit 132'.
  • the distance measuring device 10c is shown in the subject area information Subj of the direct reflected light information DiRefl supplied from the distance measuring unit 131 by the adjusting unit 132'to the subject area information Subj passed from the subject detection unit 134 in step S120.
  • Scale adjustment is performed on the region to be determined based on the adjustment value calculated in step S110.
  • the adjustment unit 132' is further calculated in step S110 with respect to the area of the RAW image information RAW supplied from the distance measuring unit 131 and shown in the subject area information Subj passed from the subject detection unit 134 in step S120. Scale adjustment can also be performed based on the adjusted value.
  • the directly reflected light information Scaled_DiRefl whose area shown in the subject area information Subj is scale-adjusted is output from the adjustment unit 132'and supplied to the application unit 20.
  • the adjustment unit 132 ′ adjusts the scale of the RAW image information RAW with respect to the area indicated by the subject area information Subj, the adjustment unit 132 ′ supplies the scale-adjusted RAW image information Scaled_RAW to the application unit 20.
  • the ranging device 10c determines whether or not the imaging has been completed. For example, when the distance measuring device 10c receives an imaging end instruction from the application unit 20, it determines that the imaging has been completed (step S105, “Yes”), and ends a series of processes according to the flowchart of FIG. 24.
  • step S105 determines that the imaging has not been completed (step S105, "No")
  • the process returns to step S100.
  • steps S100 to S105 including step S110, step S111, step S120 and step S121 is repeated, for example, in units of one frame.
  • the scale of the directly reflected light information DiRefl and the RAW image information RAW can be selectively adjusted with respect to the area indicated by the subject area information Subj in the frame. Therefore, a specific subject can be emphasized in the frame. Thereby, for example, the convenience when the application unit 20 directly uses the reflected light information DiRefl and the RAW image information RAW can be improved.
  • the distance measuring device 10c calculates the direct reflected light information DiRefl and the RAW image information RAW, respectively, and with respect to the region shown in the subject area information Subj of the calculated direct reflected light information DiRefl and the RAW image information RAW, respectively. It was explained that each scale is adjusted, but this is not limited to this example.
  • the distance measuring device 10c may calculate only one of the direct reflected light information DiRefl and the RAW image information RAW, and perform scale adjustment on the area indicated by the subject area information Subj of the calculated information. Good.
  • the distance measuring device 10c calculates the direct reflected light information DiRefl and the RAW image information RAW, respectively, and the calculated distance measuring device 10a is the subject area of either the direct reflected light information DiRefl or the RAW image information RAW. Scale adjustment may be performed on the region shown in the information Subj. Of the direct reflected light information DiRefl and the RAW image information RAW, the information for calculation and scale adjustment can be specified to the distance measuring device 10c by, for example, the application unit 20.
  • FIG. 25 is a functional block diagram of an example for explaining the function of the distance measuring device according to the fourth embodiment.
  • the selector 133 in the distance measuring device 10b described with reference to FIG. 21 is added to the distance measuring device 10c described with reference to FIG. 22.
  • the distance measuring device 10d is a set of the direct reflected light information DiRefl and the RAW image information RAW output from the distance measuring unit 131 with respect to the selector 133, similarly to the distance measuring device 10b of FIG. And the set of the scale-adjusted direct reflected light information Scaled_DiRefl and the RAW image information Scaled_RAW output from the adjustment unit 132 are input.
  • the selector 133 selects one of these two sets based on the information indicating the operation mode of the application unit 20 included in the parameter Param output from the application unit 20, for example.
  • the selector 133 supplies the selected set of directly reflected light information and RAW image information to the application unit 20 as direct reflected light information DiRefl'and RAW image information RAW', respectively.
  • the selector 133 selectively selects the set of the directly reflected light information DiRefl and the RAW image information RAW that are not scale-adjusted, and the region shown in the subject area information Subj, respectively.
  • a set of the directly reflected light information Scaled_DiRefl and the RAW image information Scaled_RAW adjusted in scale to the above, and one of them is selected and supplied to the application unit 20. Therefore, the distance measuring device 10d can provide the application unit 20 with a wider variety of usage forms of the direct reflected light information and the RAW image information, and the application unit 20 can provide the direct reflected light information DiRefl and the RAW image information. It is possible to improve the convenience when using RAW.
  • the distance measuring device 10a has been described as being configured as a hardware device by the electronic device 2 including the CPU 100, ROM 101, RAM 102, UI unit 104, storage 103, I / F 105, and the like. , This is not limited to this example.
  • the distance measuring device 10a including the control unit 130, the distance measuring unit 131, and the adjusting unit 132 shown in FIG. 14 As a whole, it can be configured as one semiconductor element. This can be similarly applied to the distance measuring devices 10b, 10c and 10d according to the second to fourth embodiments.
  • the present technology can also have the following configurations.
  • a distance measuring unit that receives light for each phase according to the light emission of the light source unit, and calculates distance information based on the light receiving signal for each phase output by the light receiving unit for each phase.
  • a control unit that controls the level of the received light signal for each phase according to the calculation of the distance information based on the received signal for each phase.
  • a generator that generates an image signal based on the received signal for each phase
  • An adjustment unit that adjusts the level of the image signal according to the adjustment value, With The control unit
  • a distance measuring device that generates the adjustment value based on the received signal for each phase controlled according to the calculation of the distance information.
  • a detection unit that detects a subject area including a predetermined subject in an image area based on the image signal based on the distance information calculated by the distance measuring unit and the image signal generated by the generation unit is further provided.
  • the adjusting part The distance measuring device according to (1), wherein the level of the image signal in the subject area is adjusted based on the adjustment value.
  • Distance measuring device (4) The generator Of the light components received by the light receiving unit, the image signal based on the reflected light of the light emitted by the light source unit is generated based on the component received by the light receiving unit (1) to (3).
  • the ranging device according to any one.
  • the generator The distance measuring device according to (4), wherein the light receiving unit further generates the image signal based on the component that receives the reflected light and the ambient light.
  • the control unit The distance measuring device according to any one of (1) to (5) above, wherein the level of the light receiving signal for each phase is controlled by controlling the exposure length in the light receiving unit.
  • the control unit The distance measuring device according to any one of (1) to (6) above, wherein the level of the received signal for each phase is controlled by controlling the duty of the light emission by the light source unit.
  • the control unit The distance measuring device according to any one of (1) to (7) above, wherein the level of the received light signal for each phase is controlled by controlling the intensity of the light emission by the light source unit.
  • the control unit The distance measuring device according to any one of (1) to (8), wherein the level of the received signal for each phase is controlled by controlling the gain of the received signal for each phase output by the light receiving unit. (10) The control unit The distance measuring device according to any one of (1) to (9) above, which generates the adjustment value that cancels the control of the level of the received light signal for each phase by the control unit based on the received signal for each phase.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

測距部（１３１）は、光源部（１１）の発光に応じて受光部（１２）が位相毎の受光を行い、位相毎の受光により受光部が出力した位相毎の受光信号に基づき距離情報の算出を行う。制御部（１３０）は、位相毎の受光信号のレベルを、位相毎の受光信号に基づく距離情報の算出に応じて制御する。調整部（１３２）は、位相毎の受光信号に基づき画像信号を生成する生成部と、調整値に従い画像信号のレベルを調整する。制御部は、位相毎の受光信号に基づき調整値を生成する。

Description

測距装置
　本発明は、測距装置に関する。
　光源から光が射出されてから、その光が被測定物に反射した反射光を受光部により受光するまでの時間に基づき被測定物までの距離を計測するＴｏＦ(Time　of　Flight)と呼ばれる測距方式が知られている。このＴｏＦ方式の測距において、受光部が受光する光には、測距に有効な光源から射出された光の反射光以外にも、太陽光などによる環境光が含まれる。ＴｏＦ方式の測距を行う測距装置（以下、ＴｏＦ方式測距装置）では、受光部に受光された光から、この環境光の成分を除去した反射光成分に基づき、被測定物までの距離を取得する。
　また、ＴｏＦ方式測距装置においては、適切な輝度で光を受光するために、ＡＥ(Automatic　Exposure)機能が搭載される場合がある。ＡＥ機能を利用することで、撮影シーンの明るさなどに応じて露光（輝度）が自動調整され、撮影シーンに依らず良好に測距精度を得ることが可能となる。
特開２０１８－１１７１１７号公報
　ところで、ＴｏＦ方式測距装置において取得された、環境光成分を含む光による画像や、環境光成分を除去した反射光成分の光による画像を、測距以外の他の用途に利用したい場合がある。このように、ＴｏＦ方式測距装置において取得された各画像を副次的に利用する場合、各画像の輝度がＴｏＦ方式による測距に合わせてＡＥ機能により変動することは、好ましくない。
　本開示は、ＴｏＦ方式に対応して調整された画像を副次的に利用する際の利便性を向上させることが可能な測距装置を提供することを目的とする。
　本開示に係る計測装置は、光源部の発光に応じて受光部が位相毎の受光を行い、位相毎の受光により受光部が出力した位相毎の受光信号に基づき距離情報の算出を行う測距部と、位相毎の受光信号のレベルを、位相毎の受光信号に基づく距離情報の算出に応じて制御する制御部と、位相毎の受光信号に基づき画像信号を生成する生成部と、調整値に従い画像信号のレベルを調整する調整部と、を備え、制御部は、距離情報の算出に応じて制御した位相毎の受光信号に基づき調整値を生成する。
各実施形態に適用可能な測距装置を用いた電子機器の一例の構成を示すブロック図である。 間接ＴｏＦ方式の原理を説明するための図である。 光源部からの射出光がＰＷＭにより変調された矩形波である場合の例を示す図である。 受光部に受光される光量の例を示す図である。 各実施形態に適用可能な各光量値の取得および各情報の算出の第１の方法を説明するための図である。 各実施形態に適用可能な各光量値の取得および各情報の算出の第２の方法を説明するための図である。 各実施形態に適用可能な各光量値の取得および各情報の算出の第３の方法を説明するための図である。 受光部毎の各位相におけるタップＡおよびタップＢの露光期間の例を示す図である。 各実施形態に適用可能な電子機器の一例の構成を示すブロック図である。 各実施形態に適用可能なセンサユニットの構成の例を示すブロック図である。 各実施形態に適用可能な画素の一例の構成を示す回路図である。 各実施形態に適用可能な、センサユニットを層構造の積層型ＣＩＳにより形成した例を示す図である。 各実施形態に適用可能な、センサユニットを層構造の積層型ＣＩＳにより形成した例を示す図である。 既存技術による測距装置の機能を説明するための一例の機能ブロック図である。 既存技術による測距装置における処理を示す一例のフローチャートである。 第１の実施形態に係る測距装置の機能を説明するための一例の機能ブロック図である。 第１の実施形態に適用可能な制御部の機能を説明するための一例の機能ブロック図である。 各実施形態に適用可能な、制御値生成部が生成する制御信号について概略的に説明するための図である。 各実施形態に適用可能な、制御値生成部が生成する制御信号について概略的に説明するための図である。 各実施形態に適用可能な、制御値生成部が生成する制御信号について概略的に説明するための図である。 第１の実施形態に適用可能な測距部の機能を説明するための一例の機能ブロック図である。 第１の実施形態に適用可能な、調整部の機能を説明するための一例の機能ブロック図である。 距離情報と、直接反射光情報と、スケール調整された直接反射光情報と、について、より具体的に説明するための図である。 距離情報と、直接反射光情報と、スケール調整された直接反射光情報と、について、より具体的に説明するための図である。 距離情報と、直接反射光情報と、スケール調整された直接反射光情報と、について、より具体的に説明するための図である。 距離情報と、直接反射光情報と、スケール調整された直接反射光情報と、について、より具体的に説明するための図である。 第１の実施形態に係る測距装置における処理を示す一例のフローチャートである。 第２の実施形態に係る測距装置の機能を説明するための一例の機能ブロック図である。 第３の実施形態に係る測距装置の機能を説明するための一例の機能ブロック図である。 第３の実施形態に係る調整部の機能を説明するための一例の機能ブロック図である。 第３の実施形態に係る測距装置における処理を示す一例のフローチャートである。 第４の実施形態に係る測距装置の機能を説明するための一例の機能ブロック図である。
　以下、本開示の各実施形態について、図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
（各実施形態に共通の構成）
　本開示は、光を用いて測距を行う技術に用いて好適なものである。本開示の実施形態の説明に先んじて、理解を容易とするために、実施形態に適用な測距方式の一つとして、間接ＴｏＦ(Time　of　Flight)方式について説明する。間接ＴｏＦ方式は、例えばＰＷＭ(Pulse　Width　Modulation)により変調された光源光（例えば赤外領域のレーザ光）を被測定物に照射してその反射光を受光素子にて受光し、受光された反射光における位相差に基づき、被測定物に対する測距を行う技術である。
　図１は、各実施形態に適用可能な測距装置を用いた電子機器の一例の構成を示すブロック図である。図１において、電子機器１は、測距装置１０と、アプリケーション部２０と、を含む。アプリケーション部２０は、例えばＣＰＵ(Central　Processing　Unit)上でプログラムが動作することで実現され、測距装置１０に対して測距の実行を要求し、測距の結果である距離情報などを測距装置１０から受け取る。
　測距装置１０は、光源部１１と、受光部１２と、測距処理部１３と、を含む。光源部１１は、例えば赤外領域の波長の光を発光する発光素子と、当該発光素子を駆動して発光させる駆動回路と、を含む。光源部１１が含む発光素子として、例えばＬＥＤ(Light　Emitting　Diode)を適用することができる。これに限らず、光源部１１が含む発光素子として、複数の発光素子がアレイ状に形成されたＶＣＳＥＬ(Vertical　Cavity　Surface　Emitting　LASER)を適用することもできる。以下、特に記載の無い限り、「光源部１１の発光素子が発光する」ことを、「光源部１１が発光する」などのように記述する。
　受光部１２は、例えば赤外領域の波長の光を検出可能な受光素子と、当該受光素子に検出された光に応じた画素信号を出力する信号処理回路と、を含む。受光部１２が含む受光素子として、フォトダイオードを適用することができる。以下、特に記載の無い限り、「受光部１２が含む受光素子が受光する」ことを、「受光部１２が受光する」などのように記述する。
　測距処理部１３は、例えばアプリケーション部２０からの測距指示に応じて、測距装置１０における測距処理を実行する。例えば、測距処理部１３は、光源部１１を駆動するための光源制御信号を生成し、光源部１１に供給する。また、測距処理部１３は、光源部１１に供給する光源制御信号と同期して受光部１２による受光を制御する。例えば、測距処理部１３は、受光部１２における露光期間を制御する露光制御信号を光源制御信号と同期させて生成し、受光部１２供給する。受光部１２は、この露光制御信号に示される露光期間内において、有効な画素信号を出力する。
　測距処理部１３は、受光に応じて受光部１２から出力された画素信号に基づき距離情報を算出する。また、測距処理部１３は、この画素信号に基づき所定の画像情報を生成することも可能である。測距処理部１３は、画素信号に基づき算出および生成した距離情報および画像情報をアプリケーション部２０に渡す。
　このような構成において、測距処理部１３は、例えばアプリケーション部２０からの測距を実行する旨の指示に従い、光源部１１を駆動するための光源制御信号を生成し、光源部１１に供給する。ここでは、測距処理部１３は、ＰＷＭにより所定のデューティの矩形波に変調された光源制御信号を生成し、光源部１１に供給する。それと共に、測距処理部１３は、受光部１２による受光を、光源制御信号に同期した露光制御信号に基づき制御する。
　測距装置１０において、光源部１１は、測距処理部１３が生成した光源制御信号に応じて所定のデューティに従い明滅して発光する。光源部１１において発光した光は、射出光３０として光源部１１から射出される。この射出光３０は、例えば被測定物３１に反射され、反射光３２として受光部１２に受光される。受光部１２は、反射光３２の受光に応じた画素信号を測距処理部１３に供給する。なお、実際には、受光部１２には、反射光３２以外に、周囲の環境光も受光され、画素信号は、反射光３２の成分と共に、この環境光の成分を含む。
　測距処理部１３は、受光部１２による受光を、異なる位相で複数回、実行する。測距処理部１３は、異なる位相での受光による画素信号の差分に基づき、被測定物までの距離Ｄを算出する。また、測距処理部１３は、当該画素信号の差分に基づき反射光３２の成分を抽出した第１の画像情報と、反射光３２の成分と環境光の成分とを含む第２の画像情報と、を算出する。以下、第１の画像情報を直接反射光情報と呼び、第２の画像情報をＲＡＷ画像情報と呼ぶ。
（各実施形態に適用可能な間接ＴｏＦ方式による測距について）
　次に、各実施形態に適用可能な間接ＴｏＦ方式による測距について説明する。図２は、間接ＴｏＦ方式の原理を説明するための図である。図２において、光源部１１が射出する射出光３０として、正弦波により変調された光を用いている。反射光３２は、理想的には、射出光３０に対して、距離Ｄに応じた位相差ｐｈａｓｅを持った正弦波となる。
　測距処理部１３は、反射光３２を受光した画素信号に対して、異なる位相で複数回のサンプリングを行い、サンプリング毎に、光量を示す光量値を取得する。図２の例では、射出光３０に対して位相が９０°ずつ異なる、位相０°、位相９０°、位相１８０°および位相２７０°の各位相において、光量値Ｃ0、Ｃ90、Ｃ180およびＣ270をそれぞれ取得している。間接ＴｏＦ方式においては、各位相０°、９０°、１８０°および２７０°のうち、位相が１８０°異なる組の光量値の差分に基づき、距離情報を算出する。
　図３を用いて、間接ＴｏＦ方式における距離情報の算出方法について、より具体的に説明する。図３は、光源部１１からの射出光３０がＰＷＭにより変調された矩形波である場合の例を示す図である。図３において、上段から、光源部１１による射出光３０、受光部１２に到達した反射光３２を示す。図３の上段に示されるように、光源部１１は、所定のデューティで周期的に明滅して射出光３０を射出する。
　図３において、さらに、受光部１２の位相０°（Φ＝０°と記載）、位相９０°（Φ＝９０°と記載）、位相１８０°（Φ＝１８０°と記載）、および、位相２７０°（Φ＝２７０°と記載）それぞれにおける露光制御信号を示している。例えば、この露光制御信号がハイ（Ｈｉｇｈ）状態の期間が、受光部１２が有効な画素信号を出力する露光期間とされる。
　図３の例では、時点ｔ0において光源部１１から射出光３０が射出され、時点ｔ0から被測定物までの距離Ｄに応じた遅延の後の時点ｔ1に、当該射出光３０が被測定物により反射された反射光３２が受光部１２に到達している。
　一方、受光部１２は、測距処理部１３からの露光制御信号に従い、光源部１１における射出光３０の射出タイミングの時点ｔ0に同期して、位相０°の露光期間が開始される。同様に、受光部１２は、測距処理部１３からの露光制御信号に従い、位相９０°、位相１８０°および位相２７０°の露光期間が開始される。ここで、各位相における露光期間は、射出光３０のデューティに従ったものとなる。なお、図３の例では、説明のため、各位相の露光期間が時間的に並列しているように示されているが、実際には、受光部１２は、各位相の露光期間がシーケンシャルに指定され、各位相の光量値Ｃ0、Ｃ90、Ｃ180およびＣ270がそれぞれ取得される。
　図３の例では、反射光３２の到達タイミングが、時点ｔ1、ｔ2、ｔ3、…となっており、位相０°における光量値Ｃ0が、時点ｔ0から位相０°における当該時点ｔ0が含まれる露光期間の終了時点までの受光光量の積分値として取得される。一方、位相０°に対して１８０°位相が異なる位相１８０°においては、光量値Ｃ180が、当該位相１８０°における露光期間の開始時点から、当該露光期間に含まれる反射光３２の立ち下がりの時点ｔ2までの受光光量の積分値として取得される。
　位相Ｃ９０と、当該位相９０°に対して１８０°位相が異なる位相２７０°についても、上述の位相０°および１８０°の場合と同様にして、それぞれの露光期間内において反射光３２が到達した期間の受光光量の積分値が、光量値Ｃ90およびＣ270として取得される。
　これら光量値Ｃ0、Ｃ90、Ｃ180およびＣ270のうち、次式（１）および式（２）に示されるように、位相が１８０°異なる光量値の組み合わせに基づき、差分Ｉと差分Ｑとを求める。
Ｉ＝Ｃ0－Ｃ180　　…（１）
Ｑ＝Ｃ90－Ｃ270　　…（２）
　これら差分ＩおよびＱに基づき、位相差ｐｈａｓｅは、次式（３）により算出される。なお、式（３）において、位相差ｐｈａｓｅは、（０≦ｐｈａｓｅ＜２π）の範囲で定義される。
ｐｈａｓｅ＝ｔａｎ-1(Ｑ／Ｉ)　　…（３）
　位相差ｐｈａｓｅと、所定の係数ｒａｎｇｅとを用いて、距離情報Ｄｅｐｔｈは、次式（４）により算出される。
Ｄｅｐｔｈ＝(ｐｈａｓｅ×ｒａｎｇｅ)／２π　　…（４）
　また、差分ＩおよびＱに基づき、受光部１２に受光された光の成分から反射光３２の成分（直接反射光情報）を抽出できる。直接反射光情報ＤｉＲｅｆｌは、差分ＩおよびＱそれぞれの絶対値を用いて、次式（５）により算出される。
ＤｉＲｅｆｌ＝｜Ｉ｜＋｜Ｑ｜　　…（５）
　また、ＲＡＷ画像情報ＲＡＷは、次式（６）に示すように、各光量値Ｃ0、Ｃ90、Ｃ180およびＣ270の平均値として算出することができる。
ＲＡＷ＝(Ｃ0＋Ｃ90＋Ｃ180＋Ｃ270)／４　　…（６）
　図４は、受光部１２に受光される光量の例を示す図である。上述したように、受光部１２には、光源部１１からの射出光３０が被測定物３１で反射した反射光３２すなわち直接反射光に加えて、光源部１１からの射出光３０が寄与しない環境光も受光される。そのため、受光部１２に受光される光量は、直接反射光の光量と、環境光の光量と、の和となる。上述した式（１）～式（３）、および、式（５）の計算により、環境光の成分がキャンセルされ、直接反射光の成分が抽出される。
　一方、ＲＡＷ画像は、上述の式（６）に示すように、各位相の光量値Ｃ0、Ｃ90、Ｃ180およびＣ270の平均値であるので、図４に例示されるように、環境光の成分を含むものとなる。
　次に、図５Ａ～図５Ｃを用いて、各実施形態に適用可能な、各位相の各光量値Ｃ0、Ｃ90、Ｃ180およびＣ270の取得方法、ならびに、距離情報および直接反射光情報ＤｉＲｅｆｌの計算方法について、より具体的に説明する。
　図５Ａは、各実施形態に適用可能な各光量値の取得および各情報の算出の第１の方法を説明するための図である。図５Ａにおいて、受光部１２は、各位相についてシーケンシャルに各光量値Ｃ0、Ｃ90、Ｃ180およびＣ270を取得する。図５Ａの例では、受光部１２は、時点ｔ10～ｔ11の期間に位相０°による露光を行い、時点ｔ11から所定の時間（例えば処理の切り替え時間）を挟んだ時点ｔ12～ｔ13の期間に位相９０°による露光を行う。以下同様に、時点ｔ13から所定の時間を挟んだ時点ｔ14～ｔ15の期間に位相１８０°による受光を行い、時点ｔ15から所定の時間を挟んだ時点ｔ16～ｔ17の期間に位相２７０°による露光を行う。
　時点ｔ17から所定の時間を挟んだ時点ｔ18において、上述した時点ｔ10からの動作を再び実行する。
　この、図５Ａに示した、各位相についてシーケンシャルに各光量値Ｃ0、Ｃ90、Ｃ180およびＣ270を取得する方式を、１タップ方式と呼ぶ。
　ここで、各位相による露光を行うシーケンスを、１マイクロフレーム（μＦｒａｍｅ）とする。図５Ａの例では、時点ｔ10～ｔ18の期間が、１マイクロフレームの期間となる。１マイクロフレームの期間は、撮像の１フレーム期間（例えば１／３０ｓｅｃ）より短い期間であって、１マイクロフレームの処理を、１フレーム期間内に複数回、実行することができる。
　測距処理部１３は、１マイクロフレームの期間内に取得された、各位相において順次に取得された各光量値Ｃ0、Ｃ90、Ｃ180およびＣ270を、例えばメモリに記憶する。測距処理部１３は、メモリに記憶された各光量値Ｃ0、Ｃ90、Ｃ180およびＣ270に基づき、距離情報Ｄｅｐｔｈ、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷをそれぞれ算出する。
　この場合、差分ＩおよびＱ、位相差ｐｈａｓｅ、ならびに、距離情報Ｄｅｐｔｈは、上述した式（１）～式（４）により算出できる。また、ＲＡＷ画像情報ＲＡＷは、上述した式（６）を用いて算出できる。一方、直接反射光情報ＤｉＲｅｆｌは、ここでは、次式（７）を用いて算出することができる。
ＤｉＲｅｆｌ＝(Ｉ2＋Ｑ2)1/2　　…（７）
　図５Ｂは、各実施形態に適用可能な各光量値の取得および各情報の算出の第２の方法を説明するための図である。この第２の方法では、受光部１２は、１つの受光素子に対して２つの読み出し回路（タップＡ、タップＢとする）を備え、このタップＡおよびタップＢによる読み出しをシーケンシャル（交互）に実行可能とされている（詳細は後述する）。
　図５Ｂにおいて、受光部１２は、各位相それぞれにおいて、タップＡおよびタップＢの読み出しをシーケンシャルに実行する。さらに、受光部１２は、１マイクロフレームの期間内において、各位相の読み出しをシーケンシャルに実行する。
　すなわち、図５Ｂの例では、受光部１２は、時点ｔ20～ｔ21の期間に、位相０°による露光を行う。測距処理部１３は、タップＡおよびタップＢそれぞれにより読み出された画素信号に基づき、光量値Ａ0および光量値Ｂ0をそれぞれ求める。受光部１２は、時点ｔ21から所定の時間を挟んだ時点ｔ22～ｔ23の期間に位相９０°による露光を行う。測距処理部１３は、タップＡおよびタップＢそれぞれにより読み出された画素信号に基づき、光量値Ａ90および光量値Ｂ90をそれぞれ求める。
　以下同様に、時点ｔ23から所定の時間を挟んだ時点ｔ24～ｔ25の期間に位相１８０°による露光を行う。測距処理部１３は、タップＡおよびタップＢそれぞれにより読み出された画素信号に基づき、光量値Ａ180および光量値Ｂ180をそれぞれ求める。さらに、受光部１２は、時点ｔ25から所定の時間を挟んだ時点ｔ26～ｔ27の期間に位相２７０°による露光を行う。測距処理部１３は、タップＡおよびタップＢそれぞれにより読み出された画素信号に基づき、光量値Ａ270および光量値Ｂ270をそれぞれ求める。
　時点ｔ27から所定の時間を挟んだ時点ｔ28において、上述した時点ｔ20からの動作を再び実行する。
　この、図５Ｂに示した、各位相０°、９０°、１８０°および２７０°についてタップＡおよびＢによる読み出しをシーケンシャルに実行し、さらに、各位相についてタップＡおよびＢの読み出しに基づく各光量値を求める方法を、４位相／２タップ方式と呼ぶ。
　この第２の方法の場合、差分ＩおよびＱは、各光量値Ａ0およびＢ0、Ａ90およびＢ90、Ａ180およびＢ180、ならびに、Ａ270およびＢ270を用いて、次式（８）および（９）により算出される。
Ｉ＝Ｃ0－Ｃ180＝(Ａ0－Ｂ0)－(Ａ180－Ｂ180)　　…（８）
Ｑ＝Ｃ90－Ｃ270＝(Ａ90－Ｂ90)－(Ａ270－Ｂ270)　　…（９）
　位相差ｐｈａｓｅ、距離情報Ｄｅｐｔｈおよび直接反射光情報ＤｉＲｅｆｌは、これら式（８）および（９）により算出された差分ＩおよびＱを用いて、上述した式（３）、（４）および（７）により算出できる。また、ＲＡＷ画像情報ＲＡＷは、上述の式（６）に倣い、各光量値Ａ0およびＢ0、Ａ90およびＢ90、Ａ180およびＢ180、ならびに、Ａ270およびＢ270の平均値として算出できる。
　この図５Ｂに示した４位相／２タップ方式では、各位相における露光期間を、タップＡおよびタップＢにより冗長化している。そのため、算出される距離情報Ｄｅｐｔｈ、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのＳ／Ｎ比を向上させることが可能となる。
　図５Ｃは、各実施形態に適用可能な各光量値の取得および各情報の算出の第３の方法を説明するための図である。この第３の方法では、受光部１２は、上述の第２の方法と同様にタップＡおよびタップＢを備え、このタップＡおよびタップＢからの読み出しをシーケンシャルに実行する。さらに、受光部１２は、上述した各位相０°、９０°、１８０°および２７０°のうち、位相０°および９０°の読み出しをシーケンシャルに実行する。この第３の方法では、この位相０°および９０°の読み出しの期間を、１マイクロフレームの期間としている。
　図５Ｃの場合、読み出しシーケンスは、上述した図５Ｂの時点ｔ20～24と同様のシーケンスとなる。すなわち、受光部１２は、時点ｔ30～ｔ31の期間に、位相０°による露光を行う。測距処理部１３は、タップＡおよびタップＢそれぞれにより読み出された画素信号に基づき、光量値Ａ0および光量値Ｂ0をそれぞれ求める。受光部１２は、時点ｔ31から所定の時間を挟んだ時点ｔ32～ｔ33の期間に位相９０°による露光を行う。測距処理部１３は、タップＡおよびタップＢそれぞれにより読み出された画素信号に基づき、光量値Ａ90および光量値Ｂ90をそれぞれ求める。
　時点ｔ33から所定の時間を挟んだ時点ｔ34において、上述した時点ｔ30からの動作を再び実行する。
　この、図５Ｃに示した、各位相０°および９０についてタップＡおよびＢによる読み出しをシーケンシャルに実行し、さらに、各位相０°および９０°についてタップＡおよびＢの読み出しに基づく各光量値を求める方法を、２位相／２タップ方式と呼ぶ。
　ここで、図５Ｃの２位相／２タップ方式では、各位相０°および９０°において、それぞれタップＡおよびタップＢによる読み出しをシーケンシャルに実行している。これは、例えば位相０°において、位相０°と、位相０°から位相が１８０°異なる位相１８０°と、の読み出しをそれぞれ実行していることに相当する。同様に、位相９０°において、位相９０°と、位相９０°から位相が１８０°異なる位相２７０°と、の読み出しをそれぞれ実行していることに相当する。
　図６を用いて、受光部１２におけるタップＡおよびタップＢによる読み出しの位相差について説明する。図６は、受光部１２毎（受光素子毎）の各位相０°、９０°、１８０°および２７０°におけるタップＡおよびタップＢの露光期間の例を示す図である。なお、図６では、説明のため、各位相の露光期間を、位相を合わせて並列に並べて示している。実際には、図５Ａ～図５Ｃを用いて説明したように、各位相の露光は、シーケンシャルに実行される。
　図６において、位相０°のタップＡおよびタップＢによる露光（それぞれ光量値Ａ0およびＢ0として示す）がシーケンシャルに（交互に）実行される。一方、位相１８０°のタップＡおよびタップＢによる露光が、位相０°のタップＡおよびタップＢによる露光に対して位相が１８０°遅れて、タップＡおよびタップＢによる露光がシーケンシャルに実行される。このとき、位相０°におけるタップＡによる露光期間と、位相１８０°におけるタップＢの露光期間と、の位相が一致する。同様に、位相０°におけるタップＢによる露光期間と、位相１８０°におけるタップＡによる露光期間と、の位相が一致する。
　すなわち、例えば位相０°におけるタップＡおよびタップＢによる露光期間は、位相０°における露光期間と、位相１８０°における露光期間と考えることができる。したがって、この第３の方法の場合、差分ＩおよびＱは、各光量値Ａ0およびＢ0、ならびに、Ａ90およびＢ90を用いて、次式（１０）および（１１）により算出される。
Ｉ＝Ｃ0－Ｃ180＝(Ａ0－Ｂ0)　　…（１０）
Ｑ＝Ｃ90－Ｃ270＝(Ａ90－Ｂ90)　　…（１１）
　位相差ｐｈａｓｅ、距離情報Ｄｅｐｔｈおよび直接反射光情報ＤｉＲｅｆｌは、これら式（１０）および（１１）により算出された差分ＩおよびＱを用いて、上述した式（３）、（４）および（７）により算出できる。また、ＲＡＷ画像情報ＲＡＷは、上述の式（６）に倣い、各光量値Ａ0およびＢ0、ならびに、Ａ90およびＢ90の平均値として算出できる。
　このように、１つの受光素子に対して２つの読み出し回路（タップＡおよびタップＢ）が設けられ、これらタップＡおよびタップＢによる読み出しをシーケンシャルに実行する。これにより、位相が１８０°異なる露光期間を１つの位相（例えば位相０°）において実現できる。したがって、図５Ｃに示した２位相／２タップ方式では、図５Ａに示した１タップ方式と同等の結果を、１タップ方式に対して短時間で得ることができる。
（各実施形態に適用可能な構成）
　次に、各実施形態に適用可能な構成の例について説明する。図７は、各実施形態に適用可能な電子機器の一例の構成を示すブロック図である。図７において、電子機器２は、ＣＰＵ(Central　Processing　Unit)１００と、ＲＯＭ(Read　Only　Memory)１０１と、ＲＡＭ(Random　Access　Memory)１０２と、ストレージ１０３と、ＵＩ(User　Interface)部１０４と、インタフェース（Ｉ／Ｆ）１０５と、を含む。さらに、電子機器２は、図１の光源部１１および受光部１２にそれぞれ対応する光源ユニット１１０およびセンサユニット１１１と、を含む。
　なお、この図７に示す電子機器２として、例えばスマートフォン（多機能型携帯電話端末）やタブレット型パーソナルコンピュータを適用することが考えられる。この電子機器２が適用される機器は、これらスマートフォンやタブレット型パーソナルコンピュータに限定されない。
　ストレージ１０３は、フラッシュメモリやハードディスクドライブといった、不揮発性の記憶媒体である。ストレージ１０３は、各種のデータや、ＣＰＵ１００が動作するためのプログラムを記憶することができる。また、ストレージ１０３は、図１を用いて説明したアプリケーション部２０を実現するためのアプリケーションプログラム（以下、アプリと略称する）を記憶することができる。ＲＯＭ１０１は、ＣＰＵ１００が動作するためのプログラムおよびデータが予め記憶される。ＲＡＭ１０２は、データを記憶する揮発性の記憶媒体である。
　ＣＰＵ１００は、ストレージ１０３やＲＯＭ１０１に記憶されるプログラムに従い、ＲＡＭ１０２をワークメモリとして用いて動作し、この電子機器２の全体の動作を制御する。
　ＵＩ部１０４は、この電子機器２を操作するための各種操作子、電子機器２の状態を表示するための表示素子などが配置される。ＵＩ部１０４は、さらに、後述するセンサユニット１１１により撮像された画像を表示するディスプレイを含めてもよい。また、このディスプレイを、表示デバイスと入力デバイスとが一体的に形成されたタッチパネルとしてもよく、各種操作子を、タッチパネルに表示される各部品により構成してもよい。
　光源ユニット１１０は、ＬＥＤやＶＣＳＥＬといった発光素子と、当該発光素子を駆動するためのドライバと、を含む。光源ユニット１１０において、ドライバは、ＣＰＵ１００の指示に応じて所定のデューティの駆動信号を生成する。発光素子は、ドライバにより生成された駆動信号に従い発光し、ＰＷＭにより変調された光を射出光３０として射出する。
　センサユニット１１１は、複数の受光素子がアレイ状に配列された画素アレイ部と、画素アレイ部に配列される複数の受光素子を駆動し、各受光素子から読み出された画素信号を出力する駆動回路と、を含む。センサユニット１１１から出力された画素信号は、ＣＰＵ１００に供給される。
　次に、図８～図１１を用いて、各実施形態に適用可能なセンサユニット１１１について説明する。
　図８は、各実施形態に適用可能なセンサユニット１１１の構成の例を示すブロック図である。図８において、センサユニット１１１は、センサチップ１１１０と、センサチップ１１１０に積層された回路チップ１１２０と、を含む積層構造を有している。この積層構造において、センサチップ１１１０と回路チップ１１２０とは、ビア（ＶＩＡ）やＣｕ－Ｃｕ接続などの接続部（図示しない）を通じて、電気的に接続される。図８の例では、当該接続部により、センサチップ１１１０の配線と、回路チップ１１２０の配線とが接続された状態が示されている。
　画素エリア１１１１は、センサチップ１１１０上にアレイ状の配列で配置された複数の画素１１１２を含んでいる。例えば、この画素エリア１１１１に含まれる複数の画素１１１２から出力される画素信号に基づき、１フレームの画像信号が形成される。画素エリア１１１１に配置された各画素１１１２は、例えば赤外光を受光可能とされ、受光した赤外光に基づき光電変換を行いアナログ画素信号を出力する。画素エリア１１１１に含まれる各画素１１１２は、それぞれ２本の垂直信号線ＶＳＬ1およびＶＳＬ2が接続される。
　センサユニット１１１は、さらに、垂直駆動回路１１２１、カラム信号処理部１１２２、タイミング制御回路１１２３および出力回路１１２４が回路チップ１１２０に配置されている。
　タイミング制御回路１１２３は、外部から制御線５０を介して供給される素子制御信号に応じて、垂直駆動回路１１２１の駆動タイミングを制御する。また、タイミング制御回路１１２３は、当該素子制御信号に基づき垂直同期信号を生成する。カラム信号処理部１１２２、出力回路１１２４は、タイミング制御回路１１２３により生成された垂直同期信号と同期して、それぞれの処理を実行する。
　画素１１１２の列毎に、図８上の垂直方向に垂直信号線ＶＳＬ1およびＶＳＬ2が配線される。画素エリア１１１１内の列の総数をＭ列（Ｍは１以上の整数）とすると、画素エリア１１１１には、合計で２×Ｍ本の垂直信号線が配線される。詳細は後述するが、それぞれの画素１１１２は、それぞれ光電変換により生成された電荷を蓄積する２つのタップＡ（ＴＡＰ＿Ａ）およびタップＢ（ＴＡＰ＿Ｂ）を含む。垂直信号線ＶＳＬ1は、画素１１１２のタップＡに接続され、垂直信号線ＶＳＬ2は、画素１１１２のタップＢに接続される。
　垂直信号線ＶＳＬ1は、対応する画素列の画素１１１２のタップＡの電荷に基づくアナログ画素信号である画素信号ＡＩＮP1が出力される。また、垂直信号線ＶＳＬ2は、対応する画素列の画素１１１２のタップＢの電荷に基づくアナログ画素信号である画素信号ＡＩＮP2が出力される。
　垂直駆動回路１１２１は、タイミング制御回路１１２３によるタイミング制御に従い、画素エリア１１１１に含まれる各画素１１１２を画素行の単位で駆動し、画素信号ＡＩＮP1およびＡＩＮP2を出力させる。各画素１１１２から出力された画素信号ＡＩＮP1およびＡＩＮP2は、各列の垂直信号線ＶＳＬ1およびＶＳＬ2を介してカラム信号処理部１１２２に供給される。
　カラム信号処理部１１２２は、画素エリア１１１１の画素列に対応して、例えば画素列毎に設けられた複数のＡＤ変換器を含む。カラム信号処理部１１２２に含まれる各ＡＤ変換器は、垂直信号線ＶＳＬ1およびＶＳＬ2を介して供給される画素信号ＡＩＮP1およびＡＩＮP2に対してＡＤ変換を実行し、ディジタル信号に変換された画素信号ＡＩＮP1およびＡＩＮP2を出力回路１１２４に供給する。
　出力回路１１２４は、ＣＤＳ(Correlated　Double　Sampling)処理などの信号処理を、カラム信号処理部１１２２から出力された、ディジタル信号に変換された画素信号ＡＩＮP1およびＡＩＮP2に対して実行し、信号処理された画素信号ＡＩＮP1およびＡＩＮP2を、それぞれタップＡから読み出した画素信号、タップＢから読み出した画素信号として、出力線５１を介してセンサユニット１１１の外部に出力する。
　図９は、各実施形態に適用可能な画素１１１２の一例の構成を示す回路図である。画素１１１２は、フォトダイオード２３１、２つの転送トランジスタ２３２および２３７、２つのリセットトランジスタ２３３および２３８、２つの浮遊拡散層２３４および２３９、２つの増幅トランジスタ２３５および２４０、ならびに、２つの選択トランジスタ２３６および２４１を含む。浮遊拡散層２３４および２３９は、それぞれ上述したタップＡ（ＴＡＰ＿Ａと記載）およびタップＢ（ＴＡＰ＿Ｂと記載）に対応する。
　フォトダイオード２３１は、受光した光を光電変換して電荷を生成する受光素子である。フォトダイオード２３１は、半導体基板において回路を配置する面を表面として、表面に対する裏面に配置される。このような固体撮像素子は、裏面照射型の固体撮像素子と呼ばれる。なお、裏面照射型の代わりに、表面にフォトダイオード２３１を配置する表面照射型の構成を用いることもできる。
　オーバーフロートランジスタ２４２は、フォトダイオード２３１のカソードと電源ラインＶＤＤとの間に接続されており、フォトダイオード２３１をリセットする機能を有する。すなわち、オーバーフロートランジスタ２４２は、垂直駆動回路１１２１から供給されるオーバーフローゲート信号ＯＦＧに応じてオン状態となることで、フォトダイオード２３１の電荷をシーケンシャルに電源ラインＶＤＤに排出する。
　転送トランジスタ２３２は、フォトダイオード２３１のカソードと浮遊拡散層２３４と、の間に接続される。また、転送トランジスタ２３７は、フォトダイオード２３１のカソードと、浮遊拡散層２３９と、の間に接続される。転送トランジスタ２３２および２３７は、それぞれ、垂直駆動回路１１２１から供給される転送信号ＴＲＧに応じて、フォトダイオード２３１で生成された電荷を、浮遊拡散層２３４および２３９にそれぞれシーケンシャルに転送する。
　それぞれタップＡおよびタップＢに対応する浮遊拡散層２３４および２３９は、フォトダイオード２３１から転送された電荷を蓄積し、蓄積した電荷量に応じた電圧値の電圧信号に変換し、アナログ画素信号である画素信号ＡＩＮP1およびＡＩＮP2をそれぞれ生成する。
　また、２つのリセットトランジスタ２３３および２３８が電源ラインＶＤＤと、浮遊拡散層２３４および２３９それぞれとの間に接続される。リセットトランジスタ２３３および２３８は、垂直駆動回路１１２１から供給されるリセット信号ＲＳＴおよびＲＳＴpに応じてオン状態となることで、浮遊拡散層２３４および２３９それぞれから電荷を引き抜いて、浮遊拡散層２３４および２３９を初期化する。
　２つの増幅トランジスタ２３５および２４０は、電源ラインＶＤＤと、選択トランジスタ２３６および２４１それぞれとの間に接続される。各増幅トランジスタ２３５および２４０は、浮遊拡散層２３４および２３９のそれぞれで電荷が電圧に変換された電圧信号を増幅する。
　選択トランジスタ２３６は、増幅トランジスタ２３５と、垂直信号線ＶＳＬ1との間に接続される。また、選択トランジスタ２４１は、増幅トランジスタ２４０と、垂直信号線ＶＳＬ2との間に接続される。選択トランジスタ２３６および２４１は、垂直駆動回路１１２１から供給される選択信号ＳＥＬおよびＳＥＬpに応じてオン状態とされることで、増幅トランジスタ２３５および２４０それぞれで増幅された画素信号ＡＩＮP1およびＡＩＮP2を、それぞれ垂直信号線ＶＳＬ1および垂直信号線ＶＳＬ2に出力する。
　画素１１１２に接続される垂直信号線ＶＳＬ1および垂直信号線ＶＳＬ2は、画素列毎に、カラム信号処理部１１２２に含まれる１つのＡＤ変換器の入力端に接続される。垂直信号線ＶＳＬ1および垂直信号線ＶＳＬ2は、画素列毎に、画素１１１２から出力される画素信号ＡＩＮP1およびＡＩＮP2を、カラム信号処理部１１２２に含まれるＡＤ変換器に供給する。
　図１０および図１１を用いて、センサユニット１１１の積層構造について概略的に説明する。
　一例として、センサユニット１１１を、半導体チップを２層に積層した２層構造により形成することができる。図１０は、各実施形態に適用可能な、センサユニット１１１を２層構造の積層型ＣＩＳ(Complementary　Metal　Oxide　Semiconductor　Image　Sensor)により形成した例を示す図である。図１０の構造では、センサチップ１１１０である第１層の半導体チップに画素エリア１１１１を形成し、回路チップ１１２０である第２層の半導体チップに回路部を形成している。
　回路部は、例えば、垂直駆動回路１１２１、カラム信号処理部１１２２、タイミング制御回路１１２３および出力回路１１２４を含む。なお、センサチップ１１１０が画素エリア１１１１と例えば垂直駆動回路１１２１とを含む構成でもよい。図１０の右側に示されるように、センサチップ１１１０と、回路チップ１１２０とを電気的に接触させつつ貼り合わせることで、センサユニット１１１を１つの固体撮像素子として構成する。
　別の例として、センサユニット１１１を半導体チップを３層に積層した３層構造により形成することができる。図１１は、各実施形態に適用可能な、センサユニット１１１を３層構造の積層型ＣＩＳにより形成した例を示す図である。図１１の構造では、センサチップ１１１０である第１層の半導体チップに画素エリア１１１１を形成する。また、上述した回路チップ１１２０を、第２層の半導体チップによる第１の回路チップ１１２０ａと、第３層の半導体チップによる第２の回路チップ１１２０ｂと、に分割して形成している。図１１の右側に示されるように、センサチップ１１１０と、第１の回路チップ１１２０ａと、第２の回路チップ１１２０ｂと、を電気的に接触させつつ貼り合わせることで、センサユニット１１１を１つの固体撮像素子として構成する。
（既存技術による測距装置の例）
　次に、既存技術による測距装置による処理について説明する。図１２は、既存技術による測距装置の機能を説明するための一例の機能ブロック図である。図１２において、測距装置１０００は、光源部１１と、受光部１２と、制御部１４０と、測距部１４１と、を含む。
　制御部１４０は、光源制御信号を生成し、光源部１１に供給する。光源制御信号は、例えばＰＷＭの変調におけるデューティ、光源部１１により発光される光の強度、発光のタイミングなどを指定する情報を含む。光源部１１は、制御部１４０から供給される光源制御信号に応じて、ＰＷＭにより変調された射出光３０（図１参照）を射出する。また、制御部１４０は、露光制御信号を生成し、受光部１２に供給する。露光制御信号は、受光部１２に対して、光源部１１のデューティに従った露光長の露光を、異なる位相それぞれにおいて行うように制御する情報を含む。また、露光制御信号は、受光部１２における露光量を制御するための情報をさらに含む。
　受光部１２から出力された各位相の画素信号は、測距部１４１に供給される。測距部１４１は、受光部１２から供給された各位相の画素信号に基づき、上述の式（１）～（４）、（６）および（７）の演算を行い、距離情報Ｄｅｐｔｈ、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷを算出する。式（７）の代わりに式（５）を用いてもよい。測距部１４１は、算出した距離情報Ｄｅｐｔｈ、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷを、例えばアプリケーション部２０に渡す。
　ここで、上述した制御部１４０は、受光部１２から供給された各位相（例えば位相０°、９０°、１８０°および２７０°）の各画素信号に基づき、受光部１２における露光量を制御するための制御信号を生成する。制御部１４０が生成するこの制御信号は、測距部１４１が、撮像するシーンに依らず適切に距離情報Ｄｅｐｔｈを算出可能とするためのものである。例えば、制御部１４０は、各位相の画素信号に基づく各光量値を適切な範囲内の値に調整するように、制御信号を生成する。
　すなわち、より具体的には、上述した式（１）および（２）を参照すると、各位相それぞれに対応する各画素信号のうち１以上の画素信号が飽和している、あるいは、所定以下のレベルであるような場合、差分ＩおよびＱを適切に算出できないおそれがある。この場合、測距部１４１において差分ＩおよびＱに基づき算出される距離情報Ｄｅｐｔｈの信頼性も、低いものとなってしまう。
　そのため、制御部１４０は、各位相の各画素信号に基づく各光量値を適切な範囲内の値に制御するする制御信号を求める。制御部１４０は、求めた制御信号に基づき、受光部１２によるゲインや露光時間、光源部１１による発光のデューティや強度を制御して、受光部１２に受光される光量が適切になるように調整する。
　一例として、被測定物３１の反射率が低い場合や、測距部１４１が算出した距離情報Ｄｅｐｔｈに示される距離が所定以上である場合、算出される距離情報ＤｅｐｔｈのＳ／Ｎが低くなり、この距離情報Ｄｅｐｔｈの精度が低下する。この場合、制御部１４０は、測距部１４１により算出される距離情報ＤｅｐｔｈのＳ／Ｎを維持するために、受光部１２による露光時間が長くなるように受光部１２を制御する制御信号を生成する。
　制御部１４０は、生成した制御信号をレジスタなどに記憶する。制御部１４０は、光源部１１による発光および受光部１２による受光を、所定周期のフレーム毎に実行する。制御部１４０は、レジスタに記憶された制御情報に基づき１フレーム分の処理を行い、処理の結果に基づき制御信号を求め、レジスタに記憶される制御信号を更新する。
　図１３は、既存技術による測距装置１０００における処理を示す一例のフローチャートである。例えば、アプリケーション部２０から測距装置１０００に対して、撮像（測距）の開始を指示する撮像開始指示が渡されることで、図１３のフローチャートによる処理が開始される。
　ステップＳ１００で、測距装置１０００は、制御部１４０により、レジスタに記憶された制御信号に基づき光源部１１および受光部１２を制御して、撮像を行う。撮像により得られた各位相の画素信号は、受光部１２から制御部１４０および測距部１４１に渡される。
　次のステップＳ１０１で、測距装置１０００は、測距部１４１により、ステップＳ１００で撮像された撮像結果に基づき距離情報Ｄｅｐｔｈを算出する。より具体的には、測距部１４１は、撮像され受光部１２から供給された各位相の各画素信号に基づき上述した式（１）～（４）の演算を行い、距離情報Ｄｅｐｔｈを算出する。測距装置１０００は、測距部１４１により算出された距離情報Ｄｅｐｔｈを、例えばアプリケーション部２０に出力する。
　次のステップＳ１０２で、測距装置１０００は、測距部１４１により、ステップＳ１００で撮像された撮像結果に基づき直接反射光情報ＤｉＲｅｆｌを算出する。より具体的には、測距部１４１は、ステップＳ１０１で距離情報Ｄｅｐｔｈの算出の際に求めた差分ＩおよびＱに基づき上述した式（７）または式（５）の演算を行い、直接反射光情報ＤｉＲｅｆｌを算出する。測距装置１０００は、測距部１４１により算出された直接反射光情報ＤｉＲｅｆｌを、例えばアプリケーション部２０に出力する。
　次のステップＳ１０３で、測距装置１０００は、測距部１４１により、ステップＳ１００で撮像された撮像結果に基づきＲＡＷ画像情報ＲＡＷを算出する。より具体的には、測距部１４１は、ステップＳ１００の撮像により取得された各位相の各画素信号に基づき、上述した式（６）の演算を行い、ＲＡＷ画像情報ＲＡＷを算出する。測距装置１０００は、測距部１４１により算出されたＲＡＷ画像情報ＲＡＷを、例えばアプリケーション部２０に出力する。
　次のステップＳ１０４で、測距装置１０００は、制御部１４０により、ステップＳ１００で撮像された各位相の各画素信号に基づき、光源部１１および受光部１２を制御する制御信号を求める。制御部１４０は、求めた制御信号をレジスタなどに記憶する。
　次のステップＳ１０５で、測距装置１０００は、撮像が終了したか否かを判定する。測距装置１０００は、例えば、アプリケーション部２０から撮像の終了を指示する撮像終了指示を受け取った場合に、撮像が終了したと判定する（ステップＳ１０５、「Ｙｅｓ」）。この場合、測距装置１０００は、図１３のフローチャートによる一連の処理を終了させる。
　一方、測距装置１０００は、アプリケーション部２０から撮像終了指示を受け取っておらず、撮像が終了していないと判定した場合（ステップＳ１０５、「Ｎｏ」）、処理をステップＳ１００に戻す。このステップＳ１００～ステップＳ１０５の処理は、例えば１フレーム単位で繰り返される。
　ここで、測距部１４１が生成する直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷについて考える。上述の制御信号に基づき受光部１２によるゲインや露光時間、光源部１１による発光のデューティや強度が変化すると、測距部１４１が生成する直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷの信号値が変動する。
　一方、測距部１４１が生成する直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷを、測距以外にも、様々な用途に利用可能である。例えば、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷを、距離情報Ｄｅｐｔｈの精度向上のために利用することが考えられる。また、これら直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷを、顔認識やＳＬＡＭ(Simultaneous　Localization　And　Mapping)などに適用することも考えられる。さらに、間接ＴｏＦセンサとしての視点からの画像が重要となる場合も考えられる。さらにまた、当該測距装置１０００をスマートフォンに適用し、当該スマートフォンに多眼カメラが搭載される場合など、この多眼カメラによる撮像画像から合成画像を作成する際に、これら直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷを利用することも考えられる。
　これらのように、距離情報Ｄｅｐｔｈの算出に対して副次的に直接反射光情報ＤｉＲｅｆｌやＲＡＷ画像情報ＲＡＷを用いる場合、距離情報Ｄｅｐｔｈの算出のための制御信号に応じてこれら直接反射光情報ＤｉＲｅｆｌやＲＡＷ画像情報ＲＡＷの信号値が変動することは、好ましくない。
　本開示においては、距離情報Ｄｅｐｔｈが適切に算出されるように生成された制御信号に応じて調整値を生成し、この調整値に基づき、直接反射光情報ＤｉＲｅｆｌやＲＡＷ画像情報ＲＡＷのスケール（信号レベル）を調整する。これにより、受光部１２から出力される画素信号を、距離情報Ｄｅｐｔｈを適切に算出するために制御した場合であっても、直接反射光情報ＤｉＲｅｆｌやＲＡＷ画像情報ＲＡＷの信号値を安定的とすることができる。
［第１の実施形態］
　次に、本開示の第１の実施形態について説明する。図１４は、第１の実施形態に係る測距装置の機能を説明するための一例の機能ブロック図である。図１４において、測距装置１０ａは、光源部１１と、受光部１２と、制御部１３０と、測距部１３１と、調整部１３２と、を含む。これら光源部１１、受光部１２、制御部１３０、測距部１３１および調整部１３２のうち、制御部１３０、測距部１３１および調整部１３２は、例えばＣＰＵ１００（図７参照）上で所定のプログラムが動作することで構成される。これに限らず、制御部１３０、測距部１３１および調整部１３２のうち一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。
　なお、以下では、説明のため、受光部１２における各位相０°、９０°、１８０°および２７０°における各光量値の取得および各情報の算出は、図５Ａを用いて説明した１タップ方式により実行されるものとする。ただし、実際には、各位相における各光量値の取得および各情報の算出に、図５Ｂに示した４位相／２タップ方式を適用すると、算出される距離情報Ｄｅｐｔｈ、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのＳ／Ｎ比を向上させることが可能となり、好ましい。
　制御部１３０は、光源部１１の駆動を制御するための光源制御信号と、受光部１２における露光を制御するための露光制御信号と、を生成する。制御部１３０は、生成した各制御信号（光源制御信号および露光制御信号）を、レジスタなどに記憶する。
　ここで、制御部１３０に対して、アプリケーション部２０からパラメータＰａｒａｍが供給される。パラメータＰａｒａｍは、例えばアプリケーション部２０の動作モードを示す値を含む。アプリケーション部２０の動作モードとしては、受光部１２から出力される画素信号に基づき顔認証を行うモード、当該画素信号に基づき人物認証を行うモードなど、認証系の動作モードが考えられる。また、アプリケーション部２０の動作モードとして、当該画素信号に基づく画像を表示する動作モードも考えられる。さらに、例えば顔認証モードは、距離情報Ｄｅｐｔｈに基づく３次元情報を用いた３次元顔認証モードと、直接反射光情報ＤｉＲｅｆｌに基づく２次元情報を用いた２次元顔認証モードと、を含むことができる。
　制御部１３０は、上述した光源制御信号および露光制御信号を、アプリケーション部２０から供給されたパラメータＰａｒａｍに基づき、受光部１２から出力される画素信号がアプリケーション部２０の動作モードに対して適切となるように、光源制御信号および露光制御信号を生成する。
　例えば、当該パラメータＰａｒａｍが３次元顔認証モードを示している場合には、制御部１３０は、測距部１３１により算出される距離情報Ｄｅｐｔｈが当該３次元顔認証モードによる顔認証に対して適切となるように、光源制御信号および露光制御信号を生成する。なお、このパラメータＰａｒａｍは、例えば、制御部１３０が光源制御信号および露光制御信号を生成するための各パラメータを含むことができる。
　制御部１３０は、さらに、光源制御信号および露光制御信号に基づき、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのスケールを調整するための調整値を生成する。制御部１３０は、生成した調整値を調整部１３２に供給すると共に、レジスタなどに記憶する。
　測距部１３１は、図１２を用いて説明した測距部１４１と対応する機能を有する。すなわち、測距部１３１は、受光部１２から供給された各位相の画素信号に基づき、上述の式（１）～（４）、（６）および（７）の演算を行い、距離情報Ｄｅｐｔｈ、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷを算出する。測距部１３１から出力された距離情報Ｄｅｐｔｈ、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷは、例えばアプリケーション部２０に供給される。また、測距部１３１から出力された直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷは、調整部１３２にも供給される。
　調整部１３２は、測距部１３１から供給された直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのスケールを、制御部１３０から供給された調整値に基づき調整する。調整部１３２は、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのスケールを調整した直接反射光情報Ｓｃａｌｅｄ＿ＤｉＲｅｆｌおよびＲＡＷ画像情報Ｓｃａｌｅｄ＿ＲＡＷを、アプリケーション部２０に渡す。
（第１の実施形態に係る構成の詳細）
　図１５は、第１の実施形態に適用可能な制御部１３０の機能を説明するための一例の機能ブロック図である。図１５において、制御部１３０は、制御値生成部１３００と、記憶部１３０１と、駆動信号生成部１３０２と、受光制御部１３０３と、受光量検出部１３０４と、を含む。
　駆動信号生成部１３０２は、制御値生成部１３００により生成された光源制御信号に従い、所定のデューティのＰＷＭにより変調され、且つ、所定レベルに制御された駆動信号を生成する。駆動信号生成部１３０２は、生成した駆動信号を光源部１１に供給する。光源部１１は、供給された駆動信号に基づき発光し、所定のデューティのＰＷＭにより変調された射出光３０を射出する。
　受光制御部１３０３は、制御値生成部１３００により生成された露光制御信号に従い、受光部１２における露光期間およびゲインを制御する。受光部１２は、受光制御部１３０３により露光期間およびゲインを制御され、露光期間中に受光した光に応じた画素信号を出力する。
　受光量検出部１３０４は、受光部１２により出力された画素信号が供給される。ここで、受光部１２により出力される画素信号は、各位相０°、９０°、１８０°および２７０°の各画素信号である。受光量検出部１３０４は、受光部１２から供給された画素信号に基づき、各位相において受光された光の光量値Ｃ0、Ｃ90、Ｃ180およびＣ270を求める。受光量検出部１３０４は、求めた各光量値Ｃ0、Ｃ90、Ｃ180およびＣ270を、制御値生成部１３００に渡す。
　制御値生成部１３００は、受光量検出部１３０４から渡された各光量値Ｃ0、Ｃ90、Ｃ180およびＣ270に基づき、光源制御信号および露光制御信号を生成する。これに限らず、制御値生成部１３００は、光源制御信号および露光制御信号のうち少なくとも一方を生成してもよい。例えば、制御値生成部１３００は、各光量値Ｃ0、Ｃ90、Ｃ180およびＣ270のうち少なくとも１つの光量値が所定の範囲外の値である場合に、当該光量値が所定の範囲内の値になるような、光源制御信号および露光制御信号のうち一方、または、両方を生成する。
　例えば、制御値生成部１３００は、光源部１１に対しては、光源部１１により射出される射出光３０の光量を制御するための光源制御信号を生成する。光源部１１から射出される射出光３０の光量を制御することで、受光部１２による反射光３２の受光量を制御できる。また、制御値生成部１３００は、受光部１２に対しては、露光期間内に受光される光の光量を制御するための露光制御信号を生成する。
　記憶部１３０１は、例えばレジスタであって、制御値生成部１３００により生成された光源制御信号および露光制御信号を記憶する。制御値生成部１３００は、この記憶部１３０１に記憶された光源制御信号および露光制御信号を、駆動信号生成部１３０２および受光制御部１３０３にそれぞれ供給することができる。
　図１６Ａ～図１６Ｃは、各実施形態に適用可能な、制御値生成部１３００が生成する制御信号について概略的に説明するための図である。
　図１６Ａは、制御値生成部１３００による制御の第１の例を示す図である。この第１の例では、制御値生成部１３００は、露光制御信号により受光部１２を制御する。図１６Ａにおいて、チャート５０ａおよび５１ａは、例えばデフォルト状態の光源部１１の発光および受光部１２の露光期間の例をそれぞれ示している。より具体的には、チャート５０ａは、デフォルト状態の光源部１１の１周期の発光の例を示す。また、チャート５１ａは、光源部１１の発光周期に対応する、デフォルト状態の受光部１２における露光期間（長露光）の例を示す。
　例えば受光部１２が露光期間に受光する光量をデフォルト状態の１／２に制御する場合、図１６Ａのチャート５１ｂに例示されるように、制御値生成部１３００は、受光部１２の露光期間をデフォルト状態の露光期間の１／２の時間とする露光制御信号を生成する。制御値生成部１３００は、生成した露光制御信号を受光制御部１３０３に渡す。この露光制御信号により、受光部１２の露光時間が上述の長露光に対して１／２の短露光となり、デフォルト状態に対して受光量が減少する。
　また、この場合、制御値生成部１３００は、図１６Ａのチャート５０ｂに実線で示されるように、光源部１１の発光のデューティをデフォルト状態の１／２とする光源制御信号を生成し、光源部１１が発光している期間と受光部１２の露光期間とを同期させる。これに限らず、チャート５０ｂにおいて点線で示されるように、光源部１１の発光のデューティをデフォルト状態のままとしてもよい。
　図１６Ｂは、制御値生成部１３００による制御の第２の例を示す図である。この第２の例では、制御値生成部１３００は、光源制御信号により光源部１１を制御している。図１６Ｂにおいて、チャート５２ａおよび５３ａは、例えばデフォルト状態の光源部１１の発光および受光部１２の露光期間の例をそれぞれ示している。より具体的には、チャート５２ａは、デフォルト状態の光源部１１の１周期の発光の例を示す。デフォルト状態では、光源部１１は、デューティ＝５０％に従い明滅して発光する。また、チャート５３ａは、光源部１１のデューティに対応する、デフォルト状態の受光部１２における露光期間の例を示す。
　この第２の例では、例えば受光部１２が露光期間に受光する光量をデフォルト状態の１／２に制御する場合、制御値生成部１３００は、図１６Ｂのチャート５２ｂに例示されるように、光源部１１における発光のデューティを、デフォルト状態の１／２の２５％とする光源制御信号を生成する。制御値生成部１３００は、生成した光源制御信号を駆動信号生成部１３０２に渡す。受光部１２の露光期間は、チャート５３ｂに例示されるように、デフォルト状態のままとする。この光源制御信号により、光源部１１がＰＷＭ波形の１周期に発光する時間がデフォルト状態の１／２の時間となり、受光部１２における受光量がデフォルト状態に対して減少する。
　図１６Ｃは、制御値生成部１３００による制御の第３の例を示す図である。この第３の例では、制御値生成部１３００は、光源制御信号により光源部１１を制御している。図１６Ｃにおいて、チャート５４ａおよび５５ａは、例えばデフォルト状態の光源部１１の発光および受光部１２の露光期間の例をそれぞれ示している。より具体的には、チャート５４ａは、デフォルト状態の光源部１１の１周期の発光の例を示す。また、チャート５５ａは、光源部１１の発光周期に対応する、デフォルト状態の受光部１２における露光期間の例を示す。
　この第３の例では、例えば受光部１２が露光期間に受光する光量をデフォルト状態の１／２に制御する場合、制御値生成部１３００は、図１６Ｃのチャート５４ｂに例示されるように、光源部１１における発光強度を、デフォルト状態の１／２とする光源制御信号を生成する。制御値生成部１３００は、生成した光源制御信号を駆動信号生成部１３０２に渡す。受光部１２の露光期間は、チャート５５ｂに例示されるように、デフォルト状態のままとする。この光源制御信号により、光源部１１による１周期の発光量がデフォルト状態の１／２の時間となり、受光部１２における受光量がデフォルト状態に対して減少する。
　制御値生成部１３００は、受光量検出部１３０４から渡された各光量値Ｃ0、Ｃ90、Ｃ180およびＣ270に基づき、上述した第１～第３の例のうち何れか１つ、若しくは、第１～第３の例のうち２以上の組み合わせにより、受光部１２における受光量を制御するための制御信号を生成する。ここで生成される制御信号は、上述したように、露光制御信号および光源制御信号のうち少なくとも一方である。制御値生成部１３００は、生成した制御信号を記憶部１３０１に記憶する。
　なお、制御値生成部１３００は、図１６Ａ～図１６Ｃを用いて説明した第１～第３の例以外にも、例えば、受光部１２におけるゲインを制御することもできる。受光部１２におけるゲインを制御することで、受光部１２から出力される画素信号のレベルが制御される。制御値生成部１３００は、受光部１２におけるゲインを制御するためのゲイン制御信号を生成し、受光制御部１３０３に渡す。受光制御部１３０３は、制御値生成部１３００から渡されたゲイン制御信号に応じて、受光部１２における例えば出力回路１１２４（図８参照）の出力ゲインを制御する。
　制御値生成部１３００は、生成した制御信号に基づき、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのスケール（信号レベル）を調整するための調整値を生成する。制御値生成部１３００は、生成した調整値を、制御部１３０から出力する。
　図１７は、第１の実施形態に適用可能な測距部１３１の機能を説明するための一例の機能ブロック図である。図１７において、測距部１３１は、測距演算部１３１０と、メモリ１３１１と、直接反射光情報算出部１３１２と、ＲＡＷ画像情報算出部１３１３と、を含む。
　受光部１２から出力された各位相の各画素信号が測距演算部１３１０に供給される。測距演算部１３１０は、受光部１２から供給された画素信号に基づき、各位相において受光された光の光量値Ｃ0、Ｃ90、Ｃ180およびＣ270を求める。測距演算部１３１０は、求めた光量値Ｃ0、Ｃ90、Ｃ180およびＣ270をメモリ１３１１に記憶する。
　測距演算部１３１０は、メモリ１３１１に光量値Ｃ0、Ｃ90、Ｃ180およびＣ270が全て記憶されると、上述した式（１）および（２）に基づき差分ＩおよびＱを算出する。さらに、測距演算部１３１０は、算出した差分ＩおよびＱに基づき、上述した式（３）および（４）により、距離情報Ｄｅｐｔｈを算出する。測距演算部１３１０は、算出した距離情報Ｄｅｐｔｈを、測距部１３１から出力する。
　また、測距演算部１３１０は、算出した差分ＩおよびＱを直接反射光情報算出部１３１２に渡す。直接反射光情報算出部１３１２は、測距演算部１３１０から渡された差分ＩおよびＱを用いて、上述した式（７）に基づき直接反射光情報ＤｉＲｅｆｌを算出する。直接反射光情報算出部１３１２は、これに限らず、上述した式（５）に基づき直接反射光情報ＤｉＲｅｆｌを算出してもよい。直接反射光情報算出部１３１２は、算出した直接反射光情報ＤｉＲｅｆｌを、測距部１３１から出力する。
　さらに、測距演算部１３１０は、メモリ１３１１に記憶された光量値Ｃ0、Ｃ90、Ｃ180およびＣ270をＲＡＷ画像情報算出部１３１３に渡す。ＲＡＷ画像情報算出部１３１３は、上述の式（６）に基づきＲＡＷ画像情報ＲＡＷを算出する。ＲＡＷ画像情報算出部１３１３は、算出したＲＡＷ画像情報ＲＡＷを、測距部１３１から出力する。
　図１８は、第１の実施形態に適用可能な、調整部１３２の機能を説明するための一例の機能ブロック図である。図１８において、調整部１３２は、直接反射光情報ＤｉＲｅｆｌを調整するための構成として、係数生成部１３２０Ｄおよび乗算器１３２１Ｄを含む。さらに、調整部１３２は、ＲＡＷ画像情報ＲＡＷを調整するための構成として、係数生成部１３２０Ｒおよび乗算器１３２１Ｒを含む。
　図１８において、係数生成部１３２０Ｄおよび１３２０Ｒに対して、制御値生成部１３００から出力された調整値と、アプリケーション部２０から出力されたパラメータＰａｒａｍと、がそれぞれ入力される。
　ここで、パラメータＰａｒａｍは、上述した動作モードを示す情報に対し、さらに、アプリケーション部２０が要求する直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷの信号レベルを示すターゲット情報ｔａｒｇｅｔを含む。パラメータＰａｒａｍは、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷそれぞれについて、ターゲット情報ｔａｒｇｅｔを含むことができる。以下、特に記載の無い限り、ターゲット情報ｔａｒｇｅｔは、直接反射光情報ＤｉＲｅｆｌに対応するものとする。この場合、ターゲット情報ｔａｒｇｅｔは、例えば、所定のデフォルト状態における直接反射光情報ＤｉＲｅｆｌの信号レベルに基づき正規化された値である。
　直接反射光情報ＤｉＲｅｆｌを調整するための構成において、係数生成部１３２０Ｄは、制御値生成部１３００から出力された調整値と、パラメータＰａｒａｍに含まれるターゲット情報ｔａｒｇｅｔと、に基づき、直接反射光情報ＤｉＲｅｆｌの信号レベル（スケール）を調整するための係数ｋDを求める。
　ここで、スケールＳｃａｌｅは、ターゲット情報ｔａｒｇｅｔと、調整値とに基づき、次式（１２）により定義される。
Ｓｃａｌｅ＝ｔａｒｇｅｔ／調整値　　…（１２）
　なお、調整値は、受光部１２の所定のデフォルト状態の受光量に対して、制御信号により光源部１１および受光部１２のうち少なくとも一方が制御された場合の、受光量の比率を示すものとする。例えば、上述した図１６Ｂの例の場合、光源部１１の発光のデューティが５０％から２５％に制御され、受光量が１／２となっているため、調整値＝１／２とされる。
　式（１２）によれば、受光部１２による受光量の制御分をキャンセルした上で、直接反射光情報ＤｉＲｅｆｌの信号レベルをスケールＳｃａｌｅに基づきスケーリングする。例えば、調整値＝１／２、ターゲット情報ｔａｒｇｅｔ＝１であれば、スケールＳｃａｌｅ＝２であり、係数ｋD＝２として算出される。係数生成部１３２０Ｄは、算出した係数ｋDを、乗算器１３２１Ｄの乗算値入力端に入力する。
　乗算器１３２１Ｄの被乗算値入力端に、直接反射光情報算出部１３１２から出力された直接反射光情報ＤｉＲｅｆｌが入力される。乗算器１３２１Ｄは、被乗算値入力端に入力された直接反射光情報ＤｉＲｅｆｌに対して、乗算入力端に入力された係数ｋDを乗じて、スケール調整された直接反射光情報Ｓｃａｌｅｄ＿ＤｉＲｅｆｌを出力する。
　ＲＡＷ画像情報ＲＡＷを調整するための構成も、上述した直接反射光情報ＤｉＲｅｆｌを調整するための構成と同等の機能を有する。すなわち、係数生成部１３２０Ｒは、制御値生成部１３００から出力された調整値と、パラメータＰａｒａｍに含まれるＲＡＷ画像情報ＲＡＷに対するターゲット情報ｔａｒｇｅｔと、に基づき、上述した式（１２）により、ＲＡＷ画像情報ＲＡＷの信号レベルを調整するための係数ｋRを算出する。係数生成部１３２０Ｒは、算出した係数ｋRを、乗算器１３２１Ｒの乗算値入力端に入力する。
　乗算器１３２１Ｒの被乗算値入力端に、ＲＡＷ画像情報算出部１３１３から出力されたＲＡＷ画像情報ＲＡＷが入力される。乗算器１３２１Ｒは、被乗算値入力端に入力されたＲＡＷ画像情報ＲＡＷに対して、乗算入力端に入力された係数ｋRを乗じて、スケール調整されたＲＡＷ画像情報Ｓｃａｌｅｄ＿ＲＡＷを出力する。
（第１の実施形態による各情報の例）
　図１９Ａ～図１９Ｄを用いて、距離情報Ｄｅｐｔｈと、直接反射光情報ＤｉＲｅｆｌと、スケール調整された直接反射光情報Ｓｃａｌｅｄ＿ＤｉＲｅｆｌと、について、より具体的に説明する。図１９Ａは、受光部１２により撮像される被測定物３１の例を示す図である。図１９Ａの例では、マネキンの頭部が被測定物３１として用いられている。
　図１９Ｂは、距離情報Ｄｅｐｔｈの例を示す図である。図１９Ｂにおいて、距離情報Ｄｅｐｔｈは、各画素位置に対応する距離情報Ｄｅｐｔｈに基づく画像として表現されている。図１９Ｂの例では、被測定物３１の各部までの距離情報Ｄｅｐｔｈが、画素の明暗により表現されている。例えば、距離が近いほどより明るく表現され、距離が離れるに連れ、暗さが増していくように表現されている。３次元情報を用いた３次元顔認識モードにおける顔認証は、この図１９Ｂに示すような距離情報Ｄｅｐｔｈに基づき実行することができる。
　図１９Ｃは、直接反射光情報ＤｉＲｅｆｌの例を示す図である。光源部１１からの射出光３０が被測定物３１より反射した反射光３２が抽出された画像のため、被測定物３１における反射率の高い部分、例えば顔面の肌部分などが周囲より明るく表示されている。また、マネキンの頭部における細かい部分（眼、***、眉など）は、不明瞭となっている。
　図１９Ｄは、各実施形態に係るスケール調整を施された直接反射光情報Ｓｃａｌｅｄ＿ＤｉＲｅｆｌの例を示す図である。被測定物３１における反射率の高い部分が、上述の図１９Ｃの例と比較して、より明瞭に表示されている。例えば、図１９Ｃの例では不明瞭であった眼、***、眉などの部分が、より明確に認識可能となっている。例えば、顔認証のうち、２次元情報を用いた２次元顔認証モードにおいては、上述した図１９Ｃの直接反射光情報ＤｉＲｅｆｌよりも、この図１９Ｄに示す、スケール調整された直接反射光情報Ｓｃａｌｅｄ＿ＤｉＲｅｆｌを用いる方が、より高精度に認識処理を実行できる。
（第１の実施形態に係る測距装置における処理）
　図２０は、第１の実施形態に係る測距装置１０ａにおける処理を示す一例のフローチャートである。図１３のフローチャートと同様に、例えば、アプリケーション部２０から測距装置１０ａに対して、撮像（測距）の開始を指示する撮像開始指示が渡されることで、図２０のフローチャートによる処理が開始される。アプリケーション部２０は、それと共に、アプリケーション部２０の動作モードを示す情報と、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷに対するターゲット情報ｔａｒｇｅｔと、を含むパラメータＰａｒａｍを測距装置１０ａに渡す。
　図２０のフローチャートにおいて、ステップＳ１００～ステップＳ１０４の処理は、上述した図１３の対応する処理と同様である。すなわち、ステップＳ１００で、測距装置１０ａは、制御部１３０により、レジスタに記憶された制御信号に基づき光源部１１および受光部１２を制御して、撮像を行う。撮像により得られた各位相の画素信号は、受光部１２から制御部１４０および測距部１４１に渡される。
　次のステップＳ１０１で、測距装置１０ａは、測距部１３１により、ステップＳ１００で撮像された撮像結果に基づき距離情報Ｄｅｐｔｈを算出する。測距装置１０ａは、測距部１４１により算出された距離情報Ｄｅｐｔｈを、例えばアプリケーション部２０に出力する。次のステップＳ１０２で、測距装置１０ａは、測距部１３１により、ステップＳ１００で撮像された撮像結果に基づき直接反射光情報ＤｉＲｅｆｌを算出する。測距装置１０ａは、測距部１３１により算出された直接反射光情報ＤｉＲｅｆｌを、例えばアプリケーション部２０に出力する。次のステップＳ１０３で、測距装置１０ａは、測距部１３１により、ステップＳ１００で撮像された撮像結果に基づきＲＡＷ画像情報ＲＡＷを算出する。測距装置１０ａは、測距部１３１により算出されたＲＡＷ画像情報ＲＡＷを、例えばアプリケーション部２０に出力する。
　次のステップＳ１０４で、測距装置１０ａは、制御部１３０により、ステップＳ１００で撮像された各位相の各画素信号に基づき、光源部１１および受光部１２を制御するための制御情報を求める。制御部１４０は、求めた制御情報をレジスタなどに記憶する。
　次のステップＳ１１０で、測距装置１０ａは、制御部１３０により、ステップＳ１０４で求めた制御情報と、アプリケーション部２０から渡されたパラメータＰａｒａｍと、に基づき、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのスケール調整を行うための調整値を算出する。算出された調整値は、調整部１３２に渡される。
　次のステップＳ１１１で、測距装置１０ａは、調整部１３２により、ステップＳ１１０で算出された調整値に基づき、ステップＳ１０２で算出された直接反射光情報ＤｉＲｅｆｌと、ステップＳ１０３で算出されたＲＡＷ画像情報ＲＡＷと、を調整し、それぞれスケール調整された直接反射光情報Ｓｃａｌｅｄ＿ＤｉＲｅｆｌおよびＲＡＷ画像情報Ｓｃａｌｅｄ＿ＲＡＷを取得する。測距装置１０ａは、取得されたこれらスケール調整された直接反射光情報Ｓｃａｌｅｄ＿ＤｉＲｅｆｌおよびＲＡＷ画像情報Ｓｃａｌｅｄ＿ＲＡＷを、例えばアプリケーション部２０に出力する。
　次のステップＳ１０５で、測距装置１０ａは、撮像が終了したか否かを判定する。測距装置１０ａは、例えば、アプリケーション部２０から撮像終了指示を受け取った場合に、撮像が終了したと判定し（ステップＳ１０５、「Ｙｅｓ」）、図２０のフローチャートによる一連の処理を終了させる。
　一方、測距装置１０００は、アプリケーション部２０から撮像終了指示を受け取っておらず、撮像が終了していないと判定した場合（ステップＳ１０５、「Ｎｏ」）、処理をステップＳ１００に戻す。このステップＳ１１０、ステップＳ１１１を含むステップＳ１００～ステップＳ１０５の処理は、例えば１フレーム単位で繰り返される。
　このように、第１の実施形態では、受光部１２により受光される受光量を距離情報Ｄｅｐｔｈの算出のために制御する制御信号に基づき、画素信号に基づき算出される直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷに対してスケール調整を行っている。そのため、距離情報Ｄｅｐｔｈの算出のために受光部１２による受光量が変化した場合であっても、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷの輝度変化を抑え、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷによる一定輝度の動画像を出力することが可能となる。これにより、例えばアプリケーション部２０が直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷを利用する際の利便性を向上させることができる。
　なお、上述では、測距装置１０ａが直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷをそれぞれ算出し、算出された直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷに対してそれぞれスケール調整を行うように説明したが、これはこの例に限定されない。例えば、測距装置１０ａは、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのうち何れか一方のみを算出し、算出された情報に対してスケール調整を行ってもよい。
　また、測距装置１０ａは、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷをそれぞれ算出し、算出された測距装置１０ａは、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのうち何れか一方のみに対してスケール調整を行ってもよい。直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのうち、算出やスケール調整を行う情報は、例えばアプリケーション部２０がパラメータＰａｒａｍに含めて測距装置１０ａに対して指定することができる。
［第２の実施形態］
　次に、本開示の第２の実施形態について説明する。第２の実施形態は、スケール調整されていない直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷと、スケール調整された直接反射光情報ＤｉＲｅｆｌ＿ＳｃａｌｅおよびＲＡＷ画像情報ＲＡＷ＿Ｓｃａｌｅと、のうち一方を選択してアプリケーション部２０に出力可能とした例である。
　図２１は、第２の実施形態に係る測距装置の機能を説明するための一例の機能ブロック図である。図２１において、測距装置１０ｂは、図１４を用いて説明した測距装置１０ａに対して、セレクタ１３３が追加されている。セレクタ１３３は、ＣＰＵ１００（図７参照）上でプログラムが動作することで構成されてもよいし、ハードウェア回路により実現してもよい。
　セレクタ１３３に対して、測距部１３１から出力された直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷの組と、調整部１３２から出力された、それぞれスケール調整された直接反射光情報Ｓｃａｌｅｄ＿ＤｉＲｅｆｌおよびＲＡＷ画像情報Ｓｃａｌｅｄ＿ＲＡＷの組と、が入力される。セレクタ１３３は、例えば、アプリケーション部２０から出力されるパラメータＰａｒａｍに含まれる、アプリケーション部２０の動作モードを示す情報に基づき、これら２つの組のうち一方の組を選択する。セレクタ１３３は、選択された組の直接反射光情報およびＲＡＷ画像情報を、それぞれ直接反射光情報ＤｉＲｅｆｌ’およびＲＡＷ画像情報ＲＡＷ’としてアプリケーション部２０に供給する。
　このように、第２の実施形態に係る測距装置１０ｂは、セレクタ１３３により、スケール調整されていない直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷの組と、それぞれスケール調整された直接反射光情報Ｓｃａｌｅｄ＿ＤｉＲｅｆｌおよびＲＡＷ画像情報Ｓｃａｌｅｄ＿ＲＡＷの組と、うち一方を選択して、アプリケーション部２０に供給している。そのため、測距装置１０ｂは、アプリケーション部２０に対して、直接反射光情報およびＲＡＷ画像情報のより多彩な利用形態を提供することが可能となり、アプリケーション部２０が直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷを利用する際の利便性を向上させることができる。
［第３の実施形態］
　次に、本開示の第３の実施形態について説明する。第３の実施形態は、受光部１２から出力される画素信号に基づき特定の被写体の検出を行う。そして、撮像されたフレームにおいて検出された被写体を含む被写体領域における直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷに対してスケール調整を行う。
　図２２は、第３の実施形態に係る測距装置の機能を説明するための一例の機能ブロック図である。図２２において、測距装置１０ｃは、図１４を用いて説明した測距装置１０ａに対して、被写体検出部１３４が追加されると共に、調整部１３２’の機能が変更されている。被写体検出部１３４は、ＣＰＵ１００（図７参照）上でプログラムが動作することで構成されてもよいし、ハードウェア回路により実現してもよい。
　被写体検出部１３４に対して、測距部１３１から出力された距離情報Ｄｅｐｔｈと、直接反射光情報ＤｉＲｅｆｌと、が供給される。被写体検出部１３４は、１フレームの距離情報Ｄｅｐｔｈと、直接反射光情報ＤｉＲｅｆｌと、のうち少なくとも一方の情報に基づき、当該フレームに含まれる特定の被写体（例えば顔）を検出する。検出対象の被写体は、顔に限定されない。すなわち、被写体の３次元あるいは２次元形状パターンが既知であれば、他の種類の被写体を検出対象としてもよい。
　一例として、顔検出を行う場合、被写体検出部１３４は、例えば、距離情報Ｄｅｐｔｈに基づきフレーム内における顔の領域を検出し（図１９Ｂ参照）、さらに、検出された顔の領域に対して３次元情報のパターンマッチングなどを行い、顔の各パーツの３次元情報としての位置および形状を検出する。また、被写体検出部１３４は、例えば、直接反射光情報ＤｉＲｅｆｌに対して画像解析を行って顔の領域を検出し（図１９Ｄ参照）、さらに、２次元情報のパターンマッチングなどを行って、顔の各パーツの２次元情報としての位置および形状を検出する。さらに、被写体検出部１３４は、これら距離情報Ｄｅｐｔｈに基づく顔検出結果と、直接反射光情報ＤｉＲｅｆｌに基づく顔検出結果と、を併用して顔検出を行うこともできる。
　被写体検出部１３４は、特定の被写体が検出されたフレーム内の領域を被写体領域として求め、当該被写体領域の座標情報を取得する。座標情報は、例えば、図８を参照し、画素エリア１１１１内における各画素１１１２の位置を示す情報を適用できる。被写体検出部１３４は、取得された被写体領域の座標情報を被写体領域情報Ｓｕｂｊとして、調整部１３２’に供給する。調整部１３２’は、被写体領域情報Ｓｕｂｊに基づき、測距部１３１から供給された直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷの、被写体領域情報Ｓｕｂｊに示される領域の情報に対してスケール調整を行う。
　図２３は、第３の実施形態に係る調整部１３２’の機能を説明するための一例の機能ブロック図である。図２３において、調整部１３２’は、図１８を用いて説明した調整部１３２と同様に、直接反射光情報ＤｉＲｅｆｌを調整するための構成として、係数生成部１３２０Ｄ’および乗算器１３２１Ｄを含む。さらに、調整部１３２は、ＲＡＷ画像情報ＲＡＷを調整するための構成として、係数生成部１３２０Ｒ’および乗算器１３２１Ｒを含む。
　係数生成部１３２０Ｄ’および係数生成部１３２０Ｒ’に対して、被写体検出部１３４から供給された被写体領域情報Ｓｕｂｊが入力される。例えば係数生成部１３２０Ｄ’は、図１８を用いた説明と同様にして、制御値生成部１３００から出力された調整値と、パラメータＰａｒａｍに含まれるターゲット情報ｔａｒｇｅｔと、に基づき、上述した式（１２）により、直接反射光情報ＤｉＲｅｆｌの信号レベル（スケール）を調整するための係数ｋDを求める。
　係数生成部１３２０Ｄ’は、さらに直接反射光情報ＤｉＲｅｆｌが入力され、求めた係数ｋDを、調整部１３２’に入力される直接反射光情報ＤｉＲｅｆｌの、被写体領域情報Ｓｕｂｊに示される領域に対して適用する。係数生成部１３２０Ｄ’は、直接反射光情報ＤｉＲｅｆｌの、被写体領域情報Ｓｕｂｊに示される領域以外の領域に対しては、例えば係数「１」を適用する。これにより、乗算器１３２１Ｄ’において、被写体領域情報Ｓｕｂｊに示される領域に対して選択的に係数ｋDによる乗算が実行され、直接反射光情報ＤｉＲｅｆｌの、被写体領域情報Ｓｕｂｊに示される領域に対してスケール調整を行うことができる。
　ＲＡＷ画像情報ＲＡＷに対する係数ｋRを生成する係数生成部１３２０Ｒ’についても、上述の係数生成部１３２０Ｄ’と同様な処理を適用可能であるので、ここでの詳細な説明を省略する。
（第３の実施形態に係る測距装置における処理）
　図２４は、第３の実施形態に係る測距装置１０ｃにおける処理を示す一例のフローチャートである。図２０のフローチャートと同様に、例えば、アプリケーション部２０から測距装置１０ｃに対して、撮像（測距）の開始を指示する撮像開始指示が渡されることで、図２４のフローチャートによる処理が開始される。アプリケーション部２０は、それと共に、アプリケーション部２０の動作モードを示す情報と、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷに対するターゲット情報ｔａｒｇｅｔと、を含むパラメータＰａｒａｍを測距装置１０ｃに渡す。
　図２４のフローチャートにおいて、ステップＳ１００～ステップＳ１０４の処理は、上述した図２０の対応する処理と同様であるので、ここでの詳細な説明を省略する。測距装置１０ｃは、ステップＳ１０４で光源部１１および受光部１２を制御する制御信号を求めると、処理をステップＳ１１０に移行する。ステップＳ１１０の処理は、上述した図２０のステップＳ１１０の処理と同等であるので、ここでの詳細な説明を省略する。
　測距装置１０ｃは、ステップＳ１１０で制御情報とパラメータＰａｒａｍとに基づき、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのスケール調整を行うための調整値を算出する。測距装置１０ｃは、算出した調整値を調整部１３２に渡すと、処理をステップＳ１２０に移行させる。
　ステップＳ１２０で、測距装置１０ｃは、被写体検出部１３４により、測距部１３１から出力された１フレームの距離情報Ｄｅｐｔｈと直接反射光情報ＤｉＲｅｆｌとのうち少なくとも一方に基づき、当該フレームに含まれる特定の被写体を検出する。被写体検出部１３４は、特定の被写体が検出されたフレーム内の領域を被写体領域として求め、当該被写体領域の座標情報を取得する。被写体検出部１３４は、被写体領域を示す被写体領域情報Ｓｕｂｊを、調整部１３２’に渡す。
　次のステップＳ１２１で、測距装置１０ｃは、調整部１３２’により、測距部１３１から供給された直接反射光情報ＤｉＲｅｆｌの、ステップＳ１２０で被写体検出部１３４から渡された被写体領域情報Ｓｕｂｊに示される領域に対して、ステップＳ１１０で算出された調整値に基づき、スケール調整を行う。調整部１３２’は、さらに、測距部１３１から供給されたＲＡＷ画像情報ＲＡＷの、ステップＳ１２０で被写体検出部１３４から渡された被写体領域情報Ｓｕｂｊに示される領域に対して、ステップＳ１１０で算出された調整値に基づき、スケール調整を行うこともできる。
　被写体領域情報Ｓｕｂｊに示される領域がスケール調整された直接反射光情報Ｓｃａｌｅｄ＿ＤｉＲｅｆｌは、調整部１３２’から出力され、アプリケーション部２０に供給される。調整部１３２’は、ＲＡＷ画像情報ＲＡＷに対して被写体領域情報Ｓｕｂｊに示される領域に対してスケール調整を行った場合、スケール調整されたＲＡＷ画像情報Ｓｃａｌｅｄ＿ＲＡＷを、アプリケーション部２０に供給する。
　次のステップＳ１０５で、測距装置１０ｃは、撮像が終了したか否かを判定する。測距装置１０ｃは、例えば、アプリケーション部２０から撮像終了指示を受け取った場合に、撮像が終了したと判定し（ステップＳ１０５、「Ｙｅｓ」）、図２４のフローチャートによる一連の処理を終了させる。
　一方、測距装置１０ｃは、撮像が終了していないと判定した場合（ステップＳ１０５、「Ｎｏ」）、処理をステップＳ１００に戻す。この、ステップＳ１１０、ステップＳ１１１、ステップＳ１２０およびステップＳ１２１を含む、ステップＳ１００～ステップＳ１０５の処理は、例えば１フレーム単位で繰り返される。
　このように、第３の実施形態では、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷの、フレーム内の被写体領域情報Ｓｕｂｊに示される領域に対して選択的にスケール調整を行うことができる。そのため、フレーム内において、特定の被写体を強調することができる。これにより、例えばアプリケーション部２０が直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷを利用する際の利便性を向上させることができる。
　なお、上述では、測距装置１０ｃが直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷをそれぞれ算出し、算出された直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷの被写体領域情報Ｓｕｂｊに示される領域に対してそれぞれスケール調整を行うように説明したが、これはこの例に限定されない。例えば、測距装置１０ｃは、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのうち何れか一方のみを算出し、算出された情報の被写体領域情報Ｓｕｂｊに示される領域に対してスケール調整を行ってもよい。
　また、測距装置１０ｃは、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷをそれぞれ算出し、算出された測距装置１０ａは、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのうち何れか一方の被写体領域情報Ｓｕｂｊに示される領域に対してスケール調整を行ってもよい。直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのうち、算出やスケール調整を行う情報は、例えばアプリケーション部２０により測距装置１０ｃに対して指定することができる。
［第４の実施形態］
　次に、本開示の第４の実施形態について説明する。第４の実施形態は、上述した第２の実施形態と、第３の実施形態とを組み合わせた例である。図２５は、第４の実施形態に係る測距装置の機能を説明するための一例の機能ブロック図である。図２５において、測距装置１０ｄは、図２２を用いて説明した測距装置１０ｃに対して、図２１を用いて説明した測距装置１０ｂにおけるセレクタ１３３が追加されている。
　第４の実施形態に係る測距装置１０ｄは、図２１の測距装置１０ｂと同様に、セレクタ１３３に対して、測距部１３１から出力された直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷの組と、調整部１３２から出力された、それぞれスケール調整された直接反射光情報Ｓｃａｌｅｄ＿ＤｉＲｅｆｌおよびＲＡＷ画像情報Ｓｃａｌｅｄ＿ＲＡＷの組と、が入力される。セレクタ１３３は、例えばアプリケーション部２０から出力されるパラメータＰａｒａｍに含まれる、アプリケーション部２０の動作モードを示す情報に基づき、これら２つの組のうち一方の組を選択する。セレクタ１３３は、選択された組の直接反射光情報およびＲＡＷ画像情報を、それぞれ直接反射光情報ＤｉＲｅｆｌ’およびＲＡＷ画像情報ＲＡＷ’としてアプリケーション部２０に供給する。
　第４の実施形態に係る測距装置１０ｄによれば、セレクタ１３３により、スケール調整されていない直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷの組と、それぞれ被写体領域情報Ｓｕｂｊに示される領域が選択的にスケール調整された直接反射光情報Ｓｃａｌｅｄ＿ＤｉＲｅｆｌおよびＲＡＷ画像情報Ｓｃａｌｅｄ＿ＲＡＷの組と、うち一方を選択して、アプリケーション部２０に供給している。そのため、測距装置１０ｄは、アプリケーション部２０に対して、直接反射光情報およびＲＡＷ画像情報のより多彩な利用形態を提供することが可能となり、アプリケーション部２０が直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷを利用する際の利便性を向上させることができる。
［第５の実施形態］
　上述した第１の実施形態では、測距装置１０ａがＣＰＵ１００、ＲＯＭ１０１、ＲＡＭ１０２、ＵＩ部１０４、ストレージ１０３、Ｉ／Ｆ１０５などを含む電子機器２により、ハードウェア装置として構成されるように説明したが、これはこの例に限定されない。例えば、図１０または図１１に示した、半導体チップを積層して構成したセンサユニット１１１に対して、図１４に示した制御部１３０、測距部１３１および調整部１３２を含め、測距装置１０ａの全体として、１つの半導体素子として構成することもできる。これは、第２～第４の実施形態に係る測距装置１０ｂ、１０ｃおよび１０ｄにも、同様に適用できる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　光源部の発光に応じて受光部が位相毎の受光を行い、該位相毎の受光により該受光部が出力した該位相毎の受光信号に基づき距離情報の算出を行う測距部と、
　前記位相毎の受光信号のレベルを、前記位相毎の受光信号に基づく前記距離情報の算出に応じて制御する制御部と、
　前記位相毎の受光信号に基づき画像信号を生成する生成部と、
　調整値に従い前記画像信号のレベルを調整する調整部と、
を備え、
　前記制御部は、
　前記距離情報の算出に応じて制御した前記位相毎の受光信号に基づき前記調整値を生成する
測距装置。
（２）
　前記測距部が算出した前記距離情報と、前記生成部が生成した前記画像信号と、に基づき、前記画像信号に基づく画像領域における所定の被写体が含まれる被写体領域を検出する検出部をさらに備え、
　前記調整部は、
　前記被写体領域における前記画像信号のレベルを前記調整値に基づき調整する
前記（１）に記載の測距装置。
（３）
　前記生成部が生成した前記画像信号と、前記画像信号のレベルを前記調整部で調整した調整画像信号と、のうち一方を選択する選択部をさらに備える
前記（１）または（２）に記載の測距装置。
（４）
　前記生成部は、
　前記受光部が受光した光の成分のうち、前記光源部の発光により出射された光の反射光を前記受光部が受光した成分に基づく前記画像信号を生成する
前記（１）乃至（３）の何れかに記載の測距装置。
（５）
　前記生成部は、
　前記受光部が前記反射光と環境光とを受光した成分に基づく前記画像信号をさらに生成する
前記（４）に記載の測距装置。
（６）
　前記制御部は、
　前記受光部における露光長を制御することで、前記位相毎の受光信号のレベルを制御する
前記（１）乃至（５）の何れかに記載の測距装置。
（７）
　前記制御部は、
　前記光源部による前記発光のデューティを制御することで、前記位相毎の受光信号のレベルを制御する
前記（１）乃至（６）の何れかに記載の測距装置。
（８）
　前記制御部は、
　前記光源部による前記発光の強度を制御することで、前記位相毎の受光信号のレベルを制御する
前記（１）乃至（７）の何れかに記載の測距装置。
（９）
　前記制御部は、
　前記受光部が出力する前記位相毎の受光信号のゲインを制御することで、前記位相毎の受光信号のレベルを制御する
前記（１）乃至（８）の何れかに記載の測距装置。
（１０）
　前記制御部は、
　前記位相毎の受光信号に基づき、前記制御部による前記位相毎の受光信号のレベルの制御をキャンセルする前記調整値を生成する
前記（１）乃至（９）の何れかに記載の測距装置。
１　電子機器
１０，１０ａ，１０ｂ，１０ｃ，１０ｄ，１０００　測距装置
１１　光源部
１２　受光部
１３　測距処理部
２０　アプリケーション部
３０　射出光
３１　被測定物
３２　反射光
１００　ＣＰＵ
１１０　光源ユニット
１１１　センサユニット
１３０，１４０　制御部
１３１，１４１　測距部
１３２，１３２’　調整部
１３３　セレクタ
１３４　被写体検出部
１１１０　センサチップ
１１１１　画素エリア
１１２０　回路チップ
１１２０ａ　第１の回路チップ
１１２０ｂ　第２の回路チップ
１３００　制御値生成部
１３０１　記憶部
１３１０　測距演算部
１３１２　直接反射光情報算出部
１３１３　ＲＡＷ画像情報算出部
１３２０Ｄ，１３２０Ｄ’，１３２０Ｒ，１３２０Ｒ’　係数生成部
１３２１Ｄ，１３２１Ｒ　乗算器

Claims (10)

  1. 　光源部の発光に応じて受光部が位相毎の受光を行い、該位相毎の受光により該受光部が出力した該位相毎の受光信号に基づき距離情報の算出を行う測距部と、
    　前記位相毎の受光信号のレベルを、前記位相毎の受光信号に基づく前記距離情報の算出に応じて制御する制御部と、
    　前記位相毎の受光信号に基づき画像信号を生成する生成部と、
    　調整値に従い前記画像信号のレベルを調整する調整部と、
    を備え、
    　前記制御部は、
    　前記距離情報の算出に応じて制御した前記位相毎の受光信号に基づき前記調整値を生成する
    測距装置。
  2. 　前記測距部が算出した前記距離情報と、前記生成部が生成した前記画像信号と、に基づき、前記画像信号に基づく画像領域における所定の被写体が含まれる被写体領域を検出する検出部をさらに備え、
    　前記調整部は、
    　前記被写体領域における前記画像信号のレベルを前記調整値に基づき調整する
    請求項１に記載の測距装置。
  3. 　前記生成部が生成した前記画像信号と、前記画像信号のレベルを前記調整部で調整した調整画像信号と、のうち一方を選択する選択部をさらに備える
    請求項１に記載の測距装置。
  4. 　前記生成部は、
    　前記受光部が受光した光の成分のうち、前記光源部の発光により出射された光の反射光を前記受光部が受光した成分に基づく前記画像信号を生成する
    請求項１に記載の測距装置。
  5. 　前記生成部は、
    　前記受光部が前記反射光と環境光とを受光した成分に基づく前記画像信号をさらに生成する
    請求項４に記載の測距装置。
  6. 　前記制御部は、
    　前記受光部における露光長を制御することで、前記位相毎の受光信号のレベルを制御する
    請求項１に記載の測距装置。
  7. 　前記制御部は、
    　前記光源部による前記発光のデューティを制御することで、前記位相毎の受光信号のレベルを制御する
    請求項１に記載の測距装置。
  8. 　前記制御部は、
    　前記光源部による前記発光の強度を制御することで、前記位相毎の受光信号のレベルを制御する
    請求項１に記載の測距装置。
  9. 　前記制御部は、
    　前記受光部が出力する前記位相毎の受光信号のゲインを制御することで、前記位相毎の受光信号のレベルを制御する
    請求項１に記載の測距装置。
  10. 　前記制御部は、
    　前記位相毎の受光信号に基づき、前記制御部による前記位相毎の受光信号のレベルの制御をキャンセルする前記調整値を生成する
    請求項１に記載の測距装置。
PCT/JP2020/005036 2019-03-11 2020-02-10 測距装置 WO2020184028A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/310,804 US20220046158A1 (en) 2019-03-11 2020-02-10 Distance measuring device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019044283A JP2020148510A (ja) 2019-03-11 2019-03-11 測距装置
JP2019-044283 2019-03-11

Publications (1)

Publication Number Publication Date
WO2020184028A1 true WO2020184028A1 (ja) 2020-09-17

Family

ID=72427280

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/005036 WO2020184028A1 (ja) 2019-03-11 2020-02-10 測距装置

Country Status (3)

Country Link
US (1) US20220046158A1 (ja)
JP (1) JP2020148510A (ja)
WO (1) WO2020184028A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113709359A (zh) * 2021-07-14 2021-11-26 安克创新科技股份有限公司 图像采集装置
WO2022176498A1 (ja) * 2021-02-16 2022-08-25 ソニーセミコンダクタソリューションズ株式会社 測距センサ及び測距装置
US20230107489A1 (en) * 2021-10-04 2023-04-06 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022123679A (ja) * 2021-02-12 2022-08-24 オムロン株式会社 濃淡画像生成装置および濃淡画像補正方法、濃淡画像補正プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005010313A (ja) * 2003-06-17 2005-01-13 Minolta Co Ltd 撮像装置
JP2012029130A (ja) * 2010-07-26 2012-02-09 Konica Minolta Opto Inc 撮像装置及び画像入力装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4883517B2 (ja) * 2004-11-19 2012-02-22 学校法人福岡工業大学 三次元計測装置および三次元計測方法並びに三次元計測プログラム
JP2015127682A (ja) * 2013-12-27 2015-07-09 スリーエム イノベイティブ プロパティズ カンパニー 分析装置、システムおよびプログラム
KR102610830B1 (ko) * 2015-12-24 2023-12-06 삼성전자주식회사 거리 정보를 획득하는 방법 및 디바이스
KR20170098089A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 그의 동작 방법
US20190195478A1 (en) * 2017-12-21 2019-06-27 Circuit Services, LLC Lighting apparatus including a distance sensor for indoor plants

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005010313A (ja) * 2003-06-17 2005-01-13 Minolta Co Ltd 撮像装置
JP2012029130A (ja) * 2010-07-26 2012-02-09 Konica Minolta Opto Inc 撮像装置及び画像入力装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022176498A1 (ja) * 2021-02-16 2022-08-25 ソニーセミコンダクタソリューションズ株式会社 測距センサ及び測距装置
CN113709359A (zh) * 2021-07-14 2021-11-26 安克创新科技股份有限公司 图像采集装置
CN113709359B (zh) * 2021-07-14 2023-09-01 安克创新科技股份有限公司 图像采集装置
US20230107489A1 (en) * 2021-10-04 2023-04-06 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss
US11922606B2 (en) * 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss

Also Published As

Publication number Publication date
JP2020148510A (ja) 2020-09-17
US20220046158A1 (en) 2022-02-10

Similar Documents

Publication Publication Date Title
WO2020184028A1 (ja) 測距装置
US11378690B2 (en) Time of flight sensor, a three-dimensional imaging device using the same, and a method for driving the three-dimensional imaging device
US10477118B2 (en) System and methods for depth imaging using conventional CCD image sensors
US10491842B2 (en) Imaging device, a solid-state imaging device for use in the imaging device
CN105933603B (zh) 焦点检测装置、摄像装置、摄像***及焦点检测方法
KR102136850B1 (ko) 깊이 센서, 및 이의 동작 방법
JP7208156B2 (ja) ピクセルワイズイメージングの方法及びシステム
KR101675112B1 (ko) 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치
US20140198183A1 (en) Sensing pixel and image sensor including same
US10261287B2 (en) Imaging devices having autofocus control
KR20160032014A (ko) 타임 오브 플라이트 시스템 구동 방법
US10607352B2 (en) Reduced power operation of time-of-flight camera
KR102194237B1 (ko) 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
JPWO2017022219A1 (ja) 固体撮像装置の駆動方法
JP6025081B2 (ja) 距離画像センサ
CN109791204A (zh) 用于确定到对象的距离的***
US20150193934A1 (en) Motion sensor apparatus having a plurality of light sources
US10948596B2 (en) Time-of-flight image sensor with distance determination
WO2022026011A1 (en) Time of flight imaging using long and short-exposure storage nodes
US11675061B2 (en) Apparatuses and methods for determining depth motion relative to a time-of-flight camera in a scene sensed by the time-of-flight camera
KR20170076477A (ko) 거리 정보를 획득하는 방법 및 디바이스
WO2021059748A1 (ja) 情報処理装置、補正方法およびプログラム
US10356314B2 (en) Image sensor and image capturing apparatus
WO2021059735A1 (ja) 画像処理装置、電子機器、画像処理方法及びプログラム
WO2020196378A1 (ja) 距離画像の取得方法、及び、距離検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20769929

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20769929

Country of ref document: EP

Kind code of ref document: A1