WO2020184028A1 - 測距装置 - Google Patents
測距装置 Download PDFInfo
- Publication number
- WO2020184028A1 WO2020184028A1 PCT/JP2020/005036 JP2020005036W WO2020184028A1 WO 2020184028 A1 WO2020184028 A1 WO 2020184028A1 JP 2020005036 W JP2020005036 W JP 2020005036W WO 2020184028 A1 WO2020184028 A1 WO 2020184028A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- light
- distance measuring
- information
- phase
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
- G01S7/4913—Circuits for detection, sampling, integration or read-out
- G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
- G01S7/4918—Controlling received signal intensity, gain or exposure of sensor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Definitions
- the present invention relates to a ranging device.
- ToF Time of Flight
- the light received by the light receiving unit includes ambient light such as sunlight in addition to the reflected light of the light emitted from the light source effective for distance measurement.
- ToF type distance measuring device a distance measuring device that performs ToF type distance measurement (hereinafter referred to as ToF type distance measuring device) the distance from the light received by the light receiving unit to the object to be measured based on the reflected light component obtained by removing the component of the ambient light. To get.
- the ToF type distance measuring device may be equipped with an AE (Automatic Exposure) function in order to receive light with an appropriate brightness.
- AE Automatic Exposure
- the exposure is automatically adjusted according to the brightness of the shooting scene, and it is possible to obtain good distance measurement accuracy regardless of the shooting scene.
- An object of the present disclosure is to provide a distance measuring device capable of improving convenience when an image adjusted in accordance with the ToF method is secondarily used.
- the light receiving unit receives light in each phase according to the light emission of the light source unit, and distance information is calculated based on the light receiving signal for each phase output by the light receiving unit in each phase.
- a unit a control unit that controls the level of the received light signal for each phase according to the calculation of distance information based on the received signal for each phase, a generation unit that generates an image signal based on the received signal for each phase, and an adjustment value.
- the control unit includes an adjustment unit that adjusts the level of the image signal according to the above, and the control unit generates an adjustment value based on the received light signal for each phase controlled according to the calculation of the distance information.
- the present disclosure is suitable for use in a technique for performing distance measurement using light.
- an indirect ToF (Time of Flight) method will be described as one of the distance measuring methods applicable to the embodiment in order to facilitate understanding.
- a light source light modulated by PWM Pulse Width Modulation
- PWM Pulse Width Modulation
- the reflected light is received by a light receiving element, and the received reflection is received.
- FIG. 1 is a block diagram showing a configuration of an example of an electronic device using a distance measuring device applicable to each embodiment.
- the electronic device 1 includes a distance measuring device 10 and an application unit 20.
- the application unit 20 is realized by, for example, operating a program on a CPU (Central Processing Unit), requests the distance measuring device 10 to execute distance measurement, and measures distance information or the like which is the result of distance measurement. Receive from device 10.
- CPU Central Processing Unit
- the distance measuring device 10 includes a light source unit 11, a light receiving unit 12, and a distance measuring processing unit 13.
- the light source unit 11 includes, for example, a light emitting element that emits light having a wavelength in the infrared region, and a drive circuit that drives the light emitting element to emit light.
- a light emitting element included in the light source unit 11 for example, an LED (Light Emitting Diode) can be applied.
- a VCSEL Very Cavity Surface Emitting LASER
- the light emitting element of the light source unit 11 emits light is described as “the light source unit 11 emits light” or the like.
- the light receiving unit 12 includes, for example, a light receiving element capable of detecting light having a wavelength in the infrared region, and a signal processing circuit that outputs a pixel signal corresponding to the light detected by the light receiving element.
- a photodiode can be applied as the light receiving element included in the light receiving unit 12.
- the light receiving element included in the light receiving unit 12 receives light is described as “the light receiving unit 12 receives light”.
- the distance measuring processing unit 13 executes the distance measuring processing in the distance measuring device 10 in response to the distance measuring instruction from the application unit 20, for example.
- the distance measuring processing unit 13 generates a light source control signal for driving the light source unit 11 and supplies it to the light source unit 11.
- the distance measuring processing unit 13 controls the light reception by the light receiving unit 12 in synchronization with the light source control signal supplied to the light source unit 11.
- the distance measuring processing unit 13 generates an exposure control signal for controlling the exposure period in the light receiving unit 12 in synchronization with the light source control signal, and supplies the light receiving unit 12.
- the light receiving unit 12 outputs a valid pixel signal within the exposure period indicated by the exposure control signal.
- the distance measuring processing unit 13 calculates the distance information based on the pixel signal output from the light receiving unit 12 in response to the light reception. Further, the distance measuring processing unit 13 can also generate predetermined image information based on the pixel signal. The distance measuring processing unit 13 passes the distance information and image information calculated and generated based on the pixel signal to the application unit 20.
- the distance measurement processing unit 13 generates a light source control signal for driving the light source unit 11 and supplies the light source control signal to the light source unit 11 in accordance with an instruction from the application unit 20, for example, to execute the distance measurement. ..
- the distance measuring processing unit 13 generates a light source control signal modulated into a rectangular wave having a predetermined duty by PWM and supplies it to the light source unit 11.
- the distance measuring processing unit 13 controls the light received by the light receiving unit 12 based on the exposure control signal synchronized with the light source control signal.
- the light source unit 11 blinks and emits light according to a predetermined duty according to the light source control signal generated by the distance measuring processing unit 13.
- the light emitted from the light source unit 11 is emitted from the light source unit 11 as emission light 30.
- the emitted light 30 is reflected by, for example, the object to be measured 31, and is received by the light receiving unit 12 as reflected light 32.
- the light receiving unit 12 supplies a pixel signal corresponding to the light received by the reflected light 32 to the distance measuring processing unit 13.
- the light receiving unit 12 receives ambient ambient light in addition to the reflected light 32, and the pixel signal includes the component of the ambient light together with the component of the reflected light 32.
- the distance measuring processing unit 13 executes light reception by the light receiving unit 12 a plurality of times in different phases.
- the distance measuring processing unit 13 calculates the distance D to the object to be measured based on the difference between the pixel signals due to the light reception in different phases.
- the distance measuring processing unit 13 includes the first image information obtained by extracting the component of the reflected light 32 based on the difference of the pixel signals, and the second image information including the component of the reflected light 32 and the component of the ambient light. , Is calculated.
- the first image information is referred to as direct reflected light information
- the second image information is referred to as RAW image information.
- FIG. 2 is a diagram for explaining the principle of the indirect ToF method.
- light modulated by a sine wave is used as the emission light 30 emitted by the light source unit 11.
- the reflected light 32 is a sine wave having a phase difference phase corresponding to the distance D with respect to the emitted light 30.
- the distance measuring processing unit 13 samples the pixel signal that has received the reflected light 32 a plurality of times in different phases, and acquires a light amount value indicating the light amount for each sampling.
- the distance information is calculated based on the difference between the light intensity values of the sets having 180 ° different phases among the 0 °, 90 °, 180 °, and 270 ° phases.
- FIG. 3 is a diagram showing an example in which the emitted light 30 from the light source unit 11 is a rectangular wave modulated by PWM.
- the emitted light 30 by the light source unit 11 and the reflected light 32 reaching the light receiving unit 12 are shown.
- the light source unit 11 periodically blinks with a predetermined duty to emit the emitted light 30.
- the phase 0 ° 0 °
- the phase 90 ° 90 °
- the phase 180 ° 180 °
- the period during which the exposure control signal is in the high state is defined as the exposure period during which the light receiving unit 12 outputs a valid pixel signal.
- the emission light 30 is emitted from the light source unit 11 at the time point t 0 , and the emission light 30 is applied to the time point t 1 after a delay corresponding to the distance D from the time point t 0 to the object to be measured.
- the reflected light 32 reflected by the object to be measured reaches the light receiving unit 12.
- the light receiving unit 12 starts the exposure period of phase 0 ° in synchronization with the time point t 0 of the injection timing of the emission light 30 in the light source unit 11 according to the exposure control signal from the distance measuring processing unit 13. Similarly, the light receiving unit 12 starts the exposure period of phase 90 °, phase 180 ° and phase 270 ° according to the exposure control signal from the distance measuring processing unit 13.
- the exposure period in each phase follows the duty of the emitted light 30.
- the exposure periods of the respective phases are shown to be in parallel in time, but in reality, the light receiving unit 12 has the exposure periods of the respective phases sequentially.
- the light intensity values C 0 , C 90 , C 180 and C 270 for each phase are acquired as specified.
- the arrival timing of the reflected light 32 is the time point t 1 , t 2 , t 3 , ...
- the light quantity value C 0 at the phase 0 ° is the time point from the time point t 0 to the phase 0 °. It is acquired as an integrated value of the amount of received light up to the end of the exposure period including t 0 .
- the light intensity value C 180 is the fall of the reflected light 32 included in the exposure period from the start of the exposure period at the phase 180 °. It is acquired as an integrated value of the amount of received light up to the time point t 2 .
- phase C90 and the phase 270 ° which is 180 ° different from the phase 90 °
- the period during which the reflected light 32 reaches within each exposure period is the same as in the case of the above-mentioned phases 0 ° and 180 °.
- the integrated value of the received light amount of is acquired as the light amount values C 90 and C 270 .
- phase difference phase is calculated by the following equation (3).
- the phase difference phase is defined in the range of (0 ⁇ phase ⁇ 2 ⁇ ).
- phase tan -1 (Q / I)... (3)
- the component of the reflected light 32 (direct reflected light information) can be extracted from the component of the light received by the light receiving unit 12.
- the direct reflected light information DiRefl is calculated by the following equation (5) using the absolute values of the differences I and Q, respectively.
- DiRef
- RAW image information RAW can be calculated as the average value of the respective light intensity values C 0 , C 90 , C 180 and C 270 as shown in the following equation (6).
- RAW (C 0 + C 90 + C 180 + C 270 ) / 4 ... (6)
- FIG. 4 is a diagram showing an example of the amount of light received by the light receiving unit 12.
- the component of the ambient light is canceled and the component of the directly reflected light is extracted.
- the RAW image is an average value of the light intensity values C 0 , C 90 , C 180 and C 270 of each phase as shown in the above equation (6), and therefore, as illustrated in FIG. 4, the environment. It contains a light component.
- FIG. 5A is a diagram for explaining a first method of acquiring each light intensity value and calculating each information applicable to each embodiment.
- the light receiving unit 12 sequentially acquires the respective light intensity values C 0 , C 90 , C 180, and C 270 for each phase.
- the light receiving unit 12 is exposed at a phase of 0 ° during the period from the time points t 10 to t 11 , and the time points t 12 to t are sandwiched between the time points t 11 and a predetermined time (for example, the processing switching time). Exposure with a phase of 90 ° is performed for 13 periods.
- light is received at a phase of 180 ° during the period from time point t 13 to the time point t 14 to t 15 with a predetermined time in between, and during the period from time point t 15 to time point t 16 to t 17 with a predetermined time in between.
- Exposure is performed with a phase of 270 °.
- the method of sequentially acquiring the respective light intensity values C 0 , C 90 , C 180 and C 270 for each phase shown in FIG. 5A is called a one-tap method.
- the sequence of exposure according to each phase is defined as 1 microframe ( ⁇ Frame).
- the period of time t 10 ⁇ t 18 becomes the period of one micro-frame.
- the period of one microframe is shorter than the period of one frame of imaging (for example, 1/30 sec), and the processing of one microframe can be executed a plurality of times within the period of one frame.
- the distance measuring processing unit 13 stores, for example, the respective light intensity values C 0 , C 90 , C 180, and C 270 acquired sequentially in each phase, which are acquired within the period of one microframe , in a memory.
- the distance measuring processing unit 13 calculates the distance information Dept, the direct reflected light information DiRefl, and the RAW image information RAW, respectively, based on the respective light amount values C 0 , C 90 , C 180, and C 270 stored in the memory.
- FIG. 5B is a diagram for explaining a second method of acquiring each light intensity value and calculating each information applicable to each embodiment.
- the light receiving unit 12 includes two reading circuits (referred to as taps A and tap B) for one light receiving element, and the readings by the taps A and B are sequentially executed (alternately). It is possible (details will be described later).
- the light receiving unit 12 sequentially executes reading of tap A and tap B in each phase. Further, the light receiving unit 12 sequentially executes reading of each phase within a period of 1 microframe.
- the light receiving unit 12 performs exposure at a phase of 0 ° during the period from time points t 20 to t 21 .
- the distance measuring processing unit 13 obtains a light amount value A 0 and a light amount value B 0 , respectively, based on the pixel signals read by the tap A and the tap B respectively.
- the light receiving unit 12 performs exposure at a phase of 90 ° during a period from time points t 22 to t 23 with a predetermined time from time point t 21 .
- the distance measuring processing unit 13 obtains the light amount value A 90 and the light amount value B 90 , respectively, based on the pixel signals read by the tap A and the tap B respectively.
- the distance measuring processing unit 13 obtains the light amount value A 180 and the light amount value B 180 , respectively, based on the pixel signals read by the tap A and the tap B respectively. Further, the light receiving unit 12 performs exposure at a phase of 270 ° during the period from the time point t 26 to t 27 with a predetermined time between the time point t 25 . The distance measuring processing unit 13 obtains the light amount value A 270 and the light amount value B 270 , respectively, based on the pixel signals read by the tap A and the tap B respectively.
- the readings by taps A and B are sequentially executed for each of the phases 0 °, 90 °, 180 ° and 270 ° shown in FIG. 5B, and each light intensity value based on the readings of taps A and B for each phase. Is called a 4-phase / 2-tap method.
- the differences I and Q are calculated using the following equations (8) using the respective light intensity values A 0 and B 0 , A 90 and B 90 , A 180 and B 180 , and A 270 and B 270. ) And (9).
- the phase difference phase, the distance information Dept, and the direct reflected light information DiRefl use the differences I and Q calculated by these equations (8) and (9), and the above-mentioned equations (3), (4), and (7) are used.
- the RAW image information RAW is calculated as the average value of the respective light intensity values A 0 and B 0 , A 90 and B 90 , A 180 and B 180 , and A 270 and B 270 according to the above equation (6). it can.
- the exposure period in each phase is made redundant by tap A and tap B. Therefore, it is possible to improve the S / N ratio of the calculated distance information Depth, the direct reflected light information DiRefl, and the RAW image information RAW.
- FIG. 5C is a diagram for explaining a third method of acquiring each light intensity value and calculating each information applicable to each embodiment.
- the light receiving unit 12 includes the tap A and the tap B as in the second method described above, and sequentially executes reading from the tap A and the tap B. Further, the light receiving unit 12 sequentially executes reading of the phases 0 ° and 90 ° out of the phases 0 °, 90 °, 180 ° and 270 ° described above.
- the period of reading out the phases of 0 ° and 90 ° is defined as a period of 1 microframe.
- the read sequence is the same sequence as the time points t 20 to 24 in FIG. 5B described above. That is, the light receiving unit 12 performs exposure at a phase of 0 ° during the period from time point t 30 to t 31 .
- the distance measuring processing unit 13 obtains a light amount value A 0 and a light amount value B 0 , respectively, based on the pixel signals read by the tap A and the tap B respectively.
- the light receiving unit 12 performs exposure at a phase of 90 ° during a period from time point t 32 to t 33 with a predetermined time from time point t 31 .
- the distance measuring processing unit 13 obtains the light amount value A 90 and the light amount value B 90 , respectively, based on the pixel signals read by the tap A and the tap B respectively.
- the readings by taps A and B are sequentially executed for each of the phases 0 ° and 90 shown in FIG. 5C, and the respective light intensity values based on the readings of taps A and B are obtained for each of the phases 0 ° and 90 °.
- the method is called a two-phase / two-tap method.
- reading by tap A and tap B is sequentially executed at each phase of 0 ° and 90 °, respectively.
- This corresponds to, for example, reading out the phase 0 ° and the phase 180 ° whose phase is 180 ° different from the phase 0 ° at the phase 0 °.
- the phase 90 ° it corresponds to executing the reading of the phase 90 ° and the phase 270 ° whose phase is 180 ° different from the phase 90 °.
- FIG. 6 is a diagram showing an example of the exposure period of tap A and tap B at each phase of 0 °, 90 °, 180 ° and 270 ° of each light receiving unit 12 (each light receiving element).
- the exposure periods of each phase are shown side by side in parallel with each other in phase. In practice, as described with reference to FIGS. 5A-5C, the exposure of each phase is performed sequentially.
- exposures by taps A and B with phases 0 ° are performed sequentially (alternately).
- the exposure by tap A and tap B having a phase of 180 ° is delayed by 180 ° from the exposure by tap A and tap B having a phase of 0 °, and the exposure by tap A and tap B is executed sequentially.
- the phases of the exposure period of the tap A at the phase 0 ° and the exposure period of the tap B at the phase 180 ° coincide with each other.
- the phase of the exposure period by tap B at phase 0 ° and the exposure period by tap A at phase 180 ° coincide with each other.
- the differences I and Q are calculated by the following equations (10) and (11) using the respective light intensity values A 0 and B 0 , and A 90 and B 90 .
- the phase difference phase, the distance information Dept, and the direct reflected light information DiRefl use the differences I and Q calculated by these equations (10) and (11), and the above-mentioned equations (3), (4), and (7) are used.
- the RAW image information RAW can be calculated as the average values of the respective light intensity values A 0 and B 0 and A 90 and B 90 according to the above equation (6).
- FIG. 7 is a block diagram showing a configuration of an example of an electronic device applicable to each embodiment.
- the electronic device 2 has a CPU (Central Processing Unit) 100, a ROM (Read Only Memory) 101, a RAM (Random Access Memory) 102, a storage 103, a UI (User Interface) unit 104, and an interface. (I / F) 105 and.
- the electronic device 2 includes a light source unit 110 and a sensor unit 111 corresponding to the light source unit 11 and the light receiving unit 12 of FIG. 1, respectively.
- a smartphone multifunctional mobile phone terminal
- a tablet-type personal computer can be considered.
- the device to which the electronic device 2 is applied is not limited to these smartphones and tablet-type personal computers.
- the storage 103 is a non-volatile storage medium such as a flash memory or a hard disk drive.
- the storage 103 can store various data and a program for operating the CPU 100. Further, the storage 103 can store an application program (hereinafter, abbreviated as an application) for realizing the application unit 20 described with reference to FIG.
- the ROM 101 stores in advance a program and data for operating the CPU 100.
- the RAM 102 is a volatile storage medium for storing data.
- the CPU 100 operates using the RAM 102 as a work memory according to a program stored in the storage 103 or the ROM 101, and controls the overall operation of the electronic device 2.
- the UI unit 104 is provided with various controls for operating the electronic device 2, display elements for displaying the status of the electronic device 2, and the like.
- the UI unit 104 may further include a display that displays an image captured by the sensor unit 111, which will be described later.
- the display may be a touch panel in which a display device and an input device are integrally formed, and various controls may be configured by each component displayed on the touch panel.
- the light source unit 110 includes a light emitting element such as an LED or a VCSEL, and a driver for driving the light emitting element.
- the driver generates a drive signal having a predetermined duty according to the instruction of the CPU 100.
- the light emitting element emits light according to the drive signal generated by the driver, and emits the light modulated by PWM as the emission light 30.
- the sensor unit 111 drives a pixel array unit in which a plurality of light receiving elements are arranged in an array, and a plurality of light receiving elements arranged in the pixel array unit, and outputs a pixel signal read from each light receiving element. Including the circuit.
- the pixel signal output from the sensor unit 111 is supplied to the CPU 100.
- FIG. 8 is a block diagram showing an example of the configuration of the sensor unit 111 applicable to each embodiment.
- the sensor unit 111 has a laminated structure including a sensor chip 1110 and a circuit chip 1120 laminated on the sensor chip 1110.
- the sensor chip 1110 and the circuit chip 1120 are electrically connected through a connecting portion (not shown) such as a via (VIA) or a Cu—Cu connection.
- a connecting portion such as a via (VIA) or a Cu—Cu connection.
- the pixel area 1111 includes a plurality of pixels 1112 arranged in an array on the sensor chip 1110. For example, one frame of image signal is formed based on the pixel signals output from the plurality of pixels 1112 included in the pixel area 1111.
- Each pixel 1112 arranged in the pixel area 1111 is capable of receiving infrared light, for example, performs photoelectric conversion based on the received infrared light, and outputs an analog pixel signal.
- Two vertical signal lines VSL 1 and VSL 2 are connected to each pixel 1112 included in the pixel area 1111.
- a vertical drive circuit 1121 In the sensor unit 111, a vertical drive circuit 1121, a column signal processing unit 1122, a timing control circuit 1123, and an output circuit 1124 are further arranged on the circuit chip 1120.
- the timing control circuit 1123 controls the drive timing of the vertical drive circuit 1121 according to the element control signal supplied from the outside via the control line 50. Further, the timing control circuit 1123 generates a vertical synchronization signal based on the element control signal.
- the column signal processing unit 1122 and the output circuit 1124 execute their respective processes in synchronization with the vertical synchronization signal generated by the timing control circuit 1123.
- each pixel 1112 includes two taps A (TAP_A) and taps B (TAP_B) that accumulate charges generated by photoelectric conversion, respectively.
- the vertical signal line VSL 1 is connected to tap A of pixel 1112, and the vertical signal line VSL 2 is connected to tap B of pixel 1112.
- the vertical signal line VSL 1 outputs a pixel signal AIN P1 which is an analog pixel signal based on the charge of tap A of the pixel 1112 of the corresponding pixel sequence. Further, the vertical signal line VSL 2 outputs a pixel signal AIN P2 which is an analog pixel signal based on the charge of the tap B of the pixel 1112 of the corresponding pixel string.
- the vertical drive circuit 1121 drives each pixel 1112 included in the pixel area 1111 in units of pixel rows according to the timing control by the timing control circuit 1123, and outputs the pixel signals AIN P1 and AIN P2 .
- the pixel signals AIN P1 and AIN P2 output from each pixel 1112 are supplied to the column signal processing unit 1122 via the vertical signal lines VSL 1 and VSL 2 of each column.
- the column signal processing unit 1122 includes, for example, a plurality of AD converters provided for each pixel sequence corresponding to the pixel array of the pixel area 1111. Each AD converter included in the column signal processing unit 1122 performs AD conversion on the pixel signals AIN P1 and AIN P2 supplied via the vertical signal lines VSL 1 and VSL 2 , and is converted into a digital signal.
- the pixel signals AIN P1 and AIN P2 are supplied to the output circuit 1124.
- the output circuit 1124 executes signal processing such as CDS (Correlated Double Sampling) processing on the pixel signals AIN P1 and AIN P2 converted into digital signals output from the column signal processing unit 1122, and performs signal processing.
- the pixel signals AIN P1 and AIN P2 are output to the outside of the sensor unit 111 via the output line 51 as pixel signals read from tap A and pixel signals read from tap B, respectively.
- FIG. 9 is a circuit diagram showing an example configuration of pixels 1112 applicable to each embodiment.
- Pixels 1112 include photodiode 231, two transfer transistors 232 and 237, two reset transistors 233 and 238, two stray diffusion layers 234 and 239, two amplification transistors 235 and 240, and two selection transistors 236 and 241. including.
- the floating diffusion layers 234 and 239 correspond to tap A (described as TAP_A) and tap B (described as TAP_B) described above, respectively.
- the photodiode 231 is a light receiving element that photoelectrically converts the received light to generate an electric charge.
- the photodiode 231 is arranged on the back surface with respect to the front surface, with the surface on which the circuit is arranged on the semiconductor substrate as the front surface.
- Such a solid-state image sensor is called a back-illuminated solid-state image sensor.
- a front-illuminated type configuration in which the photodiode 231 is arranged on the surface can also be used.
- the overflow transistor 242 is connected between the cathode of the photodiode 231 and the power supply line VDD, and has a function of resetting the photodiode 231. That is, the overflow transistor 242 is turned on in response to the overflow gate signal OFG supplied from the vertical drive circuit 1121, so that the electric charge of the photodiode 231 is sequentially discharged to the power supply line VDD.
- the transfer transistor 232 is connected between the cathode of the photodiode 231 and the floating diffusion layer 234. Further, the transfer transistor 237 is connected between the cathode of the photodiode 231 and the floating diffusion layer 239. The transfer transistors 232 and 237 sequentially transfer the charges generated by the photodiode 231 to the stray diffusion layers 234 and 239 in response to the transfer signal TRG supplied from the vertical drive circuit 1121, respectively.
- the floating diffusion layers 234 and 239 corresponding to the tap A and the tap B accumulate the electric charge transferred from the photodiode 231 and convert it into a voltage signal having a voltage value corresponding to the accumulated electric charge, which is an analog pixel signal.
- the pixel signals AIN P1 and AIN P2 are generated, respectively.
- two reset transistors 233 and 238 are connected between the power supply line VDD and the floating diffusion layers 234 and 239, respectively.
- the reset transistors 233 and 238 are turned on in response to the reset signals RST and RST p supplied from the vertical drive circuit 1121 to extract charges from the floating diffusion layers 234 and 239, respectively, and the floating diffusion layers 234 and 239. To initialize.
- the two amplification transistors 235 and 240 are connected between the power supply line VDD and the selection transistors 236 and 241 respectively. Each amplification transistor 235 and 240 amplifies a voltage signal whose charge is converted into a voltage at each of the floating diffusion layers 234 and 239, respectively.
- the selection transistor 236 is connected between the amplification transistor 235 and the vertical signal line VSL 1 . Further, the selection transistor 241 is connected between the amplification transistor 240 and the vertical signal line VSL 2 .
- the selection transistors 236 and 241 are turned on according to the selection signals SEL and SEL p supplied from the vertical drive circuit 1121 to obtain the pixel signals AIN P1 and AIN P2 amplified by the amplification transistors 235 and 240, respectively. , Output to the vertical signal line VSL 1 and the vertical signal line VSL 2 , respectively.
- the vertical signal line VSL 1 and the vertical signal line VSL 2 connected to the pixel 1112 are connected to the input end of one AD converter included in the column signal processing unit 1122 for each pixel sequence.
- the vertical signal line VSL 1 and the vertical signal line VSL 2 supply the pixel signals AIN P1 and AIN P2 output from the pixel 1112 to the AD converter included in the column signal processing unit 1122 for each pixel row.
- the laminated structure of the sensor unit 111 will be schematically described with reference to FIGS. 10 and 11.
- the sensor unit 111 can be formed by a two-layer structure in which semiconductor chips are laminated in two layers.
- FIG. 10 is a diagram showing an example in which the sensor unit 111 applicable to each embodiment is formed by a two-layer structure laminated CIS (Complementary Metal Oxide Semiconductor Image Sensor).
- the pixel area 1111 is formed on the semiconductor chip of the first layer which is the sensor chip 1110, and the circuit portion is formed on the semiconductor chip of the second layer which is the circuit chip 1120.
- the circuit unit includes, for example, a vertical drive circuit 1121, a column signal processing unit 1122, a timing control circuit 1123, and an output circuit 1124.
- the sensor chip 1110 may include a pixel area 1111 and, for example, a vertical drive circuit 1121. As shown on the right side of FIG. 10, the sensor unit 111 is configured as one solid-state image sensor by bonding the sensor chip 1110 and the circuit chip 1120 while electrically contacting each other.
- the sensor unit 111 can be formed by a three-layer structure in which semiconductor chips are laminated in three layers.
- FIG. 11 is a diagram showing an example in which the sensor unit 111, which is applicable to each embodiment, is formed by a three-layer structure laminated CIS.
- the pixel area 1111 is formed on the semiconductor chip of the first layer, which is the sensor chip 1110.
- the circuit chip 1120 described above is divided into a first circuit chip 1120a made of a second layer semiconductor chip and a second circuit chip 1120b made of a third layer semiconductor chip.
- the sensor unit 111 is attached to one solid by bonding the sensor chip 1110, the first circuit chip 1120a, and the second circuit chip 1120b while electrically contacting each other. It is configured as an image sensor.
- FIG. 12 is a functional block diagram of an example for explaining the function of the distance measuring device according to the existing technique.
- the distance measuring device 1000 includes a light source unit 11, a light receiving unit 12, a control unit 140, and a distance measuring unit 141.
- the control unit 140 generates a light source control signal and supplies it to the light source unit 11.
- the light source control signal includes information that specifies, for example, the duty in PWM modulation, the intensity of light emitted by the light source unit 11, the timing of emission, and the like.
- the light source unit 11 emits the emission light 30 (see FIG. 1) modulated by PWM in response to the light source control signal supplied from the control unit 140.
- the control unit 140 generates an exposure control signal and supplies it to the light receiving unit 12.
- the exposure control signal includes information that controls the light receiving unit 12 to perform exposure with an exposure length according to the duty of the light source unit 11 in different phases. Further, the exposure control signal further includes information for controlling the exposure amount in the light receiving unit 12.
- the pixel signals of each phase output from the light receiving unit 12 are supplied to the distance measuring unit 141.
- the distance measuring unit 141 performs the calculations of the above equations (1) to (4), (6) and (7) based on the pixel signals of each phase supplied from the light receiving unit 12, and performs the distance information depth and direct reflection.
- the optical information DiRefl and the RAW image information RAW are calculated. Equation (5) may be used instead of equation (7).
- the distance measuring unit 141 passes the calculated distance information Dept, the direct reflected light information DiRefl, and the RAW image information RAW to, for example, the application unit 20.
- control unit 140 controls the exposure amount in the light receiving unit 12 based on each pixel signal of each phase (for example, phases 0 °, 90 °, 180 °, and 270 °) supplied from the light receiving unit 12.
- This control signal generated by the control unit 140 is for enabling the distance measuring unit 141 to appropriately calculate the distance information depth regardless of the scene to be imaged.
- the control unit 140 generates a control signal so as to adjust each light amount value based on the pixel signal of each phase to a value within an appropriate range.
- one or more pixel signals among the pixel signals corresponding to each phase are saturated, or the level is equal to or less than a predetermined level.
- the differences I and Q may not be calculated appropriately.
- the reliability of the distance information depth calculated by the distance measuring unit 141 based on the differences I and Q is also low.
- control unit 140 seeks a control signal that controls each light amount value based on each pixel signal of each phase to a value within an appropriate range. Based on the obtained control signal, the control unit 140 controls the gain and exposure time of the light receiving unit 12, the duty and intensity of light emission by the light source unit 11, and adjusts the amount of light received by the light receiving unit 12 to be appropriate. To do.
- the control unit 140 when the reflectance of the object to be measured 31 is low, or when the distance indicated in the distance information Dept calculated by the distance measuring unit 141 is equal to or greater than a predetermined value, the S / N of the calculated distance information Dept becomes low. The accuracy of this distance information depth is reduced.
- the control unit 140 generates a control signal for controlling the light receiving unit 12 so that the exposure time by the light receiving unit 12 becomes longer in order to maintain the S / N of the distance information depth calculated by the distance measuring unit 141. To do.
- the control unit 140 stores the generated control signal in a register or the like.
- the control unit 140 executes light emission by the light source unit 11 and light reception by the light receiving unit 12 at predetermined frame intervals.
- the control unit 140 performs processing for one frame based on the control information stored in the register, obtains a control signal based on the processing result, and updates the control signal stored in the register.
- FIG. 13 is an example flowchart showing processing in the ranging device 1000 according to the existing technology. For example, when the application unit 20 passes an imaging start instruction instructing the ranging device 1000 to start imaging (distance measuring), the process according to the flowchart of FIG. 13 is started.
- step S100 the distance measuring device 1000 controls the light source unit 11 and the light receiving unit 12 based on the control signal stored in the register by the control unit 140 to perform imaging.
- the pixel signals of each phase obtained by the imaging are passed from the light receiving unit 12 to the control unit 140 and the distance measuring unit 141.
- the distance measuring device 1000 calculates the distance information Depth based on the imaging result imaged in step S100 by the distance measuring unit 141. More specifically, the distance measuring unit 141 calculates the distance information depth by performing the calculations of the above equations (1) to (4) based on the pixel signals of the respective phases imaged and supplied from the light receiving unit 12. .. The distance measuring device 1000 outputs the distance information Dept calculated by the distance measuring unit 141 to, for example, the application unit 20.
- the distance measuring device 1000 calculates the direct reflected light information DiRefl by the distance measuring unit 141 based on the imaging result imaged in step S100. More specifically, the distance measuring unit 141 performs the calculation of the above equation (7) or (5) based on the difference I and Q obtained at the time of calculating the distance information depth in step S101, and directly reflected light. The information DiRefl is calculated. The distance measuring device 1000 outputs the directly reflected light information DiRefl calculated by the distance measuring unit 141 to, for example, the application unit 20.
- the ranging device 1000 calculates the RAW image information RAW based on the imaging result imaged in step S100 by the ranging unit 141. More specifically, the ranging unit 141 calculates the RAW image information RAW by performing the calculation of the above equation (6) based on each pixel signal of each phase acquired by the imaging in step S100. The distance measuring device 1000 outputs the RAW image information RAW calculated by the distance measuring unit 141 to, for example, the application unit 20.
- the distance measuring device 1000 obtains a control signal for controlling the light source unit 11 and the light receiving unit 12 based on each pixel signal of each phase imaged in step S100 by the control unit 140.
- the control unit 140 stores the obtained control signal in a register or the like.
- the ranging device 1000 determines whether or not the imaging has been completed. For example, when the distance measuring device 1000 receives an imaging end instruction instructing the end of imaging from the application unit 20, it determines that the imaging has been completed (step S105, “Yes”). In this case, the ranging device 1000 ends a series of processes according to the flowchart of FIG.
- step S105 the distance measuring device 1000 has not received the imaging end instruction from the application unit 20 and determines that the imaging has not been completed (step S105, "No"), the process returns to step S100.
- steps S100 to S105 are repeated, for example, in units of one frame.
- the signal values of the direct reflected light information DiRefl and the RAW image information RAW generated by the ranging unit 141 fluctuate. To do.
- the directly reflected light information DiRefl and the RAW image information RAW generated by the distance measuring unit 141 can be used for various purposes other than the distance measuring.
- the directly reflected light information DiRefl and the RAW image information RAW for improving the accuracy of the distance information Depth. It is also conceivable to apply these directly reflected light information DiRefl and RAW image information RAW to face recognition, SLAM (Simultaneous Localization And Mapping), and the like. Further, it is possible that the image from the viewpoint as an indirect ToF sensor is important.
- the distance measuring device 1000 when the distance measuring device 1000 is applied to a smartphone and a composite image is created from an image captured by the multi-lens camera, such as when the smartphone is equipped with a multi-lens camera, these directly reflected light information DiRefl and RAW image information RAW may be used.
- an adjustment value is generated according to a control signal generated so that the distance information depth is appropriately calculated, and based on this adjustment value, the scale (signal) of the direct reflected light information DiRefl and the RAW image information RAW is generated. Level) is adjusted. As a result, even when the pixel signal output from the light receiving unit 12 is controlled in order to appropriately calculate the distance information depth, the signal values of the direct reflected light information DiRefl and the RAW image information RAW are stabilized. be able to.
- FIG. 14 is a functional block diagram of an example for explaining the function of the distance measuring device according to the first embodiment.
- the distance measuring device 10a includes a light source unit 11, a light receiving unit 12, a control unit 130, a distance measuring unit 131, and an adjusting unit 132.
- the control unit 130, the distance measuring unit 131, and the adjusting unit 132 are, for example, a predetermined program on the CPU 100 (see FIG. 7). Consists of operating. Not limited to this, a part or all of the control unit 130, the distance measuring unit 131, and the adjusting unit 132 may be configured by a hardware circuit that operates in cooperation with each other.
- the acquisition of each light intensity value and the calculation of each information at each phase 0 °, 90 °, 180 ° and 270 ° in the light receiving unit 12 are performed by the one-tap method described with reference to FIG. 5A. It shall be executed.
- the 4-phase / 2 tap method shown in FIG. 5B is applied to the acquisition of each light amount value in each phase and the calculation of each information, the calculated distance information Dept, direct reflected light information DiRef and RAW It is possible to improve the S / N ratio of the image information RAW, which is preferable.
- the control unit 130 generates a light source control signal for controlling the drive of the light source unit 11 and an exposure control signal for controlling the exposure in the light receiving unit 12.
- the control unit 130 stores each generated control signal (light source control signal and exposure control signal) in a register or the like.
- the parameter Param is supplied from the application unit 20 to the control unit 130.
- the parameter Param includes, for example, a value indicating the operation mode of the application unit 20.
- an authentication system operation mode such as a mode in which face authentication is performed based on the pixel signal output from the light receiving unit 12 and a mode in which person authentication is performed based on the pixel signal can be considered.
- an operation mode of the application unit 20 an operation mode of displaying an image based on the pixel signal can be considered.
- the face recognition mode may include a three-dimensional face recognition mode using three-dimensional information based on the distance information depth and a two-dimensional face recognition mode using two-dimensional information based on the direct reflected light information DiRefl. it can.
- the control unit 130 applies the above-mentioned light source control signal and exposure control signal to the parameter Param supplied from the application unit 20, and the pixel signal output from the light receiving unit 12 becomes appropriate for the operation mode of the application unit 20. As described above, the light source control signal and the exposure control signal are generated.
- the control unit 130 determines that the distance information Dept calculated by the distance measuring unit 131 is appropriate for face recognition by the three-dimensional face recognition mode.
- the light source control signal and the exposure control signal are generated so as to be.
- this parameter Param can include, for example, each parameter for the control unit 130 to generate a light source control signal and an exposure control signal.
- the control unit 130 further generates an adjustment value for adjusting the scale of the direct reflected light information DiRefl and the RAW image information RAW based on the light source control signal and the exposure control signal.
- the control unit 130 supplies the generated adjustment value to the adjustment unit 132 and stores it in a register or the like.
- the distance measuring unit 131 has a function corresponding to the distance measuring unit 141 described with reference to FIG. That is, the distance measuring unit 131 performs the calculations of the above equations (1) to (4), (6) and (7) based on the pixel signals of each phase supplied from the light receiving unit 12, and the distance information Dept.
- the direct reflected light information DiRefl and the RAW image information RAW are calculated.
- the distance information Dept, the direct reflected light information DiRefl, and the RAW image information RAW output from the distance measuring unit 131 are supplied to, for example, the application unit 20. Further, the direct reflected light information DiRefl and the RAW image information RAW output from the distance measuring unit 131 are also supplied to the adjusting unit 132.
- the adjustment unit 132 adjusts the scales of the direct reflected light information DiRefl and the RAW image information RAW supplied from the distance measuring unit 131 based on the adjustment values supplied from the control unit 130.
- the adjusting unit 132 passes the directly reflected light information DiRefl and the RAW image information Scaled_RAW adjusted for the scale of the direct reflected light information DiRefl and the RAW image information RAW to the application unit 20.
- FIG. 15 is a functional block diagram of an example for explaining the function of the control unit 130 applicable to the first embodiment.
- the control unit 130 includes a control value generation unit 1300, a storage unit 1301, a drive signal generation unit 1302, a light reception control unit 1303, and a light reception amount detection unit 1304.
- the drive signal generation unit 1302 generates a drive signal that is modulated by PWM of a predetermined duty and controlled to a predetermined level according to the light source control signal generated by the control value generation unit 1300.
- the drive signal generation unit 1302 supplies the generated drive signal to the light source unit 11.
- the light source unit 11 emits light based on the supplied drive signal, and emits the emission light 30 modulated by PWM of a predetermined duty.
- the light receiving control unit 1303 controls the exposure period and gain in the light receiving unit 12 according to the exposure control signal generated by the control value generating unit 1300.
- the light receiving unit 12 controls the exposure period and gain by the light receiving control unit 1303, and outputs a pixel signal corresponding to the light received during the exposure period.
- the light receiving amount detection unit 1304 is supplied with the pixel signal output by the light receiving unit 12.
- the pixel signals output by the light receiving unit 12 are pixel signals having phases of 0 °, 90 °, 180 °, and 270 °, respectively.
- the light receiving amount detecting unit 1304 obtains the light amount values C 0 , C 90 , C 180 and C 270 of the light received in each phase based on the pixel signal supplied from the light receiving unit 12.
- the light receiving amount detecting unit 1304 passes the obtained light amount values C 0 , C 90 , C 180 and C 270 to the control value generating unit 1300.
- the control value generation unit 1300 generates a light source control signal and an exposure control signal based on the light amount values C 0 , C 90 , C 180 and C 270 passed from the light reception amount detection unit 1304. Not limited to this, the control value generation unit 1300 may generate at least one of the light source control signal and the exposure control signal. For example, when at least one of the light intensity values C 0 , C 90 , C 180, and C 270 is out of the predetermined range, the control value generator 1300 has the light intensity value within the predetermined range. Generates one or both of the light source control signal and the exposure control signal so as to have a value of.
- control value generation unit 1300 generates a light source control signal for controlling the amount of light emitted from the light source unit 11 for the light source unit 11.
- the control value generation unit 1300 generates an exposure control signal for controlling the amount of light received within the exposure period for the light receiving unit 12.
- the storage unit 1301 is, for example, a register and stores the light source control signal and the exposure control signal generated by the control value generation unit 1300.
- the control value generation unit 1300 can supply the light source control signal and the exposure control signal stored in the storage unit 1301 to the drive signal generation unit 1302 and the light reception control unit 1303, respectively.
- 16A to 16C are diagrams for schematically explaining the control signal generated by the control value generation unit 1300, which is applicable to each embodiment.
- FIG. 16A is a diagram showing a first example of control by the control value generation unit 1300.
- the control value generation unit 1300 controls the light receiving unit 12 by the exposure control signal.
- charts 50a and 51a show, for example, examples of light emission of the light source unit 11 in the default state and exposure period of the light receiving unit 12. More specifically, the chart 50a shows an example of light emission in one cycle of the light source unit 11 in the default state. Further, the chart 51a shows an example of an exposure period (long exposure) in the light receiving unit 12 in the default state corresponding to the light emission cycle of the light source unit 11.
- the control value generating unit 1300 defaults the exposure period of the light receiving unit 12 as illustrated in Chart 51b of FIG. 16A.
- An exposure control signal is generated, which is half the time of the exposure period of the state.
- the control value generation unit 1300 passes the generated exposure control signal to the light receiving control unit 1303. Due to this exposure control signal, the exposure time of the light receiving unit 12 is halved from the above-mentioned long exposure, and the amount of light received is reduced with respect to the default state.
- control value generation unit 1300 generates a light source control signal in which the emission duty of the light source unit 11 is halved of the default state, as shown by a solid line in the chart 50b of FIG. 16A, and the light source unit 1300 generates a light source control signal.
- the period during which the 11 is emitting light and the exposure period of the light receiving unit 12 are synchronized.
- the emission duty of the light source unit 11 may be left as the default state.
- FIG. 16B is a diagram showing a second example of control by the control value generation unit 1300.
- the control value generation unit 1300 controls the light source unit 11 by the light source control signal.
- the control value generating unit 1300 is a light source as illustrated in chart 52b of FIG. 16B.
- a light source control signal is generated in which the emission duty in unit 11 is 25% of 1/2 of the default state.
- the control value generation unit 1300 passes the generated light source control signal to the drive signal generation unit 1302.
- the exposure period of the light receiving unit 12 is left in the default state as illustrated in Chart 53b. Due to this light source control signal, the time for the light source unit 11 to emit light in one cycle of the PWM waveform is halved of the default state, and the amount of light received by the light receiving unit 12 is reduced with respect to the default state.
- FIG. 16C is a diagram showing a third example of control by the control value generation unit 1300.
- the control value generation unit 1300 controls the light source unit 11 by the light source control signal.
- charts 54a and 55a show, for example, examples of light emission of the light source unit 11 in the default state and exposure period of the light receiving unit 12. More specifically, the chart 54a shows an example of light emission in one cycle of the light source unit 11 in the default state. Further, the chart 55a shows an example of the exposure period in the light receiving unit 12 in the default state corresponding to the light emitting cycle of the light source unit 11.
- the control value generating unit 1300 is a light source as illustrated in chart 54b of FIG. 16C.
- a light source control signal is generated in which the emission intensity in unit 11 is halved from the default state.
- the control value generation unit 1300 passes the generated light source control signal to the drive signal generation unit 1302.
- the exposure period of the light receiving unit 12 is left in the default state as illustrated in Chart 55b. Due to this light source control signal, the amount of light emitted by the light source unit 11 in one cycle becomes half the time of the default state, and the amount of light received by the light receiving unit 12 decreases with respect to the default state.
- the control value generation unit 1300 is based on each of the light intensity values C 0 , C 90 , C 180 and C 270 passed from the light reception amount detection unit 1304, and is any one of the above-mentioned first to third examples, or , A control signal for controlling the amount of light received by the light receiving unit 12 is generated by a combination of two or more of the first to third examples. As described above, the control signal generated here is at least one of the exposure control signal and the light source control signal.
- the control value generation unit 1300 stores the generated control signal in the storage unit 1301.
- control value generation unit 1300 can also control the gain in the light receiving unit 12, for example. By controlling the gain in the light receiving unit 12, the level of the pixel signal output from the light receiving unit 12 is controlled.
- the control value generation unit 1300 generates a gain control signal for controlling the gain in the light receiving unit 12, and passes it to the light receiving control unit 1303.
- the light receiving control unit 1303 controls the output gain of, for example, the output circuit 1124 (see FIG. 8) in the light receiving unit 12 according to the gain control signal passed from the control value generating unit 1300.
- the control value generation unit 1300 generates an adjustment value for adjusting the scale (signal level) of the direct reflected light information DiRefl and the RAW image information RAW based on the generated control signal.
- the control value generation unit 1300 outputs the generated adjustment value from the control unit 130.
- FIG. 17 is a functional block diagram of an example for explaining the function of the ranging unit 131 applicable to the first embodiment.
- the distance measuring unit 131 includes a distance measuring calculation unit 1310, a memory 1311, a direct reflected light information calculation unit 1312, and a RAW image information calculation unit 1313.
- Each pixel signal of each phase output from the light receiving unit 12 is supplied to the distance measurement calculation unit 1310.
- the distance measurement calculation unit 1310 obtains the light intensity values C 0 , C 90 , C 180, and C 270 of the light received in each phase based on the pixel signal supplied from the light receiving unit 12.
- the distance measuring calculation unit 1310 stores the obtained light quantity values C 0 , C 90 , C 180 and C 270 in the memory 1311.
- the distance measuring calculation unit 1310 calculates the differences I and Q based on the above equations (1) and (2). Further, the distance measurement calculation unit 1310 calculates the distance information depth by the above equations (3) and (4) based on the calculated differences I and Q. The distance measurement calculation unit 1310 outputs the calculated distance information depth from the distance measurement unit 131.
- the distance measurement calculation unit 1310 directly passes the calculated difference I and Q to the reflected light information calculation unit 1312.
- the direct reflected light information calculation unit 1312 calculates the direct reflected light information DiRefl based on the above equation (7) using the differences I and Q passed from the distance measurement calculation unit 1310.
- the direct reflected light information calculation unit 1312 is not limited to this, and may calculate the direct reflected light information DiRefl based on the above-mentioned equation (5).
- the direct reflected light information calculation unit 1312 outputs the calculated direct reflected light information DiRefl from the distance measuring unit 131.
- the distance measurement calculation unit 1310 passes the light amount values C 0 , C 90 , C 180 and C 270 stored in the memory 1311 to the RAW image information calculation unit 1313.
- the RAW image information calculation unit 1313 calculates the RAW image information RAW based on the above equation (6).
- the RAW image information calculation unit 1313 outputs the calculated RAW image information RAW from the distance measuring unit 131.
- FIG. 18 is a functional block diagram of an example for explaining the function of the adjusting unit 132, which is applicable to the first embodiment.
- the adjusting unit 132 includes a coefficient generating unit 1320D and a multiplier 1321D as a configuration for adjusting the direct reflected light information DiRefl. Further, the adjusting unit 132 includes a coefficient generating unit 1320R and a multiplier 1321R as a configuration for adjusting the RAW image information RAW.
- the adjustment value output from the control value generation unit 1300 and the parameter Param output from the application unit 20 are input to the coefficient generation units 1320D and 1320R, respectively.
- the parameter Param further includes the target information target indicating the signal level of the direct reflected light information DiRefl and the RAW image information RAW requested by the application unit 20 in addition to the information indicating the above-mentioned operation mode.
- the parameter Param can include a target information target for each of the direct reflected light information DiRefl and the RAW image information RAW.
- the target information target corresponds to the direct reflected light information DiRefl.
- the target information target is, for example, a value normalized based on the signal level of the direct reflected light information DiRefl in a predetermined default state.
- the coefficient generation unit 1320D has the direct reflected light information DiRefl based on the adjustment value output from the control value generation unit 1300 and the target information target included in the parameter Param. Find the coefficient k D for adjusting the signal level (scale) of.
- the scale scale is defined by the following equation (12) based on the target information target and the adjustment value.
- Scale target / adjustment value ... (12)
- the coefficient generation unit 1320D inputs the calculated coefficient k D to the multiplication value input end of the multiplier 1321D.
- the direct reflected light information DiRefl output from the direct reflected light information calculation unit 1312 is input to the multiplicand value input end of the multiplier 1321D.
- the multiplier 1321D outputs the scale-adjusted direct reflected light information Scaled_DiRefl by multiplying the direct reflected light information DiRefl input to the multiplied value input end by the coefficient k D input to the multiplication input end.
- the configuration for adjusting the RAW image information RAW also has the same function as the configuration for adjusting the directly reflected light information DiRefl described above. That is, the coefficient generation unit 1320R is based on the adjustment value output from the control value generation unit 1300 and the target information target for the RAW image information RAW included in the parameter Param, and the RAW image information is based on the above equation (12). Calculate the coefficient k R for adjusting the RAW signal level. The coefficient generation unit 1320R inputs the calculated coefficient k R to the multiplication value input end of the multiplier 1321R.
- the RAW image information RAW output from the RAW image information calculation unit 1313 is input to the multiplied value input end of the multiplier 1321R.
- the multiplier 1321R multiplies the RAW image information RAW input to the multiplied value input end by the coefficient k R input to the multiplication input end, and outputs the scale-adjusted RAW image information Scaled_RAW.
- FIG. 19A is a diagram showing an example of the object to be measured 31 imaged by the light receiving unit 12.
- the head of the mannequin is used as the object to be measured 31.
- FIG. 19B is a diagram showing an example of distance information Dept.
- the distance information Depth is represented as an image based on the distance information Depth corresponding to each pixel position.
- the distance information Depth to each part of the object to be measured 31 is represented by the brightness of the pixels. For example, the closer the distance is, the brighter it is expressed, and the farther the distance is, the darker it is expressed. Face authentication in the three-dimensional face recognition mode using the three-dimensional information can be executed based on the distance information depth as shown in FIG. 19B.
- FIG. 19C is a diagram showing an example of direct reflected light information DiRefl. Since the reflected light 32 in which the emitted light 30 from the light source unit 11 is reflected from the object to be measured 31 is extracted, a portion having high reflectance in the object to be measured 31, such as a skin portion of the face, is displayed brighter than the surroundings. ing. In addition, small parts (eyes, lips, eyebrows, etc.) on the head of the mannequin are obscured.
- FIG. 19D is a diagram showing an example of the directly reflected light information Scaled_DiRefl with scale adjustment according to each embodiment.
- the portion of the object to be measured 31 having high reflectance is displayed more clearly as compared with the example of FIG. 19C described above.
- parts such as eyes, lips, and eyebrows that were unclear in the example of FIG. 19C can be recognized more clearly.
- the scale-adjusted direct reflected light information Scaled_DiRefl shown in FIG. 19D is used rather than the directly reflected light information DiRefl of FIG. 19C described above.
- the recognition process can be executed with higher accuracy by using it.
- FIG. 20 is a flowchart of an example showing the processing in the distance measuring device 10a according to the first embodiment. Similar to the flowchart of FIG. 13, for example, when the application unit 20 passes an imaging start instruction instructing the start of imaging (distance measurement) to the ranging device 10a, the process according to the flowchart of FIG. 20 is started. The flow chart. Along with this, the application unit 20 passes a parameter Param including information indicating the operation mode of the application unit 20 and target information target for the direct reflected light information DiRefl and the RAW image information RAW to the distance measuring device 10a.
- a parameter Param including information indicating the operation mode of the application unit 20 and target information target for the direct reflected light information DiRefl and the RAW image information RAW to the distance measuring device 10a.
- step S100 the distance measuring device 10a controls the light source unit 11 and the light receiving unit 12 based on the control signal stored in the register by the control unit 130 to perform imaging.
- the pixel signals of each phase obtained by the imaging are passed from the light receiving unit 12 to the control unit 140 and the distance measuring unit 141.
- the distance measuring device 10a calculates the distance information Depth based on the imaging result imaged in step S100 by the distance measuring unit 131.
- the distance measuring device 10a outputs the distance information Depth calculated by the distance measuring unit 141 to, for example, the application unit 20.
- the distance measuring device 10a calculates the directly reflected light information DiRefl by the distance measuring unit 131 based on the imaging result imaged in step S100.
- the distance measuring device 10a outputs the directly reflected light information DiRefl calculated by the distance measuring unit 131 to, for example, the application unit 20.
- the distance measuring device 10a calculates the RAW image information RAW by the distance measuring unit 131 based on the imaging result imaged in the step S100.
- the distance measuring device 10a outputs the RAW image information RAW calculated by the distance measuring unit 131 to, for example, the application unit 20.
- the distance measuring device 10a obtains control information for controlling the light source unit 11 and the light receiving unit 12 by the control unit 130 based on each pixel signal of each phase imaged in the step S100.
- the control unit 140 stores the obtained control information in a register or the like.
- the distance measuring device 10a directly reflects the light information DiRefl and the RAW image information RAW based on the control information obtained in step S104 by the control unit 130 and the parameter Param passed from the application unit 20. Calculate the adjustment value for adjusting the scale of. The calculated adjustment value is passed to the adjustment unit 132.
- the distance measuring device 10a receives the direct reflected light information DiRefl calculated in step S102 and the RAW image information calculated in step S103 based on the adjustment value calculated in step S110 by the adjusting unit 132.
- the RAW and the RAW are adjusted, and the scale-adjusted direct reflected light information Scaled_DiRefl and the RAW image information Scaled_RAW are acquired respectively.
- the ranging device 10a outputs the acquired scale-adjusted direct reflected light information Scaled_DiRefl and RAW image information Scaled_RAW to, for example, the application unit 20.
- the ranging device 10a determines whether or not the imaging has been completed. For example, when the distance measuring device 10a receives an imaging end instruction from the application unit 20, it determines that the imaging has been completed (step S105, “Yes”), and ends a series of processes according to the flowchart of FIG.
- step S105 the distance measuring device 1000 has not received the imaging end instruction from the application unit 20 and determines that the imaging has not been completed (step S105, "No"), the process returns to step S100.
- steps S100 to S105 including steps S110 and S111 are repeated, for example, in units of one frame.
- the direct reflected light information DiRefl and RAW calculated based on the pixel signal based on the control signal that controls the amount of received light received by the light receiving unit 12 for the calculation of the distance information depth.
- Scale adjustment is performed for the image information RAW. Therefore, even when the amount of light received by the light receiving unit 12 is changed for the calculation of the distance information depth, the change in the brightness of the direct reflected light information DiRefl and the RAW image information RAW is suppressed, and the direct reflected light information DiRefl and the RAW image information are suppressed. It is possible to output a moving image with constant brightness by RAW. Thereby, for example, the convenience when the application unit 20 directly uses the reflected light information DiRefl and the RAW image information RAW can be improved.
- the distance measuring device 10a calculates the direct reflected light information DiRefl and the RAW image information RAW, respectively, and adjusts the scale of the calculated direct reflected light information DiRefl and the RAW image information RAW, respectively.
- the ranging device 10a may calculate only one of the direct reflected light information DiRefl and the RAW image information RAW, and perform scale adjustment on the calculated information.
- the distance measuring device 10a calculates the direct reflected light information DiRefl and the RAW image information RAW, respectively, and the calculated distance measuring device 10a refers to only one of the direct reflected light information DiRefl and the RAW image information RAW. You may adjust the scale. Of the direct reflected light information DiRefl and the RAW image information RAW, the information for calculation and scale adjustment can be specified to the distance measuring device 10a by the application unit 20 including it in the parameter Param, for example.
- one of the non-scaled direct reflected light information DiRefl and RAW image information RAW and the scaled direct reflected light information DiRefl_Scale and RAW image information RAW_Scale is selected and the application unit 20 is selected. This is an example of making it possible to output to.
- FIG. 21 is a functional block diagram of an example for explaining the function of the distance measuring device according to the second embodiment.
- the distance measuring device 10b has a selector 133 added to the distance measuring device 10a described with reference to FIG.
- the selector 133 may be configured by operating a program on the CPU 100 (see FIG. 7), or may be realized by a hardware circuit.
- the selector 133 For the selector 133, the set of the direct reflected light information DiRefl and the RAW image information RAW output from the ranging unit 131 and the scale-adjusted direct reflected light information Scaled_DiRefl and the RAW image information output from the adjusting unit 132, respectively.
- the set of Scaled_RAW and is input.
- the selector 133 selects one of these two sets based on, for example, the information indicating the operation mode of the application unit 20 included in the parameter Param output from the application unit 20.
- the selector 133 supplies the selected set of directly reflected light information and RAW image information to the application unit 20 as direct reflected light information DiRefl'and RAW image information RAW', respectively.
- the distance measuring device 10b has the set of the directly reflected light information DiRefl and the RAW image information RAW that are not scale-adjusted by the selector 133, and the scale-adjusted direct reflected light information Scaled_DiRefl, respectively. And the set of RAW image information Scaled_RAW, and one of them is selected and supplied to the application unit 20. Therefore, the distance measuring device 10b can provide the application unit 20 with a wider variety of usage forms of the direct reflected light information and the RAW image information, and the application unit 20 can provide the direct reflected light information DiRefl and the RAW image information. It is possible to improve the convenience when using RAW.
- a third embodiment of the present disclosure will be described.
- a specific subject is detected based on the pixel signal output from the light receiving unit 12.
- the scale is adjusted for the directly reflected light information DiRefl and the RAW image information RAW in the subject region including the subject detected in the captured frame.
- FIG. 22 is a functional block diagram of an example for explaining the function of the distance measuring device according to the third embodiment.
- the subject detecting unit 134 is added to the distance measuring device 10a described with reference to FIG. 14, and the function of the adjusting unit 132'is changed.
- the subject detection unit 134 may be configured by operating a program on the CPU 100 (see FIG. 7), or may be realized by a hardware circuit.
- the distance information Depth output from the distance measuring unit 131 and the direct reflected light information DiRefl are supplied to the subject detection unit 134.
- the subject detection unit 134 detects a specific subject (for example, a face) included in the frame based on at least one of the information of one frame of distance information Dept and the direct reflected light information DiRefl.
- the subject to be detected is not limited to the face. That is, if the three-dimensional or two-dimensional shape pattern of the subject is known, another type of subject may be detected.
- the subject detection unit 134 when performing face detection, detects a face region in the frame based on, for example, the distance information depth (see FIG. 19B), and further, the detected face region is three-dimensionally detected. Information pattern matching and the like are performed to detect the position and shape of each part of the face as three-dimensional information. Further, the subject detection unit 134, for example, performs image analysis on the directly reflected light information DiRefl to detect a facial region (see FIG. 19D), and further performs pattern matching of two-dimensional information to perform pattern matching of the face. The position and shape of each part as two-dimensional information are detected. Further, the subject detection unit 134 can also perform face detection by using the face detection result based on the distance information Dept and the face detection result based on the direct reflected light information DiRefl in combination.
- the subject detection unit 134 obtains a region in the frame in which a specific subject is detected as a subject region, and acquires coordinate information of the subject region.
- the coordinate information for example, referring to FIG. 8, information indicating the position of each pixel 1112 in the pixel area 1111 can be applied.
- the subject detection unit 134 supplies the acquired coordinate information of the subject area as the subject area information Subj to the adjustment unit 132'.
- the adjustment unit 132' Based on the subject area information Subj, the adjustment unit 132'adjusts the scale of the direct reflected light information DiRef and the RAW image information RAW supplied from the distance measuring unit 131 to the information of the area shown in the subject area information Subj. ..
- FIG. 23 is a functional block diagram of an example for explaining the function of the adjusting unit 132 ′ according to the third embodiment.
- the adjusting unit 132' includes a coefficient generating unit 1320D'and a multiplier 1321D as a configuration for adjusting the direct reflected light information DiRefl, similarly to the adjusting unit 132 described with reference to FIG. Further, the adjusting unit 132 includes a coefficient generating unit 1320R'and a multiplier 1321R as a configuration for adjusting the RAW image information RAW.
- the subject area information Subj supplied from the subject detection unit 134 is input to the coefficient generation unit 1320D'and the coefficient generation unit 1320R'.
- the coefficient generation unit 1320D' is based on the above-mentioned equation (12) based on the adjustment value output from the control value generation unit 1300 and the target information target included in the parameter Param, in the same manner as in the description using FIG. )
- the coefficient k D for adjusting the signal level (scale) of the direct reflected light information DiRefl is obtained from the coefficient generation unit 1320D' and the coefficient generation unit 1320R'.
- Coefficient generator 1320D ' is further directly reflected light information DiRefl input, a coefficient k D obtained, adjusting section 132' of the direct reflection light information DiRefl inputted to, the region indicated in the subject region information Subj Apply.
- the coefficient generation unit 1320D' applies, for example, a coefficient "1" to a region other than the region shown in the subject area information Subj of the direct reflected light information DiRefl.
- the multiplier 1321D ' selectively multiplying by the factor k D for the area indicated in the subject region information Subj is executed, the direct reflected light information DiRefl, for the area indicated in the subject region information Subj Scale adjustment can be performed.
- FIG. 24 is a flowchart of an example showing the processing in the distance measuring device 10c according to the third embodiment. Similar to the flowchart of FIG. 20, for example, when the application unit 20 passes an imaging start instruction instructing the start of imaging (distance measurement) to the ranging device 10c, the process according to the flowchart of FIG. 24 is started. The flow chart. Along with this, the application unit 20 passes a parameter Param including information indicating the operation mode of the application unit 20 and target information target for the direct reflected light information DiRefl and the RAW image information RAW to the distance measuring device 10c.
- a parameter Param including information indicating the operation mode of the application unit 20 and target information target for the direct reflected light information DiRefl and the RAW image information RAW to the distance measuring device 10c.
- steps S100 to S104 are the same as the corresponding processes of FIG. 20 described above, and thus detailed description thereof will be omitted here.
- the distance measuring device 10c obtains a control signal for controlling the light source unit 11 and the light receiving unit 12 in step S104, the process shifts to step S110. Since the process of step S110 is equivalent to the process of step S110 of FIG. 20 described above, detailed description thereof will be omitted here.
- the distance measuring device 10c calculates an adjustment value for performing scale adjustment of the direct reflected light information DiRefl and the RAW image information RAW based on the control information and the parameter Param in step S110.
- the distance measuring device 10c passes the calculated adjustment value to the adjustment unit 132, the process shifts to step S120.
- the distance measuring device 10c is specified to be included in the frame based on at least one of the distance information Dept of one frame and the direct reflected light information DiRefl output from the distance measuring unit 131 by the subject detection unit 134. Detects the subject.
- the subject detection unit 134 obtains a region in the frame in which a specific subject is detected as a subject region, and acquires coordinate information of the subject region.
- the subject detection unit 134 passes the subject area information Subj indicating the subject area to the adjustment unit 132'.
- the distance measuring device 10c is shown in the subject area information Subj of the direct reflected light information DiRefl supplied from the distance measuring unit 131 by the adjusting unit 132'to the subject area information Subj passed from the subject detection unit 134 in step S120.
- Scale adjustment is performed on the region to be determined based on the adjustment value calculated in step S110.
- the adjustment unit 132' is further calculated in step S110 with respect to the area of the RAW image information RAW supplied from the distance measuring unit 131 and shown in the subject area information Subj passed from the subject detection unit 134 in step S120. Scale adjustment can also be performed based on the adjusted value.
- the directly reflected light information Scaled_DiRefl whose area shown in the subject area information Subj is scale-adjusted is output from the adjustment unit 132'and supplied to the application unit 20.
- the adjustment unit 132 ′ adjusts the scale of the RAW image information RAW with respect to the area indicated by the subject area information Subj, the adjustment unit 132 ′ supplies the scale-adjusted RAW image information Scaled_RAW to the application unit 20.
- the ranging device 10c determines whether or not the imaging has been completed. For example, when the distance measuring device 10c receives an imaging end instruction from the application unit 20, it determines that the imaging has been completed (step S105, “Yes”), and ends a series of processes according to the flowchart of FIG. 24.
- step S105 determines that the imaging has not been completed (step S105, "No")
- the process returns to step S100.
- steps S100 to S105 including step S110, step S111, step S120 and step S121 is repeated, for example, in units of one frame.
- the scale of the directly reflected light information DiRefl and the RAW image information RAW can be selectively adjusted with respect to the area indicated by the subject area information Subj in the frame. Therefore, a specific subject can be emphasized in the frame. Thereby, for example, the convenience when the application unit 20 directly uses the reflected light information DiRefl and the RAW image information RAW can be improved.
- the distance measuring device 10c calculates the direct reflected light information DiRefl and the RAW image information RAW, respectively, and with respect to the region shown in the subject area information Subj of the calculated direct reflected light information DiRefl and the RAW image information RAW, respectively. It was explained that each scale is adjusted, but this is not limited to this example.
- the distance measuring device 10c may calculate only one of the direct reflected light information DiRefl and the RAW image information RAW, and perform scale adjustment on the area indicated by the subject area information Subj of the calculated information. Good.
- the distance measuring device 10c calculates the direct reflected light information DiRefl and the RAW image information RAW, respectively, and the calculated distance measuring device 10a is the subject area of either the direct reflected light information DiRefl or the RAW image information RAW. Scale adjustment may be performed on the region shown in the information Subj. Of the direct reflected light information DiRefl and the RAW image information RAW, the information for calculation and scale adjustment can be specified to the distance measuring device 10c by, for example, the application unit 20.
- FIG. 25 is a functional block diagram of an example for explaining the function of the distance measuring device according to the fourth embodiment.
- the selector 133 in the distance measuring device 10b described with reference to FIG. 21 is added to the distance measuring device 10c described with reference to FIG. 22.
- the distance measuring device 10d is a set of the direct reflected light information DiRefl and the RAW image information RAW output from the distance measuring unit 131 with respect to the selector 133, similarly to the distance measuring device 10b of FIG. And the set of the scale-adjusted direct reflected light information Scaled_DiRefl and the RAW image information Scaled_RAW output from the adjustment unit 132 are input.
- the selector 133 selects one of these two sets based on the information indicating the operation mode of the application unit 20 included in the parameter Param output from the application unit 20, for example.
- the selector 133 supplies the selected set of directly reflected light information and RAW image information to the application unit 20 as direct reflected light information DiRefl'and RAW image information RAW', respectively.
- the selector 133 selectively selects the set of the directly reflected light information DiRefl and the RAW image information RAW that are not scale-adjusted, and the region shown in the subject area information Subj, respectively.
- a set of the directly reflected light information Scaled_DiRefl and the RAW image information Scaled_RAW adjusted in scale to the above, and one of them is selected and supplied to the application unit 20. Therefore, the distance measuring device 10d can provide the application unit 20 with a wider variety of usage forms of the direct reflected light information and the RAW image information, and the application unit 20 can provide the direct reflected light information DiRefl and the RAW image information. It is possible to improve the convenience when using RAW.
- the distance measuring device 10a has been described as being configured as a hardware device by the electronic device 2 including the CPU 100, ROM 101, RAM 102, UI unit 104, storage 103, I / F 105, and the like. , This is not limited to this example.
- the distance measuring device 10a including the control unit 130, the distance measuring unit 131, and the adjusting unit 132 shown in FIG. 14 As a whole, it can be configured as one semiconductor element. This can be similarly applied to the distance measuring devices 10b, 10c and 10d according to the second to fourth embodiments.
- the present technology can also have the following configurations.
- a distance measuring unit that receives light for each phase according to the light emission of the light source unit, and calculates distance information based on the light receiving signal for each phase output by the light receiving unit for each phase.
- a control unit that controls the level of the received light signal for each phase according to the calculation of the distance information based on the received signal for each phase.
- a generator that generates an image signal based on the received signal for each phase
- An adjustment unit that adjusts the level of the image signal according to the adjustment value, With The control unit
- a distance measuring device that generates the adjustment value based on the received signal for each phase controlled according to the calculation of the distance information.
- a detection unit that detects a subject area including a predetermined subject in an image area based on the image signal based on the distance information calculated by the distance measuring unit and the image signal generated by the generation unit is further provided.
- the adjusting part The distance measuring device according to (1), wherein the level of the image signal in the subject area is adjusted based on the adjustment value.
- Distance measuring device (4) The generator Of the light components received by the light receiving unit, the image signal based on the reflected light of the light emitted by the light source unit is generated based on the component received by the light receiving unit (1) to (3).
- the ranging device according to any one.
- the generator The distance measuring device according to (4), wherein the light receiving unit further generates the image signal based on the component that receives the reflected light and the ambient light.
- the control unit The distance measuring device according to any one of (1) to (5) above, wherein the level of the light receiving signal for each phase is controlled by controlling the exposure length in the light receiving unit.
- the control unit The distance measuring device according to any one of (1) to (6) above, wherein the level of the received signal for each phase is controlled by controlling the duty of the light emission by the light source unit.
- the control unit The distance measuring device according to any one of (1) to (7) above, wherein the level of the received light signal for each phase is controlled by controlling the intensity of the light emission by the light source unit.
- the control unit The distance measuring device according to any one of (1) to (8), wherein the level of the received signal for each phase is controlled by controlling the gain of the received signal for each phase output by the light receiving unit. (10) The control unit The distance measuring device according to any one of (1) to (9) above, which generates the adjustment value that cancels the control of the level of the received light signal for each phase by the control unit based on the received signal for each phase.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
測距部(131)は、光源部(11)の発光に応じて受光部(12)が位相毎の受光を行い、位相毎の受光により受光部が出力した位相毎の受光信号に基づき距離情報の算出を行う。制御部(130)は、位相毎の受光信号のレベルを、位相毎の受光信号に基づく距離情報の算出に応じて制御する。調整部(132)は、位相毎の受光信号に基づき画像信号を生成する生成部と、調整値に従い画像信号のレベルを調整する。制御部は、位相毎の受光信号に基づき調整値を生成する。
Description
本発明は、測距装置に関する。
光源から光が射出されてから、その光が被測定物に反射した反射光を受光部により受光するまでの時間に基づき被測定物までの距離を計測するToF(Time of Flight)と呼ばれる測距方式が知られている。このToF方式の測距において、受光部が受光する光には、測距に有効な光源から射出された光の反射光以外にも、太陽光などによる環境光が含まれる。ToF方式の測距を行う測距装置(以下、ToF方式測距装置)では、受光部に受光された光から、この環境光の成分を除去した反射光成分に基づき、被測定物までの距離を取得する。
また、ToF方式測距装置においては、適切な輝度で光を受光するために、AE(Automatic Exposure)機能が搭載される場合がある。AE機能を利用することで、撮影シーンの明るさなどに応じて露光(輝度)が自動調整され、撮影シーンに依らず良好に測距精度を得ることが可能となる。
ところで、ToF方式測距装置において取得された、環境光成分を含む光による画像や、環境光成分を除去した反射光成分の光による画像を、測距以外の他の用途に利用したい場合がある。このように、ToF方式測距装置において取得された各画像を副次的に利用する場合、各画像の輝度がToF方式による測距に合わせてAE機能により変動することは、好ましくない。
本開示は、ToF方式に対応して調整された画像を副次的に利用する際の利便性を向上させることが可能な測距装置を提供することを目的とする。
本開示に係る計測装置は、光源部の発光に応じて受光部が位相毎の受光を行い、位相毎の受光により受光部が出力した位相毎の受光信号に基づき距離情報の算出を行う測距部と、位相毎の受光信号のレベルを、位相毎の受光信号に基づく距離情報の算出に応じて制御する制御部と、位相毎の受光信号に基づき画像信号を生成する生成部と、調整値に従い画像信号のレベルを調整する調整部と、を備え、制御部は、距離情報の算出に応じて制御した位相毎の受光信号に基づき調整値を生成する。
以下、本開示の各実施形態について、図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
(各実施形態に共通の構成)
本開示は、光を用いて測距を行う技術に用いて好適なものである。本開示の実施形態の説明に先んじて、理解を容易とするために、実施形態に適用な測距方式の一つとして、間接ToF(Time of Flight)方式について説明する。間接ToF方式は、例えばPWM(Pulse Width Modulation)により変調された光源光(例えば赤外領域のレーザ光)を被測定物に照射してその反射光を受光素子にて受光し、受光された反射光における位相差に基づき、被測定物に対する測距を行う技術である。
本開示は、光を用いて測距を行う技術に用いて好適なものである。本開示の実施形態の説明に先んじて、理解を容易とするために、実施形態に適用な測距方式の一つとして、間接ToF(Time of Flight)方式について説明する。間接ToF方式は、例えばPWM(Pulse Width Modulation)により変調された光源光(例えば赤外領域のレーザ光)を被測定物に照射してその反射光を受光素子にて受光し、受光された反射光における位相差に基づき、被測定物に対する測距を行う技術である。
図1は、各実施形態に適用可能な測距装置を用いた電子機器の一例の構成を示すブロック図である。図1において、電子機器1は、測距装置10と、アプリケーション部20と、を含む。アプリケーション部20は、例えばCPU(Central Processing Unit)上でプログラムが動作することで実現され、測距装置10に対して測距の実行を要求し、測距の結果である距離情報などを測距装置10から受け取る。
測距装置10は、光源部11と、受光部12と、測距処理部13と、を含む。光源部11は、例えば赤外領域の波長の光を発光する発光素子と、当該発光素子を駆動して発光させる駆動回路と、を含む。光源部11が含む発光素子として、例えばLED(Light Emitting Diode)を適用することができる。これに限らず、光源部11が含む発光素子として、複数の発光素子がアレイ状に形成されたVCSEL(Vertical Cavity Surface Emitting LASER)を適用することもできる。以下、特に記載の無い限り、「光源部11の発光素子が発光する」ことを、「光源部11が発光する」などのように記述する。
受光部12は、例えば赤外領域の波長の光を検出可能な受光素子と、当該受光素子に検出された光に応じた画素信号を出力する信号処理回路と、を含む。受光部12が含む受光素子として、フォトダイオードを適用することができる。以下、特に記載の無い限り、「受光部12が含む受光素子が受光する」ことを、「受光部12が受光する」などのように記述する。
測距処理部13は、例えばアプリケーション部20からの測距指示に応じて、測距装置10における測距処理を実行する。例えば、測距処理部13は、光源部11を駆動するための光源制御信号を生成し、光源部11に供給する。また、測距処理部13は、光源部11に供給する光源制御信号と同期して受光部12による受光を制御する。例えば、測距処理部13は、受光部12における露光期間を制御する露光制御信号を光源制御信号と同期させて生成し、受光部12供給する。受光部12は、この露光制御信号に示される露光期間内において、有効な画素信号を出力する。
測距処理部13は、受光に応じて受光部12から出力された画素信号に基づき距離情報を算出する。また、測距処理部13は、この画素信号に基づき所定の画像情報を生成することも可能である。測距処理部13は、画素信号に基づき算出および生成した距離情報および画像情報をアプリケーション部20に渡す。
このような構成において、測距処理部13は、例えばアプリケーション部20からの測距を実行する旨の指示に従い、光源部11を駆動するための光源制御信号を生成し、光源部11に供給する。ここでは、測距処理部13は、PWMにより所定のデューティの矩形波に変調された光源制御信号を生成し、光源部11に供給する。それと共に、測距処理部13は、受光部12による受光を、光源制御信号に同期した露光制御信号に基づき制御する。
測距装置10において、光源部11は、測距処理部13が生成した光源制御信号に応じて所定のデューティに従い明滅して発光する。光源部11において発光した光は、射出光30として光源部11から射出される。この射出光30は、例えば被測定物31に反射され、反射光32として受光部12に受光される。受光部12は、反射光32の受光に応じた画素信号を測距処理部13に供給する。なお、実際には、受光部12には、反射光32以外に、周囲の環境光も受光され、画素信号は、反射光32の成分と共に、この環境光の成分を含む。
測距処理部13は、受光部12による受光を、異なる位相で複数回、実行する。測距処理部13は、異なる位相での受光による画素信号の差分に基づき、被測定物までの距離Dを算出する。また、測距処理部13は、当該画素信号の差分に基づき反射光32の成分を抽出した第1の画像情報と、反射光32の成分と環境光の成分とを含む第2の画像情報と、を算出する。以下、第1の画像情報を直接反射光情報と呼び、第2の画像情報をRAW画像情報と呼ぶ。
(各実施形態に適用可能な間接ToF方式による測距について)
次に、各実施形態に適用可能な間接ToF方式による測距について説明する。図2は、間接ToF方式の原理を説明するための図である。図2において、光源部11が射出する射出光30として、正弦波により変調された光を用いている。反射光32は、理想的には、射出光30に対して、距離Dに応じた位相差phaseを持った正弦波となる。
次に、各実施形態に適用可能な間接ToF方式による測距について説明する。図2は、間接ToF方式の原理を説明するための図である。図2において、光源部11が射出する射出光30として、正弦波により変調された光を用いている。反射光32は、理想的には、射出光30に対して、距離Dに応じた位相差phaseを持った正弦波となる。
測距処理部13は、反射光32を受光した画素信号に対して、異なる位相で複数回のサンプリングを行い、サンプリング毎に、光量を示す光量値を取得する。図2の例では、射出光30に対して位相が90°ずつ異なる、位相0°、位相90°、位相180°および位相270°の各位相において、光量値C0、C90、C180およびC270をそれぞれ取得している。間接ToF方式においては、各位相0°、90°、180°および270°のうち、位相が180°異なる組の光量値の差分に基づき、距離情報を算出する。
図3を用いて、間接ToF方式における距離情報の算出方法について、より具体的に説明する。図3は、光源部11からの射出光30がPWMにより変調された矩形波である場合の例を示す図である。図3において、上段から、光源部11による射出光30、受光部12に到達した反射光32を示す。図3の上段に示されるように、光源部11は、所定のデューティで周期的に明滅して射出光30を射出する。
図3において、さらに、受光部12の位相0°(Φ=0°と記載)、位相90°(Φ=90°と記載)、位相180°(Φ=180°と記載)、および、位相270°(Φ=270°と記載)それぞれにおける露光制御信号を示している。例えば、この露光制御信号がハイ(High)状態の期間が、受光部12が有効な画素信号を出力する露光期間とされる。
図3の例では、時点t0において光源部11から射出光30が射出され、時点t0から被測定物までの距離Dに応じた遅延の後の時点t1に、当該射出光30が被測定物により反射された反射光32が受光部12に到達している。
一方、受光部12は、測距処理部13からの露光制御信号に従い、光源部11における射出光30の射出タイミングの時点t0に同期して、位相0°の露光期間が開始される。同様に、受光部12は、測距処理部13からの露光制御信号に従い、位相90°、位相180°および位相270°の露光期間が開始される。ここで、各位相における露光期間は、射出光30のデューティに従ったものとなる。なお、図3の例では、説明のため、各位相の露光期間が時間的に並列しているように示されているが、実際には、受光部12は、各位相の露光期間がシーケンシャルに指定され、各位相の光量値C0、C90、C180およびC270がそれぞれ取得される。
図3の例では、反射光32の到達タイミングが、時点t1、t2、t3、…となっており、位相0°における光量値C0が、時点t0から位相0°における当該時点t0が含まれる露光期間の終了時点までの受光光量の積分値として取得される。一方、位相0°に対して180°位相が異なる位相180°においては、光量値C180が、当該位相180°における露光期間の開始時点から、当該露光期間に含まれる反射光32の立ち下がりの時点t2までの受光光量の積分値として取得される。
位相C90と、当該位相90°に対して180°位相が異なる位相270°についても、上述の位相0°および180°の場合と同様にして、それぞれの露光期間内において反射光32が到達した期間の受光光量の積分値が、光量値C90およびC270として取得される。
これら光量値C0、C90、C180およびC270のうち、次式(1)および式(2)に示されるように、位相が180°異なる光量値の組み合わせに基づき、差分Iと差分Qとを求める。
I=C0-C180 …(1)
Q=C90-C270 …(2)
I=C0-C180 …(1)
Q=C90-C270 …(2)
これら差分IおよびQに基づき、位相差phaseは、次式(3)により算出される。なお、式(3)において、位相差phaseは、(0≦phase<2π)の範囲で定義される。
phase=tan-1(Q/I) …(3)
phase=tan-1(Q/I) …(3)
位相差phaseと、所定の係数rangeとを用いて、距離情報Depthは、次式(4)により算出される。
Depth=(phase×range)/2π …(4)
Depth=(phase×range)/2π …(4)
また、差分IおよびQに基づき、受光部12に受光された光の成分から反射光32の成分(直接反射光情報)を抽出できる。直接反射光情報DiReflは、差分IおよびQそれぞれの絶対値を用いて、次式(5)により算出される。
DiRefl=|I|+|Q| …(5)
DiRefl=|I|+|Q| …(5)
また、RAW画像情報RAWは、次式(6)に示すように、各光量値C0、C90、C180およびC270の平均値として算出することができる。
RAW=(C0+C90+C180+C270)/4 …(6)
RAW=(C0+C90+C180+C270)/4 …(6)
図4は、受光部12に受光される光量の例を示す図である。上述したように、受光部12には、光源部11からの射出光30が被測定物31で反射した反射光32すなわち直接反射光に加えて、光源部11からの射出光30が寄与しない環境光も受光される。そのため、受光部12に受光される光量は、直接反射光の光量と、環境光の光量と、の和となる。上述した式(1)~式(3)、および、式(5)の計算により、環境光の成分がキャンセルされ、直接反射光の成分が抽出される。
一方、RAW画像は、上述の式(6)に示すように、各位相の光量値C0、C90、C180およびC270の平均値であるので、図4に例示されるように、環境光の成分を含むものとなる。
次に、図5A~図5Cを用いて、各実施形態に適用可能な、各位相の各光量値C0、C90、C180およびC270の取得方法、ならびに、距離情報および直接反射光情報DiReflの計算方法について、より具体的に説明する。
図5Aは、各実施形態に適用可能な各光量値の取得および各情報の算出の第1の方法を説明するための図である。図5Aにおいて、受光部12は、各位相についてシーケンシャルに各光量値C0、C90、C180およびC270を取得する。図5Aの例では、受光部12は、時点t10~t11の期間に位相0°による露光を行い、時点t11から所定の時間(例えば処理の切り替え時間)を挟んだ時点t12~t13の期間に位相90°による露光を行う。以下同様に、時点t13から所定の時間を挟んだ時点t14~t15の期間に位相180°による受光を行い、時点t15から所定の時間を挟んだ時点t16~t17の期間に位相270°による露光を行う。
時点t17から所定の時間を挟んだ時点t18において、上述した時点t10からの動作を再び実行する。
この、図5Aに示した、各位相についてシーケンシャルに各光量値C0、C90、C180およびC270を取得する方式を、1タップ方式と呼ぶ。
ここで、各位相による露光を行うシーケンスを、1マイクロフレーム(μFrame)とする。図5Aの例では、時点t10~t18の期間が、1マイクロフレームの期間となる。1マイクロフレームの期間は、撮像の1フレーム期間(例えば1/30sec)より短い期間であって、1マイクロフレームの処理を、1フレーム期間内に複数回、実行することができる。
測距処理部13は、1マイクロフレームの期間内に取得された、各位相において順次に取得された各光量値C0、C90、C180およびC270を、例えばメモリに記憶する。測距処理部13は、メモリに記憶された各光量値C0、C90、C180およびC270に基づき、距離情報Depth、直接反射光情報DiReflおよびRAW画像情報RAWをそれぞれ算出する。
この場合、差分IおよびQ、位相差phase、ならびに、距離情報Depthは、上述した式(1)~式(4)により算出できる。また、RAW画像情報RAWは、上述した式(6)を用いて算出できる。一方、直接反射光情報DiReflは、ここでは、次式(7)を用いて算出することができる。
DiRefl=(I2+Q2)1/2 …(7)
DiRefl=(I2+Q2)1/2 …(7)
図5Bは、各実施形態に適用可能な各光量値の取得および各情報の算出の第2の方法を説明するための図である。この第2の方法では、受光部12は、1つの受光素子に対して2つの読み出し回路(タップA、タップBとする)を備え、このタップAおよびタップBによる読み出しをシーケンシャル(交互)に実行可能とされている(詳細は後述する)。
図5Bにおいて、受光部12は、各位相それぞれにおいて、タップAおよびタップBの読み出しをシーケンシャルに実行する。さらに、受光部12は、1マイクロフレームの期間内において、各位相の読み出しをシーケンシャルに実行する。
すなわち、図5Bの例では、受光部12は、時点t20~t21の期間に、位相0°による露光を行う。測距処理部13は、タップAおよびタップBそれぞれにより読み出された画素信号に基づき、光量値A0および光量値B0をそれぞれ求める。受光部12は、時点t21から所定の時間を挟んだ時点t22~t23の期間に位相90°による露光を行う。測距処理部13は、タップAおよびタップBそれぞれにより読み出された画素信号に基づき、光量値A90および光量値B90をそれぞれ求める。
以下同様に、時点t23から所定の時間を挟んだ時点t24~t25の期間に位相180°による露光を行う。測距処理部13は、タップAおよびタップBそれぞれにより読み出された画素信号に基づき、光量値A180および光量値B180をそれぞれ求める。さらに、受光部12は、時点t25から所定の時間を挟んだ時点t26~t27の期間に位相270°による露光を行う。測距処理部13は、タップAおよびタップBそれぞれにより読み出された画素信号に基づき、光量値A270および光量値B270をそれぞれ求める。
時点t27から所定の時間を挟んだ時点t28において、上述した時点t20からの動作を再び実行する。
この、図5Bに示した、各位相0°、90°、180°および270°についてタップAおよびBによる読み出しをシーケンシャルに実行し、さらに、各位相についてタップAおよびBの読み出しに基づく各光量値を求める方法を、4位相/2タップ方式と呼ぶ。
この第2の方法の場合、差分IおよびQは、各光量値A0およびB0、A90およびB90、A180およびB180、ならびに、A270およびB270を用いて、次式(8)および(9)により算出される。
I=C0-C180=(A0-B0)-(A180-B180) …(8)
Q=C90-C270=(A90-B90)-(A270-B270) …(9)
I=C0-C180=(A0-B0)-(A180-B180) …(8)
Q=C90-C270=(A90-B90)-(A270-B270) …(9)
位相差phase、距離情報Depthおよび直接反射光情報DiReflは、これら式(8)および(9)により算出された差分IおよびQを用いて、上述した式(3)、(4)および(7)により算出できる。また、RAW画像情報RAWは、上述の式(6)に倣い、各光量値A0およびB0、A90およびB90、A180およびB180、ならびに、A270およびB270の平均値として算出できる。
この図5Bに示した4位相/2タップ方式では、各位相における露光期間を、タップAおよびタップBにより冗長化している。そのため、算出される距離情報Depth、直接反射光情報DiReflおよびRAW画像情報RAWのS/N比を向上させることが可能となる。
図5Cは、各実施形態に適用可能な各光量値の取得および各情報の算出の第3の方法を説明するための図である。この第3の方法では、受光部12は、上述の第2の方法と同様にタップAおよびタップBを備え、このタップAおよびタップBからの読み出しをシーケンシャルに実行する。さらに、受光部12は、上述した各位相0°、90°、180°および270°のうち、位相0°および90°の読み出しをシーケンシャルに実行する。この第3の方法では、この位相0°および90°の読み出しの期間を、1マイクロフレームの期間としている。
図5Cの場合、読み出しシーケンスは、上述した図5Bの時点t20~24と同様のシーケンスとなる。すなわち、受光部12は、時点t30~t31の期間に、位相0°による露光を行う。測距処理部13は、タップAおよびタップBそれぞれにより読み出された画素信号に基づき、光量値A0および光量値B0をそれぞれ求める。受光部12は、時点t31から所定の時間を挟んだ時点t32~t33の期間に位相90°による露光を行う。測距処理部13は、タップAおよびタップBそれぞれにより読み出された画素信号に基づき、光量値A90および光量値B90をそれぞれ求める。
時点t33から所定の時間を挟んだ時点t34において、上述した時点t30からの動作を再び実行する。
この、図5Cに示した、各位相0°および90についてタップAおよびBによる読み出しをシーケンシャルに実行し、さらに、各位相0°および90°についてタップAおよびBの読み出しに基づく各光量値を求める方法を、2位相/2タップ方式と呼ぶ。
ここで、図5Cの2位相/2タップ方式では、各位相0°および90°において、それぞれタップAおよびタップBによる読み出しをシーケンシャルに実行している。これは、例えば位相0°において、位相0°と、位相0°から位相が180°異なる位相180°と、の読み出しをそれぞれ実行していることに相当する。同様に、位相90°において、位相90°と、位相90°から位相が180°異なる位相270°と、の読み出しをそれぞれ実行していることに相当する。
図6を用いて、受光部12におけるタップAおよびタップBによる読み出しの位相差について説明する。図6は、受光部12毎(受光素子毎)の各位相0°、90°、180°および270°におけるタップAおよびタップBの露光期間の例を示す図である。なお、図6では、説明のため、各位相の露光期間を、位相を合わせて並列に並べて示している。実際には、図5A~図5Cを用いて説明したように、各位相の露光は、シーケンシャルに実行される。
図6において、位相0°のタップAおよびタップBによる露光(それぞれ光量値A0およびB0として示す)がシーケンシャルに(交互に)実行される。一方、位相180°のタップAおよびタップBによる露光が、位相0°のタップAおよびタップBによる露光に対して位相が180°遅れて、タップAおよびタップBによる露光がシーケンシャルに実行される。このとき、位相0°におけるタップAによる露光期間と、位相180°におけるタップBの露光期間と、の位相が一致する。同様に、位相0°におけるタップBによる露光期間と、位相180°におけるタップAによる露光期間と、の位相が一致する。
すなわち、例えば位相0°におけるタップAおよびタップBによる露光期間は、位相0°における露光期間と、位相180°における露光期間と考えることができる。したがって、この第3の方法の場合、差分IおよびQは、各光量値A0およびB0、ならびに、A90およびB90を用いて、次式(10)および(11)により算出される。
I=C0-C180=(A0-B0) …(10)
Q=C90-C270=(A90-B90) …(11)
I=C0-C180=(A0-B0) …(10)
Q=C90-C270=(A90-B90) …(11)
位相差phase、距離情報Depthおよび直接反射光情報DiReflは、これら式(10)および(11)により算出された差分IおよびQを用いて、上述した式(3)、(4)および(7)により算出できる。また、RAW画像情報RAWは、上述の式(6)に倣い、各光量値A0およびB0、ならびに、A90およびB90の平均値として算出できる。
このように、1つの受光素子に対して2つの読み出し回路(タップAおよびタップB)が設けられ、これらタップAおよびタップBによる読み出しをシーケンシャルに実行する。これにより、位相が180°異なる露光期間を1つの位相(例えば位相0°)において実現できる。したがって、図5Cに示した2位相/2タップ方式では、図5Aに示した1タップ方式と同等の結果を、1タップ方式に対して短時間で得ることができる。
(各実施形態に適用可能な構成)
次に、各実施形態に適用可能な構成の例について説明する。図7は、各実施形態に適用可能な電子機器の一例の構成を示すブロック図である。図7において、電子機器2は、CPU(Central Processing Unit)100と、ROM(Read Only Memory)101と、RAM(Random Access Memory)102と、ストレージ103と、UI(User Interface)部104と、インタフェース(I/F)105と、を含む。さらに、電子機器2は、図1の光源部11および受光部12にそれぞれ対応する光源ユニット110およびセンサユニット111と、を含む。
次に、各実施形態に適用可能な構成の例について説明する。図7は、各実施形態に適用可能な電子機器の一例の構成を示すブロック図である。図7において、電子機器2は、CPU(Central Processing Unit)100と、ROM(Read Only Memory)101と、RAM(Random Access Memory)102と、ストレージ103と、UI(User Interface)部104と、インタフェース(I/F)105と、を含む。さらに、電子機器2は、図1の光源部11および受光部12にそれぞれ対応する光源ユニット110およびセンサユニット111と、を含む。
なお、この図7に示す電子機器2として、例えばスマートフォン(多機能型携帯電話端末)やタブレット型パーソナルコンピュータを適用することが考えられる。この電子機器2が適用される機器は、これらスマートフォンやタブレット型パーソナルコンピュータに限定されない。
ストレージ103は、フラッシュメモリやハードディスクドライブといった、不揮発性の記憶媒体である。ストレージ103は、各種のデータや、CPU100が動作するためのプログラムを記憶することができる。また、ストレージ103は、図1を用いて説明したアプリケーション部20を実現するためのアプリケーションプログラム(以下、アプリと略称する)を記憶することができる。ROM101は、CPU100が動作するためのプログラムおよびデータが予め記憶される。RAM102は、データを記憶する揮発性の記憶媒体である。
CPU100は、ストレージ103やROM101に記憶されるプログラムに従い、RAM102をワークメモリとして用いて動作し、この電子機器2の全体の動作を制御する。
UI部104は、この電子機器2を操作するための各種操作子、電子機器2の状態を表示するための表示素子などが配置される。UI部104は、さらに、後述するセンサユニット111により撮像された画像を表示するディスプレイを含めてもよい。また、このディスプレイを、表示デバイスと入力デバイスとが一体的に形成されたタッチパネルとしてもよく、各種操作子を、タッチパネルに表示される各部品により構成してもよい。
光源ユニット110は、LEDやVCSELといった発光素子と、当該発光素子を駆動するためのドライバと、を含む。光源ユニット110において、ドライバは、CPU100の指示に応じて所定のデューティの駆動信号を生成する。発光素子は、ドライバにより生成された駆動信号に従い発光し、PWMにより変調された光を射出光30として射出する。
センサユニット111は、複数の受光素子がアレイ状に配列された画素アレイ部と、画素アレイ部に配列される複数の受光素子を駆動し、各受光素子から読み出された画素信号を出力する駆動回路と、を含む。センサユニット111から出力された画素信号は、CPU100に供給される。
次に、図8~図11を用いて、各実施形態に適用可能なセンサユニット111について説明する。
図8は、各実施形態に適用可能なセンサユニット111の構成の例を示すブロック図である。図8において、センサユニット111は、センサチップ1110と、センサチップ1110に積層された回路チップ1120と、を含む積層構造を有している。この積層構造において、センサチップ1110と回路チップ1120とは、ビア(VIA)やCu-Cu接続などの接続部(図示しない)を通じて、電気的に接続される。図8の例では、当該接続部により、センサチップ1110の配線と、回路チップ1120の配線とが接続された状態が示されている。
画素エリア1111は、センサチップ1110上にアレイ状の配列で配置された複数の画素1112を含んでいる。例えば、この画素エリア1111に含まれる複数の画素1112から出力される画素信号に基づき、1フレームの画像信号が形成される。画素エリア1111に配置された各画素1112は、例えば赤外光を受光可能とされ、受光した赤外光に基づき光電変換を行いアナログ画素信号を出力する。画素エリア1111に含まれる各画素1112は、それぞれ2本の垂直信号線VSL1およびVSL2が接続される。
センサユニット111は、さらに、垂直駆動回路1121、カラム信号処理部1122、タイミング制御回路1123および出力回路1124が回路チップ1120に配置されている。
タイミング制御回路1123は、外部から制御線50を介して供給される素子制御信号に応じて、垂直駆動回路1121の駆動タイミングを制御する。また、タイミング制御回路1123は、当該素子制御信号に基づき垂直同期信号を生成する。カラム信号処理部1122、出力回路1124は、タイミング制御回路1123により生成された垂直同期信号と同期して、それぞれの処理を実行する。
画素1112の列毎に、図8上の垂直方向に垂直信号線VSL1およびVSL2が配線される。画素エリア1111内の列の総数をM列(Mは1以上の整数)とすると、画素エリア1111には、合計で2×M本の垂直信号線が配線される。詳細は後述するが、それぞれの画素1112は、それぞれ光電変換により生成された電荷を蓄積する2つのタップA(TAP_A)およびタップB(TAP_B)を含む。垂直信号線VSL1は、画素1112のタップAに接続され、垂直信号線VSL2は、画素1112のタップBに接続される。
垂直信号線VSL1は、対応する画素列の画素1112のタップAの電荷に基づくアナログ画素信号である画素信号AINP1が出力される。また、垂直信号線VSL2は、対応する画素列の画素1112のタップBの電荷に基づくアナログ画素信号である画素信号AINP2が出力される。
垂直駆動回路1121は、タイミング制御回路1123によるタイミング制御に従い、画素エリア1111に含まれる各画素1112を画素行の単位で駆動し、画素信号AINP1およびAINP2を出力させる。各画素1112から出力された画素信号AINP1およびAINP2は、各列の垂直信号線VSL1およびVSL2を介してカラム信号処理部1122に供給される。
カラム信号処理部1122は、画素エリア1111の画素列に対応して、例えば画素列毎に設けられた複数のAD変換器を含む。カラム信号処理部1122に含まれる各AD変換器は、垂直信号線VSL1およびVSL2を介して供給される画素信号AINP1およびAINP2に対してAD変換を実行し、ディジタル信号に変換された画素信号AINP1およびAINP2を出力回路1124に供給する。
出力回路1124は、CDS(Correlated Double Sampling)処理などの信号処理を、カラム信号処理部1122から出力された、ディジタル信号に変換された画素信号AINP1およびAINP2に対して実行し、信号処理された画素信号AINP1およびAINP2を、それぞれタップAから読み出した画素信号、タップBから読み出した画素信号として、出力線51を介してセンサユニット111の外部に出力する。
図9は、各実施形態に適用可能な画素1112の一例の構成を示す回路図である。画素1112は、フォトダイオード231、2つの転送トランジスタ232および237、2つのリセットトランジスタ233および238、2つの浮遊拡散層234および239、2つの増幅トランジスタ235および240、ならびに、2つの選択トランジスタ236および241を含む。浮遊拡散層234および239は、それぞれ上述したタップA(TAP_Aと記載)およびタップB(TAP_Bと記載)に対応する。
フォトダイオード231は、受光した光を光電変換して電荷を生成する受光素子である。フォトダイオード231は、半導体基板において回路を配置する面を表面として、表面に対する裏面に配置される。このような固体撮像素子は、裏面照射型の固体撮像素子と呼ばれる。なお、裏面照射型の代わりに、表面にフォトダイオード231を配置する表面照射型の構成を用いることもできる。
オーバーフロートランジスタ242は、フォトダイオード231のカソードと電源ラインVDDとの間に接続されており、フォトダイオード231をリセットする機能を有する。すなわち、オーバーフロートランジスタ242は、垂直駆動回路1121から供給されるオーバーフローゲート信号OFGに応じてオン状態となることで、フォトダイオード231の電荷をシーケンシャルに電源ラインVDDに排出する。
転送トランジスタ232は、フォトダイオード231のカソードと浮遊拡散層234と、の間に接続される。また、転送トランジスタ237は、フォトダイオード231のカソードと、浮遊拡散層239と、の間に接続される。転送トランジスタ232および237は、それぞれ、垂直駆動回路1121から供給される転送信号TRGに応じて、フォトダイオード231で生成された電荷を、浮遊拡散層234および239にそれぞれシーケンシャルに転送する。
それぞれタップAおよびタップBに対応する浮遊拡散層234および239は、フォトダイオード231から転送された電荷を蓄積し、蓄積した電荷量に応じた電圧値の電圧信号に変換し、アナログ画素信号である画素信号AINP1およびAINP2をそれぞれ生成する。
また、2つのリセットトランジスタ233および238が電源ラインVDDと、浮遊拡散層234および239それぞれとの間に接続される。リセットトランジスタ233および238は、垂直駆動回路1121から供給されるリセット信号RSTおよびRSTpに応じてオン状態となることで、浮遊拡散層234および239それぞれから電荷を引き抜いて、浮遊拡散層234および239を初期化する。
2つの増幅トランジスタ235および240は、電源ラインVDDと、選択トランジスタ236および241それぞれとの間に接続される。各増幅トランジスタ235および240は、浮遊拡散層234および239のそれぞれで電荷が電圧に変換された電圧信号を増幅する。
選択トランジスタ236は、増幅トランジスタ235と、垂直信号線VSL1との間に接続される。また、選択トランジスタ241は、増幅トランジスタ240と、垂直信号線VSL2との間に接続される。選択トランジスタ236および241は、垂直駆動回路1121から供給される選択信号SELおよびSELpに応じてオン状態とされることで、増幅トランジスタ235および240それぞれで増幅された画素信号AINP1およびAINP2を、それぞれ垂直信号線VSL1および垂直信号線VSL2に出力する。
画素1112に接続される垂直信号線VSL1および垂直信号線VSL2は、画素列毎に、カラム信号処理部1122に含まれる1つのAD変換器の入力端に接続される。垂直信号線VSL1および垂直信号線VSL2は、画素列毎に、画素1112から出力される画素信号AINP1およびAINP2を、カラム信号処理部1122に含まれるAD変換器に供給する。
図10および図11を用いて、センサユニット111の積層構造について概略的に説明する。
一例として、センサユニット111を、半導体チップを2層に積層した2層構造により形成することができる。図10は、各実施形態に適用可能な、センサユニット111を2層構造の積層型CIS(Complementary Metal Oxide Semiconductor Image Sensor)により形成した例を示す図である。図10の構造では、センサチップ1110である第1層の半導体チップに画素エリア1111を形成し、回路チップ1120である第2層の半導体チップに回路部を形成している。
回路部は、例えば、垂直駆動回路1121、カラム信号処理部1122、タイミング制御回路1123および出力回路1124を含む。なお、センサチップ1110が画素エリア1111と例えば垂直駆動回路1121とを含む構成でもよい。図10の右側に示されるように、センサチップ1110と、回路チップ1120とを電気的に接触させつつ貼り合わせることで、センサユニット111を1つの固体撮像素子として構成する。
別の例として、センサユニット111を半導体チップを3層に積層した3層構造により形成することができる。図11は、各実施形態に適用可能な、センサユニット111を3層構造の積層型CISにより形成した例を示す図である。図11の構造では、センサチップ1110である第1層の半導体チップに画素エリア1111を形成する。また、上述した回路チップ1120を、第2層の半導体チップによる第1の回路チップ1120aと、第3層の半導体チップによる第2の回路チップ1120bと、に分割して形成している。図11の右側に示されるように、センサチップ1110と、第1の回路チップ1120aと、第2の回路チップ1120bと、を電気的に接触させつつ貼り合わせることで、センサユニット111を1つの固体撮像素子として構成する。
(既存技術による測距装置の例)
次に、既存技術による測距装置による処理について説明する。図12は、既存技術による測距装置の機能を説明するための一例の機能ブロック図である。図12において、測距装置1000は、光源部11と、受光部12と、制御部140と、測距部141と、を含む。
次に、既存技術による測距装置による処理について説明する。図12は、既存技術による測距装置の機能を説明するための一例の機能ブロック図である。図12において、測距装置1000は、光源部11と、受光部12と、制御部140と、測距部141と、を含む。
制御部140は、光源制御信号を生成し、光源部11に供給する。光源制御信号は、例えばPWMの変調におけるデューティ、光源部11により発光される光の強度、発光のタイミングなどを指定する情報を含む。光源部11は、制御部140から供給される光源制御信号に応じて、PWMにより変調された射出光30(図1参照)を射出する。また、制御部140は、露光制御信号を生成し、受光部12に供給する。露光制御信号は、受光部12に対して、光源部11のデューティに従った露光長の露光を、異なる位相それぞれにおいて行うように制御する情報を含む。また、露光制御信号は、受光部12における露光量を制御するための情報をさらに含む。
受光部12から出力された各位相の画素信号は、測距部141に供給される。測距部141は、受光部12から供給された各位相の画素信号に基づき、上述の式(1)~(4)、(6)および(7)の演算を行い、距離情報Depth、直接反射光情報DiReflおよびRAW画像情報RAWを算出する。式(7)の代わりに式(5)を用いてもよい。測距部141は、算出した距離情報Depth、直接反射光情報DiReflおよびRAW画像情報RAWを、例えばアプリケーション部20に渡す。
ここで、上述した制御部140は、受光部12から供給された各位相(例えば位相0°、90°、180°および270°)の各画素信号に基づき、受光部12における露光量を制御するための制御信号を生成する。制御部140が生成するこの制御信号は、測距部141が、撮像するシーンに依らず適切に距離情報Depthを算出可能とするためのものである。例えば、制御部140は、各位相の画素信号に基づく各光量値を適切な範囲内の値に調整するように、制御信号を生成する。
すなわち、より具体的には、上述した式(1)および(2)を参照すると、各位相それぞれに対応する各画素信号のうち1以上の画素信号が飽和している、あるいは、所定以下のレベルであるような場合、差分IおよびQを適切に算出できないおそれがある。この場合、測距部141において差分IおよびQに基づき算出される距離情報Depthの信頼性も、低いものとなってしまう。
そのため、制御部140は、各位相の各画素信号に基づく各光量値を適切な範囲内の値に制御するする制御信号を求める。制御部140は、求めた制御信号に基づき、受光部12によるゲインや露光時間、光源部11による発光のデューティや強度を制御して、受光部12に受光される光量が適切になるように調整する。
一例として、被測定物31の反射率が低い場合や、測距部141が算出した距離情報Depthに示される距離が所定以上である場合、算出される距離情報DepthのS/Nが低くなり、この距離情報Depthの精度が低下する。この場合、制御部140は、測距部141により算出される距離情報DepthのS/Nを維持するために、受光部12による露光時間が長くなるように受光部12を制御する制御信号を生成する。
制御部140は、生成した制御信号をレジスタなどに記憶する。制御部140は、光源部11による発光および受光部12による受光を、所定周期のフレーム毎に実行する。制御部140は、レジスタに記憶された制御情報に基づき1フレーム分の処理を行い、処理の結果に基づき制御信号を求め、レジスタに記憶される制御信号を更新する。
図13は、既存技術による測距装置1000における処理を示す一例のフローチャートである。例えば、アプリケーション部20から測距装置1000に対して、撮像(測距)の開始を指示する撮像開始指示が渡されることで、図13のフローチャートによる処理が開始される。
ステップS100で、測距装置1000は、制御部140により、レジスタに記憶された制御信号に基づき光源部11および受光部12を制御して、撮像を行う。撮像により得られた各位相の画素信号は、受光部12から制御部140および測距部141に渡される。
次のステップS101で、測距装置1000は、測距部141により、ステップS100で撮像された撮像結果に基づき距離情報Depthを算出する。より具体的には、測距部141は、撮像され受光部12から供給された各位相の各画素信号に基づき上述した式(1)~(4)の演算を行い、距離情報Depthを算出する。測距装置1000は、測距部141により算出された距離情報Depthを、例えばアプリケーション部20に出力する。
次のステップS102で、測距装置1000は、測距部141により、ステップS100で撮像された撮像結果に基づき直接反射光情報DiReflを算出する。より具体的には、測距部141は、ステップS101で距離情報Depthの算出の際に求めた差分IおよびQに基づき上述した式(7)または式(5)の演算を行い、直接反射光情報DiReflを算出する。測距装置1000は、測距部141により算出された直接反射光情報DiReflを、例えばアプリケーション部20に出力する。
次のステップS103で、測距装置1000は、測距部141により、ステップS100で撮像された撮像結果に基づきRAW画像情報RAWを算出する。より具体的には、測距部141は、ステップS100の撮像により取得された各位相の各画素信号に基づき、上述した式(6)の演算を行い、RAW画像情報RAWを算出する。測距装置1000は、測距部141により算出されたRAW画像情報RAWを、例えばアプリケーション部20に出力する。
次のステップS104で、測距装置1000は、制御部140により、ステップS100で撮像された各位相の各画素信号に基づき、光源部11および受光部12を制御する制御信号を求める。制御部140は、求めた制御信号をレジスタなどに記憶する。
次のステップS105で、測距装置1000は、撮像が終了したか否かを判定する。測距装置1000は、例えば、アプリケーション部20から撮像の終了を指示する撮像終了指示を受け取った場合に、撮像が終了したと判定する(ステップS105、「Yes」)。この場合、測距装置1000は、図13のフローチャートによる一連の処理を終了させる。
一方、測距装置1000は、アプリケーション部20から撮像終了指示を受け取っておらず、撮像が終了していないと判定した場合(ステップS105、「No」)、処理をステップS100に戻す。このステップS100~ステップS105の処理は、例えば1フレーム単位で繰り返される。
ここで、測距部141が生成する直接反射光情報DiReflおよびRAW画像情報RAWについて考える。上述の制御信号に基づき受光部12によるゲインや露光時間、光源部11による発光のデューティや強度が変化すると、測距部141が生成する直接反射光情報DiReflおよびRAW画像情報RAWの信号値が変動する。
一方、測距部141が生成する直接反射光情報DiReflおよびRAW画像情報RAWを、測距以外にも、様々な用途に利用可能である。例えば、直接反射光情報DiReflおよびRAW画像情報RAWを、距離情報Depthの精度向上のために利用することが考えられる。また、これら直接反射光情報DiReflおよびRAW画像情報RAWを、顔認識やSLAM(Simultaneous Localization And Mapping)などに適用することも考えられる。さらに、間接ToFセンサとしての視点からの画像が重要となる場合も考えられる。さらにまた、当該測距装置1000をスマートフォンに適用し、当該スマートフォンに多眼カメラが搭載される場合など、この多眼カメラによる撮像画像から合成画像を作成する際に、これら直接反射光情報DiReflおよびRAW画像情報RAWを利用することも考えられる。
これらのように、距離情報Depthの算出に対して副次的に直接反射光情報DiReflやRAW画像情報RAWを用いる場合、距離情報Depthの算出のための制御信号に応じてこれら直接反射光情報DiReflやRAW画像情報RAWの信号値が変動することは、好ましくない。
本開示においては、距離情報Depthが適切に算出されるように生成された制御信号に応じて調整値を生成し、この調整値に基づき、直接反射光情報DiReflやRAW画像情報RAWのスケール(信号レベル)を調整する。これにより、受光部12から出力される画素信号を、距離情報Depthを適切に算出するために制御した場合であっても、直接反射光情報DiReflやRAW画像情報RAWの信号値を安定的とすることができる。
[第1の実施形態]
次に、本開示の第1の実施形態について説明する。図14は、第1の実施形態に係る測距装置の機能を説明するための一例の機能ブロック図である。図14において、測距装置10aは、光源部11と、受光部12と、制御部130と、測距部131と、調整部132と、を含む。これら光源部11、受光部12、制御部130、測距部131および調整部132のうち、制御部130、測距部131および調整部132は、例えばCPU100(図7参照)上で所定のプログラムが動作することで構成される。これに限らず、制御部130、測距部131および調整部132のうち一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。
次に、本開示の第1の実施形態について説明する。図14は、第1の実施形態に係る測距装置の機能を説明するための一例の機能ブロック図である。図14において、測距装置10aは、光源部11と、受光部12と、制御部130と、測距部131と、調整部132と、を含む。これら光源部11、受光部12、制御部130、測距部131および調整部132のうち、制御部130、測距部131および調整部132は、例えばCPU100(図7参照)上で所定のプログラムが動作することで構成される。これに限らず、制御部130、測距部131および調整部132のうち一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。
なお、以下では、説明のため、受光部12における各位相0°、90°、180°および270°における各光量値の取得および各情報の算出は、図5Aを用いて説明した1タップ方式により実行されるものとする。ただし、実際には、各位相における各光量値の取得および各情報の算出に、図5Bに示した4位相/2タップ方式を適用すると、算出される距離情報Depth、直接反射光情報DiReflおよびRAW画像情報RAWのS/N比を向上させることが可能となり、好ましい。
制御部130は、光源部11の駆動を制御するための光源制御信号と、受光部12における露光を制御するための露光制御信号と、を生成する。制御部130は、生成した各制御信号(光源制御信号および露光制御信号)を、レジスタなどに記憶する。
ここで、制御部130に対して、アプリケーション部20からパラメータParamが供給される。パラメータParamは、例えばアプリケーション部20の動作モードを示す値を含む。アプリケーション部20の動作モードとしては、受光部12から出力される画素信号に基づき顔認証を行うモード、当該画素信号に基づき人物認証を行うモードなど、認証系の動作モードが考えられる。また、アプリケーション部20の動作モードとして、当該画素信号に基づく画像を表示する動作モードも考えられる。さらに、例えば顔認証モードは、距離情報Depthに基づく3次元情報を用いた3次元顔認証モードと、直接反射光情報DiReflに基づく2次元情報を用いた2次元顔認証モードと、を含むことができる。
制御部130は、上述した光源制御信号および露光制御信号を、アプリケーション部20から供給されたパラメータParamに基づき、受光部12から出力される画素信号がアプリケーション部20の動作モードに対して適切となるように、光源制御信号および露光制御信号を生成する。
例えば、当該パラメータParamが3次元顔認証モードを示している場合には、制御部130は、測距部131により算出される距離情報Depthが当該3次元顔認証モードによる顔認証に対して適切となるように、光源制御信号および露光制御信号を生成する。なお、このパラメータParamは、例えば、制御部130が光源制御信号および露光制御信号を生成するための各パラメータを含むことができる。
制御部130は、さらに、光源制御信号および露光制御信号に基づき、直接反射光情報DiReflおよびRAW画像情報RAWのスケールを調整するための調整値を生成する。制御部130は、生成した調整値を調整部132に供給すると共に、レジスタなどに記憶する。
測距部131は、図12を用いて説明した測距部141と対応する機能を有する。すなわち、測距部131は、受光部12から供給された各位相の画素信号に基づき、上述の式(1)~(4)、(6)および(7)の演算を行い、距離情報Depth、直接反射光情報DiReflおよびRAW画像情報RAWを算出する。測距部131から出力された距離情報Depth、直接反射光情報DiReflおよびRAW画像情報RAWは、例えばアプリケーション部20に供給される。また、測距部131から出力された直接反射光情報DiReflおよびRAW画像情報RAWは、調整部132にも供給される。
調整部132は、測距部131から供給された直接反射光情報DiReflおよびRAW画像情報RAWのスケールを、制御部130から供給された調整値に基づき調整する。調整部132は、直接反射光情報DiReflおよびRAW画像情報RAWのスケールを調整した直接反射光情報Scaled_DiReflおよびRAW画像情報Scaled_RAWを、アプリケーション部20に渡す。
(第1の実施形態に係る構成の詳細)
図15は、第1の実施形態に適用可能な制御部130の機能を説明するための一例の機能ブロック図である。図15において、制御部130は、制御値生成部1300と、記憶部1301と、駆動信号生成部1302と、受光制御部1303と、受光量検出部1304と、を含む。
図15は、第1の実施形態に適用可能な制御部130の機能を説明するための一例の機能ブロック図である。図15において、制御部130は、制御値生成部1300と、記憶部1301と、駆動信号生成部1302と、受光制御部1303と、受光量検出部1304と、を含む。
駆動信号生成部1302は、制御値生成部1300により生成された光源制御信号に従い、所定のデューティのPWMにより変調され、且つ、所定レベルに制御された駆動信号を生成する。駆動信号生成部1302は、生成した駆動信号を光源部11に供給する。光源部11は、供給された駆動信号に基づき発光し、所定のデューティのPWMにより変調された射出光30を射出する。
受光制御部1303は、制御値生成部1300により生成された露光制御信号に従い、受光部12における露光期間およびゲインを制御する。受光部12は、受光制御部1303により露光期間およびゲインを制御され、露光期間中に受光した光に応じた画素信号を出力する。
受光量検出部1304は、受光部12により出力された画素信号が供給される。ここで、受光部12により出力される画素信号は、各位相0°、90°、180°および270°の各画素信号である。受光量検出部1304は、受光部12から供給された画素信号に基づき、各位相において受光された光の光量値C0、C90、C180およびC270を求める。受光量検出部1304は、求めた各光量値C0、C90、C180およびC270を、制御値生成部1300に渡す。
制御値生成部1300は、受光量検出部1304から渡された各光量値C0、C90、C180およびC270に基づき、光源制御信号および露光制御信号を生成する。これに限らず、制御値生成部1300は、光源制御信号および露光制御信号のうち少なくとも一方を生成してもよい。例えば、制御値生成部1300は、各光量値C0、C90、C180およびC270のうち少なくとも1つの光量値が所定の範囲外の値である場合に、当該光量値が所定の範囲内の値になるような、光源制御信号および露光制御信号のうち一方、または、両方を生成する。
例えば、制御値生成部1300は、光源部11に対しては、光源部11により射出される射出光30の光量を制御するための光源制御信号を生成する。光源部11から射出される射出光30の光量を制御することで、受光部12による反射光32の受光量を制御できる。また、制御値生成部1300は、受光部12に対しては、露光期間内に受光される光の光量を制御するための露光制御信号を生成する。
記憶部1301は、例えばレジスタであって、制御値生成部1300により生成された光源制御信号および露光制御信号を記憶する。制御値生成部1300は、この記憶部1301に記憶された光源制御信号および露光制御信号を、駆動信号生成部1302および受光制御部1303にそれぞれ供給することができる。
図16A~図16Cは、各実施形態に適用可能な、制御値生成部1300が生成する制御信号について概略的に説明するための図である。
図16Aは、制御値生成部1300による制御の第1の例を示す図である。この第1の例では、制御値生成部1300は、露光制御信号により受光部12を制御する。図16Aにおいて、チャート50aおよび51aは、例えばデフォルト状態の光源部11の発光および受光部12の露光期間の例をそれぞれ示している。より具体的には、チャート50aは、デフォルト状態の光源部11の1周期の発光の例を示す。また、チャート51aは、光源部11の発光周期に対応する、デフォルト状態の受光部12における露光期間(長露光)の例を示す。
例えば受光部12が露光期間に受光する光量をデフォルト状態の1/2に制御する場合、図16Aのチャート51bに例示されるように、制御値生成部1300は、受光部12の露光期間をデフォルト状態の露光期間の1/2の時間とする露光制御信号を生成する。制御値生成部1300は、生成した露光制御信号を受光制御部1303に渡す。この露光制御信号により、受光部12の露光時間が上述の長露光に対して1/2の短露光となり、デフォルト状態に対して受光量が減少する。
また、この場合、制御値生成部1300は、図16Aのチャート50bに実線で示されるように、光源部11の発光のデューティをデフォルト状態の1/2とする光源制御信号を生成し、光源部11が発光している期間と受光部12の露光期間とを同期させる。これに限らず、チャート50bにおいて点線で示されるように、光源部11の発光のデューティをデフォルト状態のままとしてもよい。
図16Bは、制御値生成部1300による制御の第2の例を示す図である。この第2の例では、制御値生成部1300は、光源制御信号により光源部11を制御している。図16Bにおいて、チャート52aおよび53aは、例えばデフォルト状態の光源部11の発光および受光部12の露光期間の例をそれぞれ示している。より具体的には、チャート52aは、デフォルト状態の光源部11の1周期の発光の例を示す。デフォルト状態では、光源部11は、デューティ=50%に従い明滅して発光する。また、チャート53aは、光源部11のデューティに対応する、デフォルト状態の受光部12における露光期間の例を示す。
この第2の例では、例えば受光部12が露光期間に受光する光量をデフォルト状態の1/2に制御する場合、制御値生成部1300は、図16Bのチャート52bに例示されるように、光源部11における発光のデューティを、デフォルト状態の1/2の25%とする光源制御信号を生成する。制御値生成部1300は、生成した光源制御信号を駆動信号生成部1302に渡す。受光部12の露光期間は、チャート53bに例示されるように、デフォルト状態のままとする。この光源制御信号により、光源部11がPWM波形の1周期に発光する時間がデフォルト状態の1/2の時間となり、受光部12における受光量がデフォルト状態に対して減少する。
図16Cは、制御値生成部1300による制御の第3の例を示す図である。この第3の例では、制御値生成部1300は、光源制御信号により光源部11を制御している。図16Cにおいて、チャート54aおよび55aは、例えばデフォルト状態の光源部11の発光および受光部12の露光期間の例をそれぞれ示している。より具体的には、チャート54aは、デフォルト状態の光源部11の1周期の発光の例を示す。また、チャート55aは、光源部11の発光周期に対応する、デフォルト状態の受光部12における露光期間の例を示す。
この第3の例では、例えば受光部12が露光期間に受光する光量をデフォルト状態の1/2に制御する場合、制御値生成部1300は、図16Cのチャート54bに例示されるように、光源部11における発光強度を、デフォルト状態の1/2とする光源制御信号を生成する。制御値生成部1300は、生成した光源制御信号を駆動信号生成部1302に渡す。受光部12の露光期間は、チャート55bに例示されるように、デフォルト状態のままとする。この光源制御信号により、光源部11による1周期の発光量がデフォルト状態の1/2の時間となり、受光部12における受光量がデフォルト状態に対して減少する。
制御値生成部1300は、受光量検出部1304から渡された各光量値C0、C90、C180およびC270に基づき、上述した第1~第3の例のうち何れか1つ、若しくは、第1~第3の例のうち2以上の組み合わせにより、受光部12における受光量を制御するための制御信号を生成する。ここで生成される制御信号は、上述したように、露光制御信号および光源制御信号のうち少なくとも一方である。制御値生成部1300は、生成した制御信号を記憶部1301に記憶する。
なお、制御値生成部1300は、図16A~図16Cを用いて説明した第1~第3の例以外にも、例えば、受光部12におけるゲインを制御することもできる。受光部12におけるゲインを制御することで、受光部12から出力される画素信号のレベルが制御される。制御値生成部1300は、受光部12におけるゲインを制御するためのゲイン制御信号を生成し、受光制御部1303に渡す。受光制御部1303は、制御値生成部1300から渡されたゲイン制御信号に応じて、受光部12における例えば出力回路1124(図8参照)の出力ゲインを制御する。
制御値生成部1300は、生成した制御信号に基づき、直接反射光情報DiReflおよびRAW画像情報RAWのスケール(信号レベル)を調整するための調整値を生成する。制御値生成部1300は、生成した調整値を、制御部130から出力する。
図17は、第1の実施形態に適用可能な測距部131の機能を説明するための一例の機能ブロック図である。図17において、測距部131は、測距演算部1310と、メモリ1311と、直接反射光情報算出部1312と、RAW画像情報算出部1313と、を含む。
受光部12から出力された各位相の各画素信号が測距演算部1310に供給される。測距演算部1310は、受光部12から供給された画素信号に基づき、各位相において受光された光の光量値C0、C90、C180およびC270を求める。測距演算部1310は、求めた光量値C0、C90、C180およびC270をメモリ1311に記憶する。
測距演算部1310は、メモリ1311に光量値C0、C90、C180およびC270が全て記憶されると、上述した式(1)および(2)に基づき差分IおよびQを算出する。さらに、測距演算部1310は、算出した差分IおよびQに基づき、上述した式(3)および(4)により、距離情報Depthを算出する。測距演算部1310は、算出した距離情報Depthを、測距部131から出力する。
また、測距演算部1310は、算出した差分IおよびQを直接反射光情報算出部1312に渡す。直接反射光情報算出部1312は、測距演算部1310から渡された差分IおよびQを用いて、上述した式(7)に基づき直接反射光情報DiReflを算出する。直接反射光情報算出部1312は、これに限らず、上述した式(5)に基づき直接反射光情報DiReflを算出してもよい。直接反射光情報算出部1312は、算出した直接反射光情報DiReflを、測距部131から出力する。
さらに、測距演算部1310は、メモリ1311に記憶された光量値C0、C90、C180およびC270をRAW画像情報算出部1313に渡す。RAW画像情報算出部1313は、上述の式(6)に基づきRAW画像情報RAWを算出する。RAW画像情報算出部1313は、算出したRAW画像情報RAWを、測距部131から出力する。
図18は、第1の実施形態に適用可能な、調整部132の機能を説明するための一例の機能ブロック図である。図18において、調整部132は、直接反射光情報DiReflを調整するための構成として、係数生成部1320Dおよび乗算器1321Dを含む。さらに、調整部132は、RAW画像情報RAWを調整するための構成として、係数生成部1320Rおよび乗算器1321Rを含む。
図18において、係数生成部1320Dおよび1320Rに対して、制御値生成部1300から出力された調整値と、アプリケーション部20から出力されたパラメータParamと、がそれぞれ入力される。
ここで、パラメータParamは、上述した動作モードを示す情報に対し、さらに、アプリケーション部20が要求する直接反射光情報DiReflおよびRAW画像情報RAWの信号レベルを示すターゲット情報targetを含む。パラメータParamは、直接反射光情報DiReflおよびRAW画像情報RAWそれぞれについて、ターゲット情報targetを含むことができる。以下、特に記載の無い限り、ターゲット情報targetは、直接反射光情報DiReflに対応するものとする。この場合、ターゲット情報targetは、例えば、所定のデフォルト状態における直接反射光情報DiReflの信号レベルに基づき正規化された値である。
直接反射光情報DiReflを調整するための構成において、係数生成部1320Dは、制御値生成部1300から出力された調整値と、パラメータParamに含まれるターゲット情報targetと、に基づき、直接反射光情報DiReflの信号レベル(スケール)を調整するための係数kDを求める。
ここで、スケールScaleは、ターゲット情報targetと、調整値とに基づき、次式(12)により定義される。
Scale=target/調整値 …(12)
Scale=target/調整値 …(12)
なお、調整値は、受光部12の所定のデフォルト状態の受光量に対して、制御信号により光源部11および受光部12のうち少なくとも一方が制御された場合の、受光量の比率を示すものとする。例えば、上述した図16Bの例の場合、光源部11の発光のデューティが50%から25%に制御され、受光量が1/2となっているため、調整値=1/2とされる。
式(12)によれば、受光部12による受光量の制御分をキャンセルした上で、直接反射光情報DiReflの信号レベルをスケールScaleに基づきスケーリングする。例えば、調整値=1/2、ターゲット情報target=1であれば、スケールScale=2であり、係数kD=2として算出される。係数生成部1320Dは、算出した係数kDを、乗算器1321Dの乗算値入力端に入力する。
乗算器1321Dの被乗算値入力端に、直接反射光情報算出部1312から出力された直接反射光情報DiReflが入力される。乗算器1321Dは、被乗算値入力端に入力された直接反射光情報DiReflに対して、乗算入力端に入力された係数kDを乗じて、スケール調整された直接反射光情報Scaled_DiReflを出力する。
RAW画像情報RAWを調整するための構成も、上述した直接反射光情報DiReflを調整するための構成と同等の機能を有する。すなわち、係数生成部1320Rは、制御値生成部1300から出力された調整値と、パラメータParamに含まれるRAW画像情報RAWに対するターゲット情報targetと、に基づき、上述した式(12)により、RAW画像情報RAWの信号レベルを調整するための係数kRを算出する。係数生成部1320Rは、算出した係数kRを、乗算器1321Rの乗算値入力端に入力する。
乗算器1321Rの被乗算値入力端に、RAW画像情報算出部1313から出力されたRAW画像情報RAWが入力される。乗算器1321Rは、被乗算値入力端に入力されたRAW画像情報RAWに対して、乗算入力端に入力された係数kRを乗じて、スケール調整されたRAW画像情報Scaled_RAWを出力する。
(第1の実施形態による各情報の例)
図19A~図19Dを用いて、距離情報Depthと、直接反射光情報DiReflと、スケール調整された直接反射光情報Scaled_DiReflと、について、より具体的に説明する。図19Aは、受光部12により撮像される被測定物31の例を示す図である。図19Aの例では、マネキンの頭部が被測定物31として用いられている。
図19A~図19Dを用いて、距離情報Depthと、直接反射光情報DiReflと、スケール調整された直接反射光情報Scaled_DiReflと、について、より具体的に説明する。図19Aは、受光部12により撮像される被測定物31の例を示す図である。図19Aの例では、マネキンの頭部が被測定物31として用いられている。
図19Bは、距離情報Depthの例を示す図である。図19Bにおいて、距離情報Depthは、各画素位置に対応する距離情報Depthに基づく画像として表現されている。図19Bの例では、被測定物31の各部までの距離情報Depthが、画素の明暗により表現されている。例えば、距離が近いほどより明るく表現され、距離が離れるに連れ、暗さが増していくように表現されている。3次元情報を用いた3次元顔認識モードにおける顔認証は、この図19Bに示すような距離情報Depthに基づき実行することができる。
図19Cは、直接反射光情報DiReflの例を示す図である。光源部11からの射出光30が被測定物31より反射した反射光32が抽出された画像のため、被測定物31における反射率の高い部分、例えば顔面の肌部分などが周囲より明るく表示されている。また、マネキンの頭部における細かい部分(眼、***、眉など)は、不明瞭となっている。
図19Dは、各実施形態に係るスケール調整を施された直接反射光情報Scaled_DiReflの例を示す図である。被測定物31における反射率の高い部分が、上述の図19Cの例と比較して、より明瞭に表示されている。例えば、図19Cの例では不明瞭であった眼、***、眉などの部分が、より明確に認識可能となっている。例えば、顔認証のうち、2次元情報を用いた2次元顔認証モードにおいては、上述した図19Cの直接反射光情報DiReflよりも、この図19Dに示す、スケール調整された直接反射光情報Scaled_DiReflを用いる方が、より高精度に認識処理を実行できる。
(第1の実施形態に係る測距装置における処理)
図20は、第1の実施形態に係る測距装置10aにおける処理を示す一例のフローチャートである。図13のフローチャートと同様に、例えば、アプリケーション部20から測距装置10aに対して、撮像(測距)の開始を指示する撮像開始指示が渡されることで、図20のフローチャートによる処理が開始される。アプリケーション部20は、それと共に、アプリケーション部20の動作モードを示す情報と、直接反射光情報DiReflおよびRAW画像情報RAWに対するターゲット情報targetと、を含むパラメータParamを測距装置10aに渡す。
図20は、第1の実施形態に係る測距装置10aにおける処理を示す一例のフローチャートである。図13のフローチャートと同様に、例えば、アプリケーション部20から測距装置10aに対して、撮像(測距)の開始を指示する撮像開始指示が渡されることで、図20のフローチャートによる処理が開始される。アプリケーション部20は、それと共に、アプリケーション部20の動作モードを示す情報と、直接反射光情報DiReflおよびRAW画像情報RAWに対するターゲット情報targetと、を含むパラメータParamを測距装置10aに渡す。
図20のフローチャートにおいて、ステップS100~ステップS104の処理は、上述した図13の対応する処理と同様である。すなわち、ステップS100で、測距装置10aは、制御部130により、レジスタに記憶された制御信号に基づき光源部11および受光部12を制御して、撮像を行う。撮像により得られた各位相の画素信号は、受光部12から制御部140および測距部141に渡される。
次のステップS101で、測距装置10aは、測距部131により、ステップS100で撮像された撮像結果に基づき距離情報Depthを算出する。測距装置10aは、測距部141により算出された距離情報Depthを、例えばアプリケーション部20に出力する。次のステップS102で、測距装置10aは、測距部131により、ステップS100で撮像された撮像結果に基づき直接反射光情報DiReflを算出する。測距装置10aは、測距部131により算出された直接反射光情報DiReflを、例えばアプリケーション部20に出力する。次のステップS103で、測距装置10aは、測距部131により、ステップS100で撮像された撮像結果に基づきRAW画像情報RAWを算出する。測距装置10aは、測距部131により算出されたRAW画像情報RAWを、例えばアプリケーション部20に出力する。
次のステップS104で、測距装置10aは、制御部130により、ステップS100で撮像された各位相の各画素信号に基づき、光源部11および受光部12を制御するための制御情報を求める。制御部140は、求めた制御情報をレジスタなどに記憶する。
次のステップS110で、測距装置10aは、制御部130により、ステップS104で求めた制御情報と、アプリケーション部20から渡されたパラメータParamと、に基づき、直接反射光情報DiReflおよびRAW画像情報RAWのスケール調整を行うための調整値を算出する。算出された調整値は、調整部132に渡される。
次のステップS111で、測距装置10aは、調整部132により、ステップS110で算出された調整値に基づき、ステップS102で算出された直接反射光情報DiReflと、ステップS103で算出されたRAW画像情報RAWと、を調整し、それぞれスケール調整された直接反射光情報Scaled_DiReflおよびRAW画像情報Scaled_RAWを取得する。測距装置10aは、取得されたこれらスケール調整された直接反射光情報Scaled_DiReflおよびRAW画像情報Scaled_RAWを、例えばアプリケーション部20に出力する。
次のステップS105で、測距装置10aは、撮像が終了したか否かを判定する。測距装置10aは、例えば、アプリケーション部20から撮像終了指示を受け取った場合に、撮像が終了したと判定し(ステップS105、「Yes」)、図20のフローチャートによる一連の処理を終了させる。
一方、測距装置1000は、アプリケーション部20から撮像終了指示を受け取っておらず、撮像が終了していないと判定した場合(ステップS105、「No」)、処理をステップS100に戻す。このステップS110、ステップS111を含むステップS100~ステップS105の処理は、例えば1フレーム単位で繰り返される。
このように、第1の実施形態では、受光部12により受光される受光量を距離情報Depthの算出のために制御する制御信号に基づき、画素信号に基づき算出される直接反射光情報DiReflおよびRAW画像情報RAWに対してスケール調整を行っている。そのため、距離情報Depthの算出のために受光部12による受光量が変化した場合であっても、直接反射光情報DiReflおよびRAW画像情報RAWの輝度変化を抑え、直接反射光情報DiReflおよびRAW画像情報RAWによる一定輝度の動画像を出力することが可能となる。これにより、例えばアプリケーション部20が直接反射光情報DiReflおよびRAW画像情報RAWを利用する際の利便性を向上させることができる。
なお、上述では、測距装置10aが直接反射光情報DiReflおよびRAW画像情報RAWをそれぞれ算出し、算出された直接反射光情報DiReflおよびRAW画像情報RAWに対してそれぞれスケール調整を行うように説明したが、これはこの例に限定されない。例えば、測距装置10aは、直接反射光情報DiReflおよびRAW画像情報RAWのうち何れか一方のみを算出し、算出された情報に対してスケール調整を行ってもよい。
また、測距装置10aは、直接反射光情報DiReflおよびRAW画像情報RAWをそれぞれ算出し、算出された測距装置10aは、直接反射光情報DiReflおよびRAW画像情報RAWのうち何れか一方のみに対してスケール調整を行ってもよい。直接反射光情報DiReflおよびRAW画像情報RAWのうち、算出やスケール調整を行う情報は、例えばアプリケーション部20がパラメータParamに含めて測距装置10aに対して指定することができる。
[第2の実施形態]
次に、本開示の第2の実施形態について説明する。第2の実施形態は、スケール調整されていない直接反射光情報DiReflおよびRAW画像情報RAWと、スケール調整された直接反射光情報DiRefl_ScaleおよびRAW画像情報RAW_Scaleと、のうち一方を選択してアプリケーション部20に出力可能とした例である。
次に、本開示の第2の実施形態について説明する。第2の実施形態は、スケール調整されていない直接反射光情報DiReflおよびRAW画像情報RAWと、スケール調整された直接反射光情報DiRefl_ScaleおよびRAW画像情報RAW_Scaleと、のうち一方を選択してアプリケーション部20に出力可能とした例である。
図21は、第2の実施形態に係る測距装置の機能を説明するための一例の機能ブロック図である。図21において、測距装置10bは、図14を用いて説明した測距装置10aに対して、セレクタ133が追加されている。セレクタ133は、CPU100(図7参照)上でプログラムが動作することで構成されてもよいし、ハードウェア回路により実現してもよい。
セレクタ133に対して、測距部131から出力された直接反射光情報DiReflおよびRAW画像情報RAWの組と、調整部132から出力された、それぞれスケール調整された直接反射光情報Scaled_DiReflおよびRAW画像情報Scaled_RAWの組と、が入力される。セレクタ133は、例えば、アプリケーション部20から出力されるパラメータParamに含まれる、アプリケーション部20の動作モードを示す情報に基づき、これら2つの組のうち一方の組を選択する。セレクタ133は、選択された組の直接反射光情報およびRAW画像情報を、それぞれ直接反射光情報DiRefl’およびRAW画像情報RAW’としてアプリケーション部20に供給する。
このように、第2の実施形態に係る測距装置10bは、セレクタ133により、スケール調整されていない直接反射光情報DiReflおよびRAW画像情報RAWの組と、それぞれスケール調整された直接反射光情報Scaled_DiReflおよびRAW画像情報Scaled_RAWの組と、うち一方を選択して、アプリケーション部20に供給している。そのため、測距装置10bは、アプリケーション部20に対して、直接反射光情報およびRAW画像情報のより多彩な利用形態を提供することが可能となり、アプリケーション部20が直接反射光情報DiReflおよびRAW画像情報RAWを利用する際の利便性を向上させることができる。
[第3の実施形態]
次に、本開示の第3の実施形態について説明する。第3の実施形態は、受光部12から出力される画素信号に基づき特定の被写体の検出を行う。そして、撮像されたフレームにおいて検出された被写体を含む被写体領域における直接反射光情報DiReflおよびRAW画像情報RAWに対してスケール調整を行う。
次に、本開示の第3の実施形態について説明する。第3の実施形態は、受光部12から出力される画素信号に基づき特定の被写体の検出を行う。そして、撮像されたフレームにおいて検出された被写体を含む被写体領域における直接反射光情報DiReflおよびRAW画像情報RAWに対してスケール調整を行う。
図22は、第3の実施形態に係る測距装置の機能を説明するための一例の機能ブロック図である。図22において、測距装置10cは、図14を用いて説明した測距装置10aに対して、被写体検出部134が追加されると共に、調整部132’の機能が変更されている。被写体検出部134は、CPU100(図7参照)上でプログラムが動作することで構成されてもよいし、ハードウェア回路により実現してもよい。
被写体検出部134に対して、測距部131から出力された距離情報Depthと、直接反射光情報DiReflと、が供給される。被写体検出部134は、1フレームの距離情報Depthと、直接反射光情報DiReflと、のうち少なくとも一方の情報に基づき、当該フレームに含まれる特定の被写体(例えば顔)を検出する。検出対象の被写体は、顔に限定されない。すなわち、被写体の3次元あるいは2次元形状パターンが既知であれば、他の種類の被写体を検出対象としてもよい。
一例として、顔検出を行う場合、被写体検出部134は、例えば、距離情報Depthに基づきフレーム内における顔の領域を検出し(図19B参照)、さらに、検出された顔の領域に対して3次元情報のパターンマッチングなどを行い、顔の各パーツの3次元情報としての位置および形状を検出する。また、被写体検出部134は、例えば、直接反射光情報DiReflに対して画像解析を行って顔の領域を検出し(図19D参照)、さらに、2次元情報のパターンマッチングなどを行って、顔の各パーツの2次元情報としての位置および形状を検出する。さらに、被写体検出部134は、これら距離情報Depthに基づく顔検出結果と、直接反射光情報DiReflに基づく顔検出結果と、を併用して顔検出を行うこともできる。
被写体検出部134は、特定の被写体が検出されたフレーム内の領域を被写体領域として求め、当該被写体領域の座標情報を取得する。座標情報は、例えば、図8を参照し、画素エリア1111内における各画素1112の位置を示す情報を適用できる。被写体検出部134は、取得された被写体領域の座標情報を被写体領域情報Subjとして、調整部132’に供給する。調整部132’は、被写体領域情報Subjに基づき、測距部131から供給された直接反射光情報DiReflおよびRAW画像情報RAWの、被写体領域情報Subjに示される領域の情報に対してスケール調整を行う。
図23は、第3の実施形態に係る調整部132’の機能を説明するための一例の機能ブロック図である。図23において、調整部132’は、図18を用いて説明した調整部132と同様に、直接反射光情報DiReflを調整するための構成として、係数生成部1320D’および乗算器1321Dを含む。さらに、調整部132は、RAW画像情報RAWを調整するための構成として、係数生成部1320R’および乗算器1321Rを含む。
係数生成部1320D’および係数生成部1320R’に対して、被写体検出部134から供給された被写体領域情報Subjが入力される。例えば係数生成部1320D’は、図18を用いた説明と同様にして、制御値生成部1300から出力された調整値と、パラメータParamに含まれるターゲット情報targetと、に基づき、上述した式(12)により、直接反射光情報DiReflの信号レベル(スケール)を調整するための係数kDを求める。
係数生成部1320D’は、さらに直接反射光情報DiReflが入力され、求めた係数kDを、調整部132’に入力される直接反射光情報DiReflの、被写体領域情報Subjに示される領域に対して適用する。係数生成部1320D’は、直接反射光情報DiReflの、被写体領域情報Subjに示される領域以外の領域に対しては、例えば係数「1」を適用する。これにより、乗算器1321D’において、被写体領域情報Subjに示される領域に対して選択的に係数kDによる乗算が実行され、直接反射光情報DiReflの、被写体領域情報Subjに示される領域に対してスケール調整を行うことができる。
RAW画像情報RAWに対する係数kRを生成する係数生成部1320R’についても、上述の係数生成部1320D’と同様な処理を適用可能であるので、ここでの詳細な説明を省略する。
(第3の実施形態に係る測距装置における処理)
図24は、第3の実施形態に係る測距装置10cにおける処理を示す一例のフローチャートである。図20のフローチャートと同様に、例えば、アプリケーション部20から測距装置10cに対して、撮像(測距)の開始を指示する撮像開始指示が渡されることで、図24のフローチャートによる処理が開始される。アプリケーション部20は、それと共に、アプリケーション部20の動作モードを示す情報と、直接反射光情報DiReflおよびRAW画像情報RAWに対するターゲット情報targetと、を含むパラメータParamを測距装置10cに渡す。
図24は、第3の実施形態に係る測距装置10cにおける処理を示す一例のフローチャートである。図20のフローチャートと同様に、例えば、アプリケーション部20から測距装置10cに対して、撮像(測距)の開始を指示する撮像開始指示が渡されることで、図24のフローチャートによる処理が開始される。アプリケーション部20は、それと共に、アプリケーション部20の動作モードを示す情報と、直接反射光情報DiReflおよびRAW画像情報RAWに対するターゲット情報targetと、を含むパラメータParamを測距装置10cに渡す。
図24のフローチャートにおいて、ステップS100~ステップS104の処理は、上述した図20の対応する処理と同様であるので、ここでの詳細な説明を省略する。測距装置10cは、ステップS104で光源部11および受光部12を制御する制御信号を求めると、処理をステップS110に移行する。ステップS110の処理は、上述した図20のステップS110の処理と同等であるので、ここでの詳細な説明を省略する。
測距装置10cは、ステップS110で制御情報とパラメータParamとに基づき、直接反射光情報DiReflおよびRAW画像情報RAWのスケール調整を行うための調整値を算出する。測距装置10cは、算出した調整値を調整部132に渡すと、処理をステップS120に移行させる。
ステップS120で、測距装置10cは、被写体検出部134により、測距部131から出力された1フレームの距離情報Depthと直接反射光情報DiReflとのうち少なくとも一方に基づき、当該フレームに含まれる特定の被写体を検出する。被写体検出部134は、特定の被写体が検出されたフレーム内の領域を被写体領域として求め、当該被写体領域の座標情報を取得する。被写体検出部134は、被写体領域を示す被写体領域情報Subjを、調整部132’に渡す。
次のステップS121で、測距装置10cは、調整部132’により、測距部131から供給された直接反射光情報DiReflの、ステップS120で被写体検出部134から渡された被写体領域情報Subjに示される領域に対して、ステップS110で算出された調整値に基づき、スケール調整を行う。調整部132’は、さらに、測距部131から供給されたRAW画像情報RAWの、ステップS120で被写体検出部134から渡された被写体領域情報Subjに示される領域に対して、ステップS110で算出された調整値に基づき、スケール調整を行うこともできる。
被写体領域情報Subjに示される領域がスケール調整された直接反射光情報Scaled_DiReflは、調整部132’から出力され、アプリケーション部20に供給される。調整部132’は、RAW画像情報RAWに対して被写体領域情報Subjに示される領域に対してスケール調整を行った場合、スケール調整されたRAW画像情報Scaled_RAWを、アプリケーション部20に供給する。
次のステップS105で、測距装置10cは、撮像が終了したか否かを判定する。測距装置10cは、例えば、アプリケーション部20から撮像終了指示を受け取った場合に、撮像が終了したと判定し(ステップS105、「Yes」)、図24のフローチャートによる一連の処理を終了させる。
一方、測距装置10cは、撮像が終了していないと判定した場合(ステップS105、「No」)、処理をステップS100に戻す。この、ステップS110、ステップS111、ステップS120およびステップS121を含む、ステップS100~ステップS105の処理は、例えば1フレーム単位で繰り返される。
このように、第3の実施形態では、直接反射光情報DiReflおよびRAW画像情報RAWの、フレーム内の被写体領域情報Subjに示される領域に対して選択的にスケール調整を行うことができる。そのため、フレーム内において、特定の被写体を強調することができる。これにより、例えばアプリケーション部20が直接反射光情報DiReflおよびRAW画像情報RAWを利用する際の利便性を向上させることができる。
なお、上述では、測距装置10cが直接反射光情報DiReflおよびRAW画像情報RAWをそれぞれ算出し、算出された直接反射光情報DiReflおよびRAW画像情報RAWの被写体領域情報Subjに示される領域に対してそれぞれスケール調整を行うように説明したが、これはこの例に限定されない。例えば、測距装置10cは、直接反射光情報DiReflおよびRAW画像情報RAWのうち何れか一方のみを算出し、算出された情報の被写体領域情報Subjに示される領域に対してスケール調整を行ってもよい。
また、測距装置10cは、直接反射光情報DiReflおよびRAW画像情報RAWをそれぞれ算出し、算出された測距装置10aは、直接反射光情報DiReflおよびRAW画像情報RAWのうち何れか一方の被写体領域情報Subjに示される領域に対してスケール調整を行ってもよい。直接反射光情報DiReflおよびRAW画像情報RAWのうち、算出やスケール調整を行う情報は、例えばアプリケーション部20により測距装置10cに対して指定することができる。
[第4の実施形態]
次に、本開示の第4の実施形態について説明する。第4の実施形態は、上述した第2の実施形態と、第3の実施形態とを組み合わせた例である。図25は、第4の実施形態に係る測距装置の機能を説明するための一例の機能ブロック図である。図25において、測距装置10dは、図22を用いて説明した測距装置10cに対して、図21を用いて説明した測距装置10bにおけるセレクタ133が追加されている。
次に、本開示の第4の実施形態について説明する。第4の実施形態は、上述した第2の実施形態と、第3の実施形態とを組み合わせた例である。図25は、第4の実施形態に係る測距装置の機能を説明するための一例の機能ブロック図である。図25において、測距装置10dは、図22を用いて説明した測距装置10cに対して、図21を用いて説明した測距装置10bにおけるセレクタ133が追加されている。
第4の実施形態に係る測距装置10dは、図21の測距装置10bと同様に、セレクタ133に対して、測距部131から出力された直接反射光情報DiReflおよびRAW画像情報RAWの組と、調整部132から出力された、それぞれスケール調整された直接反射光情報Scaled_DiReflおよびRAW画像情報Scaled_RAWの組と、が入力される。セレクタ133は、例えばアプリケーション部20から出力されるパラメータParamに含まれる、アプリケーション部20の動作モードを示す情報に基づき、これら2つの組のうち一方の組を選択する。セレクタ133は、選択された組の直接反射光情報およびRAW画像情報を、それぞれ直接反射光情報DiRefl’およびRAW画像情報RAW’としてアプリケーション部20に供給する。
第4の実施形態に係る測距装置10dによれば、セレクタ133により、スケール調整されていない直接反射光情報DiReflおよびRAW画像情報RAWの組と、それぞれ被写体領域情報Subjに示される領域が選択的にスケール調整された直接反射光情報Scaled_DiReflおよびRAW画像情報Scaled_RAWの組と、うち一方を選択して、アプリケーション部20に供給している。そのため、測距装置10dは、アプリケーション部20に対して、直接反射光情報およびRAW画像情報のより多彩な利用形態を提供することが可能となり、アプリケーション部20が直接反射光情報DiReflおよびRAW画像情報RAWを利用する際の利便性を向上させることができる。
[第5の実施形態]
上述した第1の実施形態では、測距装置10aがCPU100、ROM101、RAM102、UI部104、ストレージ103、I/F105などを含む電子機器2により、ハードウェア装置として構成されるように説明したが、これはこの例に限定されない。例えば、図10または図11に示した、半導体チップを積層して構成したセンサユニット111に対して、図14に示した制御部130、測距部131および調整部132を含め、測距装置10aの全体として、1つの半導体素子として構成することもできる。これは、第2~第4の実施形態に係る測距装置10b、10cおよび10dにも、同様に適用できる。
上述した第1の実施形態では、測距装置10aがCPU100、ROM101、RAM102、UI部104、ストレージ103、I/F105などを含む電子機器2により、ハードウェア装置として構成されるように説明したが、これはこの例に限定されない。例えば、図10または図11に示した、半導体チップを積層して構成したセンサユニット111に対して、図14に示した制御部130、測距部131および調整部132を含め、測距装置10aの全体として、1つの半導体素子として構成することもできる。これは、第2~第4の実施形態に係る測距装置10b、10cおよび10dにも、同様に適用できる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
光源部の発光に応じて受光部が位相毎の受光を行い、該位相毎の受光により該受光部が出力した該位相毎の受光信号に基づき距離情報の算出を行う測距部と、
前記位相毎の受光信号のレベルを、前記位相毎の受光信号に基づく前記距離情報の算出に応じて制御する制御部と、
前記位相毎の受光信号に基づき画像信号を生成する生成部と、
調整値に従い前記画像信号のレベルを調整する調整部と、
を備え、
前記制御部は、
前記距離情報の算出に応じて制御した前記位相毎の受光信号に基づき前記調整値を生成する
測距装置。
(2)
前記測距部が算出した前記距離情報と、前記生成部が生成した前記画像信号と、に基づき、前記画像信号に基づく画像領域における所定の被写体が含まれる被写体領域を検出する検出部をさらに備え、
前記調整部は、
前記被写体領域における前記画像信号のレベルを前記調整値に基づき調整する
前記(1)に記載の測距装置。
(3)
前記生成部が生成した前記画像信号と、前記画像信号のレベルを前記調整部で調整した調整画像信号と、のうち一方を選択する選択部をさらに備える
前記(1)または(2)に記載の測距装置。
(4)
前記生成部は、
前記受光部が受光した光の成分のうち、前記光源部の発光により出射された光の反射光を前記受光部が受光した成分に基づく前記画像信号を生成する
前記(1)乃至(3)の何れかに記載の測距装置。
(5)
前記生成部は、
前記受光部が前記反射光と環境光とを受光した成分に基づく前記画像信号をさらに生成する
前記(4)に記載の測距装置。
(6)
前記制御部は、
前記受光部における露光長を制御することで、前記位相毎の受光信号のレベルを制御する
前記(1)乃至(5)の何れかに記載の測距装置。
(7)
前記制御部は、
前記光源部による前記発光のデューティを制御することで、前記位相毎の受光信号のレベルを制御する
前記(1)乃至(6)の何れかに記載の測距装置。
(8)
前記制御部は、
前記光源部による前記発光の強度を制御することで、前記位相毎の受光信号のレベルを制御する
前記(1)乃至(7)の何れかに記載の測距装置。
(9)
前記制御部は、
前記受光部が出力する前記位相毎の受光信号のゲインを制御することで、前記位相毎の受光信号のレベルを制御する
前記(1)乃至(8)の何れかに記載の測距装置。
(10)
前記制御部は、
前記位相毎の受光信号に基づき、前記制御部による前記位相毎の受光信号のレベルの制御をキャンセルする前記調整値を生成する
前記(1)乃至(9)の何れかに記載の測距装置。
(1)
光源部の発光に応じて受光部が位相毎の受光を行い、該位相毎の受光により該受光部が出力した該位相毎の受光信号に基づき距離情報の算出を行う測距部と、
前記位相毎の受光信号のレベルを、前記位相毎の受光信号に基づく前記距離情報の算出に応じて制御する制御部と、
前記位相毎の受光信号に基づき画像信号を生成する生成部と、
調整値に従い前記画像信号のレベルを調整する調整部と、
を備え、
前記制御部は、
前記距離情報の算出に応じて制御した前記位相毎の受光信号に基づき前記調整値を生成する
測距装置。
(2)
前記測距部が算出した前記距離情報と、前記生成部が生成した前記画像信号と、に基づき、前記画像信号に基づく画像領域における所定の被写体が含まれる被写体領域を検出する検出部をさらに備え、
前記調整部は、
前記被写体領域における前記画像信号のレベルを前記調整値に基づき調整する
前記(1)に記載の測距装置。
(3)
前記生成部が生成した前記画像信号と、前記画像信号のレベルを前記調整部で調整した調整画像信号と、のうち一方を選択する選択部をさらに備える
前記(1)または(2)に記載の測距装置。
(4)
前記生成部は、
前記受光部が受光した光の成分のうち、前記光源部の発光により出射された光の反射光を前記受光部が受光した成分に基づく前記画像信号を生成する
前記(1)乃至(3)の何れかに記載の測距装置。
(5)
前記生成部は、
前記受光部が前記反射光と環境光とを受光した成分に基づく前記画像信号をさらに生成する
前記(4)に記載の測距装置。
(6)
前記制御部は、
前記受光部における露光長を制御することで、前記位相毎の受光信号のレベルを制御する
前記(1)乃至(5)の何れかに記載の測距装置。
(7)
前記制御部は、
前記光源部による前記発光のデューティを制御することで、前記位相毎の受光信号のレベルを制御する
前記(1)乃至(6)の何れかに記載の測距装置。
(8)
前記制御部は、
前記光源部による前記発光の強度を制御することで、前記位相毎の受光信号のレベルを制御する
前記(1)乃至(7)の何れかに記載の測距装置。
(9)
前記制御部は、
前記受光部が出力する前記位相毎の受光信号のゲインを制御することで、前記位相毎の受光信号のレベルを制御する
前記(1)乃至(8)の何れかに記載の測距装置。
(10)
前記制御部は、
前記位相毎の受光信号に基づき、前記制御部による前記位相毎の受光信号のレベルの制御をキャンセルする前記調整値を生成する
前記(1)乃至(9)の何れかに記載の測距装置。
1 電子機器
10,10a,10b,10c,10d,1000 測距装置
11 光源部
12 受光部
13 測距処理部
20 アプリケーション部
30 射出光
31 被測定物
32 反射光
100 CPU
110 光源ユニット
111 センサユニット
130,140 制御部
131,141 測距部
132,132’ 調整部
133 セレクタ
134 被写体検出部
1110 センサチップ
1111 画素エリア
1120 回路チップ
1120a 第1の回路チップ
1120b 第2の回路チップ
1300 制御値生成部
1301 記憶部
1310 測距演算部
1312 直接反射光情報算出部
1313 RAW画像情報算出部
1320D,1320D’,1320R,1320R’ 係数生成部
1321D,1321R 乗算器
10,10a,10b,10c,10d,1000 測距装置
11 光源部
12 受光部
13 測距処理部
20 アプリケーション部
30 射出光
31 被測定物
32 反射光
100 CPU
110 光源ユニット
111 センサユニット
130,140 制御部
131,141 測距部
132,132’ 調整部
133 セレクタ
134 被写体検出部
1110 センサチップ
1111 画素エリア
1120 回路チップ
1120a 第1の回路チップ
1120b 第2の回路チップ
1300 制御値生成部
1301 記憶部
1310 測距演算部
1312 直接反射光情報算出部
1313 RAW画像情報算出部
1320D,1320D’,1320R,1320R’ 係数生成部
1321D,1321R 乗算器
Claims (10)
- 光源部の発光に応じて受光部が位相毎の受光を行い、該位相毎の受光により該受光部が出力した該位相毎の受光信号に基づき距離情報の算出を行う測距部と、
前記位相毎の受光信号のレベルを、前記位相毎の受光信号に基づく前記距離情報の算出に応じて制御する制御部と、
前記位相毎の受光信号に基づき画像信号を生成する生成部と、
調整値に従い前記画像信号のレベルを調整する調整部と、
を備え、
前記制御部は、
前記距離情報の算出に応じて制御した前記位相毎の受光信号に基づき前記調整値を生成する
測距装置。 - 前記測距部が算出した前記距離情報と、前記生成部が生成した前記画像信号と、に基づき、前記画像信号に基づく画像領域における所定の被写体が含まれる被写体領域を検出する検出部をさらに備え、
前記調整部は、
前記被写体領域における前記画像信号のレベルを前記調整値に基づき調整する
請求項1に記載の測距装置。 - 前記生成部が生成した前記画像信号と、前記画像信号のレベルを前記調整部で調整した調整画像信号と、のうち一方を選択する選択部をさらに備える
請求項1に記載の測距装置。 - 前記生成部は、
前記受光部が受光した光の成分のうち、前記光源部の発光により出射された光の反射光を前記受光部が受光した成分に基づく前記画像信号を生成する
請求項1に記載の測距装置。 - 前記生成部は、
前記受光部が前記反射光と環境光とを受光した成分に基づく前記画像信号をさらに生成する
請求項4に記載の測距装置。 - 前記制御部は、
前記受光部における露光長を制御することで、前記位相毎の受光信号のレベルを制御する
請求項1に記載の測距装置。 - 前記制御部は、
前記光源部による前記発光のデューティを制御することで、前記位相毎の受光信号のレベルを制御する
請求項1に記載の測距装置。 - 前記制御部は、
前記光源部による前記発光の強度を制御することで、前記位相毎の受光信号のレベルを制御する
請求項1に記載の測距装置。 - 前記制御部は、
前記受光部が出力する前記位相毎の受光信号のゲインを制御することで、前記位相毎の受光信号のレベルを制御する
請求項1に記載の測距装置。 - 前記制御部は、
前記位相毎の受光信号に基づき、前記制御部による前記位相毎の受光信号のレベルの制御をキャンセルする前記調整値を生成する
請求項1に記載の測距装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/310,804 US20220046158A1 (en) | 2019-03-11 | 2020-02-10 | Distance measuring device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019044283A JP2020148510A (ja) | 2019-03-11 | 2019-03-11 | 測距装置 |
JP2019-044283 | 2019-03-11 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020184028A1 true WO2020184028A1 (ja) | 2020-09-17 |
Family
ID=72427280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/005036 WO2020184028A1 (ja) | 2019-03-11 | 2020-02-10 | 測距装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220046158A1 (ja) |
JP (1) | JP2020148510A (ja) |
WO (1) | WO2020184028A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113709359A (zh) * | 2021-07-14 | 2021-11-26 | 安克创新科技股份有限公司 | 图像采集装置 |
WO2022176498A1 (ja) * | 2021-02-16 | 2022-08-25 | ソニーセミコンダクタソリューションズ株式会社 | 測距センサ及び測距装置 |
US20230107489A1 (en) * | 2021-10-04 | 2023-04-06 | Samsung Electronics Co., Ltd. | Multipass interference correction and material recognition based on patterned illumination without frame rate loss |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022123679A (ja) * | 2021-02-12 | 2022-08-24 | オムロン株式会社 | 濃淡画像生成装置および濃淡画像補正方法、濃淡画像補正プログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005010313A (ja) * | 2003-06-17 | 2005-01-13 | Minolta Co Ltd | 撮像装置 |
JP2012029130A (ja) * | 2010-07-26 | 2012-02-09 | Konica Minolta Opto Inc | 撮像装置及び画像入力装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4883517B2 (ja) * | 2004-11-19 | 2012-02-22 | 学校法人福岡工業大学 | 三次元計測装置および三次元計測方法並びに三次元計測プログラム |
JP2015127682A (ja) * | 2013-12-27 | 2015-07-09 | スリーエム イノベイティブ プロパティズ カンパニー | 分析装置、システムおよびプログラム |
KR102610830B1 (ko) * | 2015-12-24 | 2023-12-06 | 삼성전자주식회사 | 거리 정보를 획득하는 방법 및 디바이스 |
KR20170098089A (ko) * | 2016-02-19 | 2017-08-29 | 삼성전자주식회사 | 전자 장치 및 그의 동작 방법 |
US20190195478A1 (en) * | 2017-12-21 | 2019-06-27 | Circuit Services, LLC | Lighting apparatus including a distance sensor for indoor plants |
-
2019
- 2019-03-11 JP JP2019044283A patent/JP2020148510A/ja active Pending
-
2020
- 2020-02-10 US US17/310,804 patent/US20220046158A1/en active Pending
- 2020-02-10 WO PCT/JP2020/005036 patent/WO2020184028A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005010313A (ja) * | 2003-06-17 | 2005-01-13 | Minolta Co Ltd | 撮像装置 |
JP2012029130A (ja) * | 2010-07-26 | 2012-02-09 | Konica Minolta Opto Inc | 撮像装置及び画像入力装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022176498A1 (ja) * | 2021-02-16 | 2022-08-25 | ソニーセミコンダクタソリューションズ株式会社 | 測距センサ及び測距装置 |
CN113709359A (zh) * | 2021-07-14 | 2021-11-26 | 安克创新科技股份有限公司 | 图像采集装置 |
CN113709359B (zh) * | 2021-07-14 | 2023-09-01 | 安克创新科技股份有限公司 | 图像采集装置 |
US20230107489A1 (en) * | 2021-10-04 | 2023-04-06 | Samsung Electronics Co., Ltd. | Multipass interference correction and material recognition based on patterned illumination without frame rate loss |
US11922606B2 (en) * | 2021-10-04 | 2024-03-05 | Samsung Electronics Co., Ltd. | Multipass interference correction and material recognition based on patterned illumination without frame rate loss |
Also Published As
Publication number | Publication date |
---|---|
JP2020148510A (ja) | 2020-09-17 |
US20220046158A1 (en) | 2022-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020184028A1 (ja) | 測距装置 | |
US11378690B2 (en) | Time of flight sensor, a three-dimensional imaging device using the same, and a method for driving the three-dimensional imaging device | |
US10477118B2 (en) | System and methods for depth imaging using conventional CCD image sensors | |
US10491842B2 (en) | Imaging device, a solid-state imaging device for use in the imaging device | |
CN105933603B (zh) | 焦点检测装置、摄像装置、摄像***及焦点检测方法 | |
KR102136850B1 (ko) | 깊이 센서, 및 이의 동작 방법 | |
JP7208156B2 (ja) | ピクセルワイズイメージングの方法及びシステム | |
KR101675112B1 (ko) | 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치 | |
US20140198183A1 (en) | Sensing pixel and image sensor including same | |
US10261287B2 (en) | Imaging devices having autofocus control | |
KR20160032014A (ko) | 타임 오브 플라이트 시스템 구동 방법 | |
US10607352B2 (en) | Reduced power operation of time-of-flight camera | |
KR102194237B1 (ko) | 깊이 영상 촬영 장치 및 깊이 정보 획득 방법 | |
JPWO2017022219A1 (ja) | 固体撮像装置の駆動方法 | |
JP6025081B2 (ja) | 距離画像センサ | |
CN109791204A (zh) | 用于确定到对象的距离的*** | |
US20150193934A1 (en) | Motion sensor apparatus having a plurality of light sources | |
US10948596B2 (en) | Time-of-flight image sensor with distance determination | |
WO2022026011A1 (en) | Time of flight imaging using long and short-exposure storage nodes | |
US11675061B2 (en) | Apparatuses and methods for determining depth motion relative to a time-of-flight camera in a scene sensed by the time-of-flight camera | |
KR20170076477A (ko) | 거리 정보를 획득하는 방법 및 디바이스 | |
WO2021059748A1 (ja) | 情報処理装置、補正方法およびプログラム | |
US10356314B2 (en) | Image sensor and image capturing apparatus | |
WO2021059735A1 (ja) | 画像処理装置、電子機器、画像処理方法及びプログラム | |
WO2020196378A1 (ja) | 距離画像の取得方法、及び、距離検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20769929 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20769929 Country of ref document: EP Kind code of ref document: A1 |