WO2022059330A1 - 測距装置、キャリブレーション方法 - Google Patents
測距装置、キャリブレーション方法 Download PDFInfo
- Publication number
- WO2022059330A1 WO2022059330A1 PCT/JP2021/027016 JP2021027016W WO2022059330A1 WO 2022059330 A1 WO2022059330 A1 WO 2022059330A1 JP 2021027016 W JP2021027016 W JP 2021027016W WO 2022059330 A1 WO2022059330 A1 WO 2022059330A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- light
- calibration
- light emitting
- phase difference
- distance measuring
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 268
- 238000005259 measurement Methods 0.000 title claims abstract description 67
- 230000008569 process Effects 0.000 claims abstract description 176
- 238000012937 correction Methods 0.000 claims abstract description 71
- 238000012545 processing Methods 0.000 claims description 34
- 239000000203 mixture Substances 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 description 25
- 238000001514 detection method Methods 0.000 description 14
- 238000003379 elimination reaction Methods 0.000 description 13
- 230000004044 response Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000006866 deterioration Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
Definitions
- This technique relates to a distance measuring device and its calibration method, and more particularly to a technique for obtaining a correction parameter for distance information calculated by an indirect ToF method.
- Various distance measuring techniques for measuring the distance to a target object are known, and in recent years, for example, a distance measuring technique using a ToF (Time of Flight) method has attracted attention.
- a ToF method a direct ToF (Direct ToF) method and an indirect ToF (Indirect ToF) method are known.
- the indirect ToF method emits sine wave light and receives the reflected light that hits the target object to measure the distance.
- the sensor that receives light has pixels arranged in a two-dimensional array. Each pixel has a light receiving element and can take in light. Then, each pixel receives light while synchronizing with the phase of the emitted light, so that the phase and amplitude of the received sine wave can be obtained.
- the phase reference is based on the emitted sine wave.
- the phase of each pixel corresponds to the time until the light from the light emitting part is reflected by the target object and input to the sensor. Therefore, by dividing the phase by 2 ⁇ f, multiplying by the speed of light (hereinafter referred to as “c”), and dividing by 2, the distance with respect to the point to be distanced (distance measuring point) projected on the pixel. Can be calculated.
- f means the frequency of the sine wave which emits light.
- the light actually emitted is not strictly a sine wave (for example, a square wave). Therefore, the distance calculated by the above calculation is not strictly correct.
- An element that causes an error in distance due to the fact that the light emitted in this way is not a sine wave is known as a "circular error". If this circular error can be obtained, the correct distance can be obtained by correcting the distance using the circular error.
- Non-Patent Document 1 discloses a technique for correcting a distance using this correction parameter as a circular error.
- This technology was made in view of the above circumstances, and the purpose is to enable calibration for obtaining correction parameters for distance information calculated by the indirect ToF method in the actual usage environment of the device. do.
- the first ranging device is an indirect ToF method based on a light emitting unit that emits light, a light receiving sensor that receives light emitted from the light emitting unit and reflected by a target object, and a light receiving signal of the light receiving sensor.
- the light receiving signal of the light receiving sensor when the light emitting unit emits light at the first light emitting frequency and the light emitting unit are the first. It is provided with a calibration calculation unit that performs calculation processing using the light receiving signal of the light receiving sensor when light is emitted at a second light emitting frequency different from one light emitting frequency.
- the calibration calculation unit performs calculation processing based on the phase difference between the light emission detected based on the light reception signal and the light reception signal to obtain the correction parameter. Is conceivable. This makes it possible to obtain appropriate correction parameters corresponding to the case where distance measurement is performed by the indirect ToF method as the phase difference method.
- the calibration calculation unit is configured to perform an indefiniteness elimination process for eliminating the indeterminacy of 2 ⁇ units for the phase difference. This makes it possible to perform the correction parameter calculation process using the phase difference that eliminates the indeterminacy of 2 ⁇ units.
- the calibration calculation unit emits light at the lowest emission frequency, which is the lowest emission frequency of the emission frequencies of the light emitting unit for the calibration calculation process.
- the phase difference detected from the received light signal at the time of the operation the phase difference detected from the received signal having an amplitude of a predetermined value or more was determined and determined as the phase difference corresponding to the lowest emission frequency. Based on the phase difference corresponding to the minimum emission frequency, it is conceivable to configure the process to eliminate the indeterminacy of the phase difference corresponding to the emission frequency other than the minimum emission frequency.
- phase difference corresponding to the minimum emission frequency it is possible to eliminate the indeterminacy of 2 ⁇ units by selecting the phase difference detected from the received signal whose amplitude is equal to or greater than the predetermined value as described above, and the minimum emission frequency.
- the true phase difference can be specified based on the phase difference corresponding to the lowest emission frequency in which the indeterminacy is eliminated (that is, the indeterminacy of 2 ⁇ units). Can be resolved).
- the calibration calculation unit executes the calibration calculation process based on the elapsed time from the previous execution. As a result, even if the correction parameter deviates from the true value over time, it is possible to calibrate the correction parameter again.
- the calibration calculation unit interrupts the calibration calculation process when a distance measurement instruction is given during the execution of the calibration calculation process. It is conceivable that the processing for distance measurement is performed. As a result, even if the calibration calculation process is performed in the background, the calibration calculation process is interrupted when the distance measurement instruction is given, and the distance measurement operation is performed according to the instruction.
- the first calibration method includes a light emitting unit that emits light and a light receiving sensor that receives light emitted from the light emitting unit and reflected by the target object, and is indirectly based on the light receiving signal of the light receiving sensor.
- the light emitting unit is the first light emitting unit as a calibration calculation process for obtaining a correction parameter for distance information calculated by the indirect ToF method, which is a calibration method in a distance measuring device that performs distance measurement by the ToF method.
- the light-receiving signal of the light-receiving sensor when light is emitted by frequency and the light-receiving signal of the light-receiving sensor when the light-emitting unit emits light at a second light-emitting frequency different from the first light-emitting frequency are used. This is a calibration method that performs the calculation process. Even with such a first calibration method, the same operation as that of the first ranging device according to the present technology can be obtained.
- the second ranging device has a light emitting unit that emits light, a light receiving sensor that receives light emitted from the light emitting unit and reflected by the target object with a plurality of pixels, and a light receiving signal of the light receiving sensor.
- a calibration calculation process for obtaining a correction parameter for the distance information calculated by the indirect ToF method based on the above the condition that the distance measuring points projected on the plurality of the pixels have a specific positional relationship is used. It is equipped with a calibration calculation unit that performs the calculation processing. By using the condition that the distance measuring points have a specific positional relationship as described above, it is possible to obtain the correction parameter even if the distance to the target object is indefinite.
- the calibration calculation unit performs a calculation using the condition that the ranging points are on an object having a known shape as the calibration calculation process. It is conceivable that the configuration is such that processing is performed. If the distance measuring points are on an object having a known shape, the positional relationship between the distance measuring points can be defined as a mathematical formula from the known shape.
- the calibration calculation unit receives light from the light receiving sensor when the light emitting unit emits light at the first light emission frequency as the calibration calculation process. It is conceivable that the calculation process is performed using the signal and the light receiving signal of the light receiving sensor when the light emitting unit emits light at a second light emitting frequency different from the first light emitting frequency. That is, as the calibration calculation process, the calculation process using a plurality of emission frequencies is performed while using the condition that the AF points are in a specific positional relationship, whereby the number of equations for the unknown number is performed. Can be increased.
- the calibration calculation unit performs calculation processing based on the phase difference between the light emission and the light reception detected based on the light reception signal to obtain the correction parameter. Is conceivable. This makes it possible to obtain appropriate correction parameters corresponding to the case where distance measurement is performed by the indirect ToF method as the phase difference method.
- the calibration calculation unit is configured to perform an indefiniteness elimination process for eliminating the indeterminacy of 2 ⁇ units for the phase difference. This makes it possible to perform the correction parameter calculation process using the phase difference that eliminates the indeterminacy of 2 ⁇ units.
- the calibration calculation unit emits light at the lowest emission frequency, which is the lowest emission frequency among the emission frequencies of the light emitting unit for the calibration calculation process.
- the phase difference detected from the received light signal at the time of the operation the phase difference detected from the received signal having an amplitude of a predetermined value or more was determined and determined as the phase difference corresponding to the lowest emission frequency. Based on the phase difference corresponding to the minimum emission frequency, it is conceivable to configure the process to eliminate the indeterminacy of the phase difference corresponding to the emission frequency other than the minimum emission frequency.
- phase difference corresponding to the minimum emission frequency it is possible to eliminate the indeterminacy of 2 ⁇ units by selecting the phase difference detected from the received signal whose amplitude is equal to or greater than the predetermined value as described above, and the minimum emission frequency.
- the true phase difference can be specified based on the phase difference corresponding to the lowest emission frequency in which the indeterminacy is eliminated (that is, the indeterminacy of 2 ⁇ units). Can be resolved).
- a guide display processing unit that performs display processing of a guide image that guides a composition for satisfying the condition that the ranging points are in a specific positional relationship is provided. It is conceivable to have a prepared configuration. This makes it possible to increase the possibility that the correction parameters are calibrated under the condition that the AF points are in a specific positional relationship.
- the second calibration method is to use a light emitting unit that emits light, a light receiving sensor that receives light emitted from the light emitting unit and reflected by the target object with a plurality of pixels, and a light receiving signal of the light receiving sensor. Based on this, it is a calibration method in a distance measuring device that performs distance measurement by the indirect ToF method, and is projected onto a plurality of the pixels as a calibration calculation process for obtaining a correction parameter for distance information calculated by the indirect ToF method. This is a calibration method for performing calculation processing using the condition that the respective AF points are in a specific positional relationship. Even by such a second calibration method, the same operation as that of the second ranging device according to the present technology can be obtained.
- FIG. 1 is a block diagram for explaining an internal configuration example of the ranging device 1 as the first embodiment according to the present technology.
- the distance measuring device 1 performs distance measuring by an indirect ToF (Time of Flight) method.
- the indirect ToF method is a distance measuring method that calculates the distance to the target object Ob based on the phase difference between the irradiation light Ls for the target object Ob and the reflected light Lr obtained by reflecting the irradiation light Ls by the target object Ob. be.
- the distance measuring device 1 is configured as a portable information processing device such as a smartphone or a tablet terminal having a distance measuring function by an indirect ToF method.
- the distance measuring device 1 includes a light emitting unit 2, a sensor unit 3, a lens 4, a phase difference detection unit 5, a calculation unit 6, an amplitude detection unit 7, a control unit 8, a memory unit 9, a display unit 10, and an operation.
- the unit 11 is provided.
- the light emitting unit 2 has one or a plurality of light emitting elements as a light source, and emits irradiation light Ls to the target object Ob.
- the light emitting unit 2 emits infrared light having a wavelength in the range of, for example, 780 nm to 1000 nm as the irradiation light Ls.
- the irradiation light Ls In the indirect ToF method, light whose intensity is modulated so that the intensity changes in a predetermined cycle is used as the irradiation light Ls.
- the irradiation light Ls is repeatedly emitted according to the clock CLK.
- the irradiation light Ls is not strictly a sine wave, but is substantially a sine wave.
- the frequency of the clock CLK is variable, so that the emission frequency of the irradiation light Ls is also variable.
- the emission frequency of the irradiation light Ls can be changed within a predetermined frequency range, for example, 10 MHz (megahertz) as a basic frequency.
- the sensor unit 3 has a plurality of pixels arranged in a two-dimensional array. Each pixel has a light receiving element such as a photodiode, and the light receiving element receives the reflected light Lr.
- a lens 4 is attached to the front surface of the sensor unit 3, and the reflected light Lr is collected by the lens 4 so that each pixel in the sensor unit 3 efficiently receives light.
- a clock CLK is supplied to the sensor unit 3 as a timing signal for the light receiving operation, whereby the sensor unit 3 performs the light receiving operation in synchronization with the cycle of the irradiation light Ls emitted by the light emitting unit 2.
- the sensor unit 3 accumulates the reflected light Lr for tens of thousands of cycles with respect to the cycle of the irradiation light Ls, and outputs data proportional to the accumulated light receiving amount.
- the reason for the accumulation is that although the amount of light received at one time is small, the amount of light received can be increased by accumulating tens of thousands of times, and significant data can be obtained. Therefore, the interval at which the distance measurement is performed is an interval of tens of thousands of cycles in the emission cycle of the irradiation light Ls.
- the phase difference detection unit 5 uses data proportional to the cumulative amount of received light output from each pixel of the sensor unit 3, and corresponds to the time difference from the emission timing of the irradiation light Ls to the reception timing of the reflected light Lr. Detect phase difference. This phase difference is proportional to the distance to the target object Ob.
- two FDs floating diffusions
- the accumulated charge of the light receiving element is distributed to the FD.
- the phase difference detection unit 5 detects the phase difference based on the data for each FD output from each pixel in this way.
- the calculation unit 6 calculates the distance for each pixel based on the phase difference detected by the phase difference detection unit 5 for each pixel. Specifically, the distance for each pixel is calculated by multiplying the phase difference detected by the phase difference detecting unit 5 by ⁇ c ⁇ (4 ⁇ f) ⁇ . Note that f is the emission frequency of the irradiation light Ls (frequency of the sine wave).
- the information indicating the distance for each pixel obtained by the calculation unit 6 is referred to as a “distance image”.
- the amplitude detection unit 7 detects the amplitude of the received reflected light Lr (sine wave) using data proportional to the accumulated light reception amount output from each pixel of the sensor unit 3.
- the control unit 8 is configured to include, for example, a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and for example, processes according to the program stored in the ROM. Is executed to perform overall control of the ranging device 1.
- the control unit 8 controls the operation of the light emitting unit 2 including the control of the emission frequency of the irradiation light Ls, the control of the light receiving operation by the sensor unit 3, and the execution control of the distance calculation process by the calculation unit 6.
- control unit 8 controls the display operation by the display unit 10 and performs various processes according to the operation input information from the operation unit 11.
- the display unit 10 is a display device capable of displaying an image such as a liquid crystal display or an organic EL (Eelectro-Luminescence) display, and displays various information according to the instructions of the control unit 8.
- the operation unit 11 comprehensively represents operators such as various buttons, keys, and a touch panel provided on the distance measuring device 1.
- the operation unit 11 outputs the operation input information corresponding to the operation input from the user to the control unit 8.
- the control unit 8 realizes the operation of the distance measuring device 1 according to the operation input from the user by executing the process according to the operation input information.
- the memory unit 9 is composed of, for example, a non-volatile memory, and is used for storing various data handled by the control unit 8 and the arithmetic unit 6.
- the memory unit 9 stores the information of the correction parameter used for the distance correction described later as the parameter information 9a, and this point will be described again.
- the control unit 8 has a function as a calibration calculation unit 8a. This function as the calibration calculation unit 8a requires correction parameters used for distance correction, which will be described later.
- FIG. 2A shows the time change of the emission intensity of the irradiation light Ls (sine wave) emitted from the light emitting unit 2.
- FIG. 2B shows the time change of the light receiving intensity of the reflected light Lr from the target object Ob.
- the phase difference (referred to as ⁇ ) between FIGS. 2A and 2B is proportional to the distance between the distance measuring device 1 and the target object Ob.
- the phase difference may be further shifted by 2 ⁇ (see FIG. 2C) or 4 ⁇ (see FIG. 2D).
- phase difference detecting unit 5 detects only the phase difference, it is not possible to distinguish between the cases of FIGS. 2B, 2C, and 2D. That is, it cannot be determined whether the phase difference is ⁇ + 2s ⁇ (where s is an integer of 0 or more). In terms of distance, it cannot be determined which of ⁇ ( ⁇ + 2s ⁇ ) ⁇ c ⁇ (4 ⁇ f) ⁇ (where s is an integer of 0 or more). The inability to determine which of ⁇ + 2s ⁇ is the phase difference in this way is referred to here as 2 ⁇ indefiniteness.
- ⁇ is a value of 0 or more and less than 2 ⁇ .
- the values A1 to An and B1 to Bn, ag, bg, and cg are stored. These are the parameters for performing the correction calculation.
- Circular error can be expressed by trigonometric function because it has periodicity. Therefore, the component of circular error at a frequency n times the phase observed by the sensor unit 3 is defined as An, and the phase shift at that frequency is defined as Bn.
- n can take a value from 1 to N.
- the signal propagation delay mainly considers the signal propagation delay for each pixel in the sensor unit 3.
- the signal propagation delay for each pixel is due to the difference in the time until the charge reset is performed depending on the pixel position.
- the signal propagation delay has linearity with respect to the pixel position as described in Chapter 4 of Non-Patent Document 1. Therefore, the phase shift of the entire pixel is ag, the slope of the delay amount with respect to the row direction (horizontal direction) of the pixel position is bg, and the slope of the delay amount with respect to the column direction (vertical direction) position is cg.
- ag is described as b0
- bg is described as b1
- cg is described as b2.
- the number of pixels of the sensor unit 3 is U ⁇ V
- the pixel position of the sensor unit 3 is (u, v).
- u 1 to U
- v 1 to V.
- the phase difference observed at the pixel position (u, v) (that is, the phase difference calculated by the phase difference detecting unit 5) is defined as ⁇ (u, v).
- the distance L (u, v) corresponding to the pixel position (u, v) is calculated by the following [Equation 1] including An, Bn, ag, bg, and cg as the correction parameters described above.
- the arithmetic unit 6 does not simply "multiply the phase difference ⁇ by ⁇ c ⁇ (4 ⁇ f) ⁇ ", but uses the parameters A1 to An, B1 to Bn, and ag, bg, and cg [Equation 1]. ] Shown in the calculation.
- the calculation result L (u, v) is obtained as a distance measurement result for the pixel position (u, v).
- the parameters A1 to An and B1 to Bn, ag, bg, and cg are obtained by measuring using a precise device at the time of product shipment.
- the obtained value is stored in the memory unit 9 in advance as parameter information 9a.
- calibration may be performed to update the parameters A1 to An and B1 to Bn stored as the parameter information 9a.
- calibration may be performed using the method as an embodiment, and the resulting parameters A1 to An and B1 to Bn may be stored and shipped as parameter information 9a.
- the advantage of adopting the method as an embodiment in this case is that calibration can be performed without installing a precise device in the factory.
- This process is the process of the calibration calculation unit 8a shown in FIG. 1, and is executed by the control unit 8 based on a program stored in a predetermined storage device such as the ROM described above.
- the amplitude detected by the amplitude detection unit 7 and the phase difference detected by the phase difference detection unit 5 are input to the calibration calculation unit 8a. Then, the calibration calculation unit 8a calculates the values of the parameters A1 to An and the B1 to Bn (described later), and stores the parameters in the memory unit 9 as the parameter information 9a (the values of the parameters A1 to An and B1 to Bn are overwritten). Will be). As a result, appropriate values of parameters A1 to An and B1 to Bn are always stored as parameter information 9a, and when the user causes the distance measuring device 1 to perform distance measurement, [Equation 1] The correct distance measurement result can be obtained.
- the calculation by the calibration calculation unit 8a and the overwriting process to the memory unit 9 are automatically performed, for example, according to the satisfaction of a predetermined trigger condition when the user turns on the power of the distance measuring device 1. It is possible to keep it.
- the present embodiment is characterized in that a plurality of frequencies f (emission frequencies) are used in the calibration.
- T is a natural number of 2 or more frequencies f are used.
- the frequency is referred to as f (t).
- t is from 1 to T.
- f (1) 10 MHz
- f (2) 11 MHz
- f (3) 12 MHz
- T 15.
- the circular error and the signal propagation delay depend on t. That is, for each t, the circular error and the signal propagation delay are stored as parameter information 9a in the memory unit 9 as correction parameters.
- the parameters of the circular error in t are set to A1 (t) to An (t) and B1 (t) to Bn (t).
- a (t), b (t), and c (t) of the signal propagation delay at each frequency f (t) are measured at the time of shipment from the factory. It is assumed that the parameters a (t), b (t), and c (t) of the signal propagation delay measured in advance are also stored in the memory unit 9 as the parameter information 9a.
- a (t) is referred to as b0
- b (t) is referred to as b1
- c (t) is referred to as b2.
- step S102 the calibration calculation unit 8a determines whether h is H or less. If it is H or less, the process proceeds to step S103.
- step S104 the calibration calculation unit 8a determines whether t is T or less. If it is T or less, the process proceeds to step S105.
- step S105 the calibration calculation unit 8a controls the execution of light emission and light reception by the frequency f (t). That is, the light emitting unit 2 emits the irradiation light Ls at the frequency f (t), and the sensor unit 3 receives the reflected light Lr.
- step S106 the calibration calculation unit 8a causes the phase difference detection unit 5 to detect the phase difference at each pixel position (u, v), and acquires the phase difference p (h, t, u, v), respectively. do. Then, the process proceeds to step S107.
- step S107 the calibration calculation unit 8a increments t by 1 in order to obtain data for the next frequency f, and returns to step S104.
- a small amplitude means that the amount of reflected light from the target object Ob is small, so that the reliability of the measurement data is low. Therefore, such data is discarded.
- step S109 the calibration calculation unit 8a performs a process of waiting for a predetermined time k in order to perform the next measurement (h + 1st measurement), and then increments h by 1 in step S110. , Return to the previous step S102. As a result, the phase difference p (h, t, u, v) for each of the T emission frequencies is measured H times.
- step S111 a process of eliminating the 2 ⁇ indefiniteness of the phase difference p (h, t, u, v) is performed for each h, each t, and each (u, v).
- ⁇ (h, t, u, v) be the phase difference that eliminates the 2 ⁇ indefiniteness. The details of the 2 ⁇ indefiniteness elimination process in step S111 will be described later (see FIG. 4).
- step S112 following step S111 the calibration calculation unit 8a obtains the parameters of circular error (parameters A1 (t) to An (t) and B1 (t) to Bn (t)) satisfying [Equation 3] described later. ..
- the obtained parameter is stored in the memory unit 9 as parameter information 9a (values of parameters A1 (t) to An (t) and B1 (t) to Bn (t) are overwritten).
- the calibration calculation unit 8a completes a series of processes shown in FIG. 3 in response to the execution of the process of step S112.
- Equation 2 shows the phase difference ⁇ (h, t, u, v) at the pixel position (u, v) in the hth measurement and the distance measurement target projected on the pixel position (u, v). It represents the relationship of the distance L (h, u, v) to the point (distance measuring point).
- t is from 1 to T.
- the parameters a (t), b (t), and c (t) of the signal propagation delay at each frequency f (t) can be known by reading out those stored as the parameter information 9a. ..
- t is from 1 to T.
- the parameters of An and Bn are obtained by calibration, but the factory default values are used for the signal propagation delay parameters a (t), b (t), and c (t). ..
- the parameters A1 (t) to An (t) and B1 (t) to Bn (t) satisfying [Equation 2] can be obtained. It's fine. Actually, it is obtained by the least squares method. Specifically, A1 (t) to An (t), B1 (t) to Bn (t), and L (h, u, v) that minimize [Equation 3] may be obtained.
- the present embodiment utilizes the fact that if T is 2 or more, it is possible to set (2 ⁇ N ⁇ T) + (H ⁇ U ⁇ V) ⁇ H ⁇ T ⁇ U ⁇ V.
- the feature of this embodiment is that "the phase difference is measured by using a plurality of emission frequencies (at least two different emission frequencies) for the same object".
- FIG. 4 is a flowchart showing the 2 ⁇ indefiniteness elimination process in step S111.
- the phase difference p (h, t, u, v) measured for each pixel of the sensor unit 3 has 2 ⁇ indefiniteness. That is, for each (h, t, u, v), it is unclear which of the following [Equation 4] is the true phase difference ⁇ (h, t, u, v).
- [Equation 4] is an integer of 0 or more.
- the distance to the target object Ob becomes long, the amount of light reflected by the target object Ob from the light emitting unit 2 and reaching the sensor unit 3 also decreases. That is, the received signal has a small amplitude. Further, since the data having a small amplitude is discarded in step S108, the distance to the target object Ob corresponding to the target (h, t, u, v) in step S11 is not so far. Therefore, it can be said that the distance to the target object Ob corresponding to the target (h, t, u, v) in step S111 satisfies [Equation 5].
- the irradiation light Ls emitted by the light emitting unit 2 is not a perfect sine wave, but has a waveform similar to that of a sine wave, so that the amount of circular error is small. From this point, the following [Equation 7] is established.
- s (h, t, u, v) can be determined from [Equation 9]. That is, the integer closest to the following [Equation 10] may be s (h, t, u, v).
- the calibration calculation unit 8a finishes the 2 ⁇ indefiniteness elimination process in step S111 in response to the execution of the process in step S1113.
- the indefiniteness elimination process described above can be paraphrased as follows. That is, the amplitude of the phase difference detected from the received light signal when emitting light at the lowest emission frequency (frequency f (1)), which is the lowest emission frequency for the calibration calculation process, is predetermined. The phase difference detected from the received signal above the value is determined as the phase difference corresponding to the lowest emission frequency, and the phase difference corresponding to the determined minimum emission frequency is used to correspond to other emission frequencies other than the minimum emission frequency. The process of eliminating the 2 ⁇ indefiniteness of the phase difference to be performed is performed.
- Second embodiment is to perform calibration for obtaining correction parameters in the background.
- the hardware configuration of the distance measuring device 1 is the same as that of the first embodiment, and thus the illustration is omitted. Further, in the following description, the same parts as those already described will be designated by the same reference numerals and the description thereof will be omitted.
- FIG. 5 is a flowchart of the process executed by the control unit 8 in the second embodiment.
- the process shown in FIG. 5 is started when a predetermined trigger condition is satisfied, such as when the power of the distance measuring device 1 is turned on or an application for distance measuring is started.
- the control unit 8 determines in step S201 whether a predetermined time (for example, one year or the like) has elapsed since the previous calibration. If the specified time has passed, secular variation may have occurred. Therefore, when the control unit 8 determines in step S201 that the predetermined time has elapsed, the control unit 8 executes the process as the calibration calculation unit 8a shown in FIG. On the other hand, if the predetermined time has not elapsed, it is considered that the secular variation has not occurred, and the process shown in FIG. 6 is not executed.
- a predetermined time for example, one year or the like
- step S202 the control unit 8 proceeds to step S202 and performs a process of waiting for a distance measurement instruction from a user via, for example, the operation unit 11 as a distance measurement instruction.
- the control unit 8 proceeds to step S203 to execute the distance measurement process. That is, the light emitting unit 2 executes the emission operation of the irradiation light Ls and the sensor unit 3 executes the light receiving operation of the reflected light Lr, the phase difference detection unit 5 executes the detection of the phase difference, and the calculation unit 6 calculates the distance. To execute.
- the control unit 8 returns to step S202 in response to the execution of the distance measuring process in step S203.
- the calibration is performed by the process shown in FIG. 6 between the distance measurement processes performed according to the distance measurement instruction from the user.
- the difference between the processes shown in FIG. 6 and FIG. 3 above is that the processes of steps S204 and S205 are inserted between steps S108 and S109.
- the control unit 8 (calibration calculation unit 8a) determines whether or not the distance measurement instruction has been given by proceeding to step S204 in response to the execution of the discard process in step S108. If there is no distance measurement instruction, the control unit 8 proceeds to step S109. That is, if there is no distance measurement instruction, the process is the same as in FIG. 3 (the flow of proceeding to step S109 after the process of step S108).
- control unit 8 proceeds to step S205 to execute the distance measurement process (the processing is the same as that of the previous step S203), and proceeds to step S109.
- step S205 The processing flow in FIG. 6 is basically the same as that in FIG. 3, but if a distance measuring instruction is given between step S108 and step S109 in FIG. 3, the calibration process is temporarily suspended. Therefore, the point at which distance measurement is performed (step S205) is different.
- control unit 8 proceeds to step S202 in FIG. 5 in response to the execution of the process in step S112.
- the calibration for obtaining the correction parameter can be performed in the background while the user is using the distance measuring device 1.
- FIG. 7 is a block diagram for explaining an internal configuration example of the distance measuring device 1A as the third embodiment.
- the difference from the distance measuring device 1 is that the control unit 8A is provided in place of the control unit 8.
- the control unit 8A has the same hardware configuration as the control unit 8, except that the calibration calculation process is performed by a method different from that of the first embodiment.
- the function of performing the calibration calculation process by the method as the third embodiment described below is referred to as the calibration calculation unit 8aA.
- FIG. 8 schematically shows a state in which a part of the flat plate 20 is projected on the distance measuring device 1A side.
- the control unit 8A guides the user to shoot so that the same plane on the flat plate 20 is captured in the plane shooting region Ar in this way (that is, a guide for the shooting composition).
- the guide image is displayed on the display unit 10.
- FIG. 10 is a diagram for explaining an example of a guide display at the time of calibration, including the display of such a guide image.
- the calibration inquiry screen shown in FIG. 10A is displayed.
- "Yes" button B1 and “No” button B2 are displayed together with an inquiry message as to whether or not to execute calibration such as "Do you want to calibrate?".
- the user operates the "Yes” button B1 to instruct the execution of the calibration.
- the frame screen shown in FIG. 10B is displayed.
- the frame W indicating the size of the above-mentioned plane shooting area Ar is displayed, and the same plane of the flat plate 20 is accommodated in the frame W such as "Please fit the same surface of the flat plate in the frame".
- a prompting message and a "shooting" button B3 for instructing the start of measurement of the phase difference for calibration are displayed.
- the measurement is performed H times by changing the distance.
- the frame screen shown in FIG. 10B when the “shooting” button B3 is operated and the first measurement is executed, the frame screen shown in FIG. 10C is displayed on the display unit 10.
- the difference from the frame screen of FIG. 10B is that a message prompting the user to perform shooting at a different distance, such as "Please shoot at a different position", is displayed.
- the calibration completion screen shown in FIG. 10D is displayed. As shown in the figure, on the calibration completion screen, a message such as "calibration is completed" is displayed to notify that the calibration calculation process is completed.
- an image for example, a distance image
- the user can easily adjust the composition while looking at the screen of the display unit 10.
- the object used for calibration is not limited to the flat plate 20.
- it may be the wall of the user's house or the outer wall of the building.
- FIG. 11 is a flowchart showing the flow of processing when performing calibration as the third embodiment.
- the process shown in FIG. 11 is started when a predetermined trigger condition is satisfied, such as when the power of the distance measuring device 1A is turned on or an application for distance measuring is started.
- step S301 the control unit 8A performs a process of displaying the calibration inquiry screen as illustrated in FIG. 10A on the display unit 10 as a display process of the calibration inquiry screen.
- step S302 following step S301 the control unit 8A waits until the above-mentioned "Yes” button B1 is operated, and when the "Yes” button B1 is operated, proceeds to step S303 and the frame illustrated in FIG. 10B. Perform screen display processing.
- the "No" button B2 is operated on the calibration inquiry screen, a process of transitioning to a predetermined screen such as a distance measuring screen may be performed.
- step S304 the control unit 8A waits until the "shooting" button B3 on the frame screen is operated, and when the "shooting" button B3 is operated, executes the calibration process of step S305.
- the process proceeds to step S306.
- the calibration process in step S305 is based on the condition that the AF points are in a specific positional relationship, and the details will be described later.
- step S306 the control unit 8A executes the calibration completion screen display process exemplified in FIG. 10D, and completes a series of processes shown in FIG.
- FIG. 12 is a flowchart of the calibration process in step S305.
- the calibration process shown in FIG. 12 is different from the calibration process described with reference to FIG. 3 in that the standby process (time k) in step S109 is omitted and the process in step S108 is executed.
- the difference is that the process of step S310 (shooting button standby process) is executed according to the above procedure, and the process of step S311 is executed instead of the process of step S112.
- the phase difference is measured only H times with different compositions (that is, the user moves the distance measuring device 1A). That is, in the third embodiment, it is premised that a plane having a different distance is measured each time the value of h is incremented.
- step S310 In the process of FIG. 12, in response to the execution of the discard process of step S108, the control unit 8A proceeds to step S310 and waits until the "shooting" button B3 is operated.
- the control unit 8A executes the discarding process of step S108 for the first time after the "shooting" button B3 on the frame screen illustrated in FIG. 10B is operated.
- the process of updating the frame screen to the frame screen illustrated in FIG. 10C is performed. Therefore, the "shooting" button B3 waiting for the operation in step S310 is the "shooting" button B3 in the frame screen illustrated in FIG. 10C.
- step S310 If it is determined in step S310 that the "shooting" button B3 has been operated, the control unit 8A proceeds to step S110.
- step S311 basically, the parameters of the circular error satisfying [Equation 3] as in step S112 shown in FIG. 3 above (parameters A1 (t) to An (t), B1 (t)). Bn (t)) is obtained from.
- the control unit 8A finishes the calibration process of step S305 in response to the execution of the process of step S311.
- step S311 the direction in which the pixel position (u, v) is photographed is (d x (u, v), dy (u, v), d z ( u, v)).
- the direction in which the pixel positions (u, v) are photographed is the following [Equation 11].
- the shooting direction (d x (u, v), dy (u, v), d z ( u, v)) of the pixel position (u, v) is determined by the characteristics of the lens 4. Then, for example, since the characteristics are determined when the lens 4 is designed, it can be known.
- T 1, the above inequality can be satisfied. That is, in the first embodiment, T needs to be a natural number of 2 or more, but in the third embodiment, T may be a natural number of 1 or more.
- step S111 the 2 ⁇ indefiniteness elimination process of step S111 is the same as that described with reference to FIG. 4, and therefore duplicate explanation is avoided.
- the embodiment is not limited to the specific examples described above, and various modified examples can be adopted.
- the distance measuring device according to the present technology is applied to a portable information processing device such as a smartphone, but the distance measuring device according to the present technology is limited to the application to the portable information processing device. However, it is widely and suitably applicable to various electronic devices.
- the positional relationship with the target object Ob is determined. It is desirable that it is changing. Therefore, for example, in the process of FIG. 3, it is determined whether the distance measuring device 1 is moving between steps S109 and S110 based on the detection signals of the acceleration sensor and the angular velocity sensor built in the distance measuring device 1, for example. Processing can also be provided. In this case, if the distance measuring device 1 is moving, the process proceeds to step S110, and if not, the determination process is performed again.
- the h + 1st measurement can be reliably performed on an object at a distance different from that of the hth measurement.
- a process of determining whether the distance measuring device 1A is moving is provided between steps S310 and S110, and if the distance measuring device 1 is moving, the process proceeds to step S110. If not, it is conceivable to perform the determination process again.
- the first distance measuring device (1) as the embodiment is a light emitting unit (2) that emits light and a light receiving sensor (sensor) that receives light emitted from the light emitting unit and reflected by the target object.
- the light emitting unit emits light at the first light emitting frequency as the calibration calculation process for obtaining the correction parameter for the distance information calculated by the indirect ToF method based on the light receiving signal of the light receiving sensor and the part 3).
- Calibration calculation unit that performs calculation processing using the light-receiving signal of the light-receiving sensor and the light-receiving signal of the light-receiving sensor when the light-emitting unit emits light at a second light-emitting frequency different from the first light-emitting frequency (8a). ) And.
- the preconditions for establishing the calibration can be relaxed, and the calibration can be executed even in the actual usage environment of the apparatus.
- the calibration calculation unit performs calculation processing based on the phase difference between the light emission detected based on the light reception signal and the light reception signal to obtain the correction parameter.
- the correction parameter can be obtained corresponding to the case where the distance measurement is performed by the indirect ToF method as the phase difference method.
- the calibration calculation unit performs an indefiniteness elimination process for eliminating the indeterminacy of 2 ⁇ units for the phase difference (see step S111). This makes it possible to perform the correction parameter calculation process using the phase difference that eliminates the indeterminacy of 2 ⁇ units. Therefore, the accuracy of the correction parameter can be improved, and the distance measurement accuracy can be improved.
- the calibration calculation unit emits light at the lowest emission frequency, which is the lowest emission frequency of the emission frequencies of the light emitting unit for the calibration calculation process.
- the phase difference detected from the received light signal at the time the phase difference detected from the received signal having an amplitude of a predetermined value or more is determined as the phase difference corresponding to the minimum emission frequency, and the position corresponding to the determined minimum emission frequency. Based on the phase difference, processing is performed to eliminate the indeterminacy of the phase difference corresponding to the emission frequency other than the minimum emission frequency.
- phase difference corresponding to the minimum emission frequency it is possible to eliminate the indeterminacy of 2 ⁇ units by selecting the phase difference detected from the received signal whose amplitude is equal to or greater than the predetermined value as described above, and the minimum emission frequency.
- the true phase difference can be specified based on the phase difference corresponding to the lowest emission frequency in which the indeterminacy is eliminated (that is, the indeterminacy of 2 ⁇ units). Can be resolved). Therefore, it is possible to perform the calculation process of the correction parameter based on the phase difference in which the indefiniteness of 2 ⁇ units is eliminated, and it is possible to improve the distance measurement accuracy by improving the accuracy of the correction parameter.
- the calibration calculation unit executes the calibration calculation process based on the elapsed time from the previous execution (see step S201). As a result, even if the correction parameter deviates from the true value over time, it is possible to calibrate the correction parameter again. Therefore, it is possible to prevent the ranging accuracy from deteriorating with time as the correction parameter changes with time.
- the calibration calculation process is interrupted and the distance measurement is performed. (See FIG. 6). As a result, even if the calibration calculation process is performed in the background, the calibration calculation process is interrupted when the distance measurement instruction is given, and the distance measurement operation is performed according to the instruction. Therefore, usability can be improved.
- the first calibration method as an embodiment includes a light emitting unit that emits light and a light receiving sensor that receives light emitted from the light emitting unit and reflected by the target object, and is indirectly based on the light receiving signal of the light receiving sensor. It is a calibration method in a distance measuring device that measures a distance by the ToF method, and as a calibration calculation process for obtaining a correction parameter for distance information calculated by the indirect ToF method, the light emitting unit uses a first emission frequency.
- Calibration that performs calculation processing using the light-receiving signal of the light-receiving sensor when light is emitted and the light-receiving signal of the light-receiving sensor when the light-emitting unit emits light at a second light-emitting frequency different from the first light-emitting frequency. It is a method. Even by such a first calibration method, the same operation and effect as the above-mentioned first ranging device can be obtained.
- the second ranging device (1A) as an embodiment is a light emitting unit (2) that emits light and a light receiving sensor (sensor) that receives light emitted from the light emitting unit and reflected by the target object with a plurality of pixels.
- Part 3 and the calibration calculation process for obtaining the correction parameters for the distance information calculated by the indirect ToF method based on the light receiving signal of the light receiving sensor, each ranging point projected on a plurality of pixels is specified.
- a calibration calculation unit (8aA) for performing calculation processing using the condition that the position is in the above-mentioned relationship.
- the preconditions for establishing the calibration can be relaxed, and the calibration can be executed even in the actual usage environment of the apparatus.
- the calibration can be executed even in the actual usage environment of the apparatus.
- the calibration calculation unit performs a calculation process using the condition that the ranging points are on an object having a known shape as the calibration calculation process. ing. If the distance measuring points are on an object having a known shape, the positional relationship between the distance measuring points can be defined as a mathematical formula from the known shape. Therefore, the preconditions for establishing the calibration can be relaxed, and the calibration can be executed even in the actual usage environment of the apparatus. Further, since the calibration can be executed even in the actual use environment, it is possible to absorb the change of the correction parameter due to the secular change, and it is possible to suppress the deterioration of the distance measurement accuracy with time.
- the calibration calculation unit performs the calibration calculation process with the light-receiving signal of the light-receiving sensor when the light-emitting unit emits light at the first light-emitting frequency.
- Calculation processing is performed using the light receiving signal of the light receiving sensor when the unit emits light at a second light emitting frequency different from the first light emitting frequency (see FIG. 12). That is, as the calibration calculation process, the calculation process using a plurality of emission frequencies is performed while using the condition that the AF points are in a specific positional relationship, whereby the number of equations for the unknown number is performed. Can be increased. Therefore, the correction parameters can be obtained more robustly, and the distance measurement accuracy can be improved.
- the calibration calculation unit performs calculation processing based on the phase difference between the light emission detected based on the light reception signal and the light reception signal to obtain the correction parameter.
- the correction parameter can be obtained corresponding to the case where the distance measurement is performed by the indirect ToF method as the phase difference method.
- the calibration calculation unit performs an indefiniteness elimination process for eliminating the indeterminacy of 2 ⁇ units for the phase difference. This makes it possible to perform the correction parameter calculation process using the phase difference that eliminates the indeterminacy of 2 ⁇ units. Therefore, the accuracy of the correction parameter can be improved, and the distance measurement accuracy can be improved.
- the calibration calculation unit when the calibration calculation unit emits light at the lowest emission frequency, which is the lowest emission frequency among the emission frequencies of the light emitting unit for the calibration calculation process.
- the phase difference detected from the received light signal of the phase difference detected from the received signal having an amplitude of a predetermined value or more is determined as the phase difference corresponding to the minimum emission frequency, and the phase difference corresponding to the determined minimum emission frequency is determined. Based on the above, a process is performed to eliminate the indeterminacy of the phase difference corresponding to the emission frequency other than the minimum emission frequency.
- the phase difference corresponding to the minimum emission frequency it is possible to eliminate the indeterminacy of 2 ⁇ units by selecting the phase difference detected from the received signal whose amplitude is equal to or greater than the predetermined value as described above, and the minimum emission frequency.
- the true phase difference can be specified based on the phase difference corresponding to the lowest emission frequency in which the indeterminacy is eliminated (that is, the indeterminacy of 2 ⁇ units). Can be resolved). Therefore, the correction parameter can be calculated based on the phase difference that eliminates the indeterminacy of 2 ⁇ units, and the distance measurement accuracy can be improved by improving the accuracy of the correction parameter.
- a guide display processing unit that performs display processing of a guide image that guides a composition for satisfying the condition that the ranging points are in a specific positional relationship is provided. (See Control Unit 8A, FIGS. 10 and 11). This makes it possible to increase the possibility that the correction parameters are calibrated under the condition that the AF points are in a specific positional relationship. Therefore, the accuracy of the correction parameter can be improved, and the distance measurement accuracy can be improved.
- the second calibration method as an embodiment is to use a light emitting unit that emits light, a light receiving sensor that receives light emitted from the light emitting unit and reflected by the target object with a plurality of pixels, and a light receiving signal of the light receiving sensor. Based on this, it is a calibration method in a distance measuring device that performs distance measurement by the indirect ToF method, and is projected onto a plurality of pixels as a calibration calculation process for obtaining correction parameters for distance information calculated by the indirect ToF method. This is a calibration method that performs calculation processing using the condition that the AF points are in a specific positional relationship. The same operation and effect as the above-mentioned second ranging device can be obtained by such a second calibration method.
- the present technology can also adopt the following configurations.
- a calibration calculation unit that performs calculation processing using the light receiving signal of the light receiving signal and the light receiving signal of the light receiving sensor when the light emitting unit emits light at a second light emitting frequency different from the first light emitting frequency.
- a distance measuring device equipped with is
- the calibration calculation unit is The distance measuring device according to (1) above, wherein the correction parameter is obtained by performing a calculation process based on the phase difference between the light emission detected based on the light reception signal and the light reception signal.
- the calibration calculation unit is The distance measuring device according to (2) above, which performs an indefiniteness elimination process for eliminating indefiniteness in units of 2 ⁇ with respect to the phase difference.
- the calibration calculation unit is Of the phase difference detected from the received light signal when light emission is performed at the lowest light emitting frequency, which is the lowest light emitting frequency of the light emitting unit for the calibration calculation process, the amplitude is equal to or higher than a predetermined value.
- the phase difference detected from the received light signal is determined as the phase difference corresponding to the minimum emission frequency, and based on the phase difference corresponding to the determined minimum emission frequency, other than the minimum emission frequency.
- the distance measuring device according to (3) above which performs a process of eliminating the indeterminacy of the phase difference corresponding to the emission frequency.
- the calibration calculation unit is The distance measuring device according to any one of (1) to (4), wherein the calibration calculation process is executed based on the elapsed time from the previous execution.
- the calibration calculation unit is If a distance measurement instruction is given during the execution of the calibration calculation process, the calibration calculation process is interrupted and the process for distance measurement is performed. Described in any one of (1) to (5) above. Distance measuring device.
- a distance measuring device that includes a light emitting unit that emits light and a light receiving sensor that receives light emitted from the light emitting unit and reflected by a target object, and performs distance measurement by an indirect ToF method based on the light receiving signal of the light receiving sensor. It ’s a method As a calibration calculation process for obtaining a correction parameter for the distance information calculated by the indirect ToF method, the light receiving signal of the light receiving sensor when the light emitting unit emits light at the first light emitting frequency and the light emission. A calibration method for performing a calculation process using the light receiving signal of the light receiving sensor when the unit emits light at a second light emitting frequency different from the first light emitting frequency.
- a calibration calculation process for obtaining a correction parameter for distance information calculated by an indirect ToF method based on a light receiving signal of the light receiving sensor each distance measuring point projected on a plurality of the pixels has a specific positional relationship.
- the calibration calculation unit is The distance measuring device according to (8), wherein the calibration calculation process performs a calculation process using the condition that the distance measuring points are on an object having a known shape.
- the calibration calculation unit is As the calibration calculation process, the light receiving signal of the light receiving sensor when the light emitting unit emits light at the first light emitting frequency and the second light emitting frequency at which the light emitting unit is different from the first light emitting frequency are used.
- the calibration calculation unit is The distance measuring device according to any one of (8) to (10) above, wherein the correction parameter is obtained by performing a calculation process based on the phase difference between the light emission detected based on the light reception signal and the light reception signal.
- the calibration calculation unit is The distance measuring device according to (11) above, which performs an indefiniteness elimination process for eliminating indefiniteness in units of 2 ⁇ with respect to the phase difference.
- the calibration calculation unit is Of the phase difference detected from the received light signal when light emission is performed at the lowest light emitting frequency, which is the lowest light emitting frequency of the light emitting unit for the calibration calculation process, the amplitude is equal to or higher than a predetermined value.
- the phase difference detected from the received light signal is determined as the phase difference corresponding to the minimum emission frequency, and based on the phase difference corresponding to the determined minimum emission frequency, other than the minimum emission frequency.
- the distance measuring device according to (12) above which performs a process of eliminating the indeterminacy of the phase difference corresponding to the emission frequency.
- a guide display processing unit that performs display processing of a guide image that guides a composition for satisfying the condition that the distance measuring points are in a specific positional relationship.
- Distance measuring device (15) A light emitting unit that emits light, a light receiving sensor that receives light emitted from the light emitting unit and reflected by a target object with a plurality of pixels, and a distance measuring device that performs distance measurement by an indirect ToF method based on the light receiving signal of the light receiving sensor.
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
技術に係る測距装置は、光を発する発光部と、発光部より発せられ対象物体で反射された光を受光する受光センサと、受光センサの受光信号に基づき間接ToF方式により計算される距離情報についての補正パラメータを求めるためのキャリブレーション計算処理として、発光部が第一の発光周波数による発光を行った際の受光センサの受光信号と、発光部が第一の発光周波数とは異なる第二の発光周波数による発光を行った際の受光センサの受光信号とを用いた計算処理を行うキャリブレーション計算部とを備えている。
Description
本技術は、測距装置とそのキャリブレーション方法とに関するものであり、特には、間接ToF方式により計算される距離情報についての補正パラメータを求めるための技術に関する。
対象物体までの距離を測定するための各種の測距技術が知られており、近年では、例えばToF(Time of Flight:光飛行時間)方式による測距技術が注目されている。
ToF方式としては、直接ToF(Direct ToF)方式と間接ToF(Indirect ToF)方式とが知られている。
ToF方式としては、直接ToF(Direct ToF)方式と間接ToF(Indirect ToF)方式とが知られている。
これらToF方式のうち、間接ToF方式では、サイン波の光を発光し、対象物体に当たり反射してきた光を受光することで測距を行う。
この際、受光するセンサは、二次元アレイ状に配置された画素を有する。各画素は、受光素子を有し、光を取り込むことができる。そして、各画素は、発光する光の位相に同期しながら受光することで、受光されたサイン波の位相及び振幅を得ることができる。なお、位相の基準は、発光されたサイン波を基準とする。
この際、受光するセンサは、二次元アレイ状に配置された画素を有する。各画素は、受光素子を有し、光を取り込むことができる。そして、各画素は、発光する光の位相に同期しながら受光することで、受光されたサイン波の位相及び振幅を得ることができる。なお、位相の基準は、発光されたサイン波を基準とする。
各画素の位相は、発光部からの光が対象物体での反射を経てセンサに入力されるまでの時間に対応している。従って、位相を2πfで除算し、さらに、光速(以下「c」とする)を乗算して2で除算することで、その画素に投影される測距対象の点(測距点)についての距離を算出することができる。なお、fは発光するサイン波の周波数を意味する。
ここで、間接ToFにおいて、実際に発光される光は、厳密にはサイン波ではない(例えば、方形波)。そのため、上記計算により算出された距離は、厳密には正しい距離ではない。このように発光される光がサイン波でないことに起因して距離に誤差を生じさせる要素は、「circular error(循環エラー)」として知られている。
このcircular errorを求めることができれば、該circular errorを用いた距離の補正を行うことで、正しい距離を求めることができる。
このcircular errorを求めることができれば、該circular errorを用いた距離の補正を行うことで、正しい距離を求めることができる。
下記非特許文献1には、このcircular errorとしての補正パラメータを用いて距離の補正を行う技術が開示されている。
Fuchs,S.,May,S.:Calibration and registration for precise surface reconstruction with time-of-flight cameras.Int.J.Intell.Syst.Technol.Appl.5,274-284(2008)
ここで、従来、circular errorとしての補正パラメータを求めるためのキャリブレーションは、対象物体までの距離が既知の距離であることを条件として行われており、対象物体を該既知の距離に厳密に配置して行うことを要するものであった。このため、従来のキャリブレーションは、製品出荷前において精密な装置を用いて行われており、製品出荷後の実使用環境において行うことが非常に困難とされていた。
本技術は上記事情に鑑み為されたものであり、間接ToF方式により計算される距離情報についての補正パラメータを求めるためのキャリブレーションを、装置の実使用環境下において実行可能とすることを目的とする。
本技術に係る第一の測距装置は、光を発する発光部と、前記発光部より発せられ対象物体で反射された光を受光する受光センサと、前記受光センサの受光信号に基づき間接ToF方式により計算される距離情報についての補正パラメータを求めるためのキャリブレーション計算処理として、前記発光部が第一の発光周波数による発光を行った際の前記受光センサの受光信号と、前記発光部が前記第一の発光周波数とは異なる第二の発光周波数による発光を行った際の前記受光センサの受光信号とを用いた計算処理を行うキャリブレーション計算部と、を備えたものである。
複数の発光周波数を用いることで、対象物体までの距離が不定であっても補正パラメータを求めることが可能となる。
複数の発光周波数を用いることで、対象物体までの距離が不定であっても補正パラメータを求めることが可能となる。
上記した本技術に係る第一の測距装置においては、前記キャリブレーション計算部は、前記受光信号に基づき検出される発光と受光間の位相差に基づく計算処理を行って前記補正パラメータを求める構成とすることが考えられる。
これにより、位相差法としての間接ToF方式による測距を行う場合に対応して適切な補正パラメータを求めることが可能となる。
これにより、位相差法としての間接ToF方式による測距を行う場合に対応して適切な補正パラメータを求めることが可能となる。
上記した本技術に係る第一の測距装置においては、前記キャリブレーション計算部は、前記位相差について、2π単位の不定性を解消する不定性解消処理を行う構成とすることが考えられる。
これにより、2π単位の不定性を解消した位相差を用いて補正パラメータの計算処理を行うことが可能となる。
これにより、2π単位の不定性を解消した位相差を用いて補正パラメータの計算処理を行うことが可能となる。
上記した本技術に係る第一の測距装置においては、前記キャリブレーション計算部は、前記キャリブレーション計算処理のための前記発光部の発光周波数のうち最低の発光周波数である最低発光周波数による発光を行った際の前記受光信号から検出された前記位相差のうち、振幅が所定値以上の前記受光信号から検出された前記位相差を前記最低発光周波数に対応する位相差として決定すると共に、決定した前記最低発光周波数に対応する位相差に基づいて、前記最低発光周波数以外の他の前記発光周波数に対応する前記位相差についての前記不定性を解消する処理を行う構成とすることが考えられる。
最低発光周波数に対応する位相差については、上記のように振幅が所定値以上の受光信号から検出された位相差を選ぶことで、2π単位の不定性を解消することが可能となり、最低発光周波数以外の他の発光周波数に対応する位相差については、このように不定性が解消された最低発光周波数に対応する位相差に基づき、真の位相差を特定可能となる(つまり2π単位の不定性を解消可能となる)。
最低発光周波数に対応する位相差については、上記のように振幅が所定値以上の受光信号から検出された位相差を選ぶことで、2π単位の不定性を解消することが可能となり、最低発光周波数以外の他の発光周波数に対応する位相差については、このように不定性が解消された最低発光周波数に対応する位相差に基づき、真の位相差を特定可能となる(つまり2π単位の不定性を解消可能となる)。
上記した本技術に係る第一の測距装置においては、前記キャリブレーション計算部は、前記キャリブレーション計算処理を前回実行時からの経過時間に基づき実行する構成とすることが考えられる。
これにより、補正パラメータが経時的に真値から乖離してしまう場合であっても、補正パラメータのキャリブレーションをやり直すことが可能となる。
これにより、補正パラメータが経時的に真値から乖離してしまう場合であっても、補正パラメータのキャリブレーションをやり直すことが可能となる。
上記した本技術に係る第一の測距装置においては、前記キャリブレーション計算部は、前記キャリブレーション計算処理の実行中に測距の指示が行われた場合は、前記キャリブレーション計算処理を中断して測距のための処理を行う構成とすることが考えられる。
これにより、キャリブレーション計算処理がバックグラウンドで行われる場合であっても、測距の指示があった場合はキャリブレーション計算処理が中断され、指示に応じて測距動作が行われる。
これにより、キャリブレーション計算処理がバックグラウンドで行われる場合であっても、測距の指示があった場合はキャリブレーション計算処理が中断され、指示に応じて測距動作が行われる。
本技術に係る第一のキャリブレーション方法は、光を発する発光部と、前記発光部より発せられ対象物体で反射された光を受光する受光センサとを備え、前記受光センサの受光信号に基づき間接ToF方式による測距を行う測距装置におけるキャリブレーション方法であって、前記間接ToF方式により計算される距離情報についての補正パラメータを求めるためのキャリブレーション計算処理として、前記発光部が第一の発光周波数による発光を行った際の前記受光センサの受光信号と、前記発光部が前記第一の発光周波数とは異なる第二の発光周波数による発光を行った際の前記受光センサの受光信号とを用いた計算処理を行うキャリブレーション方法である。
このような第一のキャリブレーション方法によっても、上記した本技術に係る第一の測距装置と同様の作用が得られる。
このような第一のキャリブレーション方法によっても、上記した本技術に係る第一の測距装置と同様の作用が得られる。
本技術に係る第二の測距装置は、光を発する発光部と、前記発光部より発せられ対象物体で反射された光を複数の画素で受光する受光センサと、前記受光センサの受光信号に基づき間接ToF方式により計算される距離情報についての補正パラメータを求めるためのキャリブレーション計算処理として、複数の前記画素に投影されるそれぞれの測距点同士が特定の位置関係にあるとの条件を用いた計算処理を行うキャリブレーション計算部と、を備えたものである。
上記のように測距点同士が特定の位置関係にあるとの条件を用いることで、対象物体までの距離が不定であっても補正パラメータを求めることが可能となる。
上記のように測距点同士が特定の位置関係にあるとの条件を用いることで、対象物体までの距離が不定であっても補正パラメータを求めることが可能となる。
上記した本技術に係る第二の測距装置においては、前記キャリブレーション計算部は、前記キャリブレーション計算処理として、前記測距点同士が既知の形状の物体上にあるとの条件を用いた計算処理を行う構成とすることが考えられる。
測距点同士が既知の形状の物体上にあれば、該既知の形状より、測距点同士の位置関係を数式として定義することが可能となる。
測距点同士が既知の形状の物体上にあれば、該既知の形状より、測距点同士の位置関係を数式として定義することが可能となる。
上記した本技術に係る第二の測距装置においては、前記キャリブレーション計算部は、前記キャリブレーション計算処理として、前記発光部が第一の発光周波数による発光を行った際の前記受光センサの受光信号と、前記発光部が前記第一の発光周波数とは異なる第二の発光周波数による発光を行った際の前記受光センサの受光信号とを用いた計算処理を行う構成とすることが考えられる。
すなわち、キャリブレーション計算処理として、各測距点同士が特定の位置関係にあるとの条件を用いながら複数の発光周波数を用いた計算処理を行うものであり、これにより、未知数に対し式の数を増やすことが可能となる。
すなわち、キャリブレーション計算処理として、各測距点同士が特定の位置関係にあるとの条件を用いながら複数の発光周波数を用いた計算処理を行うものであり、これにより、未知数に対し式の数を増やすことが可能となる。
上記した本技術に係る第二の測距装置においては、前記キャリブレーション計算部は、前記受光信号に基づき検出される発光と受光間の位相差に基づく計算処理を行って前記補正パラメータを求める構成とすることが考えられる。
これにより、位相差法としての間接ToF方式による測距を行う場合に対応して適切な補正パラメータを求めることが可能となる。
これにより、位相差法としての間接ToF方式による測距を行う場合に対応して適切な補正パラメータを求めることが可能となる。
上記した本技術に係る第二の測距装置においては、前記キャリブレーション計算部は、前記位相差について、2π単位の不定性を解消する不定性解消処理を行う構成とすることが考えられる。
これにより、2π単位の不定性を解消した位相差を用いて補正パラメータの計算処理を行うことが可能となる。
これにより、2π単位の不定性を解消した位相差を用いて補正パラメータの計算処理を行うことが可能となる。
上記した本技術に係る第二の測距装置においては、前記キャリブレーション計算部は、前記キャリブレーション計算処理のための前記発光部の発光周波数のうち最低の発光周波数である最低発光周波数による発光を行った際の前記受光信号から検出された前記位相差のうち、振幅が所定値以上の前記受光信号から検出された前記位相差を前記最低発光周波数に対応する位相差として決定すると共に、決定した前記最低発光周波数に対応する位相差に基づいて、前記最低発光周波数以外の他の前記発光周波数に対応する前記位相差についての前記不定性を解消する処理を行う構成とすることが考えられる。
最低発光周波数に対応する位相差については、上記のように振幅が所定値以上の受光信号から検出された位相差を選ぶことで、2π単位の不定性を解消することが可能となり、最低発光周波数以外の他の発光周波数に対応する位相差については、このように不定性が解消された最低発光周波数に対応する位相差に基づき、真の位相差を特定可能となる(つまり2π単位の不定性を解消可能となる)。
最低発光周波数に対応する位相差については、上記のように振幅が所定値以上の受光信号から検出された位相差を選ぶことで、2π単位の不定性を解消することが可能となり、最低発光周波数以外の他の発光周波数に対応する位相差については、このように不定性が解消された最低発光周波数に対応する位相差に基づき、真の位相差を特定可能となる(つまり2π単位の不定性を解消可能となる)。
上記した本技術に係る第二の測距装置においては、前記測距点同士が特定の位置関係にあるとの条件を満たすための構図をガイドするガイド画像の表示処理を行うガイド表示処理部を備えた構成とすることが考えられる。
これにより、測距点同士が特定の位置関係にあるとの条件下で補正パラメータのキャリブレーションが行われる可能性を高めることが可能となる。
これにより、測距点同士が特定の位置関係にあるとの条件下で補正パラメータのキャリブレーションが行われる可能性を高めることが可能となる。
本技術に係る第二のキャリブレーション方法は、光を発する発光部と、前記発光部より発せられ対象物体で反射された光を複数の画素で受光する受光センサと、前記受光センサの受光信号に基づき間接ToF方式による測距を行う測距装置におけるキャリブレーション方法であって、前記間接ToF方式により計算される距離情報についての補正パラメータを求めるためのキャリブレーション計算処理として、複数の前記画素に投影されるそれぞれの測距点同士が特定の位置関係にあるとの条件を用いた計算処理を行うキャリブレーション方法である。
このような第二のキャリブレーション方法によっても、上記した本技術に係る第二の測距装置と同様の作用が得られる。
このような第二のキャリブレーション方法によっても、上記した本技術に係る第二の測距装置と同様の作用が得られる。
以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。
<1.第一実施形態>
[1-1.測距装置の構成]
[1-2.2π不定性について]
[1-3.第一実施形態としてのキャリブレーション手法]
<2.第二実施形態>
<3.第三実施形態>
<4.変形例>
<5.実施形態のまとめ>
<6.本技術>
<1.第一実施形態>
[1-1.測距装置の構成]
[1-2.2π不定性について]
[1-3.第一実施形態としてのキャリブレーション手法]
<2.第二実施形態>
<3.第三実施形態>
<4.変形例>
<5.実施形態のまとめ>
<6.本技術>
<1.第一実施形態>
[1-1.測距装置の構成]
図1は、本技術に係る第一実施形態としての測距装置1の内部構成例を説明するためのブロック図である。
測距装置1は、間接ToF(Time of Flight:光飛行時間)方式による測距を行う。間接ToF方式は、対象物体Obに対する照射光Lsと、照射光Lsが対象物体Obで反射されて得られる反射光Lrとの位相差に基づいて対象物体Obまでの距離を算出する測距方式である。
本例において、測距装置1は、間接ToF方式による測距機能を有するスマートフォン、タブレット端末等の携帯型情報処理装置として構成されている。
[1-1.測距装置の構成]
図1は、本技術に係る第一実施形態としての測距装置1の内部構成例を説明するためのブロック図である。
測距装置1は、間接ToF(Time of Flight:光飛行時間)方式による測距を行う。間接ToF方式は、対象物体Obに対する照射光Lsと、照射光Lsが対象物体Obで反射されて得られる反射光Lrとの位相差に基づいて対象物体Obまでの距離を算出する測距方式である。
本例において、測距装置1は、間接ToF方式による測距機能を有するスマートフォン、タブレット端末等の携帯型情報処理装置として構成されている。
図示のように測距装置1は、発光部2、センサ部3、レンズ4、位相差検出部5、演算部6、振幅検出部7、制御部8、メモリ部9、表示部10、及び操作部11を備えている。
発光部2は、光源として一又は複数の発光素子を有し、対象物体Obに対する照射光Lsを発する。本例において、発光部2は、照射光Lsとして例えば波長が780nmから1000nmの範囲の赤外光を発光する。
間接ToF方式においては、照射光Lsとして所定の周期で強度が変化するように強度変調された光が用いられる。具体的に、本例では、クロックCLKに従って照射光Lsを繰り返し発光する。この場合、照射光Lsは厳密にはサイン波とはならないが、略サイン波となる。
本例において、クロックCLKの周波数は可変とされ、これにより照射光Lsの発光周波数も可変とされる。照射光Lsの発光周波数は、例えば10MHz(メガヘルツ)を基本の周波数として、所定の周波数範囲内で変更可能とされている。
発光部2は、光源として一又は複数の発光素子を有し、対象物体Obに対する照射光Lsを発する。本例において、発光部2は、照射光Lsとして例えば波長が780nmから1000nmの範囲の赤外光を発光する。
間接ToF方式においては、照射光Lsとして所定の周期で強度が変化するように強度変調された光が用いられる。具体的に、本例では、クロックCLKに従って照射光Lsを繰り返し発光する。この場合、照射光Lsは厳密にはサイン波とはならないが、略サイン波となる。
本例において、クロックCLKの周波数は可変とされ、これにより照射光Lsの発光周波数も可変とされる。照射光Lsの発光周波数は、例えば10MHz(メガヘルツ)を基本の周波数として、所定の周波数範囲内で変更可能とされている。
センサ部3は、二次元アレイ状に配列された複数の画素を有する。各画素は、例えばフォトダイオード等の受光素子を有しており、該受光素子は、反射光Lrを受光する。センサ部3の前面にはレンズ4が取り付けられており、このレンズ4により反射光Lrが集光されて、センサ部3内の各画素に効率よく受光されるようになっている。
センサ部3には、受光動作のタイミング信号としてクロックCLKが供給され、これによりセンサ部3は、発光部2が発する照射光Lsの周期と同期して受光動作を行う。
センサ部3においては、照射光Lsの周期に対して、数万回の周期分の反射光Lrの累積を行い、累積された受光量に比例するデータを出力する。なお、累積する理由は、1回の受光はわずかな量であるが、数万回の累積により受光量を稼ぐことができ、有意なデータを取得できるからである。従って、測距が行われる間隔は、照射光Lsの発光サイクルで数万サイクル分の間隔となる。
センサ部3においては、照射光Lsの周期に対して、数万回の周期分の反射光Lrの累積を行い、累積された受光量に比例するデータを出力する。なお、累積する理由は、1回の受光はわずかな量であるが、数万回の累積により受光量を稼ぐことができ、有意なデータを取得できるからである。従って、測距が行われる間隔は、照射光Lsの発光サイクルで数万サイクル分の間隔となる。
位相差検出部5は、センサ部3の各画素から出力される累積された受光量に比例するデータを用いて、照射光Lsの発光タイミングから反射光Lrの受光タイミングまでの時間差に相当する位相差を検出する。この位相差は、対象物体Obまでの距離に比例するものである。
なお、図示による説明は省略するが、間接ToF方式では、センサ部3の各画素において、一つの受光素子につき二つのFD(フローティングディフュージョン)が設けられ、照射光Lsの一発光周期内においてこれらのFDに受光素子の蓄積電荷が振り分けられる。そして、照射光Lsの数万発光サイクル分の期間にわたりこれらのFDに累積された電荷に比例するデータが、それぞれ各画素から出力される。位相差検出部5は、このように各画素から出力されるFDごとのデータに基づいて位相差を検出する。
なお、図示による説明は省略するが、間接ToF方式では、センサ部3の各画素において、一つの受光素子につき二つのFD(フローティングディフュージョン)が設けられ、照射光Lsの一発光周期内においてこれらのFDに受光素子の蓄積電荷が振り分けられる。そして、照射光Lsの数万発光サイクル分の期間にわたりこれらのFDに累積された電荷に比例するデータが、それぞれ各画素から出力される。位相差検出部5は、このように各画素から出力されるFDごとのデータに基づいて位相差を検出する。
演算部6は、位相差検出部5が画素ごとに検出した位相差に基づき、画素ごとに距離を計算する。具体的には、位相差検出部5が検出した位相差を{c÷(4πf)}で乗算することで、画素ごとの距離を計算する。なお、fは照射光Lsの発光周波数(サイン波の周波数)である。
以下、演算部6により得られる画素ごとの距離を示した情報のことを、「距離画像」と表記する。
以下、演算部6により得られる画素ごとの距離を示した情報のことを、「距離画像」と表記する。
振幅検出部7は、センサ部3の各画素から出力される累積された受光量に比例するデータを用いて、受光された反射光Lr(サイン波)の振幅を検出する。
制御部8は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を有するマイクロコンピュータを備えて構成され、例えば上記のROMに格納されたプログラムに従った処理を実行することで、測距装置1の全体制御を行う。
例えば制御部8は、照射光Lsの発光周波数の制御を含む発光部2の動作制御や,センサ部3による受光動作の制御、及び演算部6による距離の計算処理の実行制御を行う。
例えば制御部8は、照射光Lsの発光周波数の制御を含む発光部2の動作制御や,センサ部3による受光動作の制御、及び演算部6による距離の計算処理の実行制御を行う。
また、制御部8は、表示部10による表示動作の制御や,操作部11からの操作入力情報に応じた各種処理を行う。
表示部10は、例えば液晶ディスプレイや有機EL(Eelectro-Luminescence)ディスプレイ等の画像表示が可能な表示デバイスとされ、制御部8の指示に従って各種の情報表示を行う。
操作部11は、測距装置1に設けられた例えば各種のボタンやキー、タッチパネル等の操作子を包括的に表したものである。操作部11は、ユーザからの操作入力に応じた操作入力情報を制御部8に出力する。制御部8は、操作入力情報に応じた処理を実行することで、ユーザからの操作入力に応じた測距装置1の動作を実現する。
表示部10は、例えば液晶ディスプレイや有機EL(Eelectro-Luminescence)ディスプレイ等の画像表示が可能な表示デバイスとされ、制御部8の指示に従って各種の情報表示を行う。
操作部11は、測距装置1に設けられた例えば各種のボタンやキー、タッチパネル等の操作子を包括的に表したものである。操作部11は、ユーザからの操作入力に応じた操作入力情報を制御部8に出力する。制御部8は、操作入力情報に応じた処理を実行することで、ユーザからの操作入力に応じた測距装置1の動作を実現する。
メモリ部9は、例えば不揮発性メモリで構成され、制御部8や演算部6が扱う各種データの記憶に用いられる。本実施形態では、このメモリ部9には、後述する距離の補正に用いる補正パラメータの情報がパラメータ情報9aとして記憶されるが、この点については改めて説明する。
制御部8は、キャリブレーション計算部8aとしての機能を有する。このキャリブレーション計算部8aとしての機能により、距離の補正に用いる補正パラメータが求められるものとなるが、この点については後に改めて説明する。
[1-2.2π不定性について]
図2を参照し、位相差の2π単位の不定性(以下「2π不定性」と表記する)について説明する。
図2Aは、発光部2から発光される照射光Ls(サイン波)の発光強度の時間変化を示している。図2Bは、対象物体Obからの反射光Lrの受光強度の時間変化を示している。図2Aと図2Bの位相差(δとする)は、測距装置1と対象物体Obとの間の距離に比例する。
ここで、対象物体Obの位置がさらに遠くにあると、位相差はさらに2πずれる場合もあれば(図2C参照)、4πずれる場合もある(図2D参照)。さらに、6π以上のずれも考えられる。
位相差検出部5では、位相差のみを検出するので、図2B、図2C、図2Dの場合を区別することができない。つまり、位相差は、δ+2sπ(ただしsは0以上の整数)の何れであるか確定できない。距離で述べるなら、{(δ+2sπ)×c÷(4πf)}(ただしsは0以上の整数)の何れであるか確定できない。このように位相差について、δ+2sπの何れであるかを確定できないことを、ここでは2π不定性と呼んでいる。
なお、間接ToF方式では、一般的にはs=0の値を出力している。すなわち、δ×c÷(4πf)を距離として出力している。ここで、δは0以上2π未満の値である。
図2を参照し、位相差の2π単位の不定性(以下「2π不定性」と表記する)について説明する。
図2Aは、発光部2から発光される照射光Ls(サイン波)の発光強度の時間変化を示している。図2Bは、対象物体Obからの反射光Lrの受光強度の時間変化を示している。図2Aと図2Bの位相差(δとする)は、測距装置1と対象物体Obとの間の距離に比例する。
ここで、対象物体Obの位置がさらに遠くにあると、位相差はさらに2πずれる場合もあれば(図2C参照)、4πずれる場合もある(図2D参照)。さらに、6π以上のずれも考えられる。
位相差検出部5では、位相差のみを検出するので、図2B、図2C、図2Dの場合を区別することができない。つまり、位相差は、δ+2sπ(ただしsは0以上の整数)の何れであるか確定できない。距離で述べるなら、{(δ+2sπ)×c÷(4πf)}(ただしsは0以上の整数)の何れであるか確定できない。このように位相差について、δ+2sπの何れであるかを確定できないことを、ここでは2π不定性と呼んでいる。
なお、間接ToF方式では、一般的にはs=0の値を出力している。すなわち、δ×c÷(4πf)を距離として出力している。ここで、δは0以上2π未満の値である。
[1-3.第一実施形態としてのキャリブレーション手法]
ここで、先に述べたように、照射光Lsは、実際には完璧なサイン波ではないため、演算部6における距離の計算においては補正が必要となる。補正の計算をするためのパラメータは、メモリ部9においてパラメータ情報9aとして記憶される。従って、演算部6では、単に「位相差を{c÷(4πf)}で乗算する」だけでなく、複雑な計算を行っている。この「複雑な計算」について、以下で述べる。
ここで、先に述べたように、照射光Lsは、実際には完璧なサイン波ではないため、演算部6における距離の計算においては補正が必要となる。補正の計算をするためのパラメータは、メモリ部9においてパラメータ情報9aとして記憶される。従って、演算部6では、単に「位相差を{c÷(4πf)}で乗算する」だけでなく、複雑な計算を行っている。この「複雑な計算」について、以下で述べる。
パラメータ情報9aとしては、A1からAn、B1からBn、ag、bg、cgという値が記憶される。これらが、補正計算をするためのパラメータである。なお、Nは所定の値であり、例えばN=20である。
非特許文献1の4章に記載されている通り、circular error(循環エラー)とsignal propagation delay(信号伝播遅延)を補正する必要がある。
circular errorは、周期性があるので、三角関数で表現できる。そこで、センサ部3で観測される位相のn倍の周波数におけるcircular errorの成分をAn、その周波数における位相ずれをBnとする。ここで、nは、1からNの値をとり得る。
signal propagation delayは、主にセンサ部3における画素ごとの信号伝播遅延を考慮したものである。画素ごとの信号伝播遅延は、画素位置によって電荷リセットが行われるまでの時間に差があることに起因したものである。
signal propagation delayは、非特許文献1の4章に記載されるように、画素位置について線形性がある。そこで、画素全体の位相ずれをag、画素位置の行方向(横方向)の位置に対する遅延量の傾きをbg、列方向(縦方向)の位置に対する遅延量の傾きをcgとする。なお、非特許文献1の4章では、agをb0、bgをb1、cgをb2と記してある。
signal propagation delayは、非特許文献1の4章に記載されるように、画素位置について線形性がある。そこで、画素全体の位相ずれをag、画素位置の行方向(横方向)の位置に対する遅延量の傾きをbg、列方向(縦方向)の位置に対する遅延量の傾きをcgとする。なお、非特許文献1の4章では、agをb0、bgをb1、cgをb2と記してある。
ここで、センサ部3の画素数をU×Vとし、センサ部3の画素位置を(u,v)とする。この場合、u=1からU、v=1からVである。
また、画素位置(u,v)において観測される位相差(すなわち、位相差検出部5にて計算される位相差)をθ(u,v)とする。
画素位置(u,v)に対応する距離L(u,v)は、上記した補正パラメータとしてのAn、Bnやag、bg、cgを含んだ下記[式1]により計算されるものである。
また、画素位置(u,v)において観測される位相差(すなわち、位相差検出部5にて計算される位相差)をθ(u,v)とする。
画素位置(u,v)に対応する距離L(u,v)は、上記した補正パラメータとしてのAn、Bnやag、bg、cgを含んだ下記[式1]により計算されるものである。
すなわち、演算部6では、単に「位相差θを{c÷(4πf)}で乗算する」のではなく、パラメータA1からAn、B1からBn、及びag、bg、cgを使用して[式1]に示す計算を行う。その計算結果であるL(u,v)を画素位置(u,v)に対する測距結果として得る。
なお、パラメータA1からAn、B1からBn、ag、bg、cgは、製品出荷時において、精密な装置を用いて測定をすることで求められている。この求められた値が、予め、メモリ部9にパラメータ情報9aとして格納されている。
ここで、経年変化により、パラメータA1からAn、B1からBnの値が真値から乖離して適切な値でなくなる虞がある。そこで、ユーザが測距装置1を使用中であってもキャリブレーションを行って、パラメータ情報9aとして格納されているパラメータA1からAn、B1からBnを更新すると良い。そのためには、精密な装置を用いなくても簡単にキャリブレーションできること(パラメータA1からAn、B1からBnの値を計算できること)が望ましい。
なお、もちろん、製品出荷時に、実施形態としての手法を用いて、キャリブレーションを行い、その結果であるパラメータA1からAn、B1からBnをパラメータ情報9aとして格納して出荷しても良い。この場合における実施形態としての手法を採る利点は、工場内に精密な装置を設置しなくてもキャリブレーションできることである。
なお、もちろん、製品出荷時に、実施形態としての手法を用いて、キャリブレーションを行い、その結果であるパラメータA1からAn、B1からBnをパラメータ情報9aとして格納して出荷しても良い。この場合における実施形態としての手法を採る利点は、工場内に精密な装置を設置しなくてもキャリブレーションできることである。
図3のフローチャートを参照し、第一実施形態としてのキャリブレーション計算処理について説明する。この処理は、図1に示したキャリブレーション計算部8aの処理であり、例えば前述したROM等の所定の記憶装置に記憶されたプログラムに基づき制御部8が実行する。
キャリブレーション計算部8aには、振幅検出部7で検出される振幅と、位相差検出部5で検出される位相差が入力される。そして、キャリブレーション計算部8aにてパラメータA1からAn、B1からBnの値が計算(後述)され、メモリ部9にパラメータ情報9aとして格納される(パラメータA1からAn、B1からBnの値が上書きされる)。これにより、常に適切なパラメータA1からAn、B1からBnの値がパラメータ情報9aとして格納されていることになり、ユーザがこの測距装置1に測距を実行させた際に、[式1]により正しい測距結果が得られる。
なお、キャリブレーション計算部8aによる計算、及び、メモリ部9への上書き処理は、例えば、ユーザが測距装置1の電源をONした際の所定のトリガ条件の成立に応じて自動で行うようにしておくことが考えられる。
本実施形態では、キャリブレーションにおいて、複数の周波数f(発光周波数)を用いる点が特徴となる。具体的には、T(Tは2以上の自然数)個の周波数fを用いる。以下、周波数をf(t)とする。ただし、tは1からTである。例えば、f(1)=10MHz、f(2)=11MHz、f(3)=12MHzなどである。なお、t=1の周波数f(1)が一番低い周波数とする。Tについては、例えば、T=15である。
ここで、circular errorとsignal propagation delayは、tに依存する。すなわち、各tについて、circular errorとsignal propagation delayは補正パラメータとしてメモリ部9にパラメータ情報9aとして格納されている。
以下、tにおけるcircular errorのパラメータを、A1(t)からAn(t)、B1(t)からBn(t)とする。
以下、tにおけるcircular errorのパラメータを、A1(t)からAn(t)、B1(t)からBn(t)とする。
また、工場出荷時に、各周波数f(t)におけるsignal propagation delayのパラメータa(t)、b(t)、c(t)は測定されているとする。これら事前に測定されたsignal propagation delayのパラメータa(t)、b(t)、c(t)についても、メモリ部9にパラメータ情報9aとして格納されているとする。なお、非特許文献1の4章では、a(t)をb0、b(t)をb1、c(t)をb2と記してある。
図3の処理を説明する。
先ず、ステップS101でキャリブレーション計算部8aは、h=1をセットする。そして、ステップS102に進む。
ステップS102でキャリブレーション計算部8aは、hがH以下であるか判定する。H以下であれば、ステップS103に進む。
先ず、ステップS101でキャリブレーション計算部8aは、h=1をセットする。そして、ステップS102に進む。
ステップS102でキャリブレーション計算部8aは、hがH以下であるか判定する。H以下であれば、ステップS103に進む。
ここで、Hは、キャリブレーションのための測定回数(所定の値)であり、例えば、H=40である。また、測定は、所定の時間kだけ間隔をあけて行われるので、キャリブレーションには、H×kだけ時間を要する。H回だけ、異なる対象物体(異なる距離)を測定することになる。
ステップS103でキャリブレーション計算部8aは、t=1をセットする。そして、ステップS104に進む。
ステップS104でキャリブレーション計算部8aは、tがT以下であるか判定する。T以下であれば、ステップS105に進む。
ステップS104でキャリブレーション計算部8aは、tがT以下であるか判定する。T以下であれば、ステップS105に進む。
ステップS105でキャリブレーション計算部8aは、周波数f(t)による発光・受光の実行制御を行う。すなわち、発光部2により照射光Lsを周波数f(t)で発光させ、センサ部3により反射光Lrを受光させる。
ステップS105に続くステップS106でキャリブレーション計算部8aは、各画素位置(u,v)における位相差を位相差検出部5に検出させ、それぞれ位相差p(h,t,u,v)として取得する。そして、ステップS107に進む。
ステップS105に続くステップS106でキャリブレーション計算部8aは、各画素位置(u,v)における位相差を位相差検出部5に検出させ、それぞれ位相差p(h,t,u,v)として取得する。そして、ステップS107に進む。
ステップS107でキャリブレーション計算部8aは、次の周波数fについてのデータを得るために、tを1だけインクリメントし、ステップS104に戻る。
ステップS104において、tがT以下でないと判定した場合、つまりt=1からTまでの各発光周波数についてステップS106で位相差p(h,t,u,v)を取得した場合、キャリブレーション計算部8aはステップS108に進む。
ステップS108でキャリブレーション計算部8aは、振幅の大きさに基づく位相差p(h,t,u,v)の破棄処理を行う。具体的には、各画素位置(u,v)における「周波数f(t)での受光信号の振幅(t=1からTのT個)」の何れか一つでも、所定の値未満の場合には、その(h,u,v)についての位相差p(h,t,u,v) (t=1からTの合計T個)は、破棄する。換言すれば、ステップS108では、全ての画素位置(u,v)のすべての周波数f(t)(t=1からT)における振幅が所定の値以上であれば、何も処理しない。
振幅が小さいということは、対象物体Obからの反射光が少ないことを意味するので、測定データの信頼度は落ちる。そこで、そのようなデータは破棄するものである。
ここで、ステップS108でデータ破棄を行った場合には、h回目の位相差p(h,t,u,v) の測定は全て無効となるため、本例では、破棄を行った場合はh=h-1とする。
ステップS108でキャリブレーション計算部8aは、振幅の大きさに基づく位相差p(h,t,u,v)の破棄処理を行う。具体的には、各画素位置(u,v)における「周波数f(t)での受光信号の振幅(t=1からTのT個)」の何れか一つでも、所定の値未満の場合には、その(h,u,v)についての位相差p(h,t,u,v) (t=1からTの合計T個)は、破棄する。換言すれば、ステップS108では、全ての画素位置(u,v)のすべての周波数f(t)(t=1からT)における振幅が所定の値以上であれば、何も処理しない。
振幅が小さいということは、対象物体Obからの反射光が少ないことを意味するので、測定データの信頼度は落ちる。そこで、そのようなデータは破棄するものである。
ここで、ステップS108でデータ破棄を行った場合には、h回目の位相差p(h,t,u,v) の測定は全て無効となるため、本例では、破棄を行った場合はh=h-1とする。
ステップS108に続くステップS109でキャリブレーション計算部8aは、次の測定(h+1回目の測定)を行うために、所定の時間kだけ待機する処理を行い、その後、ステップS110でhを1だけインクリメントし、先のステップS102に戻る。
これにより、T個の各発光周波数についての位相差p(h,t,u,v) の測定がH回行われることになる。
これにより、T個の各発光周波数についての位相差p(h,t,u,v) の測定がH回行われることになる。
ステップS102でhがH以下でないと判定した場合、キャリブレーション計算部8aはステップS111に進み、2π不定性解消処理を行う。具体的に、ステップS111では、各h、各t、及び各(u,v)に対して、位相差p(h,t,u,v)の2π不定性を解消する処理を行う。2π不定性を解消した位相差をθ (h,t,u,v)とする。
なお、ステップS111の2π不定性解消処理の詳細は、後述する(図4参照)。
なお、ステップS111の2π不定性解消処理の詳細は、後述する(図4参照)。
ステップS111に続くステップS112でキャリブレーション計算部8aは、後述する[式3]を満たすcircular error のパラメータ(パラメータA1(t)からAn(t)、B1(t)からBn(t))を求める。求まったパラメータは、メモリ部9にパラメータ情報9aとして格納される(パラメータA1(t)からAn(t)、B1(t)からBn(t)の値が上書きされる)。
キャリブレーション計算部8aは、ステップS112の処理を実行したことに応じて図3に示す一連の処理を終える。
ここで、ステップS112の計算処理について補足しておく。
下記の[式2]は、h回目の測定における画素位置(u,v)での位相差θ (h,t,u,v)と、画素位置(u,v)に投影された測距対象の点(測距点)までの距離L(h,u,v)の関係を表している。ここで、tは1からTである。
下記の[式2]は、h回目の測定における画素位置(u,v)での位相差θ (h,t,u,v)と、画素位置(u,v)に投影された測距対象の点(測距点)までの距離L(h,u,v)の関係を表している。ここで、tは1からTである。
[式1]の類推から、[式2]が成立することは明らかである。[式2]において注意すべき点は、距離L(h,u,v)は、tに依存しないことである。周波数f(t)を変えて測定しても、当然、対象物体Obまでの距離は変わらないので、L(h,u,v)はtに依存しない。なお、対象物体Obまでの距離は不明なので、L(h,u,v)は未知数である。
また、[式2]において、各周波数f(t)におけるsignal propagation delayのパラメータa(t)、b(t)、c(t)はパラメータ情報9aとして記憶されたものを読み出すことで既知とできる。ここで、tは1からTである。
本例では、キャリブレーションによりAn,Bnのパラメータは求めるが、signal propagation delayのパラメータa(t)、b(t)、c(t)については、工場出荷時の値を使用し続ける前提である。
本例では、キャリブレーションによりAn,Bnのパラメータは求めるが、signal propagation delayのパラメータa(t)、b(t)、c(t)については、工場出荷時の値を使用し続ける前提である。
従って、ステップS108において破棄された(h,u,v)以外のデータを使って、[式2]を満たすパラメータA1(t)からAn(t)、B1(t)からBn(t)を求めれば良い。実際には、最小二乗法により求める。具体的には、[式3]を最小とするA1(t)からAn(t)、B1(t)からBn(t)、及びL(h,u,v)を求めれば良い。
ここで、今回の手法が有効であることについて、補足しておく。
[式3]は、h=1からH、t=1からT、u=1からU、v=1からVの各(h,t,u,v)について成立する。すなわち、ステップS112に進んだ時点で、H×T×U×V個の方程式が得られている。一方、未知パラメータは、An(t)(n=1からN、t=1からT)、Bn(t)(n=1からN、t=1からT)、L(h,u,v)(h=1からH、u=1からU、v=1からV)の合計(2×N×T)+(H×U×V)個である。従って、(2×N×T)+(H×U×V)≦H×T×U×Vであれば、未知数の数よりも方程式の数が多くなり、解くことができる。実際、Tを大きくする、すなわち、発光部2の発光周波数の数を多くすることで、(2×N×T)+(H×U×V)≦H×T×U×Vとすることができる。或いは、Hを大きくする、すなわち、様々な場面について位相差を測定することで、(2×N×T)+(H×U×V)≦H×T×U×Vとすることができる。
[式3]は、h=1からH、t=1からT、u=1からU、v=1からVの各(h,t,u,v)について成立する。すなわち、ステップS112に進んだ時点で、H×T×U×V個の方程式が得られている。一方、未知パラメータは、An(t)(n=1からN、t=1からT)、Bn(t)(n=1からN、t=1からT)、L(h,u,v)(h=1からH、u=1からU、v=1からV)の合計(2×N×T)+(H×U×V)個である。従って、(2×N×T)+(H×U×V)≦H×T×U×Vであれば、未知数の数よりも方程式の数が多くなり、解くことができる。実際、Tを大きくする、すなわち、発光部2の発光周波数の数を多くすることで、(2×N×T)+(H×U×V)≦H×T×U×Vとすることができる。或いは、Hを大きくする、すなわち、様々な場面について位相差を測定することで、(2×N×T)+(H×U×V)≦H×T×U×Vとすることができる。
つまり、本実施形態は、Tが2以上であれば、(2×N×T)+(H×U×V)≦H×T×U×Vとすることが可能である点を利用している。換言すれば、本実施形態の特徴は、「同じ物体を対象として、複数の発光周波数(少なくとも二つの異なる発光周波数)を用いて位相差を測定する」ことである。これにより、該物体までの距離が不明であっても、未知パラメータAn(t)(n=1からN、t=1からT)、Bn(t)(n=1からN、t=1からT)、L(h,u,v)(h=1からH、u=1からU、v=1からV)を求めることができる。すなわち、circular Error(An(t)(n=1からN、t=1からT)、Bn(t)(n=1からN、t=1からT))を求めることができる。
なお、図3では、ステップS108において、破棄を行った際にh=h-1とする処理を実行するものとしたが、(2×N×T)+(H×U×V)よりもH×T×U×Vが、十分に大きくなる(測定データの数に余裕を持たせる)ように、TやHを決めておけば、該h=h-1とする処理は省略することもできる。
図4は、ステップS111の2π不定性解消処理を示したフローチャートである。
図2で説明した通り、センサ部3の各画素について測定される位相差p(h,t,u,v)には、2π不定性がある。つまり、各(h,t,u,v)について、真の位相差θ (h,t,u,v)は、下記[式4]の何れであるか不明である。
なお、[式4]において、s(h,t,u,v)は0以上の整数である。
図2で説明した通り、センサ部3の各画素について測定される位相差p(h,t,u,v)には、2π不定性がある。つまり、各(h,t,u,v)について、真の位相差θ (h,t,u,v)は、下記[式4]の何れであるか不明である。
なお、[式4]において、s(h,t,u,v)は0以上の整数である。
ここで、対象物体Obまでの距離が遠くなれば、発光部2から対象物体Obで反射してセンサ部3に到達する光の量も少なくなる。すなわち、受光信号が小さな振幅となる。また、ステップS108において、小さな振幅のデータは破棄されているので、ステップS11で対象とする(h,t,u,v)に対応する対象物体Obまでの距離は、それほど遠くない。そこで、ステップS111が対象とする(h,t,u,v)に対応する対象物体Obまでの距離は、[式5]を満たすと言うことができる。
なお、[式5]におけるf(1)は、先に述たようにt=1からTの周波数f(t)の中で一番低い周波数である。
従って、t=1については、真の位相差θ (h,t,u,v)は、[式4]においてs(h,t,u,v)=0であり、センサ部3の各画素ごとに測定される位相差p(h,t,u,v)から、下記[式6]により確定することができる。
t=2からTについて、s(h,t,u,v)が確定すれば、先の[式4]より、真の位相差θ (h,t,u,v)も確定することができる。
以上を踏まえて図4の処理を説明する。
先ず、ステップS1111でキャリブレーション計算部8aは、周波数f(1)におけるθ (h,1,u,v)をp(h,1,u,v)とする。すなわち、θ (h,1,u,v)=p(h,1,u,v)である。前述のようにt=1における周波数f(1)は、他の周波数(f(2)からf(T))よりも低い周波数である。
先ず、ステップS1111でキャリブレーション計算部8aは、周波数f(1)におけるθ (h,1,u,v)をp(h,1,u,v)とする。すなわち、θ (h,1,u,v)=p(h,1,u,v)である。前述のようにt=1における周波数f(1)は、他の周波数(f(2)からf(T))よりも低い周波数である。
ステップS1111に続くステップS1112でキャリブレーション計算部8aは、t=2からTの各tについて、[式10]の値に最も近い整数を求め、求まった整数をs(h,t,u,v)とする。
さらに、ステップS1112に続くステップS1113でキャリブレーション計算部8aは、t=2からTの各tについて、[式4]を計算して、 真の位相差θ (h,t,u,v)を求める。
ステップS1113の処理を実行したことに応じキャリブレーション計算部8aはステップS111の2π不定性解消処理を終える。
ステップS1113の処理を実行したことに応じキャリブレーション計算部8aはステップS111の2π不定性解消処理を終える。
ここで、上記により説明した不定性解消処理は、以下のように換言することができる。
すなわち、キャリブレーション計算処理のための発光周波数のうち最低の発光周波数である最低発光周波数(周波数f(1))による発光を行った際の受光信号から検出された位相差のうち、振幅が所定値以上の受光信号から検出された位相差を最低発光周波数に対応する位相差として決定すると共に、決定した最低発光周波数に対応する位相差に基づいて、最低発光周波数以外の他の発光周波数に対応する位相差についての2π不定性を解消する処理を行う、というものである。
すなわち、キャリブレーション計算処理のための発光周波数のうち最低の発光周波数である最低発光周波数(周波数f(1))による発光を行った際の受光信号から検出された位相差のうち、振幅が所定値以上の受光信号から検出された位相差を最低発光周波数に対応する位相差として決定すると共に、決定した最低発光周波数に対応する位相差に基づいて、最低発光周波数以外の他の発光周波数に対応する位相差についての2π不定性を解消する処理を行う、というものである。
<2.第二実施形態>
続いて、第二実施形態について説明する。
第二実施形態は、バックグラウンドで補正パラメータを求めるためのキャリブレーションを行うものである。
なお、第二実施形態において、測距装置1のハードウエア構成については第一実施形態の場合と同様となることから図示は省略する。また、以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
続いて、第二実施形態について説明する。
第二実施形態は、バックグラウンドで補正パラメータを求めるためのキャリブレーションを行うものである。
なお、第二実施形態において、測距装置1のハードウエア構成については第一実施形態の場合と同様となることから図示は省略する。また、以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
図5は、第二実施形態において制御部8が実行する処理のフローチャートである。
図5に示す処理は、例えば測距装置1の電源がONされる、或いは測距用のアプリケーションが起動される等、予め定められた所定のトリガ条件の成立に応じて開始される。
図5に示す処理は、例えば測距装置1の電源がONされる、或いは測距用のアプリケーションが起動される等、予め定められた所定のトリガ条件の成立に応じて開始される。
この場合、制御部8はステップS201で、前回のキャリブレーションから所定時間(例えば、一年等)が経過しているかを判定する。所定時間が経過していると、経年変化が起きている可能性がある。このため制御部8は、ステップS201で所定時間が経過したと判定した場合は、図6に示すキャリブレーション計算部8aとしての処理を実行する。
一方、所定時間が経過していなければ、経年変化は起きていないとみなし、図6に示す処理は実行しない。
一方、所定時間が経過していなければ、経年変化は起きていないとみなし、図6に示す処理は実行しない。
所定時間が経過していないと判定した場合、制御部8はステップS202に進み、測距指示として、例えば操作部11を介したユーザから測距指示を待機する処理を行う。測距指示があった場合、制御部8はステップS203に進んで測距処理を実行する。すなわち、発光部2による照射光Lsの発光動作、及びセンサ部3による反射光Lrの受光動作を実行させる共に、位相差検出部5により位相差の検出を実行させ、演算部6に距離の計算を実行させる。
ステップS203の測距処理を実行したことに応じ、制御部8はステップS202に戻る。
ステップS203の測距処理を実行したことに応じ、制御部8はステップS202に戻る。
第二実施形態では、図6に示す処理により、ユーザからの測距指示に従って行われる測距処理の合間をぬって、キャリブレーションが行われる。
図6に示す処理について、先の図3との相違点は、ステップS108とS109との間にステップS204とステップS205の処理が挿入された点である。
この場合、制御部8(キャリブレーション計算部8a)は、ステップS108の破棄処理を実行したことに応じ、ステップS204に進んで測距指示が行われたかを判定する。測距指示がない場合、制御部8はステップS109に進む。すなわち、測距指示がなければ、図3と同じ処理(ステップS108の処理の後にステップS109に進むという流れ)となる。
図6に示す処理について、先の図3との相違点は、ステップS108とS109との間にステップS204とステップS205の処理が挿入された点である。
この場合、制御部8(キャリブレーション計算部8a)は、ステップS108の破棄処理を実行したことに応じ、ステップS204に進んで測距指示が行われたかを判定する。測距指示がない場合、制御部8はステップS109に進む。すなわち、測距指示がなければ、図3と同じ処理(ステップS108の処理の後にステップS109に進むという流れ)となる。
測距指示が行われた場合、制御部8はステップS205に進んで測距処理(処理としては先のステップS203と同様である)を実行し、ステップS109に進む。
図6における処理の流れは、基本的には図3と同じ流れであるが、図3のステップS108とステップS109の間に、もし測距指示があった場合は、キャリブレーション処理を一時中断して、測距を行っている点(ステップS205)が異なる。
この場合、制御部8は、ステップS112の処理を実行したことに応じて、図5のステップS202に処理を進める。
上記のように第二実施形態では、ユーザが測距装置1を使用している合間に、バックグラウンドで、補正パラメータを求めるためのキャリブレーションを行うことができる。
<3.第三実施形態>
第三実施形態は、測距点同士が特定の位置関係にあることを条件としてキャリブレーションを行うものである。
図7は、第三実施形態としての測距装置1Aの内部構成例を説明するためのブロック図である。
測距装置1との相違点は、制御部8に代えて制御部8Aが設けられた点である。制御部8Aは、ハードウエア構成については制御部8と同様となるが、キャリブレーション計算処理として第一実施形態の場合とは異なる手法による計算処理を行う点が異なる。ここでは、以降で説明する第三実施形態としての手法によるキャリブレーション計算処理を行う機能をキャリブレーション計算部8aAと表記する。
第三実施形態は、測距点同士が特定の位置関係にあることを条件としてキャリブレーションを行うものである。
図7は、第三実施形態としての測距装置1Aの内部構成例を説明するためのブロック図である。
測距装置1との相違点は、制御部8に代えて制御部8Aが設けられた点である。制御部8Aは、ハードウエア構成については制御部8と同様となるが、キャリブレーション計算処理として第一実施形態の場合とは異なる手法による計算処理を行う点が異なる。ここでは、以降で説明する第三実施形態としての手法によるキャリブレーション計算処理を行う機能をキャリブレーション計算部8aAと表記する。
第三実施形態では、図8に例示するように、距離が不明な平板20を斜めから撮影する(位相差を測定する)ことで、キャリブレーションを行う。平板20までの距離は不明で良いので、精密な装置を必要としない。
図8では、平板20の一部が測距装置1A側に投影されている状態を模式的に表している。
図8では、平板20の一部が測距装置1A側に投影されている状態を模式的に表している。
ここで、第三実施形態においても、センサ部3の画素数はU×Vであるとし、各画素位置を(u,v)(u=1からU、v=1からV)とする。
本例では、(u,v)(u=U0からU0+U1、v=V0からV0+V1)の領域を平面撮影領域Arと呼ぶことにする。例えば、U0=U/4、V0=V/3、U1=U/2、V1=V/3である。
これら位置関係を図9に示す。
本例では、(u,v)(u=U0からU0+U1、v=V0からV0+V1)の領域を平面撮影領域Arと呼ぶことにする。例えば、U0=U/4、V0=V/3、U1=U/2、V1=V/3である。
これら位置関係を図9に示す。
キャリブレーション時には、ユーザはセンサ部3の平面撮影領域Ar内に平板20における同一の平面が写るように撮影を行う。
本例において、制御部8Aは、このように平面撮影領域Ar内に平板20における同一の平面が写るようにユーザに撮影を行わせるためのガイド(つまり撮影構図のガイド)が行われるように、表示部10にガイド画像を表示させる。
本例において、制御部8Aは、このように平面撮影領域Ar内に平板20における同一の平面が写るようにユーザに撮影を行わせるためのガイド(つまり撮影構図のガイド)が行われるように、表示部10にガイド画像を表示させる。
図10は、このようなガイド画像の表示を含む、キャリブレーション時のガイド表示の例を説明するための図である。
先ず、図10Aに示すキャリブレーション問合せ画面を表示する。このキャリブレーション問合せ画面では、「キャリブレーションを行いますか?」などのキャリブレーションを実行するか否かの問い合わせメッセージと共に、「はい」ボタンB1、「いいえ」ボタンB2が表示される。
ユーザは、キャリブレーションの実行を指示する場合は「はい」ボタンB1を操作する。
先ず、図10Aに示すキャリブレーション問合せ画面を表示する。このキャリブレーション問合せ画面では、「キャリブレーションを行いますか?」などのキャリブレーションを実行するか否かの問い合わせメッセージと共に、「はい」ボタンB1、「いいえ」ボタンB2が表示される。
ユーザは、キャリブレーションの実行を指示する場合は「はい」ボタンB1を操作する。
「はい」ボタンB1が操作された場合は、図10Bに示す枠画面を表示する。枠画面では、上述した平面撮影領域Arのサイズを示す枠Wが表示されると共に、「枠内に平板の同一面を収めて下さい」など、枠W内に平板20の同一平面を収めるように促すメッセージと、キャリブレーションのための位相差の測定開始を指示するための「撮影」ボタンB3とが表示される。
本例では、第一実施形態の場合と同様に、キャリブレーションにおいては距離を変えてH回の測定を行う。図10Bに示す枠画面において、「撮影」ボタンB3が操作されて1回目の測定が実行された場合は、表示部10において図10Cに示す枠画面が表示される。
図10Bの枠画面との差は、「位置を変えて撮影して下さい」などの距離を変えた撮影を行うことを促すメッセージが表示される点である。
図10Bの枠画面との差は、「位置を変えて撮影して下さい」などの距離を変えた撮影を行うことを促すメッセージが表示される点である。
H回の測定を実行し、キャリブレーション計算処理が完了した場合は、図10Dに示すキャリブレーション完了画面が表示される。図示のようにキャリブレーション完了画面では、「キャリブレーションが完了しました」などのキャリブレーション計算処理が完了した旨を通知するメッセージが表示される。
ここで、図10Bや図10Cの枠画面では、センサ部3の受光動作で得られる画像(例えば、距離画像)がリアルタイムに表示される。このため、ユーザは、表示部10の画面を見ながら適切な構図に合わせることが容易となる。
なお、キャリブレーション時に用いる物体については、平板20に限定されない。例えば、ユーザの家の壁や、建物の外壁などでも良い。
図11は、第三実施形態としてのキャリブレーションを行う際の処理の流れを示したフローチャートである。
図11に示す処理は、例えば測距装置1Aの電源がONされる、或いは測距用のアプリケーションが起動される等、予め定められた所定のトリガ条件の成立に応じて開始される。
図11に示す処理は、例えば測距装置1Aの電源がONされる、或いは測距用のアプリケーションが起動される等、予め定められた所定のトリガ条件の成立に応じて開始される。
先ず、制御部8AはステップS301で、キャリブレーション問合せ画面の表示処理として、図10Aに例示したようなキャリブレーション問合せ画面を表示部10に表示させる処理を行う。
ステップS301に続くステップS302で制御部8Aは、前述した「はい」ボタンB1が操作されるまで待機し、「はい」ボタンB1が操作された場合は、ステップS303に進んで図10Bで例示した枠画面の表示処理を行う。
なお、キャリブレーション問合せ画面において、「いいえ」ボタンB2が操作された場合は、例えば測距用の画面等の所定の画面に遷移する処理を行えばよい。
なお、キャリブレーション問合せ画面において、「いいえ」ボタンB2が操作された場合は、例えば測距用の画面等の所定の画面に遷移する処理を行えばよい。
ステップS303に続くステップS304で制御部8Aは、枠画面における「撮影」ボタンB3が操作されるまで待機し、「撮影」ボタンB3が操作された場合は、ステップS305のキャリブレーション処理を実行し、ステップS306に進む。
なお、ステップS305のキャリブレーション処理は、測距点同士が特定の位置関係にあることを条件としたものであり、詳細については後述する。
なお、ステップS305のキャリブレーション処理は、測距点同士が特定の位置関係にあることを条件としたものであり、詳細については後述する。
ステップS306で制御部8Aは、図10Dで例示したキャリブレーション完了画面の表示処理を実行し、図11に示す一連の処理を終える。
図12は、ステップS305のキャリブレーション処理のフローチャートである。
図示のように図12に示すキャリブレーション処理は、先の図3で説明したキャリブレーション処理と比較して、ステップS109の待機処理(時間k)が省略された点と、ステップS108の処理の実行に応じてステップS310の処理(撮影ボタン待機処理)を実行する点と、ステップS112の処理に代えてステップS311の処理が実行される点が異なるものである。
図示のように図12に示すキャリブレーション処理は、先の図3で説明したキャリブレーション処理と比較して、ステップS109の待機処理(時間k)が省略された点と、ステップS108の処理の実行に応じてステップS310の処理(撮影ボタン待機処理)を実行する点と、ステップS112の処理に代えてステップS311の処理が実行される点が異なるものである。
先ず、ステップS102の判定処理に関して、この場合もHは、例えばH=40等と設定される。第三実施形態では、H回だけ、異なる構図で(つまり、ユーザが測距装置1Aを動かして)位相差の測定が行われる。つまり、第三実施形態では、hの値がインクリメントされるごとに異なる距離の平面を測定することが前提とされる。
また、本例では、キャリブレーション計算処理として、各測距点同士が特定の位置関係にあるとの条件を用いながら、第一実施形態のように複数の発光周波数を用いる手法を採る。このため、第三実施形態においても、複数のt=1からTの複数のtについて、位相差の測定を行うようにされている。
図12の処理では、ステップS108の破棄処理を実行したことに応じ、制御部8AはステップS310に進んで「撮影」ボタンB3が操作されるまで待機する。
なお、図示による説明は省略するが、第三実施形態において制御部8Aは、図10Bで例示した枠画面における「撮影」ボタンB3が操作された以降、ステップS108の破棄処理が初回に実行されるまでの間に、枠画面を図10Cに例示した枠画面に更新する処理行う。従って、ステップS310で操作を待機する「撮影」ボタンB3は、図10Cに例示した枠画面における「撮影」ボタンB3である。
なお、図示による説明は省略するが、第三実施形態において制御部8Aは、図10Bで例示した枠画面における「撮影」ボタンB3が操作された以降、ステップS108の破棄処理が初回に実行されるまでの間に、枠画面を図10Cに例示した枠画面に更新する処理行う。従って、ステップS310で操作を待機する「撮影」ボタンB3は、図10Cに例示した枠画面における「撮影」ボタンB3である。
ステップS310において「撮影」ボタンB3が操作されたと判定した場合、制御部8AはステップS110に処理を進める。
また、第三実施形態において、ステップS106の処理で位相差を検出する対象は、センサ部3の各画素位置(u,v)のうち、u=U0からU0+U1、v=V0からV0+V1の範囲である。これにより、同一の平面上にある各測距点について検出された位相差を補正パラメータの計算処理に用いることができる。
ステップS311の処理については、基本的には、先の図3に示したステップS112と同様に[式3]を満たすcircular error のパラメータ(パラメータA1(t)からAn(t)、B1(t)からBn(t))を求める処理となる。
制御部8Aは、ステップS311の処理を実行したことに応じてステップS305のキャリブレーション処理を終える。
制御部8Aは、ステップS311の処理を実行したことに応じてステップS305のキャリブレーション処理を終える。
ここで、ステップS311の処理について、第三実施形態では、[式3]を解く際に、ある条件がある。
以下、ステップS311における計算について詳細を述べる。
先ず、画素位置(u,v)が撮影する方向を(dx(u,v),dy(u,v),dz(u,v))とする。例えば、レンズ4に歪みがなく、焦点距離をFLとすると、画素位置(u,v)が撮影する方向は、下記の[式11]となる。
先ず、画素位置(u,v)が撮影する方向を(dx(u,v),dy(u,v),dz(u,v))とする。例えば、レンズ4に歪みがなく、焦点距離をFLとすると、画素位置(u,v)が撮影する方向は、下記の[式11]となる。
画素位置(u,v)が撮影する方向(dx(u,v),dy(u,v),dz(u,v))は、レンズ4の特性により定まる。そして、例えば、レンズ4が設計されたときに特性は決まるので、既知とすることができる。
h回目に平板20を撮影したときの画素位置(u,v)に投影された平板20上の点までの距離をL(h,u,v)とすると、画素位置(u,v)に投影された平板20上の点の三次元空間上の位置は、[式13]となる。
h回目における平板20の三次元空間上での位置を考える。本例では、全ての画素位置(u,v)(u=U0からU0+U1、v=V0からV0+V1)に投影された三次元空間上の物体の位置は、或る一つの平面上にある。すなわち、位置(U0,V0)、(U0+1,V0)、及び(U0,V0+1)の三つの画素位置に投影された三次元空間上の物体の位置を通る平面上に、他の位置(u,v)の画素位置に投影された三次元空間上の物体の位置もある。従って、下記[式14]を満たす。
なお、[式14]中の添え字Tは、転置行列を意味する。
なお、[式14]中の添え字Tは、転置行列を意味する。
以上を整理すると、画素位置(u,v)が撮影する方向(dx(u,v),dy(u,v),dz(u,v))は既知である。そして、h回目における撮影(位相差の測定)において、平面撮影領域Ar内には、同一平面が撮影されているので、u=U0からU0+U1、v=V0からV0+V1である画素については、[式14]を満たす。なお、[式14]におけるL(h,u,v)は、h回目に平板20を撮影したときの画素位置(u,v)に投影された平板20までの距離である。
さて、[式2]は、h回目の測定における画素位置(u,v)における位相差θ (h,t,u,v)と、画素位置(u,v)に投影された測距点までの距離L(h,u,v)の関係を表している。ここで、tは1からTである。
前述のように、[式1]の類推から、[式2]が成立することは明らかである。
なお、対象物体Obまでの距離は不明なので、L(h,u,v)は未知数である。ただし、L(h,u,v)は、上述のとおり[式14]を満たす。
なお、対象物体Obまでの距離は不明なので、L(h,u,v)は未知数である。ただし、L(h,u,v)は、上述のとおり[式14]を満たす。
従って、[式14]を満たすという条件下で、[式2]を満たすパラメータA1(t)からAn(t)、B1(t)からBn(t)を求めれば良い。実際には、この場合も最小二乗法により求めるものとし、従って、[式14]を満たすという条件下で、先に挙げた[式3]を最小とするA1(t)からAn(t)、B1(t)からBn(t)、及びL(h,u,v)を求めれば良い。
すなわち、ステップS311における計算とは、各(u,v)(ただし、u=U0からU0+U1、v=V0からV0+V1である)について、[式14]を満たすという条件下で[式3]を最小とするA1(t)からAn(t)、B1(t)からBn(t)、及びL(h,u,v)を求めることである。そして、求まったパラメータA1(t)からAn(t)、B1(t)からBn(t)をcircular error のパラメータとすることである。
ここで、第三実施形態のキャリブレーション手法(各測距点同士が特定の位置関係にあるとの条件を用いる手法)が有効であることについて、補足しておく。ステップS311では、「[式2]及び[式14]で示す方程式を満たす解を求める」ということをしている。
[式2]は、h=1からH、t=1からT、u=U0からU0+U1、v=V0からV0+V1の各(h,t,u,v)について成立する。すなわち、ステップS311に進んだ時点で、H×T×U1×V1個の方程式が得られている。
[式2]は、h=1からH、t=1からT、u=U0からU0+U1、v=V0からV0+V1の各(h,t,u,v)について成立する。すなわち、ステップS311に進んだ時点で、H×T×U1×V1個の方程式が得られている。
さらに、[式14]は、h=1からH、u=U0からU0+U1、v=V0からV0+V1の各(h,u,v)について成立する。ただし、(u,v)=(U0,V0)、(u,v)=(U0+1,V0)、及び(u,v)=(U0,V0+1)の組は除く。すなわち、H×(U1×V1-3)個の方程式が得られている。
従って、ステップS311に進んだ時点で、(H×T×U1×V1)+(H×(U1×V1-3))個の方程式が得られている。
一方、未知パラメータは、An(t)(n=1からN、t=1からT)、Bn(t)(n=1からN、t=1からT)、L(h,u,v)(h=1からH、u=U0からU0+U1、v=V0からV0+V1)の合計(2×N×T)+(H×U1×V1)個である。従って、(2×N×T)+(H×U1×V1)≦(H×T×U1×V1)+(H×(U1×V1-3))であれば、未知数の数よりも方程式の数が多くなり、解くことができる。実際、U1、V1、或いはHの少なくとも一つでも十分大きければ、(2×N×T)+(H×U1×V1)≦(H×T×U1×V1)+(H×(U1×V1-3))とすることができる。
なお、T=1であっても、上記不等式を満たすことができる。すなわち、第一実施形態においては、Tは2以上の自然数である必要があったが、第三実施形態においてTは1以上の自然数であればよい。
なお、T=1であっても、上記不等式を満たすことができる。すなわち、第一実施形態においては、Tは2以上の自然数である必要があったが、第三実施形態においてTは1以上の自然数であればよい。
なお、図12の処理について、ステップS111の2π不定性解消処理については、図4で説明したものと同様となるため重複説明は避ける。
<4.変形例>
なお、実施形態としては上記により説明した具体例に限定されるものではなく、多様な変形例を採り得るものである。
例えば、上記では、本技術に係る測距装置がスマートフォン等の携帯型情報処理装置に適用される例を挙げたが、本技術に係る測距装置は携帯型情報処理装置への適用に限定されず、各種の電子機器に広く好適に適用可能なものである。
なお、実施形態としては上記により説明した具体例に限定されるものではなく、多様な変形例を採り得るものである。
例えば、上記では、本技術に係る測距装置がスマートフォン等の携帯型情報処理装置に適用される例を挙げたが、本技術に係る測距装置は携帯型情報処理装置への適用に限定されず、各種の電子機器に広く好適に適用可能なものである。
また、第一実施形態で説明した図3の処理や第三実施形態で説明した図12の処理について、h回目の測定からh+1回目の測定を行う際には、対象物体Obとの位置関係が変化していることが望ましい。そこで、例えば図3の処理については、ステップS109とS110との間に、例えば測距装置1に内蔵された加速度センサや角速度センサの検出信号に基づいて測距装置1が動いているかを判定する処理を設けることもできる。この場合、測距装置1が動いていればステップS110に進み、そうでなければ再度該判定処理を行うようにする。これにより、h+1回目の測定は、確実にh回目の測定とは別の距離の物体について行うことができる。
また、図12の処理については、例えばステップS310とS110との間に同様に測距装置1Aが動いているかを判定する処理を設け、測距装置1が動いていればステップS110に進み、そうでなければ再度該判定処理を行うようにすることが考えられる。
また、図12の処理については、例えばステップS310とS110との間に同様に測距装置1Aが動いているかを判定する処理を設け、測距装置1が動いていればステップS110に進み、そうでなければ再度該判定処理を行うようにすることが考えられる。
<5.実施形態のまとめ>
上記のように実施形態としての第一の測距装置(同1)は、光を発する発光部(同2)と、発光部より発せられ対象物体で反射された光を受光する受光センサ(センサ部3)と、受光センサの受光信号に基づき間接ToF方式により計算される距離情報についての補正パラメータを求めるためのキャリブレーション計算処理として、発光部が第一の発光周波数による発光を行った際の受光センサの受光信号と、発光部が第一の発光周波数とは異なる第二の発光周波数による発光を行った際の受光センサの受光信号とを用いた計算処理を行うキャリブレーション計算部(同8a)と、を備えたものである。
複数の発光周波数を用いることで、対象物体までの距離が不定であっても補正パラメータを求めることが可能となる。
従って、キャリブレーションを成立させるための前提条件の緩和を図ることができ、装置の実使用環境においてもキャリブレーションを実行可能とすることができる。
実使用環境においてもキャリブレーションを実行可能となることで、経年変化による補正パラメータの変化を吸収することが可能となり、測距精度の経時的な低下の抑制を図ることができる。
上記のように実施形態としての第一の測距装置(同1)は、光を発する発光部(同2)と、発光部より発せられ対象物体で反射された光を受光する受光センサ(センサ部3)と、受光センサの受光信号に基づき間接ToF方式により計算される距離情報についての補正パラメータを求めるためのキャリブレーション計算処理として、発光部が第一の発光周波数による発光を行った際の受光センサの受光信号と、発光部が第一の発光周波数とは異なる第二の発光周波数による発光を行った際の受光センサの受光信号とを用いた計算処理を行うキャリブレーション計算部(同8a)と、を備えたものである。
複数の発光周波数を用いることで、対象物体までの距離が不定であっても補正パラメータを求めることが可能となる。
従って、キャリブレーションを成立させるための前提条件の緩和を図ることができ、装置の実使用環境においてもキャリブレーションを実行可能とすることができる。
実使用環境においてもキャリブレーションを実行可能となることで、経年変化による補正パラメータの変化を吸収することが可能となり、測距精度の経時的な低下の抑制を図ることができる。
また、実施形態としての第一の測距装置においては、キャリブレーション計算部は、受光信号に基づき検出される発光と受光間の位相差に基づく計算処理を行って補正パラメータを求めている。
これにより、位相差法としての間接ToF方式による測距を行う場合に対応して適切な補正パラメータを求めることができる。
これにより、位相差法としての間接ToF方式による測距を行う場合に対応して適切な補正パラメータを求めることができる。
さらに、実施形態としての第一の測距装置においては、キャリブレーション計算部は、位相差について、2π単位の不定性を解消する不定性解消処理を行っている(ステップS111を参照)。
これにより、2π単位の不定性を解消した位相差を用いて補正パラメータの計算処理を行うことが可能となる。
従って、補正パラメータの正確性向上を図ることができ、測距精度の向上を図ることができる。
これにより、2π単位の不定性を解消した位相差を用いて補正パラメータの計算処理を行うことが可能となる。
従って、補正パラメータの正確性向上を図ることができ、測距精度の向上を図ることができる。
さらにまた、実施形態としての第一の測距装置においては、キャリブレーション計算部は、キャリブレーション計算処理のための発光部の発光周波数のうち最低の発光周波数である最低発光周波数による発光を行った際の受光信号から検出された位相差のうち、振幅が所定値以上の受光信号から検出された位相差を最低発光周波数に対応する位相差として決定すると共に、決定した最低発光周波数に対応する位相差に基づいて、最低発光周波数以外の他の発光周波数に対応する位相差についての不定性を解消する処理を行っている。
最低発光周波数に対応する位相差については、上記のように振幅が所定値以上の受光信号から検出された位相差を選ぶことで、2π単位の不定性を解消することが可能となり、最低発光周波数以外の他の発光周波数に対応する位相差については、このように不定性が解消された最低発光周波数に対応する位相差に基づき、真の位相差を特定可能となる(つまり2π単位の不定性を解消可能となる)。
従って、2π単位の不定性を解消した位相差に基づき補正パラメータの計算処理を行うことができ、補正パラメータの正確性向上により測距精度の向上を図ることができる。
最低発光周波数に対応する位相差については、上記のように振幅が所定値以上の受光信号から検出された位相差を選ぶことで、2π単位の不定性を解消することが可能となり、最低発光周波数以外の他の発光周波数に対応する位相差については、このように不定性が解消された最低発光周波数に対応する位相差に基づき、真の位相差を特定可能となる(つまり2π単位の不定性を解消可能となる)。
従って、2π単位の不定性を解消した位相差に基づき補正パラメータの計算処理を行うことができ、補正パラメータの正確性向上により測距精度の向上を図ることができる。
また、実施形態としての第一の測距装置においては、キャリブレーション計算部は、キャリブレーション計算処理を前回実行時からの経過時間に基づき実行している(ステップS201を参照)。
これにより、補正パラメータが経時的に真値から乖離してしまう場合であっても、補正パラメータのキャリブレーションをやり直すことが可能となる。
従って、補正パラメータの経時変化に伴い測距精度が経時的に低下してしまうことの防止を図ることができる。
これにより、補正パラメータが経時的に真値から乖離してしまう場合であっても、補正パラメータのキャリブレーションをやり直すことが可能となる。
従って、補正パラメータの経時変化に伴い測距精度が経時的に低下してしまうことの防止を図ることができる。
さらに、実施形態としての第一の測距装置においては、キャリブレーション計算部は、キャリブレーション計算処理の実行中に測距の指示が行われた場合は、キャリブレーション計算処理を中断して測距のための処理を行っている(図6参照)。
これにより、キャリブレーション計算処理がバックグラウンドで行われる場合であっても、測距の指示があった場合はキャリブレーション計算処理が中断され、指示に応じて測距動作が行われる。
従って、使い勝手の向上を図ることができる。
これにより、キャリブレーション計算処理がバックグラウンドで行われる場合であっても、測距の指示があった場合はキャリブレーション計算処理が中断され、指示に応じて測距動作が行われる。
従って、使い勝手の向上を図ることができる。
また、実施形態としての第一のキャリブレーション方法は、光を発する発光部と、発光部より発せられ対象物体で反射された光を受光する受光センサとを備え、受光センサの受光信号に基づき間接ToF方式による測距を行う測距装置におけるキャリブレーション方法であって、間接ToF方式により計算される距離情報についての補正パラメータを求めるためのキャリブレーション計算処理として、発光部が第一の発光周波数による発光を行った際の受光センサの受光信号と、発光部が第一の発光周波数とは異なる第二の発光周波数による発光を行った際の受光センサの受光信号とを用いた計算処理を行うキャリブレーション方法である。
このような第一のキャリブレーション方法によっても、上記した第一の測距装置と同様の作用及び効果が得られる。
このような第一のキャリブレーション方法によっても、上記した第一の測距装置と同様の作用及び効果が得られる。
実施形態としての第二の測距装置(同1A)は、光を発する発光部(同2)と、発光部より発せられ対象物体で反射された光を複数の画素で受光する受光センサ(センサ部3)と、受光センサの受光信号に基づき間接ToF方式により計算される距離情報についての補正パラメータを求めるためのキャリブレーション計算処理として、複数の画素に投影されるそれぞれの測距点同士が特定の位置関係にあるとの条件を用いた計算処理を行うキャリブレーション計算部(同8aA)と、を備えたものである。
上記のように測距点同士が特定の位置関係にあるとの条件を用いることで、対象物体までの距離が不定であっても補正パラメータを求めることが可能となる。
従って、キャリブレーションを成立させるための前提条件の緩和を図ることができ、装置の実使用環境においてもキャリブレーションを実行可能とすることができる。
実使用環境においてもキャリブレーションを実行可能となることで、経年変化による補正パラメータの変化を吸収することが可能となり、測距精度の経時的な低下の抑制を図ることができる。
上記のように測距点同士が特定の位置関係にあるとの条件を用いることで、対象物体までの距離が不定であっても補正パラメータを求めることが可能となる。
従って、キャリブレーションを成立させるための前提条件の緩和を図ることができ、装置の実使用環境においてもキャリブレーションを実行可能とすることができる。
実使用環境においてもキャリブレーションを実行可能となることで、経年変化による補正パラメータの変化を吸収することが可能となり、測距精度の経時的な低下の抑制を図ることができる。
また、実施形態としての第二の測距装置においては、キャリブレーション計算部は、キャリブレーション計算処理として、測距点同士が既知の形状の物体上にあるとの条件を用いた計算処理を行っている。
測距点同士が既知の形状の物体上にあれば、該既知の形状より、測距点同士の位置関係を数式として定義することが可能となる。
従って、キャリブレーションを成立させるための前提条件の緩和を図ることができ、装置の実使用環境においてもキャリブレーションを実行可能とすることができる。
また、実使用環境においてもキャリブレーションを実行可能となることで、経年変化による補正パラメータの変化を吸収することが可能となり、測距精度の経時的な低下の抑制を図ることができる。
測距点同士が既知の形状の物体上にあれば、該既知の形状より、測距点同士の位置関係を数式として定義することが可能となる。
従って、キャリブレーションを成立させるための前提条件の緩和を図ることができ、装置の実使用環境においてもキャリブレーションを実行可能とすることができる。
また、実使用環境においてもキャリブレーションを実行可能となることで、経年変化による補正パラメータの変化を吸収することが可能となり、測距精度の経時的な低下の抑制を図ることができる。
さらに、実施形態としての第二の測距装置においては、キャリブレーション計算部は、キャリブレーション計算処理として、発光部が第一の発光周波数による発光を行った際の受光センサの受光信号と、発光部が第一の発光周波数とは異なる第二の発光周波数による発光を行った際の受光センサの受光信号とを用いた計算処理を行っている(図12参照)。
すなわち、キャリブレーション計算処理として、各測距点同士が特定の位置関係にあるとの条件を用いながら複数の発光周波数を用いた計算処理を行うものであり、これにより、未知数に対し式の数を増やすことが可能となる。
従って、補正パラメータをよりロバストに求めることができ、測距精度の向上を図ることができる。
すなわち、キャリブレーション計算処理として、各測距点同士が特定の位置関係にあるとの条件を用いながら複数の発光周波数を用いた計算処理を行うものであり、これにより、未知数に対し式の数を増やすことが可能となる。
従って、補正パラメータをよりロバストに求めることができ、測距精度の向上を図ることができる。
さらにまた、実施形態としての第二の測距装置においては、キャリブレーション計算部は、受光信号に基づき検出される発光と受光間の位相差に基づく計算処理を行って補正パラメータを求めている。
これにより、位相差法としての間接ToF方式による測距を行う場合に対応して適切な補正パラメータを求めることができる。
これにより、位相差法としての間接ToF方式による測距を行う場合に対応して適切な補正パラメータを求めることができる。
また、実施形態としての第二の測距装置においては、キャリブレーション計算部は、位相差について、2π単位の不定性を解消する不定性解消処理を行っている。
これにより、2π単位の不定性を解消した位相差を用いて補正パラメータの計算処理を行うことが可能となる。
従って、補正パラメータの正確性向上を図ることができ、測距精度の向上を図ることができる。
これにより、2π単位の不定性を解消した位相差を用いて補正パラメータの計算処理を行うことが可能となる。
従って、補正パラメータの正確性向上を図ることができ、測距精度の向上を図ることができる。
さらに、実施形態としての第二の測距装置においては、キャリブレーション計算部は、キャリブレーション計算処理のための発光部の発光周波数のうち最低の発光周波数である最低発光周波数による発光を行った際の受光信号から検出された位相差のうち、振幅が所定値以上の受光信号から検出された位相差を最低発光周波数に対応する位相差として決定すると共に、決定した最低発光周波数に対応する位相差に基づいて、最低発光周波数以外の他の発光周波数に対応する位相差についての不定性を解消する処理を行っている。
最低発光周波数に対応する位相差については、上記のように振幅が所定値以上の受光信号から検出された位相差を選ぶことで、2π単位の不定性を解消することが可能となり、最低発光周波数以外の他の発光周波数に対応する位相差については、このように不定性が解消された最低発光周波数に対応する位相差に基づき、真の位相差を特定可能となる(つまり2π単位の不定性を解消可能となる)。
従って、2π単位の不定性を解消した位相差に基づき補正パラメータの計算処理を行うことができ、補正パラメータの正確性向上により測距精度の向上を図ることができる。
最低発光周波数に対応する位相差については、上記のように振幅が所定値以上の受光信号から検出された位相差を選ぶことで、2π単位の不定性を解消することが可能となり、最低発光周波数以外の他の発光周波数に対応する位相差については、このように不定性が解消された最低発光周波数に対応する位相差に基づき、真の位相差を特定可能となる(つまり2π単位の不定性を解消可能となる)。
従って、2π単位の不定性を解消した位相差に基づき補正パラメータの計算処理を行うことができ、補正パラメータの正確性向上により測距精度の向上を図ることができる。
さらにまた、実施形態としての第二の測距装置においては、測距点同士が特定の位置関係にあるとの条件を満たすための構図をガイドするガイド画像の表示処理を行うガイド表示処理部を備えている(制御部8A、図10及び図11を参照)。
これにより、測距点同士が特定の位置関係にあるとの条件下で補正パラメータのキャリブレーションが行われる可能性を高めることが可能となる。
従って、補正パラメータの正確性向上を図ることができ、測距精度の向上を図ることができる。
これにより、測距点同士が特定の位置関係にあるとの条件下で補正パラメータのキャリブレーションが行われる可能性を高めることが可能となる。
従って、補正パラメータの正確性向上を図ることができ、測距精度の向上を図ることができる。
また、実施形態としての第二のキャリブレーション方法は、光を発する発光部と、発光部より発せられ対象物体で反射された光を複数の画素で受光する受光センサと、受光センサの受光信号に基づき間接ToF方式による測距を行う測距装置におけるキャリブレーション方法であって、間接ToF方式により計算される距離情報についての補正パラメータを求めるためのキャリブレーション計算処理として、複数の画素に投影されるそれぞれの測距点同士が特定の位置関係にあるとの条件を用いた計算処理を行うキャリブレーション方法である。
このような第二のキャリブレーション方法によっても、上記した第二の測距装置と同様の作用及び効果が得られる。
このような第二のキャリブレーション方法によっても、上記した第二の測距装置と同様の作用及び効果が得られる。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
<6.本技術>
なお本技術は以下のような構成も採ることができる。
(1)
光を発する発光部と、
前記発光部より発せられ対象物体で反射された光を受光する受光センサと、
前記受光センサの受光信号に基づき間接ToF方式により計算される距離情報についての補正パラメータを求めるためのキャリブレーション計算処理として、前記発光部が第一の発光周波数による発光を行った際の前記受光センサの受光信号と、前記発光部が前記第一の発光周波数とは異なる第二の発光周波数による発光を行った際の前記受光センサの受光信号とを用いた計算処理を行うキャリブレーション計算部と、を備えた
測距装置。
(2)
前記キャリブレーション計算部は、
前記受光信号に基づき検出される発光と受光間の位相差に基づく計算処理を行って前記補正パラメータを求める
前記(1)に記載の測距装置。
(3)
前記キャリブレーション計算部は、
前記位相差について、2π単位の不定性を解消する不定性解消処理を行う
前記(2)に記載の測距装置。
(4)
前記キャリブレーション計算部は、
前記キャリブレーション計算処理のための前記発光部の発光周波数のうち最低の発光周波数である最低発光周波数による発光を行った際の前記受光信号から検出された前記位相差のうち、振幅が所定値以上の前記受光信号から検出された前記位相差を前記最低発光周波数に対応する位相差として決定すると共に、決定した前記最低発光周波数に対応する位相差に基づいて、前記最低発光周波数以外の他の前記発光周波数に対応する前記位相差についての前記不定性を解消する処理を行う
前記(3)に記載の測距装置。
(5)
前記キャリブレーション計算部は、
前記キャリブレーション計算処理を前回実行時からの経過時間に基づき実行する
前記(1)から(4)の何れかに記載の測距装置。
(6)
前記キャリブレーション計算部は、
前記キャリブレーション計算処理の実行中に測距の指示が行われた場合は、前記キャリブレーション計算処理を中断して測距のための処理を行う
前記(1)から(5)の何れかに記載の測距装置。
(7)
光を発する発光部と、前記発光部より発せられ対象物体で反射された光を受光する受光センサとを備え、前記受光センサの受光信号に基づき間接ToF方式による測距を行う測距装置におけるキャリブレーション方法であって、
前記間接ToF方式により計算される距離情報についての補正パラメータを求めるためのキャリブレーション計算処理として、前記発光部が第一の発光周波数による発光を行った際の前記受光センサの受光信号と、前記発光部が前記第一の発光周波数とは異なる第二の発光周波数による発光を行った際の前記受光センサの受光信号とを用いた計算処理を行う
キャリブレーション方法。
(8)
光を発する発光部と、
前記発光部より発せられ対象物体で反射された光を複数の画素で受光する受光センサと、
前記受光センサの受光信号に基づき間接ToF方式により計算される距離情報についての補正パラメータを求めるためのキャリブレーション計算処理として、複数の前記画素に投影されるそれぞれの測距点同士が特定の位置関係にあるとの条件を用いた計算処理を行うキャリブレーション計算部と、を備えた
測距装置。
(9)
前記キャリブレーション計算部は、
前記キャリブレーション計算処理として、前記測距点同士が既知の形状の物体上にあるとの条件を用いた計算処理を行う
前記(8)に記載の測距装置。
(10)
前記キャリブレーション計算部は、
前記キャリブレーション計算処理として、前記発光部が第一の発光周波数による発光を行った際の前記受光センサの受光信号と、前記発光部が前記第一の発光周波数とは異なる第二の発光周波数による発光を行った際の前記受光センサの受光信号とを用いた計算処理を行う
前記(8)又は(9)に記載の測距装置。
(11)
前記キャリブレーション計算部は、
前記受光信号に基づき検出される発光と受光間の位相差に基づく計算処理を行って前記補正パラメータを求める
前記(8)から(10)の何れかに記載の測距装置。
(12)
前記キャリブレーション計算部は、
前記位相差について、2π単位の不定性を解消する不定性解消処理を行う
前記(11)に記載の測距装置。
(13)
前記キャリブレーション計算部は、
前記キャリブレーション計算処理のための前記発光部の発光周波数のうち最低の発光周波数である最低発光周波数による発光を行った際の前記受光信号から検出された前記位相差のうち、振幅が所定値以上の前記受光信号から検出された前記位相差を前記最低発光周波数に対応する位相差として決定すると共に、決定した前記最低発光周波数に対応する位相差に基づいて、前記最低発光周波数以外の他の前記発光周波数に対応する前記位相差についての前記不定性を解消する処理を行う
前記(12)に記載の測距装置。
(14)
前記測距点同士が特定の位置関係にあるとの条件を満たすための構図をガイドするガイド画像の表示処理を行うガイド表示処理部を備えた
前記(8)から(13)の何れかに記載の測距装置。
(15)
光を発する発光部と、前記発光部より発せられ対象物体で反射された光を複数の画素で受光する受光センサと、前記受光センサの受光信号に基づき間接ToF方式による測距を行う測距装置におけるキャリブレーション方法であって、
前記間接ToF方式により計算される距離情報についての補正パラメータを求めるためのキャリブレーション計算処理として、複数の前記画素に投影されるそれぞれの測距点同士が特定の位置関係にあるとの条件を用いた計算処理を行う
キャリブレーション方法。
なお本技術は以下のような構成も採ることができる。
(1)
光を発する発光部と、
前記発光部より発せられ対象物体で反射された光を受光する受光センサと、
前記受光センサの受光信号に基づき間接ToF方式により計算される距離情報についての補正パラメータを求めるためのキャリブレーション計算処理として、前記発光部が第一の発光周波数による発光を行った際の前記受光センサの受光信号と、前記発光部が前記第一の発光周波数とは異なる第二の発光周波数による発光を行った際の前記受光センサの受光信号とを用いた計算処理を行うキャリブレーション計算部と、を備えた
測距装置。
(2)
前記キャリブレーション計算部は、
前記受光信号に基づき検出される発光と受光間の位相差に基づく計算処理を行って前記補正パラメータを求める
前記(1)に記載の測距装置。
(3)
前記キャリブレーション計算部は、
前記位相差について、2π単位の不定性を解消する不定性解消処理を行う
前記(2)に記載の測距装置。
(4)
前記キャリブレーション計算部は、
前記キャリブレーション計算処理のための前記発光部の発光周波数のうち最低の発光周波数である最低発光周波数による発光を行った際の前記受光信号から検出された前記位相差のうち、振幅が所定値以上の前記受光信号から検出された前記位相差を前記最低発光周波数に対応する位相差として決定すると共に、決定した前記最低発光周波数に対応する位相差に基づいて、前記最低発光周波数以外の他の前記発光周波数に対応する前記位相差についての前記不定性を解消する処理を行う
前記(3)に記載の測距装置。
(5)
前記キャリブレーション計算部は、
前記キャリブレーション計算処理を前回実行時からの経過時間に基づき実行する
前記(1)から(4)の何れかに記載の測距装置。
(6)
前記キャリブレーション計算部は、
前記キャリブレーション計算処理の実行中に測距の指示が行われた場合は、前記キャリブレーション計算処理を中断して測距のための処理を行う
前記(1)から(5)の何れかに記載の測距装置。
(7)
光を発する発光部と、前記発光部より発せられ対象物体で反射された光を受光する受光センサとを備え、前記受光センサの受光信号に基づき間接ToF方式による測距を行う測距装置におけるキャリブレーション方法であって、
前記間接ToF方式により計算される距離情報についての補正パラメータを求めるためのキャリブレーション計算処理として、前記発光部が第一の発光周波数による発光を行った際の前記受光センサの受光信号と、前記発光部が前記第一の発光周波数とは異なる第二の発光周波数による発光を行った際の前記受光センサの受光信号とを用いた計算処理を行う
キャリブレーション方法。
(8)
光を発する発光部と、
前記発光部より発せられ対象物体で反射された光を複数の画素で受光する受光センサと、
前記受光センサの受光信号に基づき間接ToF方式により計算される距離情報についての補正パラメータを求めるためのキャリブレーション計算処理として、複数の前記画素に投影されるそれぞれの測距点同士が特定の位置関係にあるとの条件を用いた計算処理を行うキャリブレーション計算部と、を備えた
測距装置。
(9)
前記キャリブレーション計算部は、
前記キャリブレーション計算処理として、前記測距点同士が既知の形状の物体上にあるとの条件を用いた計算処理を行う
前記(8)に記載の測距装置。
(10)
前記キャリブレーション計算部は、
前記キャリブレーション計算処理として、前記発光部が第一の発光周波数による発光を行った際の前記受光センサの受光信号と、前記発光部が前記第一の発光周波数とは異なる第二の発光周波数による発光を行った際の前記受光センサの受光信号とを用いた計算処理を行う
前記(8)又は(9)に記載の測距装置。
(11)
前記キャリブレーション計算部は、
前記受光信号に基づき検出される発光と受光間の位相差に基づく計算処理を行って前記補正パラメータを求める
前記(8)から(10)の何れかに記載の測距装置。
(12)
前記キャリブレーション計算部は、
前記位相差について、2π単位の不定性を解消する不定性解消処理を行う
前記(11)に記載の測距装置。
(13)
前記キャリブレーション計算部は、
前記キャリブレーション計算処理のための前記発光部の発光周波数のうち最低の発光周波数である最低発光周波数による発光を行った際の前記受光信号から検出された前記位相差のうち、振幅が所定値以上の前記受光信号から検出された前記位相差を前記最低発光周波数に対応する位相差として決定すると共に、決定した前記最低発光周波数に対応する位相差に基づいて、前記最低発光周波数以外の他の前記発光周波数に対応する前記位相差についての前記不定性を解消する処理を行う
前記(12)に記載の測距装置。
(14)
前記測距点同士が特定の位置関係にあるとの条件を満たすための構図をガイドするガイド画像の表示処理を行うガイド表示処理部を備えた
前記(8)から(13)の何れかに記載の測距装置。
(15)
光を発する発光部と、前記発光部より発せられ対象物体で反射された光を複数の画素で受光する受光センサと、前記受光センサの受光信号に基づき間接ToF方式による測距を行う測距装置におけるキャリブレーション方法であって、
前記間接ToF方式により計算される距離情報についての補正パラメータを求めるためのキャリブレーション計算処理として、複数の前記画素に投影されるそれぞれの測距点同士が特定の位置関係にあるとの条件を用いた計算処理を行う
キャリブレーション方法。
1,1A 測距装置
2 発光部
3 センサ部
4 レンズ
5 位相差検出部
6 演算部
7 振幅検出部
8,8A 制御部
8a,8aA キャリブレーション計算部
9 メモリ部
9a パラメータ情報
10 表示部
11 操作部
Ob 対象物体
Ls 照射光
Lr 反射光
20 平板
W 枠
Ar 平面撮影領域
2 発光部
3 センサ部
4 レンズ
5 位相差検出部
6 演算部
7 振幅検出部
8,8A 制御部
8a,8aA キャリブレーション計算部
9 メモリ部
9a パラメータ情報
10 表示部
11 操作部
Ob 対象物体
Ls 照射光
Lr 反射光
20 平板
W 枠
Ar 平面撮影領域
Claims (15)
- 光を発する発光部と、
前記発光部より発せられ対象物体で反射された光を受光する受光センサと、
前記受光センサの受光信号に基づき間接ToF方式により計算される距離情報についての補正パラメータを求めるためのキャリブレーション計算処理として、前記発光部が第一の発光周波数による発光を行った際の前記受光センサの受光信号と、前記発光部が前記第一の発光周波数とは異なる第二の発光周波数による発光を行った際の前記受光センサの受光信号とを用いた計算処理を行うキャリブレーション計算部と、を備えた
測距装置。 - 前記キャリブレーション計算部は、
前記受光信号に基づき検出される発光と受光間の位相差に基づく計算処理を行って前記補正パラメータを求める
請求項1に記載の測距装置。 - 前記キャリブレーション計算部は、
前記位相差について、2π単位の不定性を解消する不定性解消処理を行う
請求項2に記載の測距装置。 - 前記キャリブレーション計算部は、
前記キャリブレーション計算処理のための前記発光部の発光周波数のうち最低の発光周波数である最低発光周波数による発光を行った際の前記受光信号から検出された前記位相差のうち、振幅が所定値以上の前記受光信号から検出された前記位相差を前記最低発光周波数に対応する位相差として決定すると共に、決定した前記最低発光周波数に対応する位相差に基づいて、前記最低発光周波数以外の他の前記発光周波数に対応する前記位相差についての前記不定性を解消する処理を行う
請求項3に記載の測距装置。 - 前記キャリブレーション計算部は、
前記キャリブレーション計算処理を前回実行時からの経過時間に基づき実行する
請求項1に記載の測距装置。 - 前記キャリブレーション計算部は、
前記キャリブレーション計算処理の実行中に測距の指示が行われた場合は、前記キャリブレーション計算処理を中断して測距のための処理を行う
請求項1に記載の測距装置。 - 光を発する発光部と、前記発光部より発せられ対象物体で反射された光を受光する受光センサとを備え、前記受光センサの受光信号に基づき間接ToF方式による測距を行う測距装置におけるキャリブレーション方法であって、
前記間接ToF方式により計算される距離情報についての補正パラメータを求めるためのキャリブレーション計算処理として、前記発光部が第一の発光周波数による発光を行った際の前記受光センサの受光信号と、前記発光部が前記第一の発光周波数とは異なる第二の発光周波数による発光を行った際の前記受光センサの受光信号とを用いた計算処理を行う
キャリブレーション方法。 - 光を発する発光部と、
前記発光部より発せられ対象物体で反射された光を複数の画素で受光する受光センサと、
前記受光センサの受光信号に基づき間接ToF方式により計算される距離情報についての補正パラメータを求めるためのキャリブレーション計算処理として、複数の前記画素に投影されるそれぞれの測距点同士が特定の位置関係にあるとの条件を用いた計算処理を行うキャリブレーション計算部と、を備えた
測距装置。 - 前記キャリブレーション計算部は、
前記キャリブレーション計算処理として、前記測距点同士が既知の形状の物体上にあるとの条件を用いた計算処理を行う
請求項8に記載の測距装置。 - 前記キャリブレーション計算部は、
前記キャリブレーション計算処理として、前記発光部が第一の発光周波数による発光を行った際の前記受光センサの受光信号と、前記発光部が前記第一の発光周波数とは異なる第二の発光周波数による発光を行った際の前記受光センサの受光信号とを用いた計算処理を行う
請求項8に記載の測距装置。 - 前記キャリブレーション計算部は、
前記受光信号に基づき検出される発光と受光間の位相差に基づく計算処理を行って前記補正パラメータを求める
請求項8に記載の測距装置。 - 前記キャリブレーション計算部は、
前記位相差について、2π単位の不定性を解消する不定性解消処理を行う
請求項11に記載の測距装置。 - 前記キャリブレーション計算部は、
前記キャリブレーション計算処理のための前記発光部の発光周波数のうち最低の発光周波数である最低発光周波数による発光を行った際の前記受光信号から検出された前記位相差のうち、振幅が所定値以上の前記受光信号から検出された前記位相差を前記最低発光周波数に対応する位相差として決定すると共に、決定した前記最低発光周波数に対応する位相差に基づいて、前記最低発光周波数以外の他の前記発光周波数に対応する前記位相差についての前記不定性を解消する処理を行う
請求項12に記載の測距装置。 - 前記測距点同士が特定の位置関係にあるとの条件を満たすための構図をガイドするガイド画像の表示処理を行うガイド表示処理部を備えた
請求項8に記載の測距装置。 - 光を発する発光部と、前記発光部より発せられ対象物体で反射された光を複数の画素で受光する受光センサと、前記受光センサの受光信号に基づき間接ToF方式による測距を行う測距装置におけるキャリブレーション方法であって、
前記間接ToF方式により計算される距離情報についての補正パラメータを求めるためのキャリブレーション計算処理として、複数の前記画素に投影されるそれぞれの測距点同士が特定の位置関係にあるとの条件を用いた計算処理を行う
キャリブレーション方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US18/044,738 US20230350063A1 (en) | 2020-09-16 | 2021-07-19 | Distance measuring device and calibration method |
JP2022550382A JPWO2022059330A1 (ja) | 2020-09-16 | 2021-07-19 | |
CN202180054957.2A CN116097061A (zh) | 2020-09-16 | 2021-07-19 | 距离测量装置及校准方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-155534 | 2020-09-16 | ||
JP2020155534 | 2020-09-16 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022059330A1 true WO2022059330A1 (ja) | 2022-03-24 |
Family
ID=80776050
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/027016 WO2022059330A1 (ja) | 2020-09-16 | 2021-07-19 | 測距装置、キャリブレーション方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230350063A1 (ja) |
JP (1) | JPWO2022059330A1 (ja) |
CN (1) | CN116097061A (ja) |
WO (1) | WO2022059330A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130293867A1 (en) * | 2009-09-23 | 2013-11-07 | Pixart Imaging Inc. | Distance-measuring device of measuring distance according to variation of imaging location and calibrating method thereof |
JP2017173173A (ja) * | 2016-03-24 | 2017-09-28 | 株式会社トプコン | 距離測定装置およびその校正方法 |
CN111913169A (zh) * | 2019-05-10 | 2020-11-10 | 北京四维图新科技股份有限公司 | 激光雷达内参、点云数据的修正方法、设备及存储介质 |
-
2021
- 2021-07-19 JP JP2022550382A patent/JPWO2022059330A1/ja active Pending
- 2021-07-19 US US18/044,738 patent/US20230350063A1/en active Pending
- 2021-07-19 CN CN202180054957.2A patent/CN116097061A/zh active Pending
- 2021-07-19 WO PCT/JP2021/027016 patent/WO2022059330A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130293867A1 (en) * | 2009-09-23 | 2013-11-07 | Pixart Imaging Inc. | Distance-measuring device of measuring distance according to variation of imaging location and calibrating method thereof |
JP2017173173A (ja) * | 2016-03-24 | 2017-09-28 | 株式会社トプコン | 距離測定装置およびその校正方法 |
CN111913169A (zh) * | 2019-05-10 | 2020-11-10 | 北京四维图新科技股份有限公司 | 激光雷达内参、点云数据的修正方法、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116097061A (zh) | 2023-05-09 |
JPWO2022059330A1 (ja) | 2022-03-24 |
US20230350063A1 (en) | 2023-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11625845B2 (en) | Depth measurement assembly with a structured light source and a time of flight camera | |
US9976849B2 (en) | Depth mapping using structured light and time of flight | |
JP6379276B2 (ja) | 追跡方法 | |
US10878589B2 (en) | Time-of-flight depth measurement using modulation frequency adjustment | |
JP6379277B2 (ja) | 追跡方法及び追跡システム | |
JP5956218B2 (ja) | 形状計測装置、形状計測方法及び形状計測装置における校正処理方法 | |
US9835718B2 (en) | Range finder and optical device | |
US9978147B2 (en) | System and method for calibration of a depth camera system | |
WO2007031248A3 (en) | Surveying instrument and method of providing survey data using a surveying instrument | |
CN109426818B (zh) | 用于识别视线外对象的装置 | |
US9648223B2 (en) | Laser beam scanning assisted autofocus | |
KR20170114045A (ko) | 이미지 센서 및 레이더 센서를 이용하여 타겟의 궤적을 추적하는 장치 및 방법 | |
WO2022059330A1 (ja) | 測距装置、キャリブレーション方法 | |
CN108387176B (zh) | 一种激光振镜重复定位精度的测量方法 | |
JP2009002823A (ja) | 3次元形状測定システム、及び、3次元形状測定方法 | |
RU2649420C2 (ru) | Способ дистанционного измерения подвижных объектов | |
EP3073222B1 (en) | Altimeter using imaging capability | |
JP2016151438A (ja) | 配光特性測定装置および配光特性測定方法 | |
JP6426295B2 (ja) | 測距装置、測距方法、及び測距プログラム | |
CN109000565B (zh) | 一种测量方法、装置及终端 | |
CN111094892B (zh) | 勘测仪器的数据收集任务队列 | |
TWI690719B (zh) | 誤差校正系統及其方法 | |
JPH11295422A (ja) | 光波センサ装置 | |
JP2016045010A (ja) | 目標追跡装置及び駆動制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21869017 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022550382 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21869017 Country of ref document: EP Kind code of ref document: A1 |