WO2022149466A1 - 信号処理装置および方法、並びにプログラム - Google Patents
信号処理装置および方法、並びにプログラム Download PDFInfo
- Publication number
- WO2022149466A1 WO2022149466A1 PCT/JP2021/047512 JP2021047512W WO2022149466A1 WO 2022149466 A1 WO2022149466 A1 WO 2022149466A1 JP 2021047512 W JP2021047512 W JP 2021047512W WO 2022149466 A1 WO2022149466 A1 WO 2022149466A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- frequency
- distance
- light
- unit
- signal processing
- Prior art date
Links
- 238000000034 method Methods 0.000 title abstract description 45
- 238000003672 processing method Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 113
- 238000005516 engineering process Methods 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 16
- 238000010187 selection method Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 229920006395 saturated elastomer Polymers 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
Definitions
- the present technology relates to a signal processing device and method, and a program, and particularly to a signal processing device and method capable of performing highly accurate distance measurement over a wide range, and a program.
- the range of distance that can be measured by the iToF (Time of Flight) type sensor depends on the light source used for imaging.
- the distance measurement accuracy depends not only on the frequency but also on the intensity of the amount of light received by the iToF sensor.
- the appropriate exposure time is calculated for each, and the method applied for each frequency or the calculation result of each exposure time is integrated. , A method of setting the same exposure time is adopted.
- the distance measurement accuracy will be high when measuring a short distance area near the iToF sensor, and the position far from the iToF sensor will be high. There is a tendency for the distance measurement accuracy to be low when measuring a long distance area in.
- This technology was made in view of such a situation, and makes it possible to perform highly accurate distance measurement over a wide range.
- the signal processing device uses the amount of light received by the reflected light reflected by the subject as the amount of charge when measuring the distance using the modulated light of a predetermined frequency emitted from the light emitting unit.
- the distance to the subject is calculated based on the amount of charge acquired from the accumulated light receiving unit and the predetermined frequency, and the distance measuring unit that generates a distance image and the modulated light of the first frequency are used.
- a frequency calculation unit for calculating the second frequency based on the region is provided.
- the amount of light received by the modulated light reflected by the subject is stored as the amount of electric charge.
- the distance to the subject is calculated based on the amount of electric charge acquired from the unit and the predetermined frequency, and a distance image is generated.
- the target of the exposure control when the distance is measured using the modulated light of the second frequency.
- the target area is set, and the second frequency is calculated based on the target area.
- FIG. 1 is a diagram showing the relationship between the modulation frequency of the iToF sensor and the distance range that can be measured.
- the iToF sensor performs distance measurement using modulated light of a predetermined modulation frequency, that is, imaging using modulated light of a predetermined modulation frequency, and distance measurement using a distance image obtained by imaging. Specifically, the iToF sensor receives the reflected light that is modulated by a predetermined modulation frequency and the emitted modulated light is reflected by the subject, stores the received light amount as an electric charge amount, and outputs the RAW data. Distance measurement is performed by using it to generate a distance image.
- the modulated frequency is simply referred to as a frequency
- the modulated light is also simply referred to as light.
- the distance range that can be measured is schematically shown when the frequency of the light used for the distance measurement of the iToF sensor is 100 MHz, 80 MHz, 60 MHz, and 20 MHz. 0m on the left side is the position of the iToF sensor.
- the distance range that can be measured from the iToF sensor is, for example, 0 m to 1.5 m, 1.5 m to 3 m, 3 m to 4.5 m, 4.5 m to 6 m, and 6 m to 7.5 m.
- the range that can be measured with one distance measurement is 1.88m. Therefore, in this case, for example, 0 m to 1.88 m, 1.88 m to 3.75 m, 3.75 m to 5.63 m, and 5.63 m to 7.5 m are the distance range that can be measured from the iToF sensor.
- the range that can be measured with one distance measurement is 2.5m. Therefore, in this case, for example, 0 m to 2.5 m, 2.5 m to 5 m, and 5 m to 7.5 m are the distance range that can be measured from the iToF sensor.
- the range that can be measured with one distance measurement is 7.5m. Therefore, in this case, for example, 0 m to 7.5 m is the distance range that can be measured from the iToF sensor.
- the distance range that can be measured differs depending on the frequency of light.
- the frequency of light whose range of distance that can be measured by one degree of distance measurement is a long distance, the lower the accuracy of distance measurement using that light, and the distance that can be measured by one degree of distance measurement.
- the light with a frequency whose range is a short distance range the higher the accuracy of distance measurement using the light.
- FIG. 2 is a diagram showing distance measurement results (Measured depth) and actual values (ground truth) using light of different frequencies.
- FIG. 2 shows a graph of the distance measurement result using 20 MHz light and the distance measurement result using 100 MHz light.
- the horizontal axis is the actual value
- the vertical axis is the distance measurement result.
- the distance measurement using 20 MHz light is a long-distance measurement of 750 cm
- the distance measurement using 100 MHz light is a short-range measurement of 150 cm.
- Distance measurement using light is more accurate than distance measurement using 20 MHz light.
- the distance measurement using 100 MHz light is a distance measurement in a plurality of short-range ranges (5), and it is unknown which short-range range was measured.
- the accuracy of distance measurement can be improved by setting the distance measurement result using 100 MHz light, which is the closest to the distance measurement result using 20 MHz light, as the correct distance.
- the same exposure time is set for both distance measurement using 20 MHz light and distance measurement using 100 MHz light.
- FIG. 3 is a diagram schematically showing distance measurement when the same exposure time is set in distance measurement using 20 MHz light and distance measurement using 100 MHz light.
- 0 m on the left side is the position of the iToF sensor, and the exposure state in the range of 0 m to 7.5 m is shown.
- the three face icons are, in order from the left, a short-distance region where the distance from the iToF sensor position is short, a medium-distance region where the distance from the iToF sensor position is medium, and a distance from the iToF sensor position. It shows the state of distance measurement in the distance area.
- the face icon shown by the broken line indicates that the light is saturated and overexposure occurs, making it impossible to measure the distance.
- the face icon shown by the solid line and the face icon shown by the hatch indicate that the distance can be measured.
- the pixel value obtained in the area where each face icon is shown is lower in the face icon in which the hatch is shown than in the face icon shown by the solid line.
- the face icon shown in black indicates that the light does not reach and the distance cannot be measured. The same applies to the following figures.
- FIG. 3A is a diagram showing an example in the case where the exposure is adjusted to the front when viewed from the position of the iToF sensor in the first distance measurement.
- FIG. 3B is a diagram showing an example in the case where the exposure is adjusted far away from the position of the iToF sensor.
- the first distance measurement is performed using the light of the first frequency, and the light of the second frequency is used based on the first distance image generated by the first distance measurement.
- the target area for performing the second distance measurement is set, and the second frequency is determined based on the set target area.
- the target area for performing the second distance measurement is also the target area used for the exposure control when performing the second distance measurement.
- FIG. 4 is a diagram showing a procedure of the first selection method of the target area.
- the first distance measurement is performed using the light of the first frequency (20 MHz).
- the exposure is adjusted to a long distance, it is possible to measure the distance in the medium-distance region and the long-distance region, but in the short-distance region, the light is saturated and overexposure occurs. Distance measurement is not possible.
- the pixel value is blown out from the distance region (3 m to 7.5 m) where the pixel value can be acquired. Is not obtained, and the area of 3 m (0 m to 3 m) in which the pixel value needs to be obtained is estimated by the second distance measurement.
- the area of 3 m in which the estimated pixel value needs to be acquired is the target area for performing the second distance measurement using the light of the second frequency, and the second distance measurement is performed. It is set as the target area of exposure control when performing.
- FIG. 5 is a diagram showing a procedure of a second selection method of the target area.
- the first distance measurement is performed using the light of the first frequency (20 MHz). Originally, it is possible to measure a long distance by the first frequency, but in the case of FIG. 5, the exposure is adjusted to the front, and the short-distance region and the medium-distance region can be distance-measured, but the long-distance region. As for, the light does not reach and blackout occurs, making it impossible to measure the distance.
- the pixel value is obtained by blackening from the distance portion (0 m to 2.5 m) from which the pixel value can be acquired. Is not obtained, and the area of 5 m (2.5 m to 7.5 m) in which the pixel value needs to be acquired is estimated by the second distance measurement. In the case of B in FIG. 5, an area of 5 m in which the estimated pixel value needs to be acquired is set as the target area.
- the second frequency (30 MHz) at which the 5 m region, which is the target region, can be measured with high accuracy is determined.
- FIG. 6 is a diagram showing a procedure of a third selection method of the target area.
- the first distance measurement is performed using the light of the first frequency (20 MHz).
- the exposure is adjusted to the middle distance, it is possible to measure the distance as a whole, that is, in the short-distance region, the medium-distance region, and the long-distance region, but the accuracy is not good.
- the second distance is specified by designating the distance (priority distance) or area that the user wants to preferentially acquire while looking at the first distance image which is the first distance measurement result.
- a 1m area (2.0m to 3.0m) where pixel values need to be acquired is estimated by distance measurement.
- a 1 m area in which the estimated pixel value needs to be acquired is set as the target area.
- the second frequency (100 MHz) at which the 1 m area, which is the target area, can be measured with high accuracy is determined.
- the second distance measurement using the second frequency determined as described above is performed, and the first distance image generated by the first distance measurement and the second distance measurement generated by the second distance measurement are performed.
- a distance image combined with the distance image of 2 is output. As a result, distance measurement can be performed with high accuracy over a wide range.
- FIG. 7 is a block diagram showing a configuration example of the first embodiment of the iToF sensor to which the present technology is applied.
- the iToF sensor 11 is composed of a light emitting unit 21, a sensor 22, and a signal processing device 23.
- the light emitting unit 21 emits modulated light modulated at a frequency set by the signal processing device 23.
- the sensor 22 includes a light receiving unit in which the modulated light emitted by the light emitting unit 21 receives the reflected light reflected by the subject and stores the received light amount as an electric charge amount in accordance with the exposure control from the signal processing device 23. It is composed of.
- the sensor 22 outputs the amount of electric charge accumulated in the light receiving unit to the signal processing device 23.
- the signal processing device 23 is described from the emission frequency control unit 41, the signal intensity calculation unit 42, the ranging unit 43, the exposure time calculation unit 44, the area setting unit 45, the frequency calculation unit 46, the distance image composition unit 47, and the output unit 48. It is composed.
- the emission frequency control unit 41 sets the frequency determined by the frequency calculation unit 46 as the emission frequency, and controls the emission unit 21 so as to emit light at the set frequency. In the first distance measurement, a preset frequency is used.
- the signal strength calculation unit 42 calculates the signal strength from the signal value of the RAW data supplied from the sensor 22, and outputs the calculated signal strength to the exposure time calculation unit 44.
- the distance measuring unit 43 calculates the distance from the subject based on the RAW data supplied from the sensor 22 and the frequency, and generates a distance image.
- the distance measuring unit 43 outputs the generated distance image to the area setting unit 45, the frequency calculation unit 46, and the distance image composition unit 47.
- the exposure time calculation unit 44 calculates the exposure time of the next frame so that the signal intensity supplied from the signal intensity calculation unit 42 becomes an appropriate intensity.
- the exposure time calculation unit 44 controls the exposure of the sensor 22 with the calculated exposure time. In the distance measurement of the first frame, a preset exposure time is used. Further, as the exposure control of the sensor 22, in addition to the exposure time, the amount of light required for exposure may be calculated and the calculated amount of light may be controlled.
- the area setting unit 45 is the pixel value closest to the sensor 22 in the first distance image generated by the first distance measurement using the light of the first frequency supplied from the distance measurement unit 43. And, the pixel value that is the farthest from the sensor 22 is acquired.
- the pixel value closest to the sensor 22 is hereinafter referred to as the latest value, and the pixel value closest to the sensor 22 is hereinafter referred to as the farthest value.
- the area setting unit 45 cannot acquire the pixel value in the first distance measurement, and can estimate the distance required to acquire the pixel value in the second distance measurement.
- the area setting unit 45 is based on the range of the distance at which the estimated pixel value needs to be acquired, or the area of interest designated according to the user's operation. ,
- the target area for performing the second distance measurement using the light of the second frequency is set. This target area is also a target area for performing exposure control in the second distance measurement.
- the area setting unit 45 outputs information indicating the set target area to the exposure time calculation unit 44 and the frequency calculation unit 46.
- the frequency calculation unit 46 calculates a second frequency capable of measuring a target area set by the area setting unit 45, and outputs the calculated second frequency to the emission frequency control unit 41.
- the distance image synthesizing unit 47 used the first distance image generated by the first distance measurement using the light of the first frequency supplied from the distance measuring unit 43 and the light of the second frequency.
- the second distance image generated by the second distance measurement is combined, and the combined distance image is output to the output unit 48.
- the output unit 48 outputs the distance image supplied from the distance image composition unit 47 to a subsequent stage (not shown).
- the area setting unit 45 obtains the latest value A and the farthest value B using the first distance image supplied from the distance measuring unit 43, as shown in FIG. 8, to obtain the pixel value. Estimate the distance range AB that needs to be acquired.
- FIG. 8 is a diagram showing a range of the first distance measurement when viewed from the position of the sensor 22.
- FIG. 8 shows that the sensor 22 is located in front of the left side, and the first distance measurement is performed from the front left side to the back right side.
- A represents the position where the latest value in the first distance measurement is acquired
- B represents the position where the farthest value in the first distance measurement is acquired.
- the solid dotted line shown in front of A is located at a short distance from the sensor 22 and has high brightness (saturated state) due to exposure, so that the pixel value cannot be acquired. It is a three-dimensional object that is located.
- the solid line solid and the hatched solid shown between A and B are solids located in a range where pixel values can be acquired.
- the black-painted solid shown behind B is located at a long distance from the sensor 22, the light from the exposure does not reach it, and the brightness is low, so it is located in the range where it is impossible to acquire the pixel value. It is three-dimensional.
- the distance range AB is a range in which the pixel value can be acquired
- the area on the left side of A is a range in which the pixel value cannot be acquired because of high brightness
- the area on the right side of B is low brightness. That is, since the confidence value is low, the pixel value cannot be acquired.
- FIG. 9 is a diagram showing an example when the first ranging range from the left front to the right back of FIG. 8 is viewed from the right front.
- 0 at the left end represents the position of the sensor 22, and X at the right end represents the farthest position where distance measurement is possible with the iToF sensor 11.
- the distance region acquired by the first distance measurement is the distance range AB
- the high-luminance region where the pixel value cannot be acquired exists in the distance range 0-A, and the pixel value cannot be acquired.
- the possible low-brightness areas are within the distance range BX.
- the area setting unit 45 sets the distance range 0-A to the second distance measurement. Set as the target area of. Further, if it is necessary to acquire the pixel value in the low-luminance region where the pixel value could not be acquired in the first distance measurement, the area setting unit 45 sets the distance range BX to the second distance measurement. Set as the target area of.
- the frequency calculation unit calculates a second frequency that can measure the distance range 0-A.
- the frequency calculation unit calculates a second frequency at which the distance range BX can be measured.
- the first distance image may be presented to the user, and the area of interest instructed by the user may be set as the target area.
- the object captured in the first ranging may be recognized, and the peripheral area of the recognized object may be set as the target area.
- the target region for performing the third distance measurement and the third frequency may be determined.
- the method of determining the target area for performing the third distance measurement and the third frequency is the same as in the case of the target area for performing the second distance measurement and the second frequency.
- FIG. 10 is a flowchart illustrating the processing of the iToF sensor 11.
- step S11 the iToF sensor 11 performs the first distance measurement using the modulated light of the first frequency, and acquires the first RAW data.
- the first frequency is preset as the emission frequency.
- the light emitting frequency control unit 41 controls the light emitting unit 21 so that light is emitted at the set first frequency.
- the light emitting unit 21 emits modulated light modulated at the first frequency set by the light emitting frequency control unit 41.
- the sensor 22 receives the reflected light reflected by the subject by the modulated light emitted by the light emitting unit 21 according to the exposure control by the exposure time calculation unit 44.
- the sensor 22 stores the received light amount as a charge amount in the light receiving unit, and outputs the charge amount stored in the light receiving unit to the signal intensity calculation unit 42 and the ranging unit 43 as the first RAW data.
- step S12 the signal strength calculation unit 42 calculates the signal strength from the signal value of the first RAW data supplied from the sensor 22, and outputs the calculated signal strength to the exposure time calculation unit 44.
- the exposure time calculation unit 44 makes a first distance measurement using the modulated light of the first frequency of the next frame so that the signal intensity supplied from the signal intensity calculation unit 42 becomes an appropriate intensity. The exposure time of 1 is calculated.
- step S13 the distance measuring unit 43 calculates the distance from the subject based on the first RAW data supplied from the sensor 22 and the first frequency, and generates the first distance image.
- the distance measuring unit 43 outputs the generated first distance image to the area setting unit 45, the frequency calculation unit 46, and the distance image composition unit 47.
- step S14 the area setting unit 45 and the frequency calculation unit 46 perform a second frequency calculation process.
- the area setting unit 45 sets the target area for the second ranging using the second frequency
- the frequency calculation unit 46 calculates the second frequency based on the set target area.
- the area setting unit 45 outputs information indicating the set target area to the exposure time calculation unit 44 and the frequency calculation unit 46.
- the second frequency calculated by the frequency calculation unit 46 is output to the emission frequency control unit 41.
- step S15 the exposure time calculation unit 44 controls the exposure of the target area set by the area setting unit 45 in the second exposure control and the second exposure measurement using the modulated light of the second frequency of the next frame. It is determined as the target area used for calculating the second exposure time.
- step S16 the emission frequency control unit 41 sets the second frequency supplied by the frequency calculation unit 46 as the emission frequency.
- step S17 the signal strength calculation unit 42 and the distance measuring unit 43 acquire the second RAW data.
- the light emitting frequency control unit 41 controls the light emitting unit 21 so as to emit light at a second frequency set as the light emitting frequency.
- the light emitting unit 21 emits modulated light modulated at a second frequency set by the light emitting frequency control unit 41.
- the sensor 22 receives the reflected light reflected by the subject by the modulated light emitted by the light emitting unit 21 according to the exposure control by the exposure time calculation unit 44.
- the sensor 22 stores the received light amount as a charge amount in the light receiving unit, and outputs the charge amount stored in the light receiving unit to the signal intensity calculation unit 42 and the ranging unit 43 as second RAW data.
- the signal strength calculation unit 42 and the distance measuring unit 43 acquire the second RAW data.
- step S18 the signal strength calculation unit 42 calculates the signal strength from the signal value of the second RAW data supplied from the sensor 22, and outputs the calculated signal strength to the exposure time calculation unit 44.
- the exposure time calculation unit 44 performs a second distance measurement using the second frequency of the next frame so that the signal intensity supplied from the signal intensity calculation unit 42 becomes an appropriate intensity in the determined target region. The second exposure time is calculated.
- step S19 the exposure time calculation unit 44 sets the first exposure time and the second exposure time calculated in steps S12 and S18 as the first exposure time and the second exposure time of the next frame, respectively.
- step S20 the distance measuring unit 43 calculates the distance from the subject based on the second RAW data supplied from the sensor 22 and the second frequency, and generates a second distance image.
- the distance measuring unit 43 outputs the generated second distance image to the distance image synthesizing unit 47.
- step S21 the distance image synthesizing unit 47 synthesizes the first distance image and the second distance image supplied from the distance measuring unit 43 and outputs them to the output unit 48.
- the output unit 48 outputs the combined distance image to a subsequent stage (not shown).
- step S21 the process of FIG. 10 ends.
- FIG. 11 is a flowchart illustrating the frequency calculation process in step S14 of FIG.
- step S51 the area setting unit 45 estimates the distance range in which the pixel value can be acquired by acquiring the latest value and the farthest value using the first distance image supplied from the distance measuring unit 43. ..
- step S52 the area setting unit 45 estimates the distance area in which the pixel value could not be acquired in the first distance measurement based on the distance range in which the pixel value could be acquired.
- step S53 the area setting unit 45 sets the estimated distance area as the target area for performing the second distance measurement using the second frequency.
- step S54 the frequency calculation unit 46 calculates a second frequency capable of measuring the set target area.
- FIG. 12 is a block diagram showing a configuration example of a second embodiment of the iToF sensor to which the present technology is applied.
- the iToF sensor 111 is composed of light emitting units 21-1 to 21-n corresponding to each fixed frequency, a sensor 22, and a signal processing device 121.
- the portion corresponding to FIG. 7 is designated by a corresponding reference numeral, and the description thereof will be omitted.
- the signal processing device 121 includes frequency control units 141-1 to 141-n, emission frequency selection unit 142, signal intensity calculation unit 42, ranging unit 43, exposure time calculation unit 44, area setting unit 45, frequency calculation unit 46, and so on. It is composed of a range image composition unit 47 and an output unit 48.
- the frequency control units 141-1 to 141-n are configured corresponding to the light emitting units 21-1 to 21-n for each frequency.
- the frequency control units 141-1 to 141-n control the corresponding light emitting units 21-1 to 21-n so that they emit light at the corresponding frequency according to the control of the light emitting frequency selection unit 142.
- the emission frequency selection unit 142 selects, among the frequencies corresponding to the frequency control units 141-1 to 141-n, the same frequency as the second frequency determined by the frequency calculation unit 46 as the emission frequency.
- the emission frequency selection unit 142 emits light from the corresponding light emitting units 21-1 to 21-n with respect to the frequency control units 141-1 to 141-n corresponding to the same frequency as the second frequency selected for the emission frequency. Let it be controlled.
- the emission frequency selection unit 142 is determined by the frequency calculation unit 46 among the frequencies corresponding to the frequency control units 141-1 to 141-n. A frequency closer to the second frequency is selected as the emission frequency.
- the frequency control units 141 are referred to as frequency control units 141.
- FIG. 13 is a flowchart illustrating the processing of the iToF sensor 111 of FIG.
- steps S111 to S115 and steps S117 to S121 of FIG. 13 are the same as the processes of steps S11 to S15 and steps S17 to S21 of FIG. 10, the description thereof will be omitted.
- step S114 of FIG. 13 information indicating the target area set by the area setting unit 45 is output to the exposure time calculation unit 44 and the frequency calculation unit 46.
- the second frequency calculated by the frequency calculation unit 46 is output to the emission frequency control unit 41.
- step S115 the exposure time calculation unit 44 controls the exposure of the target area set by the area setting unit 45 during the second distance measurement using the modulated light of the second frequency of the next frame, and the second Determined as the area used to calculate the exposure time. After that, the process proceeds to step S116.
- step S116 the emission frequency selection unit 142 selects, among the frequencies corresponding to the frequency control units 141-1 to 141-2, the same frequency as the second frequency determined by the frequency calculation unit 46 as the emission frequency.
- the emission frequency selection unit 142 emits light from the corresponding light emitting units 21-1 to 21-n to the frequency control units 141-1 to 141-2 corresponding to the same frequency as the second frequency selected for the emission frequency. Let it be controlled.
- the distance to the subject is calculated based on the amount of electric charge acquired from the light receiving unit accumulating as the amount of electric charge and a predetermined frequency, and a distance image is generated.
- the target of the exposure control when the subject is imaged using the modulated light of the second frequency A target area is set, and a second frequency is calculated based on the target area.
- FIG. 14 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
- the CPU 301, ROM (Read Only Memory) 302, and RAM 303 are connected to each other by the bus 304.
- An input / output interface 305 is further connected to the bus 304.
- An input unit 306 including a keyboard, a mouse, and the like, and an output unit 307 including a display, a speaker, and the like are connected to the input / output interface 305.
- the input / output interface 305 is connected to a storage unit 308 made of a hard disk, a non-volatile memory, etc., a communication unit 309 made of a network interface, etc., and a drive 310 for driving the removable media 311.
- the CPU 301 loads the program stored in the storage unit 308 into the RAM 303 via the input / output interface 305 and the bus 304, and executes the above-mentioned series of processes. Is done.
- the program executed by the CPU 301 is recorded on the removable media 311 or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, and installed in the storage unit 308.
- the program executed by the computer may be a program in which processing is performed in chronological order according to the order described in the present specification, in parallel, or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
- the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
- this technology can take a cloud computing configuration in which one function is shared by multiple devices via a network and processed jointly.
- each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
- one step includes a plurality of processes
- the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
- the present technology can also have the following configurations.
- a distance measuring unit that calculates the distance to the subject based on the predetermined frequency and generates a distance image.
- a target area subject to exposure control when measuring a distance using a second frequency modulated light based on a first distance image generated when the distance is measured using a first frequency modulated light.
- Area setting section to set A signal processing device including a frequency calculation unit for calculating the second frequency based on the target region.
- an exposure time calculation unit for calculating an exposure time based on the amount of electric charge is provided.
- the exposure time calculation unit calculates the amount of light required for exposure, and then calculates the amount of light.
- (11) With the light emitting part The signal processing device according to any one of (1) to (10), further comprising the light receiving unit.
- (12) The signal processing device according to (11), wherein the light emitting unit emits the modulated light of the first frequency and the modulated light of the second frequency.
- the light emitting part is plural, The signal processing device according to (11), wherein the light emitting unit having a frequency closer to the second frequency calculated by the frequency calculation unit emits the modulated light among the plurality of light emitting units.
- the signal processing device The amount of charge acquired from the light receiving unit that stores the amount of light received by the modulated light reflected by the subject as the amount of charge when the distance is measured using the modulated light of a predetermined frequency emitted from the light emitting unit.
- the distance to the subject is calculated based on the predetermined frequency, and a distance image is generated.
- a target area subject to exposure control when measuring a distance using a second frequency modulated light based on a first distance image generated when the distance is measured using a first frequency modulated light.
- set A signal processing method for calculating the second frequency based on the target region.
- (16) The amount of charge acquired from the light receiving unit that stores the amount of light received by the modulated light reflected by the subject as the amount of charge when the distance is measured using the modulated light of a predetermined frequency emitted from the light emitting unit.
- a distance measuring unit that calculates the distance to the subject based on the predetermined frequency and generates a distance image.
- a target area subject to exposure control when measuring a distance using a second frequency modulated light based on a first distance image generated when the distance is measured using a first frequency modulated light Area setting section to set A program that causes a computer to function as a frequency calculation unit that calculates the second frequency based on the target area.
Landscapes
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本技術は、広範囲に対して、高精度な測距を行うことができるようにする信号処理装置および方法、並びにプログラムに関する。 信号処理装置は、発光部から発光された所定の周波数の変調光を用いて測距する際に、変調光が被写体で反射した反射光を受光した光量を電荷量として蓄積する受光部から取得される電荷量、および所定の周波数に基づいて、被写体までの距離を算出し、距離画像を生成し、第１の周波数の変調光を用いて測距する際に生成された第１の距離画像に基づいて、第２の周波数の変調光を用いて測距する際の露光制御の対象となる対象領域を設定し、対象領域に基づいて、第２の周波数を算出する。本技術は、センサを用いて測距を行う測距装置に適用することができる。
Description
本技術は、信号処理装置および方法、並びにプログラムに関し、特に、広範囲に対して、高精度な測距を行うことができるようにした信号処理装置および方法、並びにプログラムに関する。
iToF(Time of Flight)方式のセンサ（以下、iToFセンサと称する）で測距できる距離の範囲は、撮像に使用する光源に依存する。
そこで、複数の変調周波数（以下、単に周波数とも称する）をフレーム毎に撮像に使用し、合成することで測距可能な距離を延ばし、測距精度を高める手法が提案されている（特許文献１参照）。
また、測距精度は、周波数だけではなく、iToFセンサが受光する光量の強さにも依存する。
そのため、現状のiToFセンサにおいては、別々の波長の光源を撮像に使用した場合、それぞれで適正となる露光時間を算出し、周波数毎に適用する手法、または、各露光時間の算出結果を統合し、同一の露光時間を設定する手法がとられている。
しかしながら、複数の周波数のiToFセンサを用いたとしても、上述した手法がとられる場合、iToFセンサから近い位置にある近距離領域を測距するときの測距精度は高くなり、iToFセンサから遠い位置にある遠距離領域を測距するときの測距精度は低くなるという傾向がある。
本技術はこのような状況に鑑みてなされたものであり、広範囲に対して、高精度な測距を行うことができるようにするものである。
本技術の一側面の信号処理装置は、発光部から発光された所定の周波数の変調光を用いて測距する際に、前記変調光が被写体で反射した反射光を受光した光量を電荷量として蓄積する受光部から取得される前記電荷量、および前記所定の周波数に基づいて、前記被写体までの距離を算出し、距離画像を生成する測距部と、第１の周波数の変調光を用いて測距する際に生成された第１の距離画像に基づいて、第２の周波数の変調光を用いて測距する際の露光制御の対象となる対象領域を設定する領域設定部と、前記対象領域に基づいて、前記第２の周波数を算出する周波数算出部を備える。
本技術の一側面においては、発光部から発光された所定の周波数の変調光を用いて測距する際に、前記変調光が被写体で反射した反射光を受光した光量を電荷量として蓄積する受光部から取得される前記電荷量、および前記所定の周波数に基づいて、前記被写体までの距離が算出され、距離画像が生成される。そして、第１の周波数の変調光を用いて測距する際に生成された第１の距離画像に基づいて、第２の周波数の変調光を用いて測距する際の露光制御の対象となる対象領域が設定され、前記対象領域に基づいて、前記第２の周波数が算出される。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．現状の技術
２．本技術の手法
３．第１の実施の形態（基本構成）
４．第２の実施の形態（複数の発光部）
５．その他
１．現状の技術
２．本技術の手法
３．第１の実施の形態（基本構成）
４．第２の実施の形態（複数の発光部）
５．その他
＜＜１．現状の技術＞＞
図１は、iToFセンサにおける変調周波数と測距可能な距離範囲との関係を示す図である。
図１は、iToFセンサにおける変調周波数と測距可能な距離範囲との関係を示す図である。
iToFセンサは、所定の変調周波数の変調光を用いた測距、すなわち、所定の変調周波数の変調光を用いた撮像を行い、撮像により得られた距離画像を用いて測距を行う。具体的には、iToFセンサは、所定の変調周波数で変調されて、発光された変調光が被写体で反射した反射光を受光し、受光した光量を電荷量として蓄積して、出力したRAWデータを用いて距離画像を生成することで、測距を行っている。なお、以下、変調周波数を、単に周波数と称し、変調光を、単に光とも称する。
図１において、上から順に、iToFセンサの測距に用いられる光の周波数が100MHz、80MHz、60MHz、20MHzの場合に、測距可能な距離範囲が模式的に示されている。左側の0mが、iToFセンサの位置である。
光の周波数が100MHzの場合、１度の測距で測距可能な範囲が1.5mである。したがって、この場合、iToFセンサから、例えば、0m乃至1.5m、1.5m乃至3m、3m乃至4.5m、4.5m乃至6m、6m乃至7.5mが測距可能な距離範囲となる。
光の周波数が80MHzの場合、１度の測距で測距可能な範囲が1.88mである。したがって、この場合、iToFセンサから、例えば、0m乃至1.88m、1.88m乃至3.75m、3.75m乃至5.63m、5.63m乃至7.5mが測距可能な距離範囲となる。
光の周波数が60MHzの場合、１度の測距で測距可能な範囲が2.5mである。したがって、この場合、iToFセンサから、例えば、0m乃至2.5m、2.5m乃至5m、5m乃至7.5mが測距可能な距離範囲となる。
光の周波数が20MHzの場合、１度の測距で測距可能な範囲が7.5mである。したがって、この場合、iToFセンサから、例えば、0m乃至7.5mが測距可能な距離範囲となる。
以上のように、iToFセンサにおいては、光の周波数によって、測距可能な距離範囲が異なる。なお、測距可能な距離範囲が複数ある場合、その測距において、どの距離範囲が測距されているかはわからない。
また、1度の測距で測距可能な距離範囲が長距離の範囲である周波数の光ほど、その光を用いた測距の精度は低く、1度の測距で測距可能な距離の範囲が短距離範囲である周波数の光ほど、その光を用いた測距の精度は高い。
そこで、長距離範囲が測距可能な周波数の光を用いた測距結果と、短距離範囲が測距可能な周波数の光を用いた測距結果とを合成することにより、測距精度を高くする手法が提案されている。
図２は、異なる周波数の光を用いた測距結果(Measured depth)と実際の値(ground truth)とを示す図である。
図２においては、20MHzの光を用いた測距結果と100MHzの光を用いた測距結果のグラフが示されている。グラフにおいて、横軸は、実際の値であり、縦軸は、測距結果である。
20MHzの光を用いた測距は、750cmという長距離範囲の測距であり、100MHzの光を用いた測距は、150cmという短距離範囲の測距であるため、上述したように、100MHzの光を用いた測距の方が、20MHzの光を用いた測距よりも精度が高い。また、100MHzの光を用いた測距は、複数（５）の短距離範囲の測距であり、そのうち、どの短距離範囲が測距されたのかわからない。
したがって、20MHzの光を用いた測距結果に最も近い、100MHzの光を用いた測距結果を正しい距離とすることにより、測距の精度を高くすることができる。
しかしながら、現状の技術においては、20MHzの光を用いた測距と100MHzの光を用いた測距に対して、両方とも同じ露光時間が設定されている。
図３は、20MHzの光を用いた測距と100MHzの光を用いた測距において同じ露光時間が設定された場合の測距を模式的に示す図である。
図３においては、左側の0mが、iToFセンサの位置であり、0m乃至7.5mの範囲における露光の状態が示されている。
３つの顔のアイコンは、左から順に、iToFセンサの位置からの距離が近い近距離領域、iToFセンサの位置からの距離が中程度である中距離領域、iToFセンサの位置からの距離が遠い遠距離領域の測距の状態を示している。
また、破線で示される顔アイコンは、光が飽和して、白飛びなどが生じ、測距不可能であることを表している。実線で示される顔アイコンとハッチが示される顔アイコンは、測距可能であることを表している。ハッチが示される顔アイコンの方が、実線で示される顔アイコンより、各顔アイコンが示される領域で得られる画素値が低輝度である。黒く示される顔アイコンは、光が届かず、測距不可能であることを表している。以降の図においても同様である。
図３のＡは、第１の測距においてiToFセンサの位置からみて手前に露光を合わせた場合の例を示す図である。
図３のＡの場合、手前に露光を合わせているため、近距離領域、中距離領域については、測距が可能であるが、遠距離領域については、光が遠距離領域に届かず、測距することが困難である。
図３のＢは、iToFセンサの位置からみて遠くに露光を合わせた場合の例を示す図である。
図３のＢの場合、遠くに露光を合わせているため、中距離領域、遠距離領域については、測距することが可能であるが、近距離領域については、光が飽和してしまい、測距することが困難である。
以上のように、現状においては、異なる周波数の光を用いて測距を行った場合、異なる周波数の光を発光する光源に対して同じ露光時間が設定されているため、露光を合わせる領域に応じて、近距離領域および遠距離領域のどちらかの測距精度を向上させることが困難である。
＜＜２．本技術の手法＞＞
そこで、本技術においては、第１の周波数の光を用いた第１の測距を行い、第１の測距により生成された第１の距離画像に基づいて、第２の周波数の光を用いた第２の測距を行う際の対象領域が設定されて、設定された対象領域に基づいて、第２の周波数が決定される。第２の測距を行う際の対象領域は、すなわち、第２の測距を行う際の露光制御に用いられる対象領域でもある。
そこで、本技術においては、第１の周波数の光を用いた第１の測距を行い、第１の測距により生成された第１の距離画像に基づいて、第２の周波数の光を用いた第２の測距を行う際の対象領域が設定されて、設定された対象領域に基づいて、第２の周波数が決定される。第２の測距を行う際の対象領域は、すなわち、第２の測距を行う際の露光制御に用いられる対象領域でもある。
上述した対象領域の選択方法は、３つあり、各選択方法について順に説明していく。
＜第１の選択方法＞
図４は、対象領域の第１の選択方法の手順を示す図である。
図４は、対象領域の第１の選択方法の手順を示す図である。
図４のＡに示されるように、第１の周波数(20MHz)の光を用いた第１の測距が行われる。図４の場合、遠くに露光を合わせているため、中距離領域、遠距離領域については、測距可能であるが、近距離領域については、光が飽和して、白飛びが生じてしまい、測距不可能となっている。
図４のＢに示されるように、第１の測距結果である第１の距離画像を見ることで、画素値が取得できている距離領域（3m乃至7.5m）から、白飛びにより画素値が取得できておらず、第２の測距により画素値の取得が必要な3mの領域（0m乃至3m）が推定される。図４のＢの場合、推定された画素値の取得が必要な3mの領域が、第２の周波数の光を用いた第２の測距を行う対象領域であり、かつ、第２の測距を行う際の露光制御の対象領域として設定される。
そして、図４のＣに示されるように、対象領域である3mの領域が高精度に測距可能な 50MHzが第２の周波数として決定される。
＜第２の選択方法＞
図５は、対象領域の第２の選択方法の手順を示す図である。
図５は、対象領域の第２の選択方法の手順を示す図である。
図５のＡに示されるように、第１の周波数(20MHz)の光を用いた第１の測距が行われる。第１の周波数により、本来、遠くまで測距可能であるが、図５の場合、手前に露光を合わせてしまい、近距離領域、中距離領域については、測距可能であるが、遠距離領域については、光が届かず、黒つぶれが生じてしまい、測距不可能となっている。
図５のＢに示されるように、第１の測距結果である第１の距離画像を見ることで、画素値が取得できている距離部分（0m乃至2.5m）から、黒つぶれにより画素値が取得できておらず、第２の測距により画素値の取得が必要な５mの領域（2.5m乃至7.5m）が推定される。図５のＢの場合、推定された画素値の取得が必要な5mの領域が対象領域として設定される。
そして、図５のＣに示されるように、対象領域である5mの領域が高精度に測距できる第２の周波数(30MHz)が決定される。
＜第３の選択方法＞
図６は、対象領域の第３の選択方法の手順を示す図である。
図６は、対象領域の第３の選択方法の手順を示す図である。
図６のＡに示されるように、第１の周波数(20MHz)の光を用いた第１の測距が行われる。この場合、中ほどの距離に露光を合わせているため、全体的に、すなわち、近距離領域、中距離領域、遠距離領域について測距可能であるが、精度がよいとは言えない。
図６のＢに示されるように、第１の測距結果である第１の距離画像を見ながら、ユーザが優先して取得したい距離（優先距離）または領域を指定することで、第２の測距により画素値の取得が必要な1mの領域（2.0m乃至3.0m）が推定される。図６のＢの場合、推定された画素値の取得が必要な1mの領域が対象領域として設定される。
図６のＣに示されるように、対象領域である1mの領域が高精度に測距できる第２の周波数(100MHz)が決定される。
以上のようにして決定された第２の周波数を用いた第2の測距が行われ、第１の測距により生成された第１の距離画像と、第2の測距により生成された第２の距離画像とが合成された距離画像が出力される。これにより、広範囲に対して、高精度に測距を行うことができる。
以下、本技術について具体的に説明する。
＜＜３．第１の実施の形態（基本構成）＞＞
＜iToFセンサの構成＞
図７は、本技術を適用したiToFセンサの第１の実施の形態の構成例を示すブロック図である。
＜iToFセンサの構成＞
図７は、本技術を適用したiToFセンサの第１の実施の形態の構成例を示すブロック図である。
図７において、iToFセンサ１１は、発光部２１、センサ２２、および信号処理装置２３から構成される。
発光部２１は、信号処理装置２３により設定された周波数で変調された変調光を発光する。
センサ２２は、信号処理装置２３からの露光制御に応じて、発光部２１により発光された変調光が被写体で反射した反射光を受光し、受光した光量を電荷量として蓄積する受光部を含むように構成される。センサ２２は、受光部に蓄積された電荷量を、信号処理装置２３に出力する。
信号処理装置２３は、発光周波数制御部４１、信号強度算出部４２、測距部４３、露光時間算出部４４、領域設定部４５、周波数算出部４６、距離画像合成部４７、および出力部４８から構成される。
発光周波数制御部４１は、周波数算出部４６により決定された周波数を発光周波数として設定し、設定した周波数で発光するように、発光部２１を制御する。なお、第１の測距においては、予め設定されている周波数が用いられる。
信号強度算出部４２は、センサ２２から供給されるRAWデータの信号値から信号強度を算出し、算出した信号強度を露光時間算出部４４に出力する。
測距部４３は、センサ２２から供給されるRAWデータと周波数に基づいて、被写体からの距離を算出し、距離画像を生成する。測距部４３は、生成した距離画像を、領域設定部４５、周波数算出部４６、および距離画像合成部４７に出力する。
露光時間算出部４４は、信号強度算出部４２から供給される信号強度が、適切な強度になるように、次フレームの露光時間を算出する。露光時間算出部４４は、算出した露光時間で、センサ２２の露光制御を行う。なお、最初のフレームの測距においては、予め設定されている露光時間が用いられる。また、センサ２２の露光制御としては、露光時間の他に、露光に必要な光量を算出し、算出された光量が制御されるようにしてもよい。
領域設定部４５は、測距部４３から供給される、第１の周波数の光を用いた第１の測距により生成された第１の距離画像において、センサ２２からの距離が最も近い画素値と、センサ２２からの距離が最も遠い画素値を取得する。センサ２２からの距離が最も近い画素値を、以下、最近値と称し、センサ２２からの距離が最も遠い画素値を、以下、最遠値と称する。これにより、領域設定部４５は、第１の測距において画素値の取得が不可能であり、第２の測距により画素値の取得が必要な距離を推定することができる。
領域設定部４５は、図４乃至図６を参照して上述したように、推定した画素値の取得が必要な距離の範囲、または、ユーザの操作に応じて指定された注目領域などに基づいて、第２の周波数の光を用いた第２の測距を行う際の対象領域を設定する。この対象領域は、第２の測距における露光制御を行う際の対象領域でもある。領域設定部４５は、設定した対象領域を示す情報を露光時間算出部４４および周波数算出部４６に出力する。
周波数算出部４６は、領域設定部４５により設定された対象領域を測距可能な第２の周波数を算出し、算出した第２の周波数を発光周波数制御部４１に出力する。
距離画像合成部４７は、測距部４３から供給される、第１の周波数の光を用いた第１の測距により生成された第１の距離画像と、第２の周波数の光を用いた第２の測距により生成された第２の距離画像とを合成し、合成した距離画像を、出力部４８に出力する。
出力部４８は、距離画像合成部４７から供給される距離画像を、図示せぬ後段に出力する。
＜周波数の算出処理の詳細＞
次に、図８および図９を参照して、周波数の算出処理について説明する。
次に、図８および図９を参照して、周波数の算出処理について説明する。
まず、領域設定部４５は、測距部４３から供給される第１の距離画像を用いて、図８に示されるように、最近値Ａと最遠値Ｂを取得することで、画素値の取得が必要な距離範囲Ａ－Ｂを推定する。
図８は、センサ２２の位置から見た時の第１の測距の範囲を示す図である。
図８においては、左手前にセンサ２２が位置しており、左手前から右奥に第１の測距が行われている様子が示されている。Ａは、第１の測距における最近値が取得される位置を表し、Ｂは、第１の測距における最遠値が取得される位置を表す。
図８において、Ａよりも手前に示される点線の立体は、センサ２２に対して近距離に位置し、露光により高輝度（飽和状態）であるため、画素値の取得が不可能である範囲に位置する立体である。ＡとＢとの間に示される、実線の立体とハッチがなされた立体は、画素値の取得が可能である範囲に位置する立体である。Ｂより奥に示される黒く塗られた立体は、センサ２２に対して遠距離に位置し、露光による光が届かず、低輝度であるため、画素値の取得が不可能である範囲に位置する立体である。
すなわち、距離範囲Ａ－Ｂは、画素値が取得可能な範囲であり、Ａより左手前は、高輝度のため、画素値が取得不可能な範囲であり、Ｂより右奥は、低輝度、すなわち、コンフィデンス値が低いため、画素値が取得不可能な範囲である。
図９は、図８の左手前から右奥までの第１の測距の範囲を、右手前から見た場合の例を示す図である。
図９において、左端の０は、センサ２２の位置を表し、右端のＸは、iToFセンサ１１において測距が可能な最も遠い位置を表す。
第１の測距により取得できている距離領域が距離範囲Ａ－Ｂである場合、画素値が取得不可能である高輝度領域は、距離範囲０－Ａ内に存在し、画素値が取得不可能である低輝度領域は、距離範囲Ｂ－Ｘ内に存在する。
したがって、領域設定部４５は、第１の測距において画素値の取得が不可能であった高輝度領域の画素値の取得が必要であれば、距離範囲０－Ａを、第２の測距の対象領域として設定する。また、領域設定部４５は、第１の測距において画素値の取得が不可能であった低輝度領域の画素値の取得が必要であれば、距離範囲Ｂ－Ｘを、第２の測距の対象領域として設定する。
対象領域が高輝度領域の場合、周波数算出部は、距離範囲０－Ａを測ることができる第２の周波数を算出する。
対象領域が低輝度領域の場合、周波数算出部は、距離範囲Ｂ－Ｘを測ることができる第２の周波数を算出する。
周波数と距離との関係は、次の式（１）により算出される。
ここで、cは、高速を表す。
なお、第１の距離画像をユーザに提示し、ユーザにより指示された注目領域を対象領域として設定してもよい。
また、第１の測距において撮像されたオブジェクトを認識するように構成して、認識されたオブジェクトの周辺領域を対象領域として設定してもよい。
さらに、上記説明においては、第１の距離画像において画素値が得られなかった領域がある場合に、第２の周波数を決定する例を説明したが、第１の距離画像および第２の距離画像において画素値が得られなかった領域がある場合、第３の測距を行うための対象領域と第３の周波数を決めるようにしてもよい。第３の測距を行うための対象領域および第３の周波数の決め方は、第２の測距を行うための対象領域および第２の周波数の場合と同様である。
＜iToFセンサの動作＞
図１０は、iToFセンサ１１の処理を説明するフローチャートである。
図１０は、iToFセンサ１１の処理を説明するフローチャートである。
ステップＳ１１において、iToFセンサ１１は、第１の周波数の変調光を用いた第１の測距を行い、第１のRAWデータを取得する。
具体的には、発光周波数制御部４１においては、第１の周波数が発光周波数として予め設定されている。発光周波数制御部４１は、設定された第１の周波数で発光するように、発光部２１を制御する。発光部２１は、発光周波数制御部４１により設定された第１の周波数で変調された変調光を発光する。センサ２２は、露光時間算出部４４による露光制御に応じて、発光部２１により発光された変調光が被写体で反射した反射光を受光する。センサ２２は、受光した光量を電荷量として受光部に蓄積し、受光部に蓄積された電荷量を、第１のRAWデータとして、信号強度算出部４２および測距部４３に出力する。
ステップＳ１２において、信号強度算出部４２は、センサ２２から供給される第１のRAWデータの信号値から信号強度を算出し、算出した信号強度を露光時間算出部４４に出力する。露光時間算出部４４は、信号強度算出部４２から供給される信号強度が、適切な強度になるように、次フレームの第１の周波数の変調光を用いた第１の測距の際の第１の露光時間を算出する。
ステップＳ１３において、測距部４３は、センサ２２から供給される第１のRAWデータと、第１の周波数に基づいて、被写体からの距離を算出し、第１の距離画像を生成する。測距部４３は、生成した第１の距離画像を、領域設定部４５、周波数算出部４６、および距離画像合成部４７に出力する。
ステップＳ１４において、領域設定部４５および周波数算出部４６は、第２の周波数算出処理を行う。第２の周波数算出処理の詳細は、図９を参照して後述される。ステップＳ１４により、領域設定部４５により、第２の周波数を用いた第２の測距の対象領域が設定され、周波数算出部４６により、設定された対象領域に基づいて第２の周波数が算出される。領域設定部４５は、設定した対象領域を示す情報を露光時間算出部４４および周波数算出部４６に出力する。周波数算出部４６により算出された第２の周波数は、発光周波数制御部４１に出力される。
ステップＳ１５において、露光時間算出部４４は、領域設定部４５により設定された対象領域を、次フレームの第２の周波数の変調光を用いた第２の測距の際の第２の露光制御および第２の露光時間の算出に使用する対象領域として決定する。
ステップＳ１６において、発光周波数制御部４１は、周波数算出部４６により供給された第２の周波数を、発光周波数として設定する。
ステップＳ１７において、信号強度算出部４２および測距部４３は、第２のRAWデータを取得する。
具体的には、発光周波数制御部４１は、発光周波数として設定した第２の周波数で発光するように、発光部２１を制御する。発光部２１は、発光周波数制御部４１により設定された第２の周波数で変調された変調光を発光する。センサ２２は、露光時間算出部４４による露光制御に応じて、発光部２１により発光された変調光が被写体で反射した反射光を受光する。センサ２２は、受光した光量を電荷量として受光部に蓄積し、受光部に蓄積された電荷量を、第２のRAWデータとして、信号強度算出部４２および測距部４３に出力する。信号強度算出部４２および測距部４３は、第２のRAWデータを取得する。
ステップＳ１８において、信号強度算出部４２は、センサ２２から供給される第２のRAWデータの信号値から信号強度を算出し、算出した信号強度を露光時間算出部４４に出力する。露光時間算出部４４は、決定した対象領域において、信号強度算出部４２から供給される信号強度が、適切な強度になるように、次フレームの第２の周波数を用いた第２の測距の際の第２の露光時間を算出する。
ステップＳ１９において、露光時間算出部４４は、ステップＳ１２およびＳ１８で算出した第１の露光時間および第２の露光時間を、次フレームの第１の露光時間および第２の露光時間としてそれぞれ設定する。
ステップＳ２０において、測距部４３は、センサ２２から供給される第２のRAWデータと、第２の周波数に基づいて、被写体からの距離を算出し、第２の距離画像を生成する。測距部４３は、生成した第２の距離画像を、距離画像合成部４７に出力する。
ステップＳ２１において、距離画像合成部４７は、測距部４３から供給された第１の距離画像および第２の距離画像を合成し、出力部４８に出力する。出力部４８は、合成された距離画像を、図示せぬ後段に出力する。
ステップＳ２１の後、図１０の処理は終了となる。
なお、上述したステップＳ１８およびＳ１９の処理とＳ２０およびＳ２１の処理は、図８に示されるように、並行に行われる。
図１１は、図１０のステップＳ１４の周波数算出処理を説明するフローチャートである。
ステップＳ５１において、領域設定部４５は、測距部４３から供給される第１の距離画像を用いて、最近値と最遠値を取得することで、画素値が取得できた距離範囲を推定する。
ステップＳ５２において、領域設定部４５は、画素値が取得できた距離範囲に基づいて、第１の測距において画素値の取得が不可能であった距離領域を推定する。
ステップＳ５３において、領域設定部４５は、推定した距離領域を、第２の周波数を用いた第２の測距を行う対象領域として設定する。
ステップＳ５４において、周波数算出部４６は、設定した対象領域を測距可能な第２の周波数を算出する。
＜＜４．第２の実施の形態（複数の発光部）＞＞
＜iToFセンサの構成＞
図１２は、本技術を適用したiToFセンサの第２の実施の形態の構成例を示すブロック図である。
＜iToFセンサの構成＞
図１２は、本技術を適用したiToFセンサの第２の実施の形態の構成例を示すブロック図である。
図１２において、iToFセンサ１１１は、固定の各周波数に対応した発光部２１－１乃至２１－ｎ、センサ２２、および信号処理装置１２１から構成される。図１２において、図７と対応する部分には、対応する符号が付してあり、その説明は省略される。
信号処理装置１２１は、周波数制御部１４１－１乃至１４１－ｎ、発光周波数選択部１４２、信号強度算出部４２、測距部４３、露光時間算出部４４、領域設定部４５、周波数算出部４６、距離画像合成部４７、および出力部４８から構成される。
周波数制御部１４１－１乃至１４１－ｎは、周波数毎の発光部２１－１乃至２１－ｎに対応して構成される。
周波数制御部１４１－１乃至１４１－ｎは、発光周波数選択部１４２の制御に応じて、自身が対応する周波数で発光するように、対応する発光部２１－１乃至２１－ｎを制御する。
発光周波数選択部１４２は、周波数制御部１４１－１乃至１４１－ｎが対応する周波数のうち、周波数算出部４６により決定された第２の周波数と同じ周波数を発光周波数に選択する。発光周波数選択部１４２は、発光周波数に選択した第２の周波数と同じ周波数に対応する周波数制御部１４１－１乃至１４１－ｎに対して、対応する発光部２１－１乃至２１－ｎの発光を制御させる。
第２の周波数と同じ周波数に対応する周波数制御部１４１－ｎがない場合、発光周波数選択部１４２は、周波数制御部１４１－１乃至１４１－ｎが対応する周波数のうち、周波数算出部４６により決定された第２の周波数とより近い周波数を発光周波数に選択する。
なお、発光部２１－１乃至２１－ｎを特に区別する必要がない場合、発光部２１と称する。周波数制御部１４１－１乃至１４１－ｎを特に区別する必要がない場合、周波数制御部１４１と称する。
＜iToFセンサの動作＞
図１３は、図１２のiToFセンサ１１１の処理を説明するフローチャートである。
図１３は、図１２のiToFセンサ１１１の処理を説明するフローチャートである。
なお、図１３のステップＳ１１１乃至Ｓ１１５およびステップＳ１１７乃至Ｓ１２１の処理は、図１０のステップＳ１１乃至Ｓ１５およびステップＳ１７乃至Ｓ２１と同様の処理であるので、その説明は省略される。
図１３のステップＳ１１４において、領域設定部４５により設定された対象領域を示す情報が露光時間算出部４４および周波数算出部４６に出力される。周波数算出部４６により算出された第２の周波数は、発光周波数制御部４１に出力される。
ステップＳ１１５において、露光時間算出部４４は、領域設定部４５により設定された対象領域を、次フレームの第２の周波数の変調光を用いた第２の測距の際の露光制御および第２の露光時間の算出に使用する領域として決定する。その後、処理は、ステップＳ１１６に進む。
ステップＳ１１６において、発光周波数選択部１４２は、周波数制御部１４１－１乃至１４１－２が対応する周波数のうち、周波数算出部４６により決定された第２の周波数と同じ周波数を発光周波数に選択する。発光周波数選択部１４２は、発光周波数に選択した第２の周波数と同じ周波数に対応する周波数制御部１４１－１乃至１４１－２に対して、対応する発光部２１－１乃至２１－ｎの発光を制御させる。
＜＜５．その他＞＞
＜効果＞
以上のように、本技術においては、所定の周波数で変調されて、発光部から発光された所定の周波数の変調光が被写体で反射した反射光を受光し、被写体を撮像する際、受光した光量を電荷量として蓄積する受光部から取得される電荷量、および所定の周波数に基づいて、被写体までの距離が算出され、距離画像が生成される。そして、第１の周波数の変調光を用いて被写体を撮像する際に生成された第１の距離画像に基づいて、第２の周波数の変調光を用いて被写体を撮像する際の露光制御の対象となる対象領域が設定され、対象領域に基づいて、第２の周波数が算出される。
＜効果＞
以上のように、本技術においては、所定の周波数で変調されて、発光部から発光された所定の周波数の変調光が被写体で反射した反射光を受光し、被写体を撮像する際、受光した光量を電荷量として蓄積する受光部から取得される電荷量、および所定の周波数に基づいて、被写体までの距離が算出され、距離画像が生成される。そして、第１の周波数の変調光を用いて被写体を撮像する際に生成された第１の距離画像に基づいて、第２の周波数の変調光を用いて被写体を撮像する際の露光制御の対象となる対象領域が設定され、対象領域に基づいて、第２の周波数が算出される。
これにより、広範囲に対して、高精度な測距を行うことができる。
＜プログラム＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
CPU３０１、ROM(Read Only Memory)３０２、RAM３０３は、バス３０４により相互に接続されている。
バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウスなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続される。また、入出力インタフェース３０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部３０８、ネットワークインタフェースなどよりなる通信部３０９、リムーバブルメディア３１１を駆動するドライブ３１０が接続される。
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを入出力インタフェース３０５及びバス３０４を介してRAM３０３にロードして実行することにより、上述した一連の処理が行われる。
CPU３０１が実行するプログラムは、例えばリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部３０８にインストールされる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）など）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
発光部から発光された所定の周波数の変調光を用いて測距する際に、前記変調光が被写体で反射した反射光を受光した光量を電荷量として蓄積する受光部から取得される前記電荷量、および前記所定の周波数に基づいて、前記被写体までの距離を算出し、距離画像を生成する測距部と、
第１の周波数の変調光を用いて測距する際に生成された第１の距離画像に基づいて、第２の周波数の変調光を用いて測距する際の露光制御の対象となる対象領域を設定する領域設定部と、
前記対象領域に基づいて、前記第２の周波数を算出する周波数算出部と
を備える信号処理装置。
（２）
前記周波数算出部は、前記受光部から、前記第１の距離画像において画素値が得られなかった領域までの距離に基づいて、前記第２の周波数を決定する
前記（１）に記載の信号処理装置。
（３）
前記周波数算出部は、前記第１の距離画像、および、前記第２の周波数の変調光を用いて測距する際に生成された第２の距離画像において画素値が得られなかった領域がある場合、第３の周波数を決定する
前記（２）に記載の信号処理装置。
（４）
前記領域設定部は、前記第１の距離画像において飽和によって前記画素値が得られなかった領域を、前記対象領域に設定する
前記（２）に記載の信号処理装置。
（５）
前記領域設定部は、前記第１の距離画像において低輝度によって前記画素値が得られなかった領域を、前記対象領域に設定する
前記（２）に記載の信号処理装置。
（６）
前記領域設定部は、前記第１の距離画像において認識された物体がある領域を、前記対象領域に設定する
前記（２）に記載の信号処理装置。
（７）
前記領域設定部は、ユーザが指定した、距離に基づく領域または前記第１の距離画像における領域を、前記対象領域に設定する
前記（２）に記載の信号処理装置。
（８）
前記第２の周波数を用いて測距する際、前記領域設定部により設定された前記対象領域に露光を合わせる前記露光制御を行う露光制御部をさらに備える
前記（１）乃至（７）のいずれかに記載の信号処理装置。
（９）
前記電荷量に基づいて、露光時間を算出する露光時間算出部をさらに備え、
前記露光制御部は、算出された前記露光時間に基づいて前記露光制御を行う
前記（８）に記載の信号処理装置。
（１０）
前記露光時間算出部は、露光に必要な前記光量を算出し、
前記露光制御部は、前記露光時間および前記光量に基づいて前記露光制御を行う
前記（９）に記載の信号処理装置。
（１１）
前記発光部と、
前記受光部と
をさらに備える前記（１）乃至（１０）のいずれかに記載の信号処理装置。
（１２）
前記発光部は、前記第１の周波数の変調光および前記第２の周波数の変調光を発光する
前記（１１）に記載の信号処理装置。
（１３）
前記発光部は、前記第１の周波数の変調光を発光する第１の発光部と、前記第２の周波数の変調光を発光する第２の発光部とを備える
前記（１１）に記載の信号処理装置。
（１４）
前記発光部は複数であり、
複数の前記発光部のうち、前記周波数算出部により算出された前記第２の周波数により近い周波数の前記発光部が前記変調光を発光する
前記（１１）に記載の信号処理装置。
（１５）
信号処理装置が、
発光部から発光された所定の周波数の変調光を用いて測距する際に、前記変調光が被写体で反射した反射光を受光した光量を電荷量として蓄積する受光部から取得される前記電荷量、および前記所定の周波数に基づいて、前記被写体までの距離を算出し、距離画像を生成し、
第１の周波数の変調光を用いて測距する際に生成された第１の距離画像に基づいて、第２の周波数の変調光を用いて測距する際の露光制御の対象となる対象領域を設定し、
前記対象領域に基づいて、前記第２の周波数を算出する
信号処理方法。
（１６）
発光部から発光された所定の周波数の変調光を用いて測距する際に、前記変調光が被写体で反射した反射光を受光した光量を電荷量として蓄積する受光部から取得される前記電荷量、および前記所定の周波数に基づいて、前記被写体までの距離を算出し、距離画像を生成する測距部と、
第１の周波数の変調光を用いて測距する際に生成された第１の距離画像に基づいて、第２の周波数の変調光を用いて測距する際の露光制御の対象となる対象領域を設定する領域設定部と、
前記対象領域に基づいて、前記第２の周波数を算出する周波数算出部と
して、コンピュータを機能させるプログラム。
本技術は、以下のような構成をとることもできる。
（１）
発光部から発光された所定の周波数の変調光を用いて測距する際に、前記変調光が被写体で反射した反射光を受光した光量を電荷量として蓄積する受光部から取得される前記電荷量、および前記所定の周波数に基づいて、前記被写体までの距離を算出し、距離画像を生成する測距部と、
第１の周波数の変調光を用いて測距する際に生成された第１の距離画像に基づいて、第２の周波数の変調光を用いて測距する際の露光制御の対象となる対象領域を設定する領域設定部と、
前記対象領域に基づいて、前記第２の周波数を算出する周波数算出部と
を備える信号処理装置。
（２）
前記周波数算出部は、前記受光部から、前記第１の距離画像において画素値が得られなかった領域までの距離に基づいて、前記第２の周波数を決定する
前記（１）に記載の信号処理装置。
（３）
前記周波数算出部は、前記第１の距離画像、および、前記第２の周波数の変調光を用いて測距する際に生成された第２の距離画像において画素値が得られなかった領域がある場合、第３の周波数を決定する
前記（２）に記載の信号処理装置。
（４）
前記領域設定部は、前記第１の距離画像において飽和によって前記画素値が得られなかった領域を、前記対象領域に設定する
前記（２）に記載の信号処理装置。
（５）
前記領域設定部は、前記第１の距離画像において低輝度によって前記画素値が得られなかった領域を、前記対象領域に設定する
前記（２）に記載の信号処理装置。
（６）
前記領域設定部は、前記第１の距離画像において認識された物体がある領域を、前記対象領域に設定する
前記（２）に記載の信号処理装置。
（７）
前記領域設定部は、ユーザが指定した、距離に基づく領域または前記第１の距離画像における領域を、前記対象領域に設定する
前記（２）に記載の信号処理装置。
（８）
前記第２の周波数を用いて測距する際、前記領域設定部により設定された前記対象領域に露光を合わせる前記露光制御を行う露光制御部をさらに備える
前記（１）乃至（７）のいずれかに記載の信号処理装置。
（９）
前記電荷量に基づいて、露光時間を算出する露光時間算出部をさらに備え、
前記露光制御部は、算出された前記露光時間に基づいて前記露光制御を行う
前記（８）に記載の信号処理装置。
（１０）
前記露光時間算出部は、露光に必要な前記光量を算出し、
前記露光制御部は、前記露光時間および前記光量に基づいて前記露光制御を行う
前記（９）に記載の信号処理装置。
（１１）
前記発光部と、
前記受光部と
をさらに備える前記（１）乃至（１０）のいずれかに記載の信号処理装置。
（１２）
前記発光部は、前記第１の周波数の変調光および前記第２の周波数の変調光を発光する
前記（１１）に記載の信号処理装置。
（１３）
前記発光部は、前記第１の周波数の変調光を発光する第１の発光部と、前記第２の周波数の変調光を発光する第２の発光部とを備える
前記（１１）に記載の信号処理装置。
（１４）
前記発光部は複数であり、
複数の前記発光部のうち、前記周波数算出部により算出された前記第２の周波数により近い周波数の前記発光部が前記変調光を発光する
前記（１１）に記載の信号処理装置。
（１５）
信号処理装置が、
発光部から発光された所定の周波数の変調光を用いて測距する際に、前記変調光が被写体で反射した反射光を受光した光量を電荷量として蓄積する受光部から取得される前記電荷量、および前記所定の周波数に基づいて、前記被写体までの距離を算出し、距離画像を生成し、
第１の周波数の変調光を用いて測距する際に生成された第１の距離画像に基づいて、第２の周波数の変調光を用いて測距する際の露光制御の対象となる対象領域を設定し、
前記対象領域に基づいて、前記第２の周波数を算出する
信号処理方法。
（１６）
発光部から発光された所定の周波数の変調光を用いて測距する際に、前記変調光が被写体で反射した反射光を受光した光量を電荷量として蓄積する受光部から取得される前記電荷量、および前記所定の周波数に基づいて、前記被写体までの距離を算出し、距離画像を生成する測距部と、
第１の周波数の変調光を用いて測距する際に生成された第１の距離画像に基づいて、第２の周波数の変調光を用いて測距する際の露光制御の対象となる対象領域を設定する領域設定部と、
前記対象領域に基づいて、前記第２の周波数を算出する周波数算出部と
して、コンピュータを機能させるプログラム。
１１ iToFセンサ， ２１ 発光部， ２２ センサ， ２３ 信号処理装置， ４１ 発光周波数制御部， ４２ 信号強度算出部， ４３ 測距部， ４４ 露光時間算出部， ４５ 領域設定部， ４６ 周波数算出部， ４７ 距離画像合成部， ４８ 出力部
Claims (16)
- 発光部から発光された所定の周波数の変調光を用いて測距する際に、前記変調光が被写体で反射した反射光を受光した光量を電荷量として蓄積する受光部から取得される前記電荷量、および前記所定の周波数に基づいて、前記被写体までの距離を算出し、距離画像を生成する測距部と、
第１の周波数の変調光を用いて測距する際に生成された第１の距離画像に基づいて、第２の周波数の変調光を用いて測距する際の露光制御の対象となる対象領域を設定する領域設定部と、
前記対象領域に基づいて、前記第２の周波数を算出する周波数算出部と
を備える信号処理装置。 - 前記周波数算出部は、前記受光部から、前記第１の距離画像において画素値が得られなかった領域までの距離に基づいて、前記第２の周波数を決定する
請求項１に記載の信号処理装置。 - 前記周波数算出部は、前記第１の距離画像、および、前記第２の周波数の変調光を用いて測距する際に生成された第２の距離画像において画素値が得られなかった領域がある場合、第３の周波数を決定する
請求項２に記載の信号処理装置。 - 前記領域設定部は、前記第１の距離画像において飽和によって前記画素値が得られなかった領域を、前記対象領域に設定する
請求項２に記載の信号処理装置。 - 前記領域設定部は、前記第１の距離画像において低輝度によって前記画素値が得られなかった領域を、前記対象領域に設定する
請求項２に記載の信号処理装置。 - 前記領域設定部は、前記第１の距離画像において認識された物体がある領域を、前記対象領域に設定する
請求項２に記載の信号処理装置。 - 前記領域設定部は、ユーザが指定した、距離に基づく領域または前記第１の距離画像における領域を、前記対象領域に設定する
請求項２に記載の信号処理装置。 - 前記第２の周波数を用いて測距する際、前記領域設定部により設定された前記対象領域に露光を合わせる前記露光制御を行う露光制御部をさらに備える
請求項１に記載の信号処理装置。 - 前記電荷量に基づいて、露光時間を算出する露光時間算出部をさらに備え、
前記露光制御部は、算出された前記露光時間に基づいて前記露光制御を行う
請求項８に記載の信号処理装置。 - 前記露光時間算出部は、露光に必要な前記光量を算出し、
前記露光制御部は、前記露光時間および前記光量に基づいて前記露光制御を行う
請求項９に記載の信号処理装置。 - 前記発光部と、
前記受光部と
をさらに備える請求項１に記載の信号処理装置。 - 前記発光部は、前記第１の周波数の変調光および前記第２の周波数の変調光を発光する
請求項１１に記載の信号処理装置。 - 前記発光部は、前記第１の周波数の変調光を発光する第１の発光部と、前記第２の周波数の変調光を発光する第２の発光部とを備える
請求項１１に記載の信号処理装置。 - 前記発光部は複数であり、
複数の前記発光部のうち、前記周波数算出部により算出された前記第２の周波数により近い周波数の前記発光部が前記変調光を発光する
請求項１１に記載の信号処理装置。 - 信号処理装置が、
発光部から発光された所定の周波数の変調光を用いて測距する際に、前記変調光が被写体で反射した反射光を受光した光量を電荷量として蓄積する受光部から取得される前記電荷量、および前記所定の周波数に基づいて、前記被写体までの距離を算出し、距離画像を生成し、
第１の周波数の変調光を用いて測距する際に生成された第１の距離画像に基づいて、第２の周波数の変調光を用いて測距する際の露光制御の対象となる対象領域を設定し、
前記対象領域に基づいて、前記第２の周波数を算出する
信号処理方法。 - 発光部から発光された所定の周波数の変調光を用いて測距する際に、前記変調光が被写体で反射した反射光を受光した光量を電荷量として蓄積する受光部から取得される前記電荷量、および前記所定の周波数に基づいて、前記被写体までの距離を算出し、距離画像を生成する測距部と、
第１の周波数の変調光を用いて測距する際に生成された第１の距離画像に基づいて、第２の周波数の変調光を用いて測距する際の露光制御の対象となる対象領域を設定する領域設定部と、
前記対象領域に基づいて、前記第２の周波数を算出する周波数算出部と
して、コンピュータを機能させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022573990A JPWO2022149466A1 (ja) | 2021-01-05 | 2021-12-22 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021000373 | 2021-01-05 | ||
| JP2021-000373 | 2021-01-05 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022149466A1 true WO2022149466A1 (ja) | 2022-07-14 |
Family
ID=82357708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2021/047512 WO2022149466A1 (ja) | 2021-01-05 | 2021-12-22 | 信号処理装置および方法、並びにプログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JPWO2022149466A1 (ja) |
| WO (1) | WO2022149466A1 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014207983A1 (ja) * | 2013-06-27 | 2014-12-31 | パナソニックＩｐマネジメント株式会社 | 距離測定装置 |
| WO2017187811A1 (ja) * | 2016-04-27 | 2017-11-02 | ソニー株式会社 | 撮像制御装置及び撮像制御方法、並びに撮像装置 |
| WO2020175117A1 (ja) * | 2019-02-25 | 2020-09-03 | ソニーセミコンダクタソリューションズ株式会社 | 測距装置、測距方法、並びにプログラム |
-
2021
- 2021-12-22 JP JP2022573990A patent/JPWO2022149466A1/ja active Pending
- 2021-12-22 WO PCT/JP2021/047512 patent/WO2022149466A1/ja active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014207983A1 (ja) * | 2013-06-27 | 2014-12-31 | パナソニックＩｐマネジメント株式会社 | 距離測定装置 |
| WO2017187811A1 (ja) * | 2016-04-27 | 2017-11-02 | ソニー株式会社 | 撮像制御装置及び撮像制御方法、並びに撮像装置 |
| WO2020175117A1 (ja) * | 2019-02-25 | 2020-09-03 | ソニーセミコンダクタソリューションズ株式会社 | 測距装置、測距方法、並びにプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2022149466A1 (ja) | 2022-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10310084B2 (en) | Range imaging apparatus and range imaging method | |
| JP6675061B2 (ja) | 距離検出装置及び距離検出方法 | |
| JP6872039B2 (ja) | カメラを自動設定するための方法及びシステム | |
| US9068831B2 (en) | Image processing apparatus and image processing method | |
| US8503771B2 (en) | Method and apparatus for estimating light source | |
| CN110400342B (zh) | 深度传感器的参数调整方法、装置以及电子设备 | |
| EP2927710B1 (en) | Ranging system, information processing method and program thereof | |
| US11295426B2 (en) | Image processing system, server apparatus, image processing method, and image processing program | |
| US10091422B2 (en) | Image processing device and recording medium | |
| CN110956657B (zh) | 深度图像获取方法及装置、电子设备及可读存储介质 | |
| CN102332085A (zh) | 图像处理装置、图像处理方法、程序和电子设备 | |
| US9348024B2 (en) | Active sonar apparatus, active sonar signal processing method, and recording medium storing signal processing program thereof | |
| CN110753178A (zh) | 一种曝光时间调整方法及装置、摄像机 | |
| US10825160B2 (en) | Spatially dynamic fusion of images of different qualities | |
| WO2022149466A1 (ja) | 信号処理装置および方法、並びにプログラム | |
| CN111540042B (zh) | 用于三维重构的方法、装置以及相关设备 | |
| US11585936B2 (en) | Range imaging camera and range imaging method | |
| US7973913B2 (en) | Distance measurement apparatus and method | |
| CN114866703A (zh) | 基于tof成像***的主动曝光方法、装置及电子设备 | |
| US11138702B2 (en) | Information processing apparatus, information processing method and non-transitory computer readable storage medium | |
| JP2021117109A (ja) | 距離推定装置、距離推定方法、及びプログラム | |
| JP2018179778A (ja) | 測定装置およびその方法、並びに、画像処理装置 | |
| JP7297566B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
| JP2018207176A (ja) | 画像処理装置、撮像装置、画像処理方法、および、プログラム | |
| JP5041056B2 (ja) | 撮像システム及び制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21917686 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2022573990 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 21917686 Country of ref document: EP Kind code of ref document: A1 |