WO2018037728A1 - 測距装置、電子装置、および、測距装置の制御方法 - Google Patents
測距装置、電子装置、および、測距装置の制御方法 Download PDFInfo
- Publication number
- WO2018037728A1 WO2018037728A1 PCT/JP2017/024749 JP2017024749W WO2018037728A1 WO 2018037728 A1 WO2018037728 A1 WO 2018037728A1 JP 2017024749 W JP2017024749 W JP 2017024749W WO 2018037728 A1 WO2018037728 A1 WO 2018037728A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- distance
- light sources
- unit
- pair
- phase difference
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/003—Bistatic lidar systems; Multistatic lidar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
- G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S2201/00—Indexing scheme relating to beacons or beacon systems transmitting signals capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters
- G01S2201/01—Indexing scheme relating to beacons or beacon systems transmitting signals capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters adapted for specific applications or environments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
Definitions
- the present technology relates to a distance measuring device, an electronic device, and a method for controlling the distance measuring device.
- the present invention relates to a distance measuring device, an electronic device, and a distance measuring device control method for measuring a distance from a light phase difference.
- a distance measurement method called a ToF (Time of ⁇ Flight) method is often used in devices and equipment having a distance measurement function.
- This ToF method is a method in which an object is irradiated with sine wave or rectangular wave irradiation light, and the apparatus receives the reflected light from the object, and measures the distance from the phase difference between the irradiation light and the reflected light. is there.
- a device that receives reflected light by a plurality of light receiving elements arranged in an array and measures the distance by the ToF method has been proposed (for example, see Non-Patent Document 1).
- a depth map can be generated by measuring the distance to each of a plurality of objects using an array-shaped light receiving element.
- the amount of reflected light is reduced and the ranging accuracy is lowered.
- it is necessary to increase the amount of irradiation light in order to maintain distance measurement accuracy, it is necessary to increase the amount of irradiation light, and there is a problem that the power consumption of the device that irradiates the irradiation light increases.
- an increase in power consumption has a significant disadvantage and requires countermeasures.
- the present technology has been created in view of such a situation, and aims to reduce power consumption in an apparatus for measuring a distance from a phase difference of light.
- the present technology has been made to solve the above-described problems.
- the first aspect of the present technology includes a phase difference detection unit that detects a phase difference of light from each of a pair of external light sources, and the pair of pairs. Measurement that acquires either the distance to one of the external light sources or the interval between the pair of external light sources as known data and measures the distance to the other of the pair of external light sources based on the known data and the phase difference.
- a distance measuring device including a distance unit and a control method thereof. This brings about the effect
- each of the pair of external light sources may be an irradiation light source that emits irradiation light
- the distance measuring unit may acquire an interval between the pair of external light sources as the known data. . This brings about the effect that the distance to the other of the pair of external light sources is measured based on the interval and phase difference between the pair of external light sources.
- the first side surface may further include a pair of light emitting units that emit irradiation light. This brings about the effect
- the pair of external light sources may be arranged at predetermined positions on the line light source. This brings about the effect
- the one of the pair of external light sources is an irradiation light source that emits irradiation light
- the other is a reflection light source that reflects the irradiation light
- the distance measuring unit includes the pair of external light sources.
- the distance to the one of the external light sources may be acquired as the known data. This brings about the effect that the distance to the other of the pair of external light sources is measured based on the distance to the one of the pair of external light sources and the phase difference.
- the irradiation light source includes a pair of irradiation light sources that are alternately turned on, and the distance measuring unit is one of the pair of irradiation light sources based on an interval between the pair of irradiation light sources. You may acquire the distance to. This brings about the effect that the distance to one of the pair of irradiation light sources is acquired based on the interval between the pair of irradiation light sources that are alternately lit.
- the distance measuring unit obtains a plane coordinate of a projection point obtained by projecting each of a plurality of spatial points with known three-dimensional coordinates onto a predetermined imaging plane, and the known coordinate is obtained from the plane coordinate. Data may be acquired. As a result, the known data is obtained from the plane coordinates of the projection point.
- the distance measuring unit detects a unit vector indicating a direction to each of the pair of external light sources, and determines the unit vector based on the unit vector, the known data, and the phase difference.
- the distance may be measured. This brings about the effect that the distance to the other is measured based on the unit vector, the known data, and the phase difference.
- the phase difference detection unit and the ranging unit are mounted on a vehicle, the pair of external light sources are tail lamps of other vehicles different from the vehicle, and the ranging unit is The inter-vehicle distance between the vehicle and the other vehicle may be measured. As a result, the inter-vehicle distance is measured based on the known data and the phase difference.
- the second aspect of the present technology provides a phase difference detection unit that detects a phase difference of light from each of the pair of external light sources, a distance to one of the pair of external light sources, and an interval between the pair of external light sources. And a distance measuring unit that measures the distance to the other of the pair of external light sources based on the known data and the phase difference, and predetermined information based on the measured distance
- An electronic device comprising: a control unit that causes the display unit to display Accordingly, the distance to the other of the pair of external light sources is measured based on the known data and the phase difference, and predetermined information is displayed based on the distance.
- an excellent effect that power consumption can be reduced in an apparatus for measuring a distance from a phase difference of light can be achieved.
- the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
- 1 is an overall view illustrating an example of a distance measuring system according to a first embodiment of the present technology. It is a block diagram showing an example of 1 composition of VR (Virtual Reality) terminal in a 1st embodiment of this art. It is a block diagram showing an example of 1 composition of a solid imaging device in a 1st embodiment of this art. It is a circuit diagram showing an example of 1 composition of a pixel circuit in a 1st embodiment of this art. It is a timing chart which shows an example of the bond of the solid-state image sensing device of the Q1Q2 detection period in a 1st embodiment of this art.
- VR Virtual Reality
- FIG. 1 is a diagram illustrating an example of a schematic configuration of an IoT system 9000.
- FIG. It is a block diagram which shows an example of a schematic structure of a vehicle control system. It is explanatory drawing which shows an example of the installation position of a vehicle exterior information detection part and an imaging part.
- First embodiment an example in which distance measurement is performed by detecting a phase difference of light from a pair of external light sources
- Second embodiment an example in which distance measurement is performed by detecting a phase difference of light from a pair of external light sources on a line light source
- FIG. 1 is an overall view illustrating an example of a distance measuring system according to the first embodiment of the present technology.
- This distance measuring system is a system for measuring a distance to a surrounding object 500 and includes an external device 110 and a VR terminal 200.
- the external device 110 is a device installed indoors, and includes irradiation light sources 111 and 112 that emit irradiation light.
- irradiation light sources 111 and 112 are point light sources provided at specific positions of the external device 110.
- pulsed light is irradiated in synchronization with a common synchronization signal having a predetermined frequency (20 MHz or the like).
- This irradiation light is reflected by the surfaces of various objects 500 existing around the user.
- the reflected light source which is the reflected portion, and external light sources such as the irradiation light sources 111 and 112 are used for distance measurement.
- the VR terminal 200 generates a depth map indicating the distances to the objects 500 around the user.
- the VR terminal 200 is a goggle-type device having a display unit such as a liquid crystal display, and is mounted on the user's head. Further, the VR terminal 200 performs a process of displaying various information on the display unit based on the generated depth map.
- the VR terminal 200 is an example of an electronic device described in the claims.
- FIG. 2 is a block diagram illustrating a configuration example of the VR terminal 200 according to the first embodiment of the present technology.
- the VR terminal 200 includes a ranging module 210, a terminal control unit 250, and a display unit 260.
- the ranging module 210 includes an imaging lens 220, a solid-state imaging device 300, and a ranging calculation unit 230.
- the distance measuring module 210 is an example of a distance measuring device described in the claims.
- the imaging lens 220 collects the irradiation light from the irradiation light sources 111 and 112 and the reflected light with respect to the irradiation light and guides them to the solid-state imaging device 300.
- the solid-state imaging device 300 generates image data by photoelectrically converting light from the imaging lens 220.
- the solid-state imaging device 300 receives a vertical synchronization signal VSYNC having a predetermined frequency and a reference clock CLKs.
- the frequency of the vertical synchronization signal VSYNC is set to a value (such as 60 hertz) lower than the frequency of irradiation light (such as 20 megahertz) irradiated by the illumination light sources 111 and 112.
- the frequency of the reference clock CLKs is set to the same value as the frequency of the irradiation light.
- the reference clock CLKs is not synchronized with the irradiation light of the irradiation light sources 111 and 112, and the phase does not always coincide with the irradiation light.
- the solid-state imaging device 300 generates image data in synchronization with the vertical synchronization signal VSYNC and the like, and supplies the image data to the distance measurement calculation unit 230.
- the ranging calculation unit 230 detects the phase difference dP 12 of the irradiation light from each of the irradiation light sources 111 and 112, and determines the irradiation light sources 111 and 112 from the phase difference dP 12 and the interval W between the irradiation light sources 111 and 112. The distance to at least one is measured. For example, only the distance E 1 to the irradiation light source 111 is measured.
- the distance distance calculation unit 230 after the measurement of E 1, the irradiation light from the irradiation light source 111, detects the phase difference dP 1d of the reflected light to the irradiation light, known distance E 1 and the phase difference dP 1d Based on the above, the distance Ed to the reflected light source that emits the reflected light is measured.
- This reflected light source corresponds to a reflection point on the surface of the object where reflected light is reflected. That is, the distance Ed indicates the distance to the reflection point on the surface of the object.
- the ranging calculation unit 230 measures the distance Ed for each of the plurality of reflected light sources, generates a depth map indicating the measurement results, and supplies the depth map to the terminal control unit 250.
- the terminal control unit 250 controls the entire VR terminal 200.
- the terminal control unit 250 performs processing for displaying various information on the display unit 260 based on the depth map. For example, based on the distance to the object indicated by the depth map, the terminal control unit 250 performs a process of displaying an item used in the game at the position of the object.
- the terminal control unit 250 is an example of a control unit described in the claims.
- the display unit 260 displays information according to the control of the terminal control unit 250.
- a liquid crystal display As the display unit 260, a liquid crystal display, an organic EL (Electro Luminescence) display, or the like is assumed.
- the ranging module 210 is provided in the VR terminal 200, the ranging module 210 may be provided in addition to the VR terminal 200 as long as it is a device or device that uses distance information.
- the ranging module 210 may be provided in a ToF camera, a smartphone, a personal computer, an automobile, or the like.
- FIG. 3 is a block diagram illustrating a configuration example of the solid-state imaging device 300 according to the first embodiment of the present technology.
- the solid-state imaging device 300 includes a row scanning circuit 310, a pixel array unit 320, a timing control unit 340, a plurality of AD (Analog to Digital) conversion units 350, a column scanning circuit 360, and a signal processing unit 370.
- a row scanning circuit 310 a pixel array unit 320
- a timing control unit 340 a plurality of AD (Analog to Digital) conversion units 350
- a column scanning circuit 360 and a signal processing unit 370.
- a plurality of pixel circuits 330 are arranged in a two-dimensional grid.
- a set of pixel circuits 330 arranged in a predetermined direction is referred to as “row”, and a set of pixel circuits 330 arranged in a direction perpendicular to the row is referred to as “column”.
- the aforementioned AD conversion unit 350 is provided for each column.
- the timing control unit 340 controls the row scanning circuit 310, the AD conversion unit 350, and the column scanning circuit 360 in synchronization with the vertical synchronization signal VSYNC.
- the row scanning circuit 310 selects a row in order and outputs a pixel signal.
- the pixel circuit 330 outputs a pixel signal at a level corresponding to the amount of received light according to the control of the row scanning circuit 310.
- the AD conversion unit 350 performs AD conversion on the pixel signals from the corresponding columns.
- the AD conversion unit 350 outputs the AD-converted pixel signal to the signal processing unit 370 as pixel data under the control of the column scanning circuit 360.
- the column scanning circuit 360 sequentially selects the AD conversion unit 350 and outputs pixel data.
- the signal processing unit 370 performs signal processing such as CDS (Correlated Double Sampling) processing on image data including pixel data.
- the signal processing unit 370 supplies the image data after the signal processing to the ranging calculation unit 230.
- FIG. 4 is a block diagram illustrating a configuration example of the pixel circuit 330 according to the first embodiment of the present technology.
- the pixel circuit 330 includes a light receiving element 331, a transfer switch 332, charge storage units 333 and 334, and selection switches 335 and 336.
- the light receiving element 331 generates electric charges by photoelectrically converting light.
- a photodiode is used as the light receiving element 331.
- the transfer switch 332 connects the light receiving element 331 to any one of the charge storage unit 333, the charge storage unit 334, and the reset power supply Vrst according to the control of the row scanning circuit 310.
- the transfer switch 332 is realized by a plurality of MOS (Metal-Oxide-Semiconductor) transistors, for example. When connected to the reset power supply Vrst, the charge output from the drain of the MOS transistor is discarded, and the charge of the light receiving element 331 is initialized.
- MOS Metal-Oxide-Semiconductor
- the charge accumulating units 333 and 334 accumulate electric charges and generate a voltage corresponding to the accumulated amount.
- these charge storage units 333 and 334 for example, floating diffusion layers are used.
- the selection switch 335 opens and closes a line between the charge storage unit 333 and the AD conversion unit 350 according to the control of the row scanning circuit 310.
- the selection switch 336 opens and closes a line between the charge storage unit 334 and the AD conversion unit 350 according to the control of the row scanning circuit 310. For example, when the FD read signal RD_FD1 is supplied by the row scanning circuit 310, the selection switch 335 transitions to the closed state, and when the FD read signal RD_FD2 is supplied by the row scanning circuit 310, the selection switch 336 transitions to the closed state. To do.
- Each of these selection switches 335 and 336 is realized by, for example, a MOS transistor or the like.
- FIG. 5 is a timing chart showing an example of the exposure control of the pixel circuit within the Q1Q2 detection period in the first embodiment of the present technology.
- the pixel circuit 330 alternately performs detection of the received light amounts Q1 and Q2 and detection of the received light amounts Q3 and Q4.
- the detection period of the received light amounts Q1 and Q2 is referred to as “Q1Q2 detection period”
- the detection period of the received light amounts Q3 and Q4 is referred to as “Q3Q4 detection period”.
- a period including the Q1Q2 detection period and the Q3Q4 detection period is referred to as a “measurement period”.
- Each length of the Q1Q2 detection period and the Q3Q4 detection period is a period (for example, 1/60 second) of the vertical synchronization signal VSYNC.
- the received light quantity Q1 is obtained by accumulating the received light quantity q1 from 0 degree to 180 degrees over the Q1Q2 detection period, with a specific phase (for example, rising) of the reference clock CLKs as 0 degree. Since the frequency of the reference clock CLKs is as high as 20 megahertz (MHz), the amount of received light q1 per one period (1/20 microsecond) is very small and difficult to detect. For this reason, the pixel circuit 330 accumulates each q1 over a Q1Q2 detection period such as 1/60 second longer than the period (1/20 microsecond) of the reference clock CLKs, and detects the total amount as the received light amount Q1. To do.
- the received light amount Q2 is the cumulative amount of received light q2 from 180 degrees to 360 degrees over the Q1Q2 detection period.
- the received light amount Q3 is the cumulative amount of received light q3 from 90 degrees to 270 degrees over the Q3Q4 detection period.
- the received light quantity Q4 is the cumulative quantity of received light q4 from 270 degrees to 90 degrees over the Q3Q4 detection period.
- the distance measuring unit 230 can calculate the phase difference dP between the reference clock CLKs and the received light.
- the method for deriving this equation is described in, for example, “Larry Li,“ Time-of-Flight Camera-An Introduction ”, Texas Instruments, Technical White Paper SLOA190B January 2014 Revised May 2014”.
- dP tan ⁇ 1 ⁇ (Q3-Q4) / (Q1-Q2) ⁇ Expression 1
- tan ⁇ 1 () represents the inverse function of the tangent function.
- the row scanning circuit 310 supplies the reset signal RST to all rows over a predetermined pulse period from the timing T1. By this reset signal RST, the charge accumulation amounts of the charge accumulation units 333 and 334 in all rows are initialized. In addition, the row scanning circuit 310 initializes the charges of the light receiving elements 331 in all rows by the FD selection signal SEL_FD.
- the row scanning circuit 310 supplies, to the charge storage unit 333, the charges generated by the light receiving elements 331 by the FD selection signal SEL_FD for all rows from 0 degrees to 180 degrees within the cycle of the reference clock CLKs. Let it be transferred. By this control, the received light amount q1 is accumulated in the charge accumulation unit 333.
- the row scanning circuit 310 supplies, to the charge storage unit 334, charges generated by the light receiving elements 331 by the FD selection signal SEL_FD for all rows from 180 degrees to 360 degrees within the period of the reference clock CLKs. Let it be transferred. By this control, the received light amount q2 is accumulated in the charge accumulation unit 334.
- the row scanning circuit 310 sequentially supplies the FD read signals RD_FD1 and RD_FD2 to the first row. By this control, pixel signals corresponding to the received light amounts Q1 and Q2 in the first row are read out.
- the row scanning circuit 310 sequentially supplies FD read signals RD_FD1 and RD_FD2 to the second row to read out pixel signals.
- the row scanning circuit 310 sequentially selects rows and reads out pixel signals.
- each of the pixel circuits 330 detects the received light amount Q1 from 0 degrees to 180 degrees and the received light quantity Q2 from 180 degrees to 360 degrees.
- FIG. 6 is a timing chart showing an example of exposure control of the pixel circuit 330 within the Q3Q4 detection period in the first embodiment of the present technology.
- the row scanning circuit 310 supplies the reset signal RST to all rows over a predetermined pulse period from the timing T2, and initializes the charge accumulation amounts of the charge accumulation units 333 and 334 in all rows.
- the row scanning circuit 310 initializes the charges of the light receiving elements 331 in all rows by the FD selection signal SEL_FD.
- the row scanning circuit 310 transfers the electric charges generated by the light receiving elements 331 by the FD selection signal SEL_FD for all rows to the charge accumulation unit 334 for the first 0 to 90 degrees. By this control, the amount of received light q4 is accumulated in the charge accumulation unit 334. Thereafter, the row scanning circuit 310 transfers the charges generated by the light receiving elements 331 by the FD selection signal SEL_FD for all the rows from 90 degrees to 270 degrees in the cycle of the reference clock CLKs to the charge accumulation unit 333. By this control, the received light quantity q3 is accumulated in the charge accumulation unit 333.
- the row scanning circuit 310 supplies, to the charge storage unit 334, the charges generated by the light receiving elements 331 by the FD selection signal SEL_FD for all the rows from 270 degrees to 90 degrees within the period of the reference clock CLKs. Let it be transferred. By this control, the amount of received light q4 is accumulated in the charge accumulation unit 334.
- the row scanning circuit 310 sequentially supplies the FD read signals RD_FD1 and RD_FD2 to the first row. By this control, pixel signals corresponding to the received light amounts Q3 and Q4 in the first row are read out.
- the row scanning circuit 310 sequentially selects rows and reads out pixel signals.
- each of the pixel circuits 330 detects the received light amount Q3 from 90 degrees to 270 degrees and the received light quantity Q4 from 270 degrees to 90 degrees.
- FIG. 7 is a diagram for describing a phase difference detection method according to the first embodiment of the present technology.
- the pixel circuit 330 transfers the received light amount from the timing T50 (0 degree) to the timing T52 (180 degrees) within the Q1Q2 detection period to the charge accumulation unit 333.
- a light source irradiation light source 111, 112, etc.
- the received light amount from timing T51 to T52 is transferred as received light amount q1.
- the pixel circuit 330 transfers the received light amount from the timing T52 (180 degrees) to the timing T54 (360 degrees) within the Q1Q2 detection period to the charge accumulation unit 334.
- the received light amount from timing T52 to T53 is transferred as the received light amount q2.
- the pixel circuit 330 transfers the received light amount from the timing T55 (90 degrees) to the timing T57 (270 degrees) in the Q3Q4 detection period to the charge storage unit 333.
- the received light amount from timing T56 to T57 is transferred as the received light amount q3.
- the pixel circuit 330 transfers the received light amount from timing T57 (270 degrees) to timing T59 (90 degrees) within the Q3Q4 detection period to the charge storage unit 334.
- the received light amount from timing T57 to T58 is transferred as received light amount q4.
- the cumulative values of the received light amounts q1 and q2 within the Q1Q2 detection period are read as the received light amounts Q1 and Q2, and the cumulative values of the received light amounts q3 and q4 within the Q3Q4 detection period are read as the received light amounts Q3 and Q4.
- the ratio between the difference between Q1 and Q2 and the difference between Q3 and Q4 is a value corresponding to the phase difference between the reference clock CLKs and the received light. For this reason, the distance measurement calculation unit 230 can calculate the phase difference using Equation 1.
- the light source includes the irradiation light source 111 and the irradiation light source 112 as described above. Lights from these two light sources are received by separate pixel circuits 330 in the pixel array unit 320. Therefore, the VR terminal 200 can individually detect the phase difference between these two lights and the reference clock CLKs.
- the phase difference between the light from the irradiation light source 111 and the reference clock CLKs is dP 1s
- the phase difference between the light from the irradiation light source 112 and the reference clock CLKs is dP 2s .
- These phase difference differences correspond to the phase difference dP 12 between the light from the irradiation light source 111 and the light from the irradiation light source 112.
- the VR terminal 200 can detect the phase difference dP 12 between the light from the irradiation light source 111 and the light from the irradiation light source 112 using the phase of the reference clock CLKs as a reference.
- FIG. 8 is a diagram illustrating an example of a data configuration of image data according to the first embodiment.
- This image data includes a plurality of pixel data.
- Each of the pixel data in the Q1Q2 detection period includes received light amounts Q1 and Q2.
- each of the pixel data in the Q3Q4 detection period includes received light amounts Q3 and Q4.
- the pixel data at coordinates (0, 0) within the Q1Q2 detection period includes a received light amount Q1 of “10” and a received light amount Q2 of “20”.
- the pixel data at the coordinates (0, 1) includes a received light amount Q1 of “10” and a received light amount Q2 of “20”.
- FIG. 9 is a timing chart showing an example of the operation of the irradiation light source and the solid-state imaging device according to the first embodiment of the present technology.
- the light emitted from the irradiation light source 111 is referred to as irradiation light L1
- the light emitted from the irradiation light source 112 is referred to as irradiation light L2.
- these light sources emit light in synchronization with a common synchronization signal. For this reason, the frequency of irradiation light L1 and L2 is the same, and a phase difference is 0 degree at the time of irradiation.
- the phase difference between the irradiation lights L1 and L2 is not always the same when the VR terminal 200 receives light. This is because the distance from each of the irradiation light sources 111 and 112 to the VR terminal 200 is not necessarily the same. Further, the external device 110 repeatedly performs control for causing only the irradiation light source 111 to emit light over a certain period and control for causing only the irradiation light source 112 to emit light over a certain period. The length of the period during which only one of the lights is emitted is set to a longer time (such as 1/15 seconds) than the measurement period.
- the emission of the irradiation light L1 is started at the timing T11 within the measurement period from the timing T10 to the timing T12. Then, at the timing T14 immediately after the next measurement period from the timing T12 to the timing T13, the irradiation light L1 is turned off and the emission of the irradiation light L2 is started. Then, at the timing T17 when the measurement period from the timing T13 to the timing T15 and the measurement period from the timing T15 to the timing T16 have elapsed, the irradiation light L2 is turned off, and the emission of the irradiation light L1 is started.
- the reason why the irradiation light sources 111 and 112 emit light alternately in this way is that the amount of calculation is reduced in the generation of the depth map. The reason why the calculation amount is reduced will be described later.
- the VR terminal 200 can detect the phase of the irradiation light L1 with respect to the reference clock CLKs. In addition, the VR terminal 200 can also detect the phase of the reflected light reflected by the object with the irradiation light L1 with reference to the reference clock CLKs.
- the VR terminal 200 uses the reference clock CLKs to change the phases of the irradiation lights L1 and L2. Can be detected. Since only the irradiation light source 112 emits light from the timing T15 to the timing T16, the VR terminal 200 can detect the phase of the irradiation light L2 using the reference clock CLKs.
- the VR terminal 200 detects the phase difference dP 12 from the detected phases of the irradiation lights L1 and L2. Then, the VR terminal 200 measures the distance E 1 to the irradiation light source 111 from the phase difference dP 12 and the known interval W between the irradiation light sources 111 and 112. VR terminal 200 after the measurement of the distance E 1 is, the irradiation light L1, detects the phase difference dP 1d of the reflected light to the irradiation light L1, on the basis of the known distance E 1 and the phase difference dP 1d, the reflected The distance Ed to the reflected light source that emits light is measured.
- the ranging calculation unit 230 measures the distance Ed for each of the plurality of reflected light sources, and generates a depth map indicating the measurement results. Even after timing T17, a depth map is repeatedly generated at regular intervals (such as 2/15 seconds) by the same method.
- FIG. 10 is a block diagram illustrating a configuration example of the ranging calculation unit 230 according to the first embodiment of the present technology.
- the distance measuring unit 230 includes an image holding unit 231, an irradiation light source unit vector detection unit 232, a light source interval storage unit 233, an irradiation light phase difference detection unit 234, and a light source distance measurement unit 235.
- the distance measurement calculation unit 230 includes a unit vector detection unit 236 for each reflected light source, a phase difference detection unit 237 between irradiation light and reflected light, and a depth map generation unit 238.
- the image holding unit 231 holds a predetermined number of image data.
- N frames are required to generate one depth map, at least (N ⁇ 1) frames are held (in other words, buffered).
- the unit vector detector 232 for each irradiation light source detects a unit vector for each of the irradiation light sources 111 and 112.
- the unit vector indicates a direction from the VR terminal 200 to the irradiation light source 111 or 112, and is a vector having a length of “1”.
- the unit vector detection unit 232 for each irradiation light source supplies the unit vectors of the irradiation light sources 111 and 112 to the light source distance measurement unit 235.
- the unit vector of the irradiation light source 111 is also supplied to the depth map generation unit 238.
- the light source interval storage unit 233 stores a known interval W between the irradiation light sources 111 and 112.
- the irradiation light phase difference detection unit 234 detects the phase difference dP 12 of light from each of the irradiation light sources 111 and 112. For example, the inter-irradiation light phase difference detection unit 234 detects the phase difference dP 1s between the light from the irradiation light source 111 and the reference clock CLKs from the light reception amounts Q1 to Q4 of the pixels corresponding to the irradiation light source 111. The irradiation light phase difference detection unit 234 detects the phase difference dP 2s between the light from the irradiation light source 112 and the reference clock CLKs from the light reception amounts Q1 to Q4 of the pixels corresponding to the irradiation light source 112. Then, the irradiation light phase difference detection unit 234 obtains the difference between these phase differences as the phase difference dP 12 and supplies it to the light source distance measurement unit 235.
- the light source distance measuring unit 235 measures the distance E 1 to the irradiation light source 111 from the unit vector, the phase difference dP 12 and the known interval W.
- interval W between the irradiation light sources 111 and 112 is expressed by the following expression using vectors from the VR terminal 200 to each of the irradiation light sources 111 and 112.
- E 1 with an arrow indicates a vector from the VR terminal 200 to the irradiation light source 111
- E 2 with an arrow indicates a vector from the VR terminal 200 to the irradiation light source 112.
- interval W is a meter, for example.
- R represents an angle formed by the unit vector to the irradiation light source 111 and the unit vector to the irradiation light source 112.
- the unit of the angle R is, for example, radians.
- the unit of distances E 1 and E 2 is, for example, meters (m).
- E 1 and the distance E 2 can also be expressed by the following formula based on the principle of ToF.
- E 1 c ⁇ ⁇ P (E 1 ) ⁇ P (u 1 ) ⁇ / (2 ⁇ f) Equation 8
- E 2 c ⁇ ⁇ P (E 2 ) ⁇ P (u 2 ) ⁇ / (2 ⁇ f) Equation 9
- c is the speed of light, and the unit is, for example, meters per second (m / s).
- ⁇ represents a circumference ratio.
- F is the frequency of the irradiation light, and the unit is, for example, megahertz (MHz).
- P (E 1 ) is a phase when the irradiation light L1 emitted from the irradiation light source 111 is irradiated
- P (u 1 ) is a phase when the irradiation light L1 is received
- P (E 2 ) is a phase when the irradiation light L2 emitted from the irradiation light source 112 is irradiated
- P (u 2 ) is a phase when the irradiation light L2 is received.
- the unit of these phases is, for example, radians.
- Equation 10 Based on the cosine theorem, if two sides are known in a triangle with three side lengths E 1 , E 2 and W according to Equations 5 and 6, the remaining one side can be calculated. W only. For this reason, the remaining E 1 and E 2 cannot be calculated only by Expression 5 and Expression 6. However, according to the ToF method, since Equation 10 is further obtained, E 1 and E 2 can be calculated by solving simultaneous equations.
- the light source distance measurement unit 235 calculates the difference dE 12 by substituting the detected phase difference dP 12 into Equation 10, and calculates cosR by substituting the detected unit vector into Equation 7. Then, the irradiation light phase difference detection unit 234 calculates the distance E 1 by substituting the calculated difference dE 12 and cos R and the known interval W into Equation 5, and supplies the calculated distance E 1 to the depth map generation unit 238.
- the irradiation optical phase difference detecting unit 234 instead of the distance E 1, may calculate the distance E 2 by equation 6, both of the distance E 1 and E 2 may be calculated.
- the unit vector detection unit 236 for each reflected light source detects a unit vector for each of a predetermined number of reflected light sources that reflect the irradiation light from the irradiation light source 111.
- the unit vector detector 236 for each reflected light source supplies each of the calculated unit vectors to the depth map generator 238.
- the irradiation light / reflected light phase difference detection unit 237 detects, for each reflected light source, the phase difference between the reflected light from the reflected light source and the irradiated light from the irradiation light source 111.
- the irradiation light / reflected light phase difference detection unit 237 calculates the phase difference dP 1d for each reflected light source in the same manner as the irradiation light phase difference detection unit 234 and supplies the phase difference dP 1d to the depth map generation unit 238.
- each of the phase difference detection part 234 between irradiation light and the phase difference detection part 237 between irradiation light and reflected light is an example of the phase difference detection part as described in a claim.
- the depth map generation unit 238 generates a depth map indicating the distance to the reflected light source for each reflected light source. Difference dD between the linear distance E 1 to the irradiation light source 111 that does not pass through the reflective light source, and the distance to the radiation source 111 through the reflected light is represented by the following equation.
- E 1 D with an arrow is a vector indicating the direction from the irradiation light source 111 to the reflection light source.
- D is a linear distance from the VR terminal 200 to the reflected light source, and the unit is, for example, meters (m).
- the distance D can be expressed by the following equation.
- D dD (dD + 2E 1 ) / ⁇ 2dD + 2E 1 (1-cosA) ⁇ Equation 12
- A indicates an angle formed by the unit vector to the irradiation light source 111 and the unit vector to the reflection light source.
- the unit of the angle A is, for example, radians.
- P (u 1 ) represents a phase when receiving irradiation light from the irradiation light source 111.
- P (uD) indicates a phase when receiving reflected light from the reflected light source.
- the depth map generation unit 238 calculates the difference dD by substituting the detected phase difference dP 1d into Equation 14, and calculates cosA by substituting the detection vector into Equation 13.
- the depth map generating unit 238, a difference dD and cosA calculated, and a known distance E 1 are substituted into Equation 12 to calculate the distance D.
- the depth map generation unit 238 calculates the distance D for each irradiation light source, generates a depth map, and supplies the depth map to the terminal control unit 250.
- Each of the light source distance measuring unit 235 and the depth map generating unit 238 is an example of a distance measuring unit described in the claims.
- the light source distance measurement unit 235 performs the calculation by setting the phases P (E 1 ) and P (E 2 ) at the time of irradiation to the same value (that is, the phase difference is “0”). May be different values. However, the phase difference is assumed to be known. When the phase difference is not “0”, the calculation may be performed by using an expression obtained by adding or subtracting the phase difference from dP 12 of Expression 10.
- FIG. 11 is a diagram for describing a unit vector detection method according to the first embodiment of the present technology.
- it is possible to estimate at which coordinates in an image a certain point on a three-dimensional image is projected by obtaining parameters specific to the camera (such as the VR terminal 200) or the imaging lens 220 in advance.
- Coordinates of the point P by an internal parameter matrix can be converted into the coordinate of the corresponding point U P. Conversely, when the coordinates of the point U P is given, it is impossible to determine the position of the point P by an internal parameter matrix. However, since the straight line to the point P along the direction of the point U p is located from the optical center 510, VR terminal 200, based on the coordinates of the point U P, the direction from the optical center 510 to the point P The indicated unit vector can be detected.
- FIG. 12 is a diagram illustrating an example of image data according to the first embodiment of the present technology.
- a in the same figure shows an example of the image data 501 imaged in the period when only the irradiation light source 111 is emitting light.
- b in the figure shows an example of image data 502 captured during a period in which only the irradiation light source 112 emits light.
- the VR terminal 200 extracts, for example, a pixel having the highest luminance in the image data as a pixel that has received the irradiation light source (111 or 112). Then, the VR terminal 200 detects a unit vector from the extracted pixel coordinates to the irradiation light source.
- Figure 13 is a diagram for explaining a method of measuring the distance E 1 to the irradiation light source 111 according to the first embodiment of the present technology.
- the ranging module 210 captures image data when the irradiation light source 111 emits light, and detects a unit vector indicating the direction to the irradiation light source 111 from the coordinates of the irradiation light source 111 in the image data. Then, the distance measuring module 210 detects a unit vector for the irradiation light source 112 by the same method.
- the distance measuring module 210 detects the phase difference dP 12 of the light from each of the irradiation light sources 111 and 112 using Equation 1. Then, the distance measuring module 210 measures the distance E 1 to the irradiation light source 111 by substituting the detected unit vector and phase difference dP 12 and the known interval W into the above-described Expression 5, Expression 7 and Expression 10. To do.
- VR terminal 200 has to measure the distance E 1 from the phase difference of the light from the illumination light source 111 and 112, the distance E 1 may be measured using other methods.
- the distance E 1 may be measured using other methods.
- to fix the position of devices ranging module 210 is provided, in advance, may be configured to be measuring the distance E 1 by a separate measuring instrument. In this case, by using the known distance E 1, the depth map is generated.
- the VR terminal 200 measures the distance based on the phase difference of light based on the principle of the ToF method, but measures the distance based on the principle of Flash LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging). May be.
- phase information is converted into light transmission time, and further converted into distance information to obtain the distance.
- the light transmission time can be directly measured.
- the VR terminal 200 cannot measure the distance when an external light source (such as the illumination light sources 111 and 112) is not reflected in the image data. However, even in such a case, the VR terminal 200 may buffer a predetermined number of image data and estimate the current position of the external light source from the position of the past external light source in the image data.
- an external light source such as the illumination light sources 111 and 112
- the VR terminal 200 may perform self-position estimation simultaneously with the generation of the depth map. Such processing is called SLAM (Simultaneous Localization and Mapping).
- SLAM Simultaneous Localization and Mapping
- the VR terminal 200 may store, for example, the spatial coordinates of the irradiation light sources 111 and 112 in advance and estimate the self position from the direction and distance to the light sources.
- FIG. 14 is a diagram for explaining a method of measuring the distance D to the object in the first embodiment of the present technology.
- the distance measuring module 210 captures image data when the irradiation light source 111 emits light, and detects a unit vector indicating the direction to the reflected light source from the coordinates of the reflected light source 400 in the image data.
- the distance measuring module 210 detects the phase difference dP 1d of the light from each of the irradiation light source 111 and the reflection light source using Expression 1. Then, the ranging module 210 substitutes the detected unit vector and phase difference dP 1d and the calculated known distance E 1 into the above-described equations 12 to 14, and the distance to the reflected light source (object) 400 Measure D.
- both the irradiation light of the irradiation light source 111 and the irradiation light of the irradiation light source 112 are reflected by the object. For this reason, it is necessary to calculate the distance D using the superposed light as reflected light. As a result, the calculation of the distance D becomes complicated as compared with the case where only one irradiation light source is turned on. Therefore, from the viewpoint of simplifying the calculation of the distance D, the external device 110 turns on the irradiation light sources 111 and 112 alternately.
- the illumination light sources 111 and 112 may be turned on at the same time.
- a pair of external light sources may be turned on simultaneously, for example, a pair of ceiling lights may be used instead of the irradiation light sources 111 and 112.
- the distance measuring module 210 pays attention to a pair of external light sources such as a reflection light source and an irradiation light source, and detects a phase difference of light from those external light sources. Then, if any one of the distance W between the pair of external light sources and the distance to one side (such as E1) is known, the distance measuring module 210 can determine from the known data and the detected phase difference to the other. Distance (E 1 or E 2 ) can be measured. In the example of FIG. 13, the two external light sources are both irradiation light sources, and the distance (E 1 or E 2 ) to any one of these irradiation light sources is measured based on the interval W that is known data. .
- the distances E 1 and E 2 in FIG. 13 are examples of “distance to the other” in the claims.
- one of the two external light sources is an irradiation light source
- the other is a reflection light source
- the other is based on the distance (E 1 or E 2 ) to one (irradiation light source) that is known data.
- the distance D to (reflective light source) is measured.
- the distance D in FIG. 14 is an example of the “distance to the other” in the claims.
- the VR terminal 200 measures the distance using the phase difference of the light from the external light source, it is not necessary to provide a light emitting element such as a light emitting diode inside. Thereby, the power consumption for supplying to the light emitting element can be reduced. Furthermore, compared to a general ToF method that irradiates an object with irradiated light and receives reflected light, the light does not need to reciprocate, and light that directly reaches the camera from the light source is absorbed by the object. In other words, the amount of received light increases. Thereby, compared with the system which receives reflected light, ranging accuracy can be made high.
- FIG. 15 is a flowchart illustrating an example of the operation of the distance measuring module 210 according to the first embodiment of the present technology. This operation is started, for example, when the VR terminal 200 is turned on or when a predetermined application for processing the depth map is executed.
- Ranging module 210 first executes the light source distance measurement process for measuring the distance E 1 to the irradiation source 111 (step S910). Then, the ranging module 210 pays attention to any of a predetermined number of pixels to be measured.
- the ranging module 210 detects a unit vector for the object shown in the target pixel (step S901). In addition, the distance measuring module 210 detects a phase difference between the irradiation light and the reflected light reflected by the object (step S902).
- distance measurement module 210 measures the distance D to the object (step S903).
- the ranging module 210 determines whether or not all the pixels to be measured have been measured (step S904). When all the pixels have not been measured (step S904: No), the ranging module 210 repeatedly executes step S901 and subsequent steps. On the other hand, when all the pixels to be measured are measured (step S904: Yes), the ranging module 210 repeatedly executes step S910 and subsequent steps.
- FIG. 16 is a flowchart illustrating an example of a light source distance measurement process according to the first embodiment of the present technology.
- the ranging module 210 detects the unit vectors of the two irradiation light sources (111 and 112, etc.) (step S911). Further, the distance measuring module 210 detects the phase difference between the irradiation lights of the two irradiation light sources (step S912). Then, the distance measurement module 210 measures a distance (E 1 or the like) to any one of the irradiation light sources from the detected unit vector and phase difference and the known interval W (step S913). After step S913, the distance measuring module 210 ends the light source distance calculation process.
- the VR terminal 200 uses the phase difference of the light from the pair of external light sources such as the irradiation light sources 111 and 112, the irradiation light source 111, and the reflection light source, Since the distance to one side is measured, it is not necessary to provide a light emitting element inside. Thereby, the power consumption for supplying to the light emitting element can be reduced.
- the VR terminal 200 measures the distance E 1 to the irradiation light source 111 from the phase difference between the irradiation light sources 111 and 112 that are alternately turned on.
- the distances from the projection points of a plurality of external light sources whose spatial coordinates are known can be measured.
- the VR terminal 200 according to the first modification of the first embodiment differs from the first embodiment in that the distance from the projection points of a plurality of external light sources to the light sources is measured.
- FIG. 17 is an overall view illustrating an example of a distance measuring system according to the first modification of the first embodiment of the present technology.
- the distance measuring system according to the first modification of the first embodiment is the first in that the ceiling lights 131 to 134 are used as external light sources instead of the irradiation light sources 111 and 112 provided in the external device 110. Different from the embodiment.
- the ceiling lights 131 to 134 are arranged at four vertices of a predetermined square.
- the spatial coordinates of these illuminations are stored in advance in the VR terminal 200.
- the VR terminal 200 performs distance measurement using the spatial coordinates. Note that the figure having the ceiling lights 131 to 134 as apexes is not limited to a square, and may be a rectangle or a trapezoid.
- FIG. 18 is a diagram for describing a distance measuring method according to the first modification of the first embodiment of the present technology.
- the ceiling lights 131 to 134 are projected onto projection points u 1 to u 4 on a predetermined imaging plane. While the positions of the ceiling lights 131 to 134 do not change, the position and posture of the VR terminal 200 can change. For this reason, the plane coordinates of the projection points u 1 to u 4 change according to the position and orientation of the VR terminal 200. Since there is a certain relationship between the coordinates of the projection points u 1 to u 4 and the position and orientation, VR can be obtained by inputting the plane coordinates of the projection points u 1 to u 4 to a function indicating the relationship.
- the terminal 200 can calculate its own position and orientation. If the position of the VR terminal 200 is calculated, since the positions of the ceiling lights 131 to 134 are fixed, the VR terminal 200 can calculate the distance from the position of the VR terminal 200 to the lights.
- the problem of obtaining the position and orientation of the camera (VR terminal 200) from known spatial points (ceiling lighting 131 to 134, etc.) and their projection points is a PnP (Perspective-n-Pont) problem. be called.
- the PnP problem is described in, for example, “Masatoshi Okutomi,“ Digital Image Processing ”, revised new edition, Association for Promotion of Image Information Education, March 2006, p328-331.
- the VR terminal 200 uses the projection points of the ceiling lights 131 to 134. However, if the position is an external light source whose position is known, the projection points of light sources other than the ceiling illumination can be used.
- FIG. 19 is a block diagram illustrating a configuration example of the distance measurement calculation unit 230 according to the first modification of the first embodiment of the present technology.
- the distance calculation unit 230 of the first modification of the first embodiment includes a unit vector detection unit 232 for each irradiation light source, a light source interval storage unit 233, a phase difference detection unit 234 between irradiation lights, and a light source distance measurement unit 235. Not equipped.
- the ranging calculation unit 230 includes a spatial coordinate storage unit 241 and a light source distance measurement unit 242 instead of them.
- the spatial coordinate storage unit 241 stores the spatial coordinates of the ceiling lights 131 to 134.
- the light source distance measuring unit 242 acquires the plane coordinates of the projection points of the ceiling lights 131 to 134 from the image data. Then, the light source distance measurement unit 242 solves the PnP problem and calculates the position of the VR terminal 200, and a unit vector indicating a direction from the position to any one of the ceiling lights 131 to 134 (ceiling lights 131 and the like) determining the distance E 1 to the illumination.
- the light source distance measurement unit 242 supplies the unit vector and the distance E 1 to the depth map generation unit 238.
- the VR terminal 200 measures the distance to the illumination from the coordinates of the projection points of the plurality of ceiling illuminations. Ranging can be performed even when there is no illumination light source 111 and 112 to be turned on.
- the ranging module 210 is provided in the VR terminal 200, but the ranging module 210 may be provided in a device or device other than the VR terminal 200.
- the ranging module 210 may be provided in an unmanned aerial vehicle (so-called drone).
- drone unmanned aerial vehicle
- the distance measuring system according to the second modification of the first embodiment is different from the first embodiment in that a distance measuring module 210 is provided in an unmanned aircraft.
- FIG. 20 is an overall view illustrating a configuration example of a ranging system according to the second modification example of the first embodiment of the present technology.
- This distance measuring system includes a plurality of unmanned aircraft 201.
- Each unmanned aircraft 201 includes light emitting units 271 and 272 and a ranging module 210.
- the light emitting units 271 and 272 are fixed at specific positions of the unmanned aircraft 201, and the distance W between them is constant.
- the distance measuring module 210 is omitted in the figure.
- Each unmanned aircraft 201 detects the phase difference of light from each of the light emitting units 271 and 272 of the other unmanned aircraft 201, and the distance E to the light emitting unit 271 is detected by the same method as in the first embodiment. 1 is measured. Unmanned aircraft 201 on the basis of the measured distance E 1 performs flight control, such as keeping the distance therebetween constant.
- each unmanned aerial vehicle 201 includes light emitting units 271 and 272 in its own aircraft, but using the received light amount of irradiation light from other aircraft instead of the reflected light with respect to the irradiation light emitted by itself. Measure distance. Compared with a general ToF system that irradiates irradiated light and receives reflected light, light does not need to reciprocate and light is not absorbed by an object, so the light emission amount of the light emitting units 271 and 272 is reduced. be able to. Therefore, the power consumption of the unmanned aerial vehicle 201 can be reduced by the amount of light emission. Further, if the light emission amount is constant, the light reception amount becomes larger than that in the case where the reflected light is received, so that the ranging accuracy can be improved.
- FIG. 21 is a block diagram illustrating a configuration example of the unmanned aerial vehicle 201 according to the second modification example of the first embodiment of the present technology.
- This unmanned aerial vehicle 201 includes a distance measuring module 210, a body control unit 251, and light emitting units 271 and 272.
- the distance measuring module 210 measures the distance E 1 to the light emitting unit 271 of another body, not the own device, and supplies it to the body control unit 251.
- the body control unit 251 controls the entire unmanned aircraft 201.
- the machine control unit 251 supplies the reference clock CLKs to the light emitting units 271 and 272 and the solid-state imaging device 300.
- the distance E 1 performs control so as to approach a constant value. With this control, a plurality of unmanned aircraft 210 can fly while maintaining a constant distance from each other.
- the light emitting units 271 and 272 emit light in synchronization with the reference clock CLKs.
- FIG. 22 is a block diagram illustrating a configuration example of the distance measurement calculation unit 230 in the second modification example of the first embodiment of the present technology.
- the distance measurement calculation unit 230 of the second modification of the first embodiment does not include the unit vector detection unit 236 for each reflected light source, the phase difference detection unit 237 between irradiation light and reflected light, and the depth map generation unit 238. This is different from the first embodiment.
- the unmanned aircraft 201 detects the phase difference of the light from the light emitting units 271 and 272 of the wing aircraft, and thus a plurality of unmanned aircraft 201 Can measure the distance to each other.
- the VR terminal 200 performs distance measurement using the phase difference of light from each of a plurality of point light sources (irradiation light sources 111 and 112, etc.). If is not located near the object to be measured, distance measurement cannot be performed. Even in this case, if a linear light source such as a fluorescent lamp is disposed in the room in advance, the VR terminal 200 can perform distance measurement using the phase difference of the light from the linear light source. . For example, even if there is no external device 110 having a point light source in the room, there are many illumination light sources in the room. Therefore, if the illumination light source can be used as an external light source, the VR terminal 200 performs distance measurement. Can do.
- the VR terminal 200 according to the second embodiment is different from the first embodiment in that distance measurement is performed using a phase difference of light from a line light source.
- FIG. 23 is a diagram illustrating an example of the line light source 120 according to the second embodiment of the present technology.
- the line light source 120 for example, a fluorescent light source or a linear light emitting diode is assumed.
- the entire line light source 120 blinks at a constant frequency. Therefore, the phase difference at the time of irradiation of irradiation light from each of the points on the line light source 120 is “0”.
- the width W of the line light source 120 is stored in advance in the VR terminal 200 as known data.
- the distance measuring module 210 focuses on the point 121, the light from the point 121 is condensed at one point on the solid-state imaging device 300 by the imaging lens 220 and mixed with the light from other points. No. Therefore, any two points on the line light source 120 can be treated as separate irradiation light sources, and the VR terminal 200 can measure the distances to these light sources by the same method as in the first embodiment. it can.
- FIG. 24 is a diagram for describing a method for measuring the distance to the irradiation light source according to the second embodiment of the present technology.
- the VR terminal 200 measures the distance to these light sources using both ends of the line light source 120 as irradiation light sources. First, the VR terminal 200 detects a phase difference of light from these irradiation light sources, and detects a unit vector for each of the irradiation light sources. Then, the VR terminal 200 measures the distance to one of both ends based on the detected phase difference and unit vector, and the known width W.
- the VR terminal 200 focuses on both ends of the line light source 120 and detects the phase difference of the irradiated light, but may focus on two points other than both ends.
- the VR terminal 200 may focus on two points on a light source of another shape such as a surface light source, a spherical light source, a ring light source, or a disk light source instead of the line light source 120.
- FIG. 25 is a diagram for describing a method for measuring a distance to an object according to the second embodiment of the present technology.
- the reflection point receives light from each of a plurality of points on the line light source 120. Since the distance from the reflection point to each point on the line light source 120 is different, the phase of the reflected light is not always a value that is simply proportional to the distance from the line light source 120.
- the VR terminal 200 detects a unit vector for each of a plurality of points on the line light source 120. Moreover, the VR terminal 200 measures the phase of the irradiation light from the point for every point.
- an axis along the line light source 120 is an X axis, and two axes orthogonal to the X axis are a Y axis and a Z axis.
- the Y axis and the Z axis are arbitrary. However, there is no problem because the phase of the irradiation light is also rotationally symmetric.
- the directions of the axes of the coordinate system of the light source and the coordinate system of the camera (VR terminal 200) are different. However, for the convenience of explanation, they are assumed to be the same. Even if the directions of the axes of each coordinate system are different, if the attitude of the line light source 120 viewed from the VR terminal 200 is known, it is possible to easily convert one axis to the other.
- the reflected light is expressed by the following equation by superimposing the light reaching from each point on the line light source 120.
- t is time
- the unit is, for example, second (s).
- D with an arrow indicates a vector from the VR terminal 200 to the reflection point.
- the left side is the reflected light at the reflection point at time t.
- the right side is a result of integrating light from each point on the line light source 120.
- the phase of the reflected light can be expressed by the following equation.
- the left side is the phase of the reflected light at the reflection point D.
- PE is the phase of light from the center of the line light source 120.
- the unit of these phases is, for example, radians.
- G () is a function representing the relationship between the position of the reflection point from the center of the line light source 120 and the phase difference between the reflected light and the irradiated light. This function g () is obtained in advance by, for example, a value actually measured by some calibration. Alternatively, the function g () may be obtained theoretically.
- the phase P (u c ) at the time of receiving the irradiation light from the center of the line light source 120 is expressed by the following equation.
- P (u c ) P Ec ⁇ (2 ⁇ f / c) ⁇ Ec Equation 17
- Ec is the distance to the center of the line light source 120, and the unit is, for example, meters (m).
- the coordinates of Ec are obtained from the distance E1 to one end of the line light source 120 and each unit vector.
- P Ec is a phase at the time of irradiation of irradiation light from the center of the line light source 120, and its unit is, for example, radians.
- phase when the reflected light is received is expressed by the following equation.
- D with an arrow is a vector indicating the direction to the reflection point, and this vector can be replaced with a value obtained by multiplying the unit vector in that direction by the distance D.
- Formula 20 can be replaced with the following formula.
- d with an arrow indicates a unit vector in the direction to the reflection point.
- the VR terminal 200 detects a unit vector for each of the center of the line light source 120 and the reflection point, and also detects a phase difference when the irradiation light and the reflection light are received. Then, the VR terminal 200 calculates the distance D to the reflection point by substituting the unit vector and the phase difference and the known distance Ec into Expression 21.
- the VR terminal 200 measures the distance to the both ends of the line light source 120 based on the phase difference of the lights from the both ends. Even if it is not, distance measurement can be performed. For example, even if the external device 110 having a point light source is not in a room, the VR terminal 200 can perform distance measurement using the linear light source 120 shaped like a fluorescent lamp.
- IoT Internet of things
- IoT Internet of Things
- IoT devices 9100 which are “things”, are connected to other IoT devices 9003, the Internet, the cloud 9005, and the like and control each other by exchanging information.
- IoT can be used in various industries such as agriculture, homes, automobiles, manufacturing, distribution, and energy.
- FIG. 26 is a diagram illustrating an example of a schematic configuration of an IoT system 9000 to which the technology according to the present disclosure can be applied.
- the IoT device 9001 includes various sensors such as a temperature sensor, a humidity sensor, an illuminance sensor, an acceleration sensor, a distance sensor, an image sensor, a gas sensor, and a human sensor. Further, the IoT device 9001 may include a terminal such as a smartphone, a mobile phone, a wearable terminal, or a game device. The IoT device 9001 is powered by an AC power source, a DC power source, a battery, non-contact power feeding, so-called energy harvesting, or the like. The IoT device 9001 can communicate by wired, wireless, proximity wireless communication, and the like.
- 3G / LTE, WiFi, IEEE 802.15.4, Bluetooth, Zigbee (registered trademark), Z-Wave, or the like is preferably used.
- the IoT device 9001 may perform communication by switching a plurality of these communication means.
- the IoT device 9001 may form a one-to-one, star, tree, or mesh network.
- the IoT device 9001 may be connected to an external cloud 9005 directly or through a gateway 9002.
- An address is assigned to the IoT device 9001 by IPv4, IPv6, 6LoWPAN, or the like.
- Data collected from the IoT device 9001 is transmitted to other IoT devices 9003, a server 9004, a cloud 9005, and the like.
- the timing and frequency at which data is transmitted from the IoT device 9001 are suitably adjusted, and the data may be compressed and transmitted.
- Such data may be used as it is, or the data may be analyzed by the computer 9008 by various means such as statistical analysis, machine learning, data mining, cluster analysis, discriminant analysis, combination analysis, and time series analysis.
- various services such as control, warning, monitoring, visualization, automation, and optimization can be provided.
- IoT device 9001 at home includes washing machine, dryer, dryer, microwave oven, dishwasher, refrigerator, oven, rice cooker, cooking utensil, gas appliance, fire alarm, thermostat, air conditioner, TV, recorder, audio, Lighting equipment, water heaters, water heaters, vacuum cleaners, fans, air purifiers, security cameras, locks, door / shutter opening / closing devices, sprinklers, toilets, thermometers, scales, blood pressure monitors, etc. are included. Further, the IoT device 9001 may include a solar cell, a fuel cell, a storage battery, a gas meter, a power meter, and a distribution board.
- the communication method of the IoT device 9001 at home is preferably a low power consumption type communication method. Further, the IoT device 9001 may communicate by WiFi indoors and by 3G / LTE outdoors.
- An external server 9006 for IoT device control may be installed on the cloud 9005 to control the IoT device 9001.
- the IoT device 9001 transmits data such as the status of household devices, temperature, humidity, power consumption, presence / absence of people / animals inside and outside the house. Data transmitted from the home device is stored in the external server 9006 through the cloud 9005. A new service is provided based on such data.
- Such an IoT device 9001 can be controlled by voice by using voice recognition technology.
- the status of various household devices can be visualized by sending information directly from various household devices to the TV.
- various sensors determine the presence or absence of a resident and send the data to an air conditioner, lighting, etc., so that their power can be turned on / off.
- advertisements can be displayed on the display provided for various household devices through the Internet.
- the technology according to the present disclosure can be suitably applied to a distance measuring sensor in the IoT device 9001 among the configurations described above.
- the power consumption of the IoT device 9001 can be reduced.
- the technology according to the present disclosure can be applied to various products.
- the technology according to the present disclosure may be any type of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor). You may implement
- FIG. 27 is a block diagram illustrating a schematic configuration example of a vehicle control system 7000 that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
- the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
- the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, a vehicle exterior information detection unit 7400, a vehicle interior information detection unit 7500, and an integrated control unit 7600. .
- the communication network 7010 for connecting the plurality of control units conforms to an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
- Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled. Is provided.
- Each control unit includes a network I / F for communicating with other control units via a communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication. A communication I / F for performing communication is provided. In FIG.
- a microcomputer 7610 As a functional configuration of the integrated control unit 7600, a microcomputer 7610, a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, an audio image output unit 7670, An in-vehicle network I / F 7680 and a storage unit 7690 are illustrated.
- other control units include a microcomputer, a communication I / F, a storage unit, and the like.
- the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
- the drive system control unit 7100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
- the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
- a vehicle state detection unit 7110 is connected to the drive system control unit 7100.
- the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the rotational movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a rotational speed of a wheel, or the like is included.
- the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
- the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
- the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
- the body control unit 7200 can be input with radio waves or various switch signals transmitted from a portable device that substitutes for a key.
- the body system control unit 7200 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
- the battery control unit 7300 controls the secondary battery 7310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
- the outside information detection unit 7400 detects information outside the vehicle on which the vehicle control system 7000 is mounted.
- the outside information detection unit 7400 is connected to at least one of the imaging unit 7410 and the outside information detection unit 7420.
- the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
- the outside information detection unit 7420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors.
- the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
- the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
- the imaging unit 7410 and the outside information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
- FIG. 28 shows an example of installation positions of the imaging unit 7410 and the vehicle outside information detection unit 7420.
- the imaging units 7910, 7912, 7914, 7916, and 7918 are provided at, for example, at least one of the front nose, the side mirror, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior of the vehicle 7900.
- An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
- Imaging units 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
- An imaging unit 7916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 7900.
- the imaging unit 7918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or
- FIG. 28 shows an example of the shooting range of each of the imaging units 7910, 7912, 7914, and 7916.
- the imaging range a indicates the imaging range of the imaging unit 7910 provided in the front nose
- the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided in the side mirrors, respectively
- the imaging range d The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, an overhead image when the vehicle 7900 is viewed from above is obtained.
- the vehicle outside information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners of the vehicle 7900 and the upper part of the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
- the vehicle outside information detection units 7920, 7926, and 7930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 7900 may be, for example, LIDAR devices.
- These outside information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
- the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection unit 7420 connected thereto. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
- the outside information detection unit 7400 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received information.
- the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
- the vehicle outside information detection unit 7400 may calculate a distance to an object outside the vehicle based on the received information.
- the outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
- the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 7410 to generate an overhead image or a panoramic image. Also good.
- the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
- the vehicle interior information detection unit 7500 detects vehicle interior information.
- a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
- Driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects biometric information of the driver, a microphone that collects sound in the passenger compartment, and the like.
- the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
- the vehicle interior information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determines whether the driver is asleep. May be.
- the vehicle interior information detection unit 7500 may perform a process such as a noise canceling process on the collected audio signal.
- the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
- An input unit 7800 is connected to the integrated control unit 7600.
- the input unit 7800 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
- the integrated control unit 7600 may be input with data obtained by recognizing voice input through a microphone.
- the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. May be.
- the input unit 7800 may be, for example, a camera.
- the passenger can input information using a gesture.
- data obtained by detecting the movement of the wearable device worn by the passenger may be input.
- the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600.
- a passenger or the like operates the input unit 7800 to input various data or instruct a processing operation to the vehicle control system 7000.
- the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
- the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
- General-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
- General-purpose communication I / F7620 is a cellular communication protocol such as GSM (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or wireless LAN (Wi-Fi (registered trademark)). Other wireless communication protocols such as Bluetooth (registered trademark) may also be implemented.
- the general-purpose communication I / F 7620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point.
- the general-purpose communication I / F 7620 is a terminal (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle using, for example, P2P (Peer To Peer) technology. You may connect with.
- a terminal for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal
- P2P Peer To Peer
- the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in vehicles.
- the dedicated communication I / F 7630 is a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609. May be implemented.
- the dedicated communication I / F 7630 typically includes vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) Perform V2X communication, which is a concept that includes one or more of the communications.
- the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
- the position information including is generated.
- the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
- the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a radio station installed on the road, and acquires information such as the current position, traffic jam, closed road, or required time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I / F 7630 described above.
- the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
- the in-vehicle device I / F 7660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
- the in-vehicle device I / F 7660 is connected to a USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile High-definition Link) via a connection terminal (and a cable if necessary). ) Etc. may be established.
- the in-vehicle device 7760 may include, for example, at least one of a mobile device or a wearable device that a passenger has, or an information device that is carried into or attached to the vehicle.
- In-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
- In-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
- the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
- the in-vehicle network I / F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
- the microcomputer 7610 of the integrated control unit 7600 is connected via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680.
- the vehicle control system 7000 is controlled according to various programs based on the acquired information. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Also good.
- the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning. You may perform the cooperative control for the purpose. Further, the microcomputer 7610 controls the driving force generator, the steering mechanism, the braking device, or the like based on the acquired information on the surroundings of the vehicle, so that the microcomputer 7610 automatically travels independently of the driver's operation. You may perform the cooperative control for the purpose of driving.
- ADAS Advanced Driver Assistance System
- the microcomputer 7610 is information acquired via at least one of the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, and the in-vehicle network I / F 7680.
- the three-dimensional distance information between the vehicle and the surrounding structure or an object such as a person may be generated based on the above and local map information including the peripheral information of the current position of the vehicle may be created.
- the microcomputer 7610 may generate a warning signal by predicting a danger such as a collision of a vehicle, approach of a pedestrian or the like or an approach to a closed road based on the acquired information.
- the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
- the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
- an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
- Display unit 7720 may include at least one of an on-board display and a head-up display, for example.
- the display portion 7720 may have an AR (Augmented Reality) display function.
- the output device may be other devices such as headphones, wearable devices such as glasses-type displays worn by passengers, projectors, and lamps.
- the display device can display the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
- At least two control units connected via the communication network 7010 may be integrated as one control unit.
- each control unit may be configured by a plurality of control units.
- the vehicle control system 7000 may include another control unit not shown.
- some or all of the functions of any of the control units may be given to other control units. That is, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any one of the control units.
- a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 7010. .
- a computer program for realizing each function of the distance measuring module 210 according to the present embodiment described with reference to FIG. 2 can be implemented in any control unit or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
- the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like. Further, the above computer program may be distributed via a network, for example, without using a recording medium.
- the distance measuring module 210 can be applied to the integrated control unit 7600 of the application example illustrated in FIG.
- the distance measuring module 210 corresponds to the vehicle outside information detection unit 7400 of the integrated control unit 7600.
- a pair of external light sources can be used as tail lamps for other vehicles, and the vehicle outside information detection unit 7400 (ranging module 200) can measure the distance to these tail lamps as the inter-vehicle distance.
- the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program. You may catch it.
- a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc), or the like can be used.
- this technique can also take the following structures.
- a phase difference detection unit that detects a phase difference of light from each of a pair of external light sources; One of the distance to one of the pair of external light sources and the interval between the pair of external light sources is acquired as known data, and the distance to the other of the pair of external light sources is determined based on the known data and the phase difference.
- a distance measuring device comprising a distance measuring unit for measurement.
- Each of the pair of external light sources is an irradiation light source that emits irradiation light, The distance measuring device according to (1), wherein the distance measuring unit acquires an interval between the pair of external light sources as the known data.
- the distance measuring device further including a pair of light emitting units that emit irradiation light.
- the distance measuring device further including a pair of light emitting units that emit irradiation light.
- the pair of external light sources are arranged at predetermined positions on a line light source.
- the one of the pair of external light sources is an irradiation light source that emits irradiation light, and the other is a reflection light source that reflects the irradiation light,
- the distance measuring device acquires a distance to the one of the pair of external light sources as the known data.
- the irradiation light source includes a pair of irradiation light sources that are alternately turned on, The distance measuring device according to (5), wherein the distance measuring unit acquires a distance to one of the pair of irradiation light sources based on an interval between the pair of irradiation light sources. (7) The distance measuring unit acquires the plane coordinates of the projection points obtained by projecting each of the plurality of spatial points whose known three-dimensional coordinates are on a predetermined imaging plane, and acquires the known data from the plane coordinates ( 5) The distance measuring device according to the above.
- the distance measuring unit detects a unit vector indicating a direction to each of a pair of external light sources, and measures the distance to the other based on the unit vector, the known data, and the phase difference.
- the distance measuring device according to any one of 1) to (7).
- the phase difference detection unit and the distance measurement unit are mounted on a vehicle.
- the pair of external light sources are tail lamps of other vehicles different from the vehicle,
- the distance measuring device according to any one of (1) to (8), wherein the distance measuring unit measures an inter-vehicle distance between the vehicle and the other vehicle.
- phase difference detection unit that detects a phase difference of light from each of the pair of external light sources; One of the distance to one of the pair of external light sources and the interval between the pair of external light sources is acquired as known data, and the distance to the other of the pair of external light sources is determined based on the known data and the phase difference.
- An electronic apparatus comprising: a control unit that displays predetermined information on a display unit based on the measured distance.
- a distance measuring apparatus control method comprising:
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
光の位相差から距離を測定する装置において、消費電力を低減する。 測距装置は、位相差検出部、および、測距部を具備する。この測距装置において、位相差検出部は、一対の外部光源のそれぞれからの光の位相差を検出する。また、測距装置において、測距部は、一対の外部光源の一方までの距離と一対の外部光源の間隔とのいずれかを既知データとして取得して既知データおよび位相差に基づいて一対の外部光源の他方までの距離を測定する。
Description
本技術は、測距装置、電子装置、および、測距装置の制御方法に関する。詳しくは、光の位相差から距離を測定する測距装置、電子装置、および、測距装置の制御方法に関する。
従来より、測距機能を持つ装置や機器において、ToF(Time of Flight)方式と呼ばれる測距方式がよく用いられている。このToF方式は、サイン波や矩形波の照射光を装置から物体に照射し、その物体からの反射光を装置が受光して、照射光と反射光との位相差から距離を測定する方式である。例えば、アレイ状に配置した複数の受光素子により反射光を受光してToF方式により測距する装置が提案されている(例えば、非特許文献1参照。)。
上述の従来技術では、アレイ状の受光素子により、複数の物体のそれぞれまでの距離を測定してデプスマップを生成することができる。しかしながら、物体までの距離が遠い場合や、物体の反射率が低い場合には、反射光の光量が少なくなって測距精度が低下してしまう。そのような場合に測距精度を維持するには、照射光の光量を大きくする必要があり、その照射光を照射する装置の消費電力が増大してしまうという問題がある。特に、バッテリで動作するモバイル機器において、消費電力の増大はデメリットが大きく、対策が必要となる。
本技術はこのような状況に鑑みて生み出されたものであり、光の位相差から距離を測定する装置において、消費電力を低減することを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第1の側面は、一対の外部光源のそれぞれからの光の位相差を検出する位相差検出部と、上記一対の外部光源の一方までの距離と上記一対の外部光源の間隔とのいずれかを既知データとして取得して上記既知データおよび上記位相差に基づいて上記一対の外部光源の他方までの距離を測定する測距部とを具備する測距装置、および、その制御方法である。これにより、既知データおよび位相差に基づいて一対の外部光源の他方までの距離が測定されるという作用をもたらす。
また、この第1の側面において、上記一対の外部光源は、いずれも照射光を発する照射光源であり、上記測距部は、上記一対の外部光源の間隔を上記既知データとして取得してもよい。これにより、一対の外部光源の間隔と位相差とに基づいて一対の外部光源の他方までの距離が測定されるという作用をもたらす。
また、この第1の側面において、照射光を発する一対の発光部をさらに具備してもよい。これにより、発光部を備える測距装置の外部の外部光源までの距離が測定されるという作用をもたらす。
また、この第1の側面において、上記一対の外部光源は、線光源上の所定の位置に配置されてもよい。これにより、線光源上の所定の位置までの距離が測定されるという作用をもたらす。
また、この第1の側面において、上記一対の外部光源の上記一方は照射光を発する照射光源であり、上記他方は上記照射光を反射する反射光源であり、上記測距部は、上記一対の外部光源の上記一方までの距離を上記既知データとして取得してもよい。これにより、一対の外部光源の上記一方までの距離と位相差とに基づいて一対の外部光源の他方までの距離が測定されるという作用をもたらす。
また、この第1の側面において、上記照射光源は、交互に点灯する一対の照射光源を含み、上記測距部は、上記一対の照射光源の間の間隔に基づいて上記一対の照射光源の一方までの距離を取得してもよい。これにより、交互に点灯する一対の照射光源の間の間隔に基づいて上記一対の照射光源の一方までの距離が取得されるという作用をもたらす。
また、この第1の側面において、上記測距部は、三次元座標が既知の複数の空間点のそれぞれを所定の撮像平面に投影した投影点の平面座標を取得して当該平面座標から上記既知データを取得してもよい。これにより、投影点の平面座標から既知データが取得されるという作用をもたらす。
また、この第1の側面において、上記測距部は、一対の外部光源のそれぞれまでの方向を示す単位ベクトルを検出し、当該単位ベクトルと上記既知データと上記位相差に基づいて上記他方までの距離を測定してもよい。これにより、単位ベクトルと既知データと位相差に基づいて他方までの距離が測定されるという作用をもたらす。
また、この第1の側面において、上記位相差検出部および上記測距部は、車両に搭載され、上記一対の外部光源は、上記車両とは異なる他車両のテールランプであり、上記測距部は、上記車両と上記他車両との車間距離を測定してもよい。これにより、既知データおよび位相差に基づいて車間距離が測定されるという作用をもたらす。
また、本技術の第2の側面は、一対の外部光源のそれぞれからの光の位相差を検出する位相差検出部と、上記一対の外部光源の一方までの距離と上記一対の外部光源の間隔とのいずれかを既知データとして取得して上記既知データおよび上記位相差に基づいて上記一対の外部光源の他方までの距離を測定する測距部と、上記測定された距離に基づいて所定の情報を表示部に表示させる制御部とを具備する電子装置である。これにより、既知データおよび位相差に基づいて一対の外部光源の他方までの距離が測定され、その距離に基づいて所定の情報が表示されるという作用をもたらす。
本技術によれば、光の位相差から距離を測定する装置において、消費電力を低減することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(一対の外部光源からの光の位相差を検出して測距する例)
2.第2の実施の形態(線光源上の一対の外部光源からの光の位相差を検出して測距する例)
1.第1の実施の形態(一対の外部光源からの光の位相差を検出して測距する例)
2.第2の実施の形態(線光源上の一対の外部光源からの光の位相差を検出して測距する例)
<1.第1の実施の形態>
[測距システムの構成例]
図1は、本技術の第1の実施の形態における測距システムの一例を示す全体図である。この測距システムは、周囲の物体500までの距離を測定するためのシステムであり、外部機器110とVR端末200とを備える。
[測距システムの構成例]
図1は、本技術の第1の実施の形態における測距システムの一例を示す全体図である。この測距システムは、周囲の物体500までの距離を測定するためのシステムであり、外部機器110とVR端末200とを備える。
外部機器110は、室内に設置された機器であり、照射光を発する照射光源111および112を備える。外部機器110としては、チューナ、レコーダやToFカメラなどの様々な家電製品が想定される。これらの照射光源111および112は、外部機器110の特定の位置に設けられた点光源であり、所定の周波数(20メガヘルツなど)の共通の同期信号に同期して、例えば、パルス光を照射光として発する。この照射光は、ユーザの周囲に存在する様々な物体500の表面で反射する。その反射した箇所である反射光源や、照射光源111および112などの外部光源が、測距に用いられる。
VR端末200は、ユーザの周囲の物体500のそれぞれまでの距離を示すデプスマップを生成するものである。このVR端末200は、液晶ディスプレイなどの表示部を備えたゴーグル型の機器であり、ユーザの頭部に装着される。また、VR端末200は、生成したデプスマップに基づいて、表示部に様々な情報を表示する処理を行う。なお、VR端末200は、特許請求の範囲に記載の電子装置の一例である。
[VR端末の構成例]
図2は、本技術の第1の実施の形態におけるVR端末200の一構成例を示すブロック図である。このVR端末200は、測距モジュール210、端末制御部250および表示部260を備える。また、測距モジュール210は、撮像レンズ220、固体撮像素子300および測距演算部230を備える。なお、測距モジュール210は、特許請求の範囲に記載の測距装置の一例である。
図2は、本技術の第1の実施の形態におけるVR端末200の一構成例を示すブロック図である。このVR端末200は、測距モジュール210、端末制御部250および表示部260を備える。また、測距モジュール210は、撮像レンズ220、固体撮像素子300および測距演算部230を備える。なお、測距モジュール210は、特許請求の範囲に記載の測距装置の一例である。
撮像レンズ220は、照射光源111および112からの照射光や、その照射光に対する反射光を集光して固体撮像素子300に導くものである。
固体撮像素子300は、撮像レンズ220からの光を光電変換して画像データを生成するものである。この固体撮像素子300には、所定の周波数の垂直同期信号VSYNCと、基準クロックCLKsとが入力される。垂直同期信号VSYNCの周波数は、照射光源111および112が照射する照射光の周波数(20メガヘルツなど)よりも低い値(60ヘルツなど)に設定される。また、基準クロックCLKsの周波数は、その照射光の周波数と同じ値に設定される。ただし、基準クロックCLKsは、照射光源111および112の照射光と同期しておらず、その照射光と位相が一致するとは限らない。固体撮像素子300は、垂直同期信号VSYNC等に同期して画像データを生成し、測距演算部230に供給する。
測距演算部230は、照射光源111および112のそれぞれからの照射光の位相差dP12を検出し、その位相差dP12と照射光源111および112の間隔Wとから、照射光源111および112の少なくとも一方までの距離を測定するものである。例えば、照射光源111までの距離E1のみが測定される。
また、距離E1の測定後に測距演算部230は、照射光源111からの照射光と、その照射光に対する反射光との位相差dP1dを検出し、既知の距離E1と位相差dP1dとに基づいて、その反射光を発する反射光源までの距離Edを測定する。この反射光源は、物体の表面上において、照射光が反射する反射点に該当する。すなわち、距離Edは、物体の表面の反射点までの距離を示す。測距演算部230は、複数の反射光源のそれぞれについて距離Edを測定し、それらの測定結果を示すデプスマップを生成して端末制御部250に供給する。
端末制御部250は、VR端末200全体を制御するものである。この端末制御部250は、デプスマップに基づいて様々な情報を表示部260に表示させる処理を行う。例えば、端末制御部250は、デプスマップの示す物体までの距離に基づいて、その物体の位置にゲームで用いるアイテムを表示させる処理を行う。なお、端末制御部250は、特許請求の範囲に記載の制御部の一例である。
表示部260は、端末制御部250の制御に従って情報を表示するものである。表示部260として、液晶ディスプレイや有機EL(Electro Luminescence)ディスプレイなどが想定される。
なお、測距モジュール210をVR端末200に設けているが、距離情報を用いる装置や機器であれば、VR端末200以外に測距モジュール210を設けてもよい。例えば、ToFカメラや、スマートフォン、パーソナルコンピュータ、自動車などに測距モジュール210を設けてもよい。
[固体撮像素子の構成例]
図3は、本技術の第1の実施の形態における固体撮像素子300の一構成例を示すブロック図である。この固体撮像素子300は、行走査回路310と、画素アレイ部320と、タイミング制御部340と、複数のAD(Analog to Digital)変換部350と、列走査回路360と、信号処理部370とを備える。画素アレイ部320には、二次元格子状に複数の画素回路330が配置される。以下、所定の方向に配列された画素回路330の集合を「行」と称し、行に垂直な方向に配列された画素回路330の集合を「列」と称する。前述のAD変換部350は、列ごとに設けられる。
図3は、本技術の第1の実施の形態における固体撮像素子300の一構成例を示すブロック図である。この固体撮像素子300は、行走査回路310と、画素アレイ部320と、タイミング制御部340と、複数のAD(Analog to Digital)変換部350と、列走査回路360と、信号処理部370とを備える。画素アレイ部320には、二次元格子状に複数の画素回路330が配置される。以下、所定の方向に配列された画素回路330の集合を「行」と称し、行に垂直な方向に配列された画素回路330の集合を「列」と称する。前述のAD変換部350は、列ごとに設けられる。
タイミング制御部340は、垂直同期信号VSYNCに同期して行走査回路310、AD変換部350および列走査回路360を制御するものである。
行走査回路310は、行を順に選択して画素信号を出力させるものである。画素回路330は、行走査回路310の制御に従って、受光量に応じたレベルの画素信号を出力するものである。
AD変換部350は、対応する列からの画素信号をAD変換するものである。このAD変換部350は、列走査回路360の制御に従って、AD変換した画素信号を画素データとして信号処理部370に出力する。列走査回路360は、AD変換部350を順に選択して画素データを出力させるものである。
信号処理部370は、画素データからなる画像データに対して、CDS(Correlated Double Sampling)処理などの信号処理を行うものである。この信号処理部370は、信号処理後の画像データを測距演算部230に供給する。
[画素回路の構成例]
図4は、本技術の第1の実施の形態における画素回路330の一構成例を示すブロック図である。この画素回路330は、受光素子331と、転送スイッチ332と、電荷蓄積部333および334と、選択スイッチ335および336とを備える。
図4は、本技術の第1の実施の形態における画素回路330の一構成例を示すブロック図である。この画素回路330は、受光素子331と、転送スイッチ332と、電荷蓄積部333および334と、選択スイッチ335および336とを備える。
受光素子331は、光を光電変換して電荷を生成するものである。この受光素子331として、例えば、フォトダイオードが用いられる。
転送スイッチ332は、行走査回路310の制御に従って受光素子331を電荷蓄積部333、電荷蓄積部334およびリセット電源Vrstのいずれかに接続するものである。この転送スイッチ332は、例えば、複数のMOS(Metal-Oxide-Semiconductor)トランジスタなどにより実現される。リセット電源Vrstに接続された際において、MOSトランジスタのドレインから出力された電荷は破棄され、受光素子331の電荷が初期化される。
電荷蓄積部333および334は、電荷を蓄積して、その蓄積量に応じた電圧を生成するものである。これらの電荷蓄積部333および334として、例えば、浮遊拡散層が用いられる。
選択スイッチ335は、行走査回路310の制御に従って、電荷蓄積部333とAD変換部350との間の線路を開閉するものである。選択スイッチ336は、行走査回路310の制御に従って、電荷蓄積部334とAD変換部350との間の線路を開閉するものである。例えば、行走査回路310によりFD読出し信号RD_FD1が供給された際に選択スイッチ335が閉状態に遷移し、行走査回路310によりFD読出し信号RD_FD2が供給された際に選択スイッチ336が閉状態に遷移する。これらの選択スイッチ335および336のそれぞれは、例えば、MOSトランジスタなどにより実現される。
図5は、本技術の第1の実施の形態におけるQ1Q2検出期間内の画素回路の露光制御の一例を示すタイミングチャートである。VR端末200に測距させるための所定の操作が行われると、画素回路330は、受光量Q1およびQ2の検出と、受光量Q3およびQ4の検出とを交互に繰り返し行う。以下、受光量Q1およびQ2の検出期間を「Q1Q2検出期間」と称し、受光量Q3およびQ4の検出期間を「Q3Q4検出期間」と称する。また、Q1Q2検出期間およびQ3Q4検出期間からなる期間を「測定期間」と称する。Q1Q2検出期間およびQ3Q4検出期間のそれぞれの長さは、垂直同期信号VSYNCの周期(例えば、1/60秒)である。
ここで、受光量Q1は、基準クロックCLKsの特定の位相(例えば、立上り)を0度として、0度から180度までの受光量q1をQ1Q2検出期間に亘って累積したものである。基準クロックCLKsの周波数は20メガヘルツ(MHz)と高いため、その1周期(1/20マイクロ秒)当たりの受光量q1は非常に少なく、検出が困難である。このため、画素回路330は、基準クロックCLKsの周期(1/20マイクロ秒)より長い1/60秒などのQ1Q2検出期間に亘って、q1のそれぞれを累積し、その総量を受光量Q1として検出する。また、受光量Q2は、180度から360度までの受光量q2をQ1Q2検出期間に亘って累積したものである。
また、受光量Q3は、90度から270度までの受光量q3をQ3Q4検出期間に亘って累積したものである。また、受光量Q4は、270度から90度までの受光量q4をQ3Q4検出期間に亘って累積したものである。
これらの受光量Q1、Q2、Q3およびQ4を次の式に代入することにより、測距演算部230は、基準クロックCLKsと、受光した光との間の位相差dPを算出することができる。この式の導出方法は、例えば、「Larry Li、"Time-of-Flight Camera - An Introduction"、テキサスインスツルメンツ、Technical White Paper SLOA190B January 2014 Revised May 2014」に記載されている。
dP=tan-1{(Q3-Q4)/(Q1-Q2)} ・・・式1
上式においてtan-1()は、正接関数の逆関数を示す。
dP=tan-1{(Q3-Q4)/(Q1-Q2)} ・・・式1
上式においてtan-1()は、正接関数の逆関数を示す。
例えば、タイミングT1からタイミングT2までのQ1Q2検出期間において、その期間の受光量Q1およびQ2が検出される。まず、行走査回路310は、タイミングT1から所定のパルス期間に亘ってリセット信号RSTを全行に供給する。このリセット信号RSTにより、全行の電荷蓄積部333および334の電荷蓄積量が初期化される。また、行走査回路310は、FD選択信号SEL_FDにより、全行の受光素子331の電荷を初期化する。
そして、行走査回路310は、Q1Q2検出期間において、基準クロックCLKsの周期内の0度から180度までに亘って全行についてFD選択信号SEL_FDにより受光素子331が生成した電荷を電荷蓄積部333に転送させる。この制御により、電荷蓄積部333に受光量q1が蓄積される。
また、行走査回路310は、Q1Q2検出期間において、基準クロックCLKsの周期内の180度から360度までに亘って全行についてFD選択信号SEL_FDにより受光素子331が生成した電荷を電荷蓄積部334に転送させる。この制御により、電荷蓄積部334に受光量q2が蓄積される。
そして、タイミングT2の直前のタイミングT11において行走査回路310は、1行目にFD読出し信号RD_FD1およびRD_FD2を順に供給する。この制御により、1行目の受光量Q1およびQ2に応じた画素信号が読み出される。次に、行走査回路310は、2行目にFD読出し信号RD_FD1およびRD_FD2を順に供給して画素信号を読み出す。以下、同様に行走査回路310は、行を順に選択して画素信号を読み出す。
このように、Q1Q2検出期間において画素回路330のそれぞれは、0度から180度までの受光量Q1と、180度から360度までの受光量Q2とを検出する。
図6は、本技術の第1の実施の形態におけるQ3Q4検出期間内の画素回路330の露光制御の一例を示すタイミングチャートである。例えば、タイミングT2からタイミングT3までのQ3Q4検出期間において、その期間の受光量Q3およびQ4が検出される。まず、行走査回路310は、タイミングT2から所定のパルス期間に亘ってリセット信号RSTを全行に供給し、全行の電荷蓄積部333および334の電荷蓄積量を初期化する。また、行走査回路310は、FD選択信号SEL_FDにより、全行の受光素子331の電荷を初期化する。
そして、行走査回路310は、最初の0度から90度において、全行についてFD選択信号SEL_FDにより受光素子331が生成した電荷を電荷蓄積部334に転送させる。この制御により、電荷蓄積部334に受光量q4が蓄積される。以降において行走査回路310は、基準クロックCLKsの周期内の90度から270度までに亘って全行についてFD選択信号SEL_FDにより受光素子331が生成した電荷を電荷蓄積部333に転送させる。この制御により、電荷蓄積部333に受光量q3が蓄積される。
また、行走査回路310は、Q3Q4検出期間において、基準クロックCLKsの周期内の270度から90度までに亘って全行についてFD選択信号SEL_FDにより受光素子331が生成した電荷を電荷蓄積部334に転送させる。この制御により、電荷蓄積部334に受光量q4が蓄積される。
そして、タイミングT3の直前のタイミングT21において行走査回路310は、1行目にFD読出し信号RD_FD1およびRD_FD2を順に供給する。この制御により、1行目の受光量Q3およびQ4に応じた画素信号が読み出される。以下、同様に行走査回路310は、行を順に選択して画素信号を読み出す。
このように、Q3Q4検出期間において画素回路330のそれぞれは、90度から270度までの受光量Q3と、270度か90度までの受光量Q4とを検出する。
図7は、本技術の第1の実施の形態における位相差の検出方法を説明するための図である。画素回路330は、Q1Q2検出期間内のタイミングT50(0度)からタイミングT52(180度)までの受光量を電荷蓄積部333に転送する。光源(照射光源111および112など)がタイミングT51で発光を開始した場合には、タイミングT51からT52までの受光量が受光量q1として転送される。
また、画素回路330は、Q1Q2検出期間内のタイミングT52(180度)からタイミングT54(360度)までの受光量を電荷蓄積部334に転送する。光源がタイミングT53で発光を終了した場合には、タイミングT52からT53までの受光量が受光量q2として転送される。
そして、画素回路330は、Q3Q4検出期間内のタイミングT55(90度)からタイミングT57(270度)までの受光量を電荷蓄積部333に転送する。光源がタイミングT56で発光を開始した場合には、タイミングT56からT57までの受光量が受光量q3として転送される。
また、画素回路330は、Q3Q4検出期間内のタイミングT57(270度)からタイミングT59(90度)までの受光量を電荷蓄積部334に転送する。光源がタイミングT58で発光を終了した場合には、タイミングT57からT58までの受光量が受光量q4として転送される。
そして、Q1Q2検出期間内の受光量q1およびq2の累積値が受光量Q1およびQ2として読み出され、Q3Q4検出期間内の受光量q3およびq4の累積値が受光量Q3およびQ4として読み出される。このQ1およびQ2の差分と、Q3およびQ4の差分との比は、基準クロックCLKsと、受光した光との位相差に応じた値となる。このため、測距演算部230は、式1を用いて、その位相差を算出することができる。
ここで、光源は、前述したように照射光源111と照射光源112とを含む。これらの2つの光源からの光は、画素アレイ部320において、別々の画素回路330により受光される。したがって、VR端末200は、これらの2つの光と、基準クロックCLKsとの位相差を個別に検出することができる。照射光源111からの光と基準クロックCLKsとの位相差をdP1sとし、照射光源112からの光と基準クロックCLKsとの位相差をdP2sとする。これらの位相差の差分は、照射光源111からの光と照射光源112からの光との位相差dP12に該当する。このように、VR端末200は、基準クロックCLKsの位相を基準として用いて、照射光源111からの光と照射光源112からの光との位相差dP12を検出することができる。
図8は、第1の実施の形態における画像データのデータ構成の一例を示す図である。この画像データは、複数の画素データを含む。Q1Q2検出期間において画素データのそれぞれは、受光量Q1およびQ2を含む。一方、Q3Q4検出期間において画素データのそれぞれは、受光量Q3およびQ4を含む。例えば、Q1Q2検出期間内の座標(0,0)の画素データは、「10」の受光量Q1と「20」の受光量Q2とを含む。また、座標(0,1)の画素データは、「10」の受光量Q1と「20」の受光量Q2とを含む。
図9は、本技術の第1の実施の形態における照射光源および固体撮像素子の動作の一例を示すタイミングチャートである。照射光源111が発する光を照射光L1とし、照射光源112が発する光を照射光L2とする。前述したように、これらの光源は、共通の同期信号に同期して発光する。このため、照射光L1およびL2の周波数は同一であり、照射時において位相差は0度である。ただし、VR端末200が受光する受光時において照射光L1およびL2の位相差は同一とは限らない。照射光源111および112のそれぞれからVR端末200までの距離は同一とは限らないためである。また、外部機器110は、照射光源111のみを一定期間に亘って発光させる制御と、照射光源112のみを一定期間に亘って発光させる制御とを繰り返し行う。この一方のみを発光させる期間の長さは、測定期間より長い時間(1/15秒など)に設定される。
例えば、タイミングT10からタイミングT12までの測定期間内のタイミングT11において照射光L1の発光が開始される。そして、タイミングT12からタイミングT13までの次の測定期間の直後のタイミングT14において、照射光L1が消灯し、照射光L2の発光が開始される。そして、タイミングT13からタイミングT15までの測定期間と、タイミングT15からタイミングT16までの測定期間とが経過したタイミングT17において、照射光L2が消灯し、照射光L1の発光が開始される。
このように、照射光源111および112を交互に発光させるのは、デプスマップの生成において計算量が低減するためである。計算量が低減する理由については後述する。
タイミングT10からタイミングT13までの間においては、照射光源111のみが発光しているため、VR端末200は、基準クロックCLKsに対する照射光L1の位相を検出することができる。また、VR端末200は、基準クロックCLKsを基準として、照射光L1が物体で反射した反射光の位相も検出することができる。
また、タイミングT13からタイミングT15までの間においては、照射光源111のみが発光し、次いで照射光源112のみが発光するため、VR端末200は、基準クロックCLKsを用いて照射光L1およびL2の位相を検出することができる。タイミングT15からタイミングT16までの間においては照射光源112のみが発光しているため、VR端末200は、基準クロックCLKsを用いて照射光L2の位相を検出することができる。
そして、VR端末200は、検出した照射光L1およびL2の位相から、これらの位相差dP12を検出する。そして、VR端末200は、その位相差dP12と、照射光源111および112の既知の間隔Wとから、照射光源111までの距離E1を測定する。距離E1の測定後にVR端末200は、照射光L1と、その照射光L1に対する反射光との位相差dP1dを検出し、既知の距離E1と位相差dP1dとに基づいて、その反射光を発する反射光源までの距離Edを測定する。測距演算部230は、複数の反射光源のそれぞれについて距離Edを測定し、それらの測定結果を示すデプスマップを生成する。タイミングT17以降においても、同様の方法により、一定間隔(2/15秒など)でデプスマップが繰り返し生成される。
[測距演算部230の構成例]
図10は、本技術の第1の実施の形態における測距演算部230の一構成例を示すブロック図である。この測距演算部230は、画像保持部231、照射光源毎単位ベクトル検出部232、光源間隔記憶部233、照射光間位相差検出部234および光源距離測定部235を備える。また、測距演算部230は、反射光源毎単位ベクトル検出部236、照射光・反射光間位相差検出部237およびデプスマップ生成部238を備える。
図10は、本技術の第1の実施の形態における測距演算部230の一構成例を示すブロック図である。この測距演算部230は、画像保持部231、照射光源毎単位ベクトル検出部232、光源間隔記憶部233、照射光間位相差検出部234および光源距離測定部235を備える。また、測距演算部230は、反射光源毎単位ベクトル検出部236、照射光・反射光間位相差検出部237およびデプスマップ生成部238を備える。
画像保持部231は、所定数の画像データを保持するものである。1つのデプスマップの生成にNフレームが必要である場合には、少なくとも(N-1)フレームが保持(言い換えれば、バッファリング)される。
照射光源毎単位ベクトル検出部232は、照射光源111および112のそれぞれについて、単位ベクトルを検出するものである。ここで、単位ベクトルは、VR端末200から、照射光源111または112までの方向を示し、長さが「1」のベクトルである。この照射光源毎単位ベクトル検出部232は、照射光源111および112のそれぞれの単位ベクトルを光源距離測定部235に供給する。また、照射光源111の単位ベクトルは、デプスマップ生成部238にも供給される。
光源間隔記憶部233は、照射光源111および112の間の既知の間隔Wを記憶するものである。
照射光間位相差検出部234は、照射光源111および112のそれぞれからの光の位相差dP12を検出するものである。例えば、照射光間位相差検出部234は、照射光源111に対応する画素の受光量Q1乃至Q4から、照射光源111からの光と基準クロックCLKsとの位相差dP1sを検出する。また、照射光間位相差検出部234は、照射光源112に対応する画素の受光量Q1乃至Q4から、照射光源112からの光と基準クロックCLKsとの位相差dP2sを検出する。そして、照射光間位相差検出部234は、それらの位相差の差分を位相差dP12として求め、光源距離測定部235に供給する。
光源距離測定部235は、単位ベクトルと、位相差dP12と、既知の間隔Wとから、照射光源111までの距離E1を測定するものである。
ここで、照射光源111および112の間隔Wは、VR端末200から照射光源111および112のそれぞれまでのベクトルを用いて次の式により表される。
上式において、矢印を付したE1は、VR端末200から照射光源111へのベクトルを示し、矢印を付したE2は、VR端末200から照射光源112へのベクトルを示す。また、間隔Wの単位は、例えば、メートルである。
また、VR端末200から照射光源111までの距離E1と、VR端末200から照射光源111までの距離E2との差をdE12とすると、次の式が成立する。
dE12=E2-E1 ・・・式3
dE12=E2-E1 ・・・式3
さらに、余弦定理により、次の式が成立する。
W2=E1 2+E2 2-2E1・E2・cosR ・・・式4
上式において、Rは、照射光源111への単位ベクトルと照射光源112への単位ベクトルとのなす角度を示す。この角度Rの単位は、例えば、ラジアンである。また、距離E1およびE2の単位は、例えば、メートル(m)である。
W2=E1 2+E2 2-2E1・E2・cosR ・・・式4
上式において、Rは、照射光源111への単位ベクトルと照射光源112への単位ベクトルとのなす角度を示す。この角度Rの単位は、例えば、ラジアンである。また、距離E1およびE2の単位は、例えば、メートル(m)である。
また、距離E1および距離E2は、ToFの原理に基づいて、次の式により表すこともできる。
E1=c・{P(E1)-P(u1)}/(2πf)・・・式8
E2=c・{P(E2)-P(u2)}/(2πf)・・・式9
上式において、cは光速であり、単位は、例えば、メートル毎秒(m/s)である。πは、円周率を示す。また、fは照射光の周波数であり、単位は、例えば、メガヘルツ(MHz)である。P(E1)は、照射光源111が発する照射光L1の照射時の位相であり、P(u1)は、その照射光L1の受光時の位相である。P(E2)は、照射光源112が発する照射光L2の照射時の位相であり、P(u2)は、その照射光L2の受光時の位相である。これらの位相の単位は、例えば、ラジアンである。
E1=c・{P(E1)-P(u1)}/(2πf)・・・式8
E2=c・{P(E2)-P(u2)}/(2πf)・・・式9
上式において、cは光速であり、単位は、例えば、メートル毎秒(m/s)である。πは、円周率を示す。また、fは照射光の周波数であり、単位は、例えば、メガヘルツ(MHz)である。P(E1)は、照射光源111が発する照射光L1の照射時の位相であり、P(u1)は、その照射光L1の受光時の位相である。P(E2)は、照射光源112が発する照射光L2の照射時の位相であり、P(u2)は、その照射光L2の受光時の位相である。これらの位相の単位は、例えば、ラジアンである。
照射時の位相P(E1)およびP(E2)は未知であるため、式8および式9だけでは距離E1およびE2を直接求めることはできない。しかし、前述したように、照射時の位相P(E1)およびP(E2)は同一の値であるため、これらを式8および式9から消去して次の式が得られる。
dE12=E2-E1
=c・{P(u1)-P(u2)}/(2πf)
=c・dP12/(2πf) ・・・式10
dE12=E2-E1
=c・{P(u1)-P(u2)}/(2πf)
=c・dP12/(2πf) ・・・式10
余弦定理に基づいて、式5および式6により、3辺の長さがE1、E2およびWの三角形において、2辺が分かれば、残りの1辺を算出することができるが、既知なのはWのみである。このため、式5および式6だけでは残りのE1およびE2を算出することができない。しかし、ToF方式によれば、さらに式10が得られるため、連立方程式を解くことによりE1およびE2を算出することができる。
光源距離測定部235は、検出された位相差dP12を式10に代入して差分dE12を算出し、検出された単位ベクトルを式7に代入してcosRを算出する。そして、照射光間位相差検出部234は、算出した差分dE12およびcosRと、既知の間隔Wとを式5に代入して、距離E1を算出し、デプスマップ生成部238に供給する。なお、照射光間位相差検出部234は、距離E1の代わりに、式6により距離E2を算出してもよいし、距離E1およびE2の両方を算出してもよい。
反射光源毎単位ベクトル検出部236は、照射光源111からの照射光を反射する所定数の反射光源のそれぞれについて、単位ベクトルを検出するものである。反射光源毎単位ベクトル検出部236は、算出した単位ベクトルのそれぞれをデプスマップ生成部238に供給する。
照射光・反射光間位相差検出部237は、反射光源ごとに、その反射光源からの反射光と、照射光源111からの照射光との位相差を検出するものである。照射光・反射光間位相差検出部237は、照射光間位相差検出部234と同様の方法により、反射光源ごとに位相差dP1dを演算し、デプスマップ生成部238に供給する。なお、照射光間位相差検出部234および照射光・反射光間位相差検出部237のそれぞれは、特許請求の範囲に記載の位相差検出部の一例である。
デプスマップ生成部238は、反射光源ごとに、その反射光源までの距離を示すデプスマップを生成するものである。反射光源を経由しない照射光源111までの直線距離E1と、反射光源を経由した照射光源111までの距離との差分dDは、次の式により表される。
上式において、矢印を付したE1Dは、照射光源111から反射光源への方向を示すベクトルである。また、Dは、VR端末200から反射光源までの直線距離であり、単位は、例えば、メートル(m)である。
式11と余弦定理とに基づいて、距離Dは、次の式により表すことができる。
D=dD(dD+2E1)/{2dD+2E1(1-cosA)} ・・・式12
上式において、Aは、照射光源111への単位ベクトルと反射光源への単位ベクトルとのなす角度を示す。角度Aの単位は、例えば、ラジアンである。
D=dD(dD+2E1)/{2dD+2E1(1-cosA)} ・・・式12
上式において、Aは、照射光源111への単位ベクトルと反射光源への単位ベクトルとのなす角度を示す。角度Aの単位は、例えば、ラジアンである。
また、差分dDは、ToFの原理に基づいて、次の式により表すこともできる。
dD=c・{P(u1)-P(uD)}/(2πf)
=c・dP1d/(2πf) ・・・式14
上式において、P(u1)は、照射光源111からの照射光の受光時の位相を示す。P(uD)は、反射光源からの反射光の受光時の位相を示す。
dD=c・{P(u1)-P(uD)}/(2πf)
=c・dP1d/(2πf) ・・・式14
上式において、P(u1)は、照射光源111からの照射光の受光時の位相を示す。P(uD)は、反射光源からの反射光の受光時の位相を示す。
デプスマップ生成部238は、検出された位相差dP1dを式14に代入して差分dDを算出し、検出ベクトルを式13に代入してcosAを算出する。そして、デプスマップ生成部238は、算出した差分dDおよびcosAと、既知の距離E1とを式12に代入して、距離Dを算出する。デプスマップ生成部238は、照射光源ごとに距離Dを算出し、デプスマップを生成して端末制御部250に供給する。なお、光源距離測定部235およびデプスマップ生成部238のそれぞれは、特許請求の範囲に記載の測距部の一例である。
なお、光源距離測定部235は、照射時の位相P(E1)およびP(E2)を同一の値(すなわち、位相差が「0」)として、演算を行っているが、これらの位相が異なる値であってもよい。ただし、位相差は、既知であるものとする。位相差が「0」でない場合には、式10のdP12から、その位相差を加算または減算した式により演算を行えばよい。
図11は、本技術の第1の実施の形態における単位ベクトルの検出方法を説明するための図である。一般に、三次元上のある点が、画像中のどの座標に投影されるかは、予めカメラ(VR端末200など)や撮像レンズ220固有のパラメータを求めることで、推定することができる。
例えば、カメラを中心とした座標系における、ある点Pの座標(三次元座標)を(x_P、y_P、z_P)とし、その点Pが投影される画像上の点UPの座標(平面座標)を(U_P、V_P)とする。
この点Pの座標は、内部パラメータ行列により、対応する点UPの座標に変換することができる。逆に、点UPの座標が与えられた場合には、内部パラメータ行列により点Pの位置を求めることはできない。しかし、光学中心510から点Upまでの方向に沿った直線上に点Pが位置することから、VR端末200は、点UPの座標に基づいて、光学中心510から点Pへの方向を示す単位ベクトルを検出することができる。
図12は、本技術の第1の実施の形態における画像データの一例を示す図である。同図におけるaは、照射光源111のみが発光している期間において撮像された画像データ501の一例を示す。また、同図におけるbは、照射光源112のみが発光している期間において撮像された画像データ502の一例を示す。
VR端末200は、例えば、画像データ内で最も輝度の高い画素を、照射光源(111または112)を受光した画素として抽出する。そして、VR端末200は、その抽出した画素の座標から、照射光源までの単位ベクトルを検出する。
図13は、本技術の第1の実施の形態における照射光源111までの距離E1の測定方法を説明するための図である。測距モジュール210は、照射光源111が発光しているときに画像データを撮像し、その画像データ内の照射光源111の座標から、照射光源111までの方向を示す単位ベクトルを検出する。そして、同様の方法により、測距モジュール210は、照射光源112についても単位ベクトルを検出する。
また、測距モジュール210は、式1を用いて照射光源111および112のそれぞれからの光の位相差dP12を検出する。そして、測距モジュール210は、検出した単位ベクトルおよび位相差dP12と、既知の間隔Wとを、上述した式5、式7および式10に代入して照射光源111までの距離E1を測定する。
なお、VR端末200は、照射光源111および112からの光の位相差から距離E1を測定しているが、他の方法を用いて距離E1を測定してもよい。例えば、測距モジュール210が設けられる機器の位置を固定し、予め、別の測定機器により距離E1を測定しておく構成としてもよい。この場合には、その既知の距離E1を用いることにより、デプスマップが生成される。
また、VR端末200は、ToF方式の原理に基づいて光の位相差から距離を測定しているが、Flash LIDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging)の原理に基づいて距離を測定してもよい。位相変調したToF方式では、位相情報を、光の伝達時間に変換し、さらに距離情報に変換して距離を求めていたが、Flash LIDARの場合、光の伝達時間を直接計測することができる。
また、画像データに外部光源(照射光源111および112など)が写っていない場合にVR端末200は、測距することができない。しかし、その場合であってもVR端末200は、所定数の画像データをバッファリングし、それらの画像データ内の過去の外部光源の位置から、現在の外部光源の位置を推定してもよい。
また、VR端末200は、デプスマップの生成と同時に自己位置の推定を行ってもよい。このような処理は、SLAM(Simultaneous Localization and Mapping)と呼ばれる。自己位置を推定する場合、VR端末200は、例えば、照射光源111および112の空間座標を予め記憶しておき、それらの光源への方向と距離とから自己位置を推定すればよい。
図14は、本技術の第1の実施の形態における物体までの距離Dの測定方法を説明するための図である。測距モジュール210は、照射光源111が発光しているときに画像データを撮像し、その画像データ内の反射光源400の座標から、その反射光源までの方向を示す単位ベクトルを検出する。
また、測距モジュール210は、式1を用いて照射光源111と反射光源とのそれぞれからの光の位相差dP1dを検出する。そして、測距モジュール210は、検出した単位ベクトルおよび位相差dP1dと、演算済の既知の距離E1とを、上述した式12乃至式14に代入して反射光源(物体)400までの距離Dを測定する。
ここで、距離Dの測定の際に、照射光源111および照射光源112が同時に点灯していると、照射光源111の照射光と照射光源112の照射光との両方が物体で反射する。このため、それらの光を重ね合わせたものを反射光として、距離Dを演算する必要がある。この結果、照射光源が1つのみ点灯する場合と比較して、距離Dの演算が複雑になってしまう。したがって、距離Dの演算を簡易化する観点から、外部機器110は、照射光源111および112を交互に点灯させている。なお、演算が複雑化しても許容される場合には、照射光源111および112を同時に点灯させる構成としてもよい。一対の外部光源が同時に点灯してもよい場合、例えば、照射光源111および112の代わりに、一対の天井照明を用いてもよい。
図13および図14を用いて説明したように、測距モジュール210は、反射光源や照射光源などの一対の外部光源に注目し、それらの外部光源からの光の位相差を検出する。そして、測距モジュール210は、一対の外部光源の間隔Wと、一方までの距離(E1など)とのいずれかが既知であれば、その既知のデータと、検出した位相差とから他方までの距離(E1やE2)を測定することができる。図13の例では、2つの外部光源がいずれも照射光源であり、既知のデータである間隔Wに基づいて、それらの照射光源のいずれかまでの距離(E1やE2)が測定される。図13の距離E1やE2は、特許請求の範囲における「他方までの距離」の一例である。一方、図14の例では、2つの外部光源の一方が照射光源、他方が反射光源であり、既知のデータである一方(照射光源)までの距離(E1やE2)に基づいて、他方(反射光源)までの距離Dが測定される。図14の距離Dは、特許請求の範囲における「他方までの距離」の一例である。
このように、VR端末200は、外部光源からの光の位相差を用いて測距するため、その内部に発光ダイオードなどの発光素子を設ける必要がなくなる。これにより、発光素子に供給する分の消費電力を削減することができる。さらに、物体に照射光を照射して反射光を受光する一般的なToF方式と比較して、光が往復する必要が無いことと、光源からカメラに直接到達する光に関しては物体に光が吸収されないこととから、受光量が大きくなる。これにより、反射光を受光する方式と比較して、測距精度を高くすることができる。
図15は、本技術の第1の実施の形態における測距モジュール210の動作の一例を示すフローチャートである。この動作は、例えば、VR端末200に電源が投入されたときや、デプスマップを処理するための所定のアプリケーションが実行されたときに開始される。測距モジュール210は、まず、照射光源111までの距離E1を測定するための光源距離測定処理を実行する(ステップS910)。そして、測距モジュール210は、測定対象の所定数の画素のいずれかに注目する。測距モジュール210は、注目画素に写った物体について単位ベクトルを検出する(ステップS901)。また、測距モジュール210は、照射光と、その照射光が物体で反射した反射光との位相差を検出する(ステップS902)。
そして、測距モジュール210は、検出した単位ベクトルおよび位相差と、既知の距離E1とから、物体までの距離Dを測定する(ステップS903)。測距モジュール210は、測定対象の全画素を測距したか否かを判断する(ステップS904)。全画素を測距していない場合に(ステップS904:No)、測距モジュール210は、ステップS901以降を繰り返し実行する。一方、測距対象の全画素を測距した場合に(ステップS904:Yes)、測距モジュール210は、ステップS910以降を繰り返し実行する。
図16は、本技術の第1の実施の形態における光源距離測定処理の一例を示すフローチャートである。測距モジュール210は、2つの照射光源(111および112など)のそれぞれの単位ベクトルを検出する(ステップS911)。また、測距モジュール210は、2つの照射光源のそれぞれの照射光の位相差を検出する(ステップS912)。そして、測距モジュール210は、検出した単位ベクトルおよび位相差と、既知の間隔Wとから、いずれかの照射光源までの距離(E1など)を測定する(ステップS913)。ステップS913の後に、測距モジュール210は、光源距離演算処理を終了する。
このように、本技術の第1の実施の形態によれば、VR端末200は、照射光源111および112や照射光源111および反射光源などの一対の外部光源からの光の位相差から、それらの一方までの距離を測定するため、内部に発光素子を設ける必要がなくなる。これにより、発光素子に供給する分の消費電力を削減することができる。
[第1の変形例]
上述の第1の実施の形態では、VR端末200は、交互に点灯する照射光源111および112の位相差から、照射光源111までの距離E1を測定していた。しかし、連続的に発光する光源しか存在しない場合もある。このような場合には、例えば、空間座標が既知の複数の外部光源の投影点から、それらの外部光源までの距離を測定することができる。この第1の実施の形態の第1の変形例のVR端末200は、複数の外部光源の投影点の座標から、それらの光源までの距離を測定する点において第1の実施の形態と異なる。
上述の第1の実施の形態では、VR端末200は、交互に点灯する照射光源111および112の位相差から、照射光源111までの距離E1を測定していた。しかし、連続的に発光する光源しか存在しない場合もある。このような場合には、例えば、空間座標が既知の複数の外部光源の投影点から、それらの外部光源までの距離を測定することができる。この第1の実施の形態の第1の変形例のVR端末200は、複数の外部光源の投影点の座標から、それらの光源までの距離を測定する点において第1の実施の形態と異なる。
図17は、本技術の第1の実施の形態の第1の変形例における測距システムの一例を示す全体図である。この第1の実施の形態の第1の変形例の測距システムは、外部機器110に設けられた照射光源111および112の代わりに、天井照明131乃至134を外部光源として用いる点において第1の実施の形態と異なる。
天井照明131乃至134は、所定の正方形の4つの頂点のそれぞれに配置されている。これらの照明の空間座標は、VR端末200に予め記憶されている。VR端末200は、この空間座標を用いて測距を行う。なお、天井照明131乃至134を頂点とする図形は、正方形に限定されず、長方形や台形などであってもよい。
図18は、本技術の第1の実施の形態の第1の変形例における測距方法を説明するための図である。天井照明131乃至134は、所定の撮像平面上の投影点u1乃至u4に投影される。天井照明131乃至134の位置は変化しないのに対して、VR端末200の位置や姿勢は変化し得る。このため、VR端末200の位置や姿勢に応じて、投影点u1乃至u4の平面座標が変化する。投影点u1乃至u4の座標と、位置や姿勢との間には一定の関係が存在するため、その関係を示す関数に投影点u1乃至u4の平面座標を入力することにより、VR端末200は、自身の位置や姿勢を算出することができる。VR端末200の位置を算出すれば、天井照明131乃至134の位置は固定であるから、VR端末200は、自身の位置から、それらの照明までの距離を算出することができる。
このように、既知の空間点(天井照明131乃至134など)と、その投影点とから、カメラ(VR端末200)の位置や姿勢を求めるという問題は、PnP(Perspective-n-Pont)問題と呼ばれる。このPnP問題に関しては、例えば、「奥富 正敏編、『ディジタル画像処理』、改訂新版、財団法人画像情報教育振興協会、2006年3月、p328-331」に記載されている。
なお、VR端末200は、天井照明131乃至134の投影点を利用しているが、位置が既知の外部光源であれば、天井照明以外の光源の投影点を用いることができる。
図19は、本技術の第1の実施の形態の第1の変形例における測距演算部230の一構成例を示すブロック図である。この第1の実施の形態の第1の変形例の測距演算部230は、照射光源毎単位ベクトル検出部232、光源間隔記憶部233、照射光間位相差検出部234および光源距離測定部235を備えない。測距演算部230は、それらの代わりに空間座標記憶部241および光源距離測定部242を備える。
空間座標記憶部241は、天井照明131乃至134のそれぞれの空間座標を記憶するものである。光源距離測定部242は、画像データから、天井照明131乃至134のそれぞれの投影点の平面座標を取得する。そして、光源距離測定部242は、PnP問題を解いてVR端末200の位置を算出し、その位置から、天井照明131乃至134のいずれか(天井照明131など)への方向を示す単位ベクトルと、その照明までの距離E1とを求める。光源距離測定部242は、単位ベクトルおよび距離E1をデプスマップ生成部238に供給する。
このように、本技術の第1の実施の形態の第1の変形例によれば、VR端末200は、複数の天井照明の投影点の座標から、その照明までの距離を測定するため、交互に点灯する照射光源111および112が無い場合であっても測距を行うことができる。
[第2の変形例]
上述の第1の実施の形態では、VR端末200に測距モジュール210を設けていたが、VR端末200以外の装置や機器に測距モジュール210を設けることもできる。例えば、無人航空機(いわゆる、ドローン)に、測距モジュール210を設けてもよい。複数の無人航空機が編隊飛行を行う際には、僚機との距離を一定に保つ必要があり、そのような飛行制御などにおいて、測距モジュール210が測距した情報を利用することができる。この第1の実施の形態の第2の変形例の測距システムは、無人航空機に測距モジュール210を設けた点において第1の実施の形態と異なる。
上述の第1の実施の形態では、VR端末200に測距モジュール210を設けていたが、VR端末200以外の装置や機器に測距モジュール210を設けることもできる。例えば、無人航空機(いわゆる、ドローン)に、測距モジュール210を設けてもよい。複数の無人航空機が編隊飛行を行う際には、僚機との距離を一定に保つ必要があり、そのような飛行制御などにおいて、測距モジュール210が測距した情報を利用することができる。この第1の実施の形態の第2の変形例の測距システムは、無人航空機に測距モジュール210を設けた点において第1の実施の形態と異なる。
図20は、本技術の第1の実施の形態の第2の変形例における測距システムの一構成例を示す全体図である。この測距システムは、複数の無人航空機201を備える。無人航空機201のそれぞれは、発光部271および272と、測距モジュール210とを備える。発光部271および272は、無人航空機201の特定の位置に固定され、それらの間隔Wは一定である。なお、測距モジュール210は、同図において省略されている。
無人航空機201のそれぞれは、他の無人航空機201の発光部271および272のそれぞれからの光の位相差を検出し、第1の実施の形態と同様の方法により、その発光部271までの距離E1を測定する。この測定された距離E1に基づいて無人航空機201は、互いの距離を一定に保つなどの飛行制御を行う。
このように、無人航空機201のそれぞれは、自身の機体に発光部271および272を備えるものの、自機が発した照射光に対する反射光ではなく、他の機体からの照射光の受光量を用いて測距を行う。照射光を照射して反射光を受光する一般的なToF方式と比較して、光が往復する必要が無いことと物体に光が吸収されないことから、発光部271および272の発光量を小さくすることができる。したがって、発光量が小さい分、無人航空機201の消費電力を削減することができる。また、発光量を一定とすると、反射光を受光する場合と比較して、受光量が大きくなるため、測距精度を向上させることができる。
図21は、本技術の第1の実施の形態の第2の変形例における無人航空機201の一構成例を示すブロック図である。この無人航空機201は、測距モジュール210と、機体制御部251と、発光部271および272とを備える。
測距モジュール210は、自機でなく、他の機体の発光部271までの距離E1を測定し、機体制御部251に供給する。
機体制御部251は、無人航空機201全体を制御するものである。この機体制御部251は、基準クロックCLKsを発光部271および272と、固体撮像素子300とに供給する。また、機体制御部251は、距離E1に基づいて、無人航空機201の速度や進行方向を制御する。例えば、機体制御部251は、距離E1が一定値に近づくように制御を行う。この制御により、複数の無人航空機210が、互いの距離を一定に保って飛行することができる。発光部271および272は、基準クロックCLKsに同期して発光するものである。
図22は、本技術の第1の実施の形態の第2の変形例における測距演算部230の一構成例を示すブロック図である。この第1の実施の形態の第2の変形例の測距演算部230は、反射光源毎単位ベクトル検出部236、照射光・反射光間位相差検出部237およびデプスマップ生成部238を備えない点において第1の実施の形態と異なる。
このように、本技術の第1の実施の形態の第2の変形例によれば、無人航空機201が僚機の発光部271および272からの光の位相差を検出するため、複数の無人航空機201が、互いに相手までの距離を測定することができる。
<2.第2の実施の形態>
[測距システムの構成例]
上述の第1の実施の形態では、VR端末200は、複数の点光源(照射光源111および112など)のそれぞれからの光の位相差を用いて測距を行っていたが、これらの点光源が測距対象の近傍に配置されていない場合には、測距を行うことができなくなる。この場合であっても例えば蛍光灯のような形状の線光源を予め室内に配置しておけば、VR端末200は、その線光源からの光の位相差を用いて測距を行うことができる。例えば、点光源を持つ外部機器110が室内に無くとも、室内には照明用光源があることが多いため、その照明用光源を外部光源として利用することができればVR端末200は測距を行うことができる。この第2の実施の形態のVR端末200は、線光源からの光の位相差を用いて測距を行う点において第1の実施の形態と異なる。
[測距システムの構成例]
上述の第1の実施の形態では、VR端末200は、複数の点光源(照射光源111および112など)のそれぞれからの光の位相差を用いて測距を行っていたが、これらの点光源が測距対象の近傍に配置されていない場合には、測距を行うことができなくなる。この場合であっても例えば蛍光灯のような形状の線光源を予め室内に配置しておけば、VR端末200は、その線光源からの光の位相差を用いて測距を行うことができる。例えば、点光源を持つ外部機器110が室内に無くとも、室内には照明用光源があることが多いため、その照明用光源を外部光源として利用することができればVR端末200は測距を行うことができる。この第2の実施の形態のVR端末200は、線光源からの光の位相差を用いて測距を行う点において第1の実施の形態と異なる。
図23は、本技術の第2の実施の形態における線光源120の一例を示す図である。線光源120としては、例えば、蛍光灯状光源や、線状の発光ダイオードなどが想定される。この線光源120は、その全体が一定の周波数で点滅している。したがって、線光源120上の点のそれぞれからの照射光の照射時の位相差は「0」である。また、線光源120の幅Wは、既知のデータとしてVR端末200に予め記憶されている。
ここで、線光源120上の点121に着目する。この点121に測距モジュール210が焦点を合わせた場合、点121からの光は、撮像レンズ220により、固体撮像素子300上において1点に集光し、他の点からの光と混ざることは無い。したがって、線光源120上のいずれか2点を別個の照射光源として扱うことができ、VR端末200は、第1の実施の形態と同様の手法により、それらの光源までの距離を測定することができる。
図24は、本技術の第2の実施の形態における照射光源までの距離の測定方法を説明するための図である。VR端末200は、線光源120の両端を照射光源として、それらの光源までの距離を測定する。まず、VR端末200は、それらの照射光源からの光の位相差を検出し、照射光源のそれぞれについて単位ベクトルを検出する。そして、VR端末200は、検出した位相差および単位ベクトルと、既知の幅Wとに基づいて、両端のいずれかまでの距離を測定する。
なお、VR端末200は、線光源120の両端に着目して、それらの照射光の位相差を検出しているが、両端以外の2点に着目してもよい。また、VR端末200は、線光源120でなく、面光源や、球状、リング状や円盤状の光源など、他の形状の光源上の2点に着目してもよい。
図25は、本技術の第2の実施の形態における物体までの距離の測定方法を説明するための図である。物体上の反射点で線光源120からの照射光が反射する場合、その反射点は、線光源120上の複数の点のそれぞれからの光を受光する。反射点から、線光源120上の各点までの距離は異なるため、反射光の位相は、単純に線光源120からの距離に比例する値になるとは限らない。
また、線光源120上の複数の点のそれぞれについて、VR端末200は、単位ベクトルを検出する。また、VR端末200は、点ごとに、その点からの照射光の位相を測定する。
ここで、線光源120に沿った軸をX軸とし、X軸に直交する2軸をY軸およびZ軸とする。直線状の線光源120では、その形状が回転対称であるため、Y軸およびZ軸には任意性がある。しかし、照射光の位相も回転対称となるため、問題は無い。
また、一般的には、光源の座標系と、カメラ(VR端末200)の座標系との軸の向きは異なるが、以下、説明の便宜上、それらは同一であるものとする。各座標系の軸の向きが異なる場合であっても、VR端末200から見た線光源120の姿勢が既知であれば、容易に、一方の軸を他方に合わせて変換することができる。
これらの前提に基づき、反射光は、線光源120上の各点から届く光の重ね合わせにより、次の式で表される。
上式においてtは時刻であり、単位は例えば秒(s)である。矢印を付したDは、VR端末200から反射点へのベクトルを示す。また、左辺は、時刻tにおける反射点の反射光である。また、右辺は、線光源120上の各点からの光を積分した結果である。
式15に基づいて、反射光の位相を次の式により表すことができる。
上式において、左辺は、反射点Dの反射光の位相である。また、PECは、線光源120の中心からの光の位相である。これらの位相の単位は、例えば、ラジアンである。また、g()は、線光源120の中心からの反射点の位置と、反射光および照射光の位相差との関係を表す関数である。この関数g()は、例えば、何らかのキャリブレーションにより実測した値により、予め求められる。あるいは、理論的に関数g()を求めてもよい。
また、ToF方式の原理に基づいて、線光源120の中心からの照射光の受光時の位相P(uc)は、次の式により表される。
P(uc)=PEc-(2πf/c)・Ec ・・・式17
上式において、Ecは、線光源120の中心までの距離であり、単位は例えば、メートル(m)である。Ecの座標は、線光源120の一端までの距離E1と、それぞれの単位ベクトルとから求められる。PEcは、線光源120の中心からの照射光の照射時の位相であり、単位は、例えば、ラジアンである。
P(uc)=PEc-(2πf/c)・Ec ・・・式17
上式において、Ecは、線光源120の中心までの距離であり、単位は例えば、メートル(m)である。Ecの座標は、線光源120の一端までの距離E1と、それぞれの単位ベクトルとから求められる。PEcは、線光源120の中心からの照射光の照射時の位相であり、単位は、例えば、ラジアンである。
上式において、矢印を付したDは、反射点への方向を示すベクトルであり、このベクトルは、その方向の単位ベクトルに距離Dを乗算した値に置き換えることができる。このため、式20を次の式に置き換えることができる。
上式において、矢印を付したdは、反射点への方向の単位ベクトルを示す。
VR端末200は、線光源120の中心と、反射点とのそれぞれについて単位ベクトルを検出し、また、照射光および反射光のそれぞれの受光時の位相差を検出する。そして、VR端末200は、それらの単位ベクトルおよび位相差と、既知の距離Ecとを式21に代入することにより、反射点までの距離Dを算出する。
このように、本技術の第2の実施の形態によれば、VR端末200は、線光源120の両端のそれぞれからの光の位相差から、その両端までの距離を測定するため、点光源が無い場合であっても測距を行うことができる。例えば、点光源を持つ外部機器110が室内に無くとも、蛍光灯のような形状の線光源120を利用してVR端末200が測距を行うことができる。
<4.応用例1>
本開示に係る技術は、いわゆる「物のインターネット」であるIoT(Internet of things)と呼ばれる技術へ応用可能である。IoTとは、「物」であるIoTデバイス9100が、他のIoTデバイス9003、インターネット、クラウド9005などに接続され、情報交換することにより相互に制御する仕組みである。IoTは、農業、家、自動車、製造、流通、エネルギー、など様々な産業に利用できる。
本開示に係る技術は、いわゆる「物のインターネット」であるIoT(Internet of things)と呼ばれる技術へ応用可能である。IoTとは、「物」であるIoTデバイス9100が、他のIoTデバイス9003、インターネット、クラウド9005などに接続され、情報交換することにより相互に制御する仕組みである。IoTは、農業、家、自動車、製造、流通、エネルギー、など様々な産業に利用できる。
図26は、本開示に係る技術が適用され得るIoTシステム9000の概略的な構成の一例を示す図である。
IoTデバイス9001には、温度センサー、湿度センサー、照度センサー、加速度センサー、距離センサー、画像センサー、ガスセンサー、人感センサーなどの各種センサーなどが含まれる。また、IoTデバイス9001には、スマートフォン、携帯電話、ウェアラブル端末、ゲーム機器などの端末を含めてもよい。IoTデバイス9001は、AC電源、DC電源、電池、非接触給電、いわゆるエナジーハーベストなどにより給電される。IoTデバイス9001は、有線、無線、近接無線通信などにより通信することができる。通信方式は3G/LTE、WiFi、IEEE802.15.4、Bluetooth、Zigbee(登録商標)、Z-Waveなどが好適に用いられる。IoTデバイス9001は、これらの通信手段の複数を切り替えて通信してもよい。
IoTデバイス9001は、1対1、星状、ツリー状、メッシュ状のネットワークを形成してもよい。IoTデバイス9001は、直接に、またはゲートウエイ9002を通して、外部のクラウド9005に接続してもよい。IoTデバイス9001には、IPv4、IPv6、6LoWPANなどによって、アドレスが付与される。IoTデバイス9001から収集されたデータは、他のIoTデバイス9003、サーバ9004、クラウド9005などに送信される。IoTデバイス9001からデータを送信するタイミングや頻度は好適に調整され、データを圧縮して送信してもよい。このようなデータはそのまま利用してもよく、統計解析、機械学習、データマイニング、クラスタ分析、判別分析、組み合わせ分析、時系列分析など様々な手段でデータをコンピュータ9008で分析してもよい。このようなデータを利用することにより、コントロール、警告、監視、可視化、自動化、最適化、など様々なサービスを提供することができる。
本開示に係る技術は、家に関するデバイス、サービスにも応用可能である。家におけるIoTデバイス9001には、洗濯機、乾燥機、ドライヤ、電子レンジ、食洗機、冷蔵庫、オーブン、炊飯器、調理器具、ガス器具、火災報知器、サーモスタット、エアコン、テレビ、レコーダ、オーディオ、照明機器、温水器、給湯器、掃除機、扇風機、空気清浄器、セキュリティカメラ、錠、扉・シャッター開閉装置、スプリンクラー、トイレ、温度計、体重計、血圧計などが含まれる。さらにIoTデバイス9001には、太陽電池、燃料電池、蓄電池、ガスメータ、電力メータ、分電盤を含んでもよい。
家におけるIoTデバイス9001の通信方式は、低消費電力タイプの通信方式が望ましい。また、IoTデバイス9001は屋内ではWiFi、屋外では3G/LTEにより通信するようにしてもよい。クラウド9005上にIoTデバイス制御用の外部サーバ9006を設置し、IoTデバイス9001を制御してもよい。IoTデバイス9001は、家庭機器の状況、温度、湿度、電力使用量、家屋内外の人・動物の存否などのデータを送信する。家庭機器から送信されたデータは、クラウド9005を通じて、外部サーバ9006に蓄積される。このようなデータに基づき、新たなサービスが提供される。このようなIoTデバイス9001は、音声認識技術を利用することにより、音声によりコントロールすることができる。
また各種家庭機器からテレビに情報を直接送付することにより、各種家庭機器の状態を可視化することができる。さらには、各種センサーが居住者の有無を判断し、データを空調機、照明などに送付することで、それらの電源をオン・オフすることができる。さらには、各種家庭機器に供えられたディスプレイにインターネットを通じて広告を表示することができる。
以上、本開示に係る技術が適用され得るIoTシステム9000の一例について説明した。本開示に係る技術は、以上説明した構成のうち、IoTデバイス9001内の測距センサーに好適に適用され得る。測距センサーに本開示に係る技術を適用することにより、IoTデバイス9001の消費電力を低減することができる。
<<5.応用例2>>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図27は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図27に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図27では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図28は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図28には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図27に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(Global System of Mobile communications)、WiMAX、LTE(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface)、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図27の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図27に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
なお、図2を用いて説明した本実施形態に係る測距モジュール210の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
以上説明した車両制御システム7000において、図2を用いて説明した本実施形態に係る測距モジュール210は、図27に示した応用例の統合制御ユニット7600に適用することができる。例えば、測距モジュール210は、統合制御ユニット7600の車外情報検出ユニット7400に相当する。例えば、一対の外部光源を他車両のテールランプとし、車外情報検出ユニット7400(測距モジュール200)が、それらのテールランプまでの距離を車間距離として測定することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disc)、メモリカード、ブルーレイディスク(Blu-ray(登録商標)Disc)等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
(1)一対の外部光源のそれぞれからの光の位相差を検出する位相差検出部と、
前記一対の外部光源の一方までの距離と前記一対の外部光源の間隔とのいずれかを既知データとして取得して前記既知データおよび前記位相差に基づいて前記一対の外部光源の他方までの距離を測定する測距部と
を具備する測距装置。
(2)前記一対の外部光源は、いずれも照射光を発する照射光源であり、
前記測距部は、前記一対の外部光源の間隔を前記既知データとして取得する
前記(1)記載の測距装置。
(3)照射光を発する一対の発光部をさらに具備する
前記(2)記載の測距装置。
(4)前記一対の外部光源は、線光源上の所定の位置に配置される
前記(2)または(3)に記載の測距装置。
(5)前記一対の外部光源の前記一方は照射光を発する照射光源であり、前記他方は前記照射光を反射する反射光源であり、
前記測距部は、前記一対の外部光源の前記一方までの距離を前記既知データとして取得する
前記(1)記載の測距装置。
(6)前記照射光源は、交互に点灯する一対の照射光源を含み、
前記測距部は、前記一対の照射光源の間の間隔に基づいて前記一対の照射光源の一方までの距離を取得する
前記(5)記載の測距装置。
(7)前記測距部は、三次元座標が既知の複数の空間点のそれぞれを所定の撮像平面に投影した投影点の平面座標を取得して当該平面座標から前記既知データを取得する
前記(5)記載の測距装置。
(8)前記測距部は、一対の外部光源のそれぞれまでの方向を示す単位ベクトルを検出し、当該単位ベクトルと前記既知データと前記位相差に基づいて前記他方までの距離を測定する
前記(1)から(7)のいずれかに記載の測距装置。
(9)前記位相差検出部および前記測距部は、車両に搭載され、
前記一対の外部光源は、前記車両とは異なる他車両のテールランプであり、
前記測距部は、前記車両と前記他車両との車間距離を測定する
前記(1)から(8)のいずれかに記載の測距装置。
(10)一対の外部光源のそれぞれからの光の位相差を検出する位相差検出部と、
前記一対の外部光源の一方までの距離と前記一対の外部光源の間隔とのいずれかを既知データとして取得して前記既知データおよび前記位相差に基づいて前記一対の外部光源の他方までの距離を測定する測距部と、
前記測定された距離に基づいて所定の情報を表示部に表示させる制御部と
を具備する電子装置。
(11)一対の外部光源のそれぞれからの光の位相差を検出する位相差検出手順と、
前記一対の外部光源の一方までの距離と前記一対の外部光源の間隔とのいずれかを既知データとして取得して前記既知データおよび前記位相差に基づいて前記一対の外部光源の他方までの距離を測定する測距手順と、
を具備する測距装置の制御方法。
(1)一対の外部光源のそれぞれからの光の位相差を検出する位相差検出部と、
前記一対の外部光源の一方までの距離と前記一対の外部光源の間隔とのいずれかを既知データとして取得して前記既知データおよび前記位相差に基づいて前記一対の外部光源の他方までの距離を測定する測距部と
を具備する測距装置。
(2)前記一対の外部光源は、いずれも照射光を発する照射光源であり、
前記測距部は、前記一対の外部光源の間隔を前記既知データとして取得する
前記(1)記載の測距装置。
(3)照射光を発する一対の発光部をさらに具備する
前記(2)記載の測距装置。
(4)前記一対の外部光源は、線光源上の所定の位置に配置される
前記(2)または(3)に記載の測距装置。
(5)前記一対の外部光源の前記一方は照射光を発する照射光源であり、前記他方は前記照射光を反射する反射光源であり、
前記測距部は、前記一対の外部光源の前記一方までの距離を前記既知データとして取得する
前記(1)記載の測距装置。
(6)前記照射光源は、交互に点灯する一対の照射光源を含み、
前記測距部は、前記一対の照射光源の間の間隔に基づいて前記一対の照射光源の一方までの距離を取得する
前記(5)記載の測距装置。
(7)前記測距部は、三次元座標が既知の複数の空間点のそれぞれを所定の撮像平面に投影した投影点の平面座標を取得して当該平面座標から前記既知データを取得する
前記(5)記載の測距装置。
(8)前記測距部は、一対の外部光源のそれぞれまでの方向を示す単位ベクトルを検出し、当該単位ベクトルと前記既知データと前記位相差に基づいて前記他方までの距離を測定する
前記(1)から(7)のいずれかに記載の測距装置。
(9)前記位相差検出部および前記測距部は、車両に搭載され、
前記一対の外部光源は、前記車両とは異なる他車両のテールランプであり、
前記測距部は、前記車両と前記他車両との車間距離を測定する
前記(1)から(8)のいずれかに記載の測距装置。
(10)一対の外部光源のそれぞれからの光の位相差を検出する位相差検出部と、
前記一対の外部光源の一方までの距離と前記一対の外部光源の間隔とのいずれかを既知データとして取得して前記既知データおよび前記位相差に基づいて前記一対の外部光源の他方までの距離を測定する測距部と、
前記測定された距離に基づいて所定の情報を表示部に表示させる制御部と
を具備する電子装置。
(11)一対の外部光源のそれぞれからの光の位相差を検出する位相差検出手順と、
前記一対の外部光源の一方までの距離と前記一対の外部光源の間隔とのいずれかを既知データとして取得して前記既知データおよび前記位相差に基づいて前記一対の外部光源の他方までの距離を測定する測距手順と、
を具備する測距装置の制御方法。
110 外部機器
111、112 照射光源
120 線光源
131、132、133、134 天井照明
200 VR端末
201 無人航空機
210 測距モジュール
220 撮像レンズ
230 測距演算部
231 画像保持部
232 照射光源毎単位ベクトル検出部
233 光源間隔記憶部
234 照射光間位相差検出部
235、242 光源距離測定部
236 反射光源毎単位ベクトル検出部
237 照射光・反射光間位相差検出部
238 デプスマップ生成部
241 空間座標記憶部
250 端末制御部
251 機体制御部
260 表示部
271、272 発光部
300 固体撮像素子
310 行走査回路
320 画素アレイ部
330 画素回路
331 受光素子
332 転送スイッチ
333、334 電荷蓄積部
335、336 選択スイッチ
340 タイミング制御部
350 AD変換部
360 列走査回路
370 信号処理部
9001 IoTデバイス
111、112 照射光源
120 線光源
131、132、133、134 天井照明
200 VR端末
201 無人航空機
210 測距モジュール
220 撮像レンズ
230 測距演算部
231 画像保持部
232 照射光源毎単位ベクトル検出部
233 光源間隔記憶部
234 照射光間位相差検出部
235、242 光源距離測定部
236 反射光源毎単位ベクトル検出部
237 照射光・反射光間位相差検出部
238 デプスマップ生成部
241 空間座標記憶部
250 端末制御部
251 機体制御部
260 表示部
271、272 発光部
300 固体撮像素子
310 行走査回路
320 画素アレイ部
330 画素回路
331 受光素子
332 転送スイッチ
333、334 電荷蓄積部
335、336 選択スイッチ
340 タイミング制御部
350 AD変換部
360 列走査回路
370 信号処理部
9001 IoTデバイス
Claims (11)
- 一対の外部光源のそれぞれからの光の位相差を検出する位相差検出部と、
前記一対の外部光源の一方までの距離と前記一対の外部光源の間隔とのいずれかを既知データとして取得して前記既知データおよび前記位相差に基づいて前記一対の外部光源の他方までの距離を測定する測距部と
を具備する測距装置。 - 前記一対の外部光源は、いずれも照射光を発する照射光源であり、
前記測距部は、前記一対の外部光源の間隔を前記既知データとして取得する
請求項1記載の測距装置。 - 照射光を発する一対の発光部をさらに具備する
請求項2記載の測距装置。 - 前記一対の外部光源は、線光源上の所定の位置に配置される
請求項2記載の測距装置。 - 前記一対の外部光源の前記一方は照射光を発する照射光源であり、前記他方は前記照射光を反射する反射光源であり、
前記測距部は、前記一対の外部光源の前記一方までの距離を前記既知データとして取得する
請求項1記載の測距装置。 - 前記照射光源は、交互に点灯する一対の照射光源を含み、
前記測距部は、前記一対の照射光源の間の間隔に基づいて前記一対の照射光源の一方までの距離を取得する
請求項5記載の測距装置。 - 前記測距部は、三次元座標が既知の複数の空間点のそれぞれを所定の撮像平面に投影した投影点の平面座標を取得して当該平面座標から前記既知データを取得する
請求項5記載の測距装置。 - 前記測距部は、一対の外部光源のそれぞれまでの方向を示す単位ベクトルを検出し、当該単位ベクトルと前記既知データと前記位相差に基づいて前記他方までの距離を測定する
請求項1記載の測距装置。 - 前記位相差検出部および前記測距部は、車両に搭載され、
前記一対の外部光源は、前記車両とは異なる他車両のテールランプであり、
前記測距部は、前記車両と前記他車両との車間距離を測定する
請求項1記載の測距装置。 - 一対の外部光源のそれぞれからの光の位相差を検出する位相差検出部と、
前記一対の外部光源の一方までの距離と前記一対の外部光源の間隔とのいずれかを既知データとして取得して前記既知データおよび前記位相差に基づいて前記一対の外部光源の他方までの距離を測定する測距部と、
前記測定された距離に基づいて所定の情報を表示部に表示させる制御部と
を具備する電子装置。 - 一対の外部光源のそれぞれからの光の位相差を検出する位相差検出手順と、
前記一対の外部光源の一方までの距離と前記一対の外部光源の間隔とのいずれかを既知データとして取得して前記既知データおよび前記位相差に基づいて前記一対の外部光源の他方までの距離を測定する測距手順と、
を具備する測距装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/760,438 US10989790B2 (en) | 2016-08-23 | 2017-07-06 | Distance measuring apparatus, electronic apparatus, and method of controlling distance measuring apparatus |
CN201780003177.9A CN108027416B (zh) | 2016-08-23 | 2017-07-06 | 距离测量设备、电子设备以及距离测量设备的控制方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016162320A JP2018031607A (ja) | 2016-08-23 | 2016-08-23 | 測距装置、電子装置、および、測距装置の制御方法 |
JP2016-162320 | 2016-08-23 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018037728A1 true WO2018037728A1 (ja) | 2018-03-01 |
Family
ID=61246716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/024749 WO2018037728A1 (ja) | 2016-08-23 | 2017-07-06 | 測距装置、電子装置、および、測距装置の制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10989790B2 (ja) |
JP (1) | JP2018031607A (ja) |
CN (1) | CN108027416B (ja) |
WO (1) | WO2018037728A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112740288A (zh) * | 2018-10-12 | 2021-04-30 | 因温特奥股份公司 | 进口监控***和用于运行进口监控***的方法 |
EP3814797A4 (en) * | 2018-07-24 | 2022-03-02 | Sense Photonics, Inc. | PHASE NOISE AND CORRECTION METHODS IN MULTIFREQUENCY LIDAR |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11092689B2 (en) * | 2016-09-20 | 2021-08-17 | Apple Inc. | Enabling lidar detection |
CN110044334B (zh) * | 2018-01-16 | 2020-04-21 | 京东方科技集团股份有限公司 | 基于维诺图的室内空间定位 |
DE102018103262B4 (de) * | 2018-02-14 | 2024-05-29 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren zum Betreiben einer Beleuchtungsvorrichtung eines Kraftfahrzeugs |
CN110557582B (zh) * | 2018-06-19 | 2021-09-17 | 思特威(上海)电子科技股份有限公司 | 基于tof的3d成像图像传感器像素电路及测距*** |
US20210293939A1 (en) | 2018-08-07 | 2021-09-23 | Sony Semiconductor Solutions Corporation | Rangefinder, rangefinding system, rangefinding method, and program |
JP2020067707A (ja) * | 2018-10-22 | 2020-04-30 | 豊田合成株式会社 | 非接触操作検出装置 |
JP2022510198A (ja) * | 2018-11-29 | 2022-01-26 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッド | 移動プラットフォームの周囲の環境を検出するシステム及びその方法 |
US10884415B2 (en) * | 2018-12-28 | 2021-01-05 | Intel Corporation | Unmanned aerial vehicle light flash synchronization |
CN111489448A (zh) * | 2019-01-24 | 2020-08-04 | 宏达国际电子股份有限公司 | 检测真实世界光源的方法、混合实境***及记录介质 |
JP2020194995A (ja) * | 2019-05-24 | 2020-12-03 | Necプラットフォームズ株式会社 | 無線通信機器、監視システムおよび無線通信機器の監視方法 |
JP2021021633A (ja) | 2019-07-26 | 2021-02-18 | ソニーセミコンダクタソリューションズ株式会社 | 測距装置、測距システムおよび測距装置の調整方法 |
WO2021056179A1 (zh) * | 2019-09-24 | 2021-04-01 | 深圳市大疆创新科技有限公司 | 智能辅助照明***、方法、装置及可移动平台 |
JPWO2021075287A1 (ja) | 2019-10-15 | 2021-04-22 | ||
CN113126111B (zh) * | 2019-12-30 | 2024-02-09 | Oppo广东移动通信有限公司 | 飞行时间模组和电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11143640A (ja) * | 1997-11-11 | 1999-05-28 | Seiko Epson Corp | 座標検出装置、それを備えたスクリーン、及び表示装置 |
JP2005092861A (ja) * | 2003-08-11 | 2005-04-07 | Hitachi Ltd | 車両制御システム |
JP2011154626A (ja) * | 2010-01-28 | 2011-08-11 | Konami Digital Entertainment Co Ltd | 領域推定装置、領域推定方法、ならびに、プログラム |
US20140285818A1 (en) * | 2013-03-15 | 2014-09-25 | Leap Motion, Inc. | Determining positional information of an object in space |
JP2014220787A (ja) * | 2012-05-24 | 2014-11-20 | パナソニックインテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 制御方法、情報通信装置およびプログラム |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3483303B2 (ja) * | 1994-06-21 | 2004-01-06 | 株式会社トプコン | 回転レーザ装置 |
JP3954300B2 (ja) * | 2000-11-24 | 2007-08-08 | ペンタックス株式会社 | 3次元画像検出装置 |
GB2395261A (en) * | 2002-11-11 | 2004-05-19 | Qinetiq Ltd | Ranging apparatus |
JP4253271B2 (ja) | 2003-08-11 | 2009-04-08 | 株式会社日立製作所 | 画像処理システム及び車両制御システム |
JP4855749B2 (ja) * | 2005-09-30 | 2012-01-18 | 株式会社トプコン | 距離測定装置 |
WO2009016551A2 (en) * | 2007-08-01 | 2009-02-05 | Koninklijke Philips Electronics N.V. | Vehicle positioning measurement system and method |
US20090279107A1 (en) * | 2008-05-09 | 2009-11-12 | Analog Devices, Inc. | Optical distance measurement by triangulation of an active transponder |
US8949069B2 (en) * | 2009-12-16 | 2015-02-03 | Intel Corporation | Position determination based on propagation delay differences of multiple signals received at multiple sensors |
US8891067B2 (en) | 2010-02-01 | 2014-11-18 | Microsoft Corporation | Multiple synchronized optical sources for time-of-flight range finding systems |
JP5408026B2 (ja) * | 2010-04-28 | 2014-02-05 | セイコーエプソン株式会社 | 位置検出機能付き機器 |
US8411258B2 (en) * | 2010-12-22 | 2013-04-02 | Intel Corporation | Systems and methods for determining position using light sources |
US20130120361A1 (en) * | 2011-11-16 | 2013-05-16 | Industrial Technology Research Institute | Spatial 3d interactive instrument |
JP5956218B2 (ja) * | 2012-03-29 | 2016-07-27 | 4Dセンサー株式会社 | 形状計測装置、形状計測方法及び形状計測装置における校正処理方法 |
JP5944719B2 (ja) * | 2012-04-04 | 2016-07-05 | 大塚電子株式会社 | 配光特性測定装置および配光特性測定方法 |
JP6045963B2 (ja) * | 2013-04-05 | 2016-12-14 | 日立マクセル株式会社 | 光測距装置 |
US10313599B2 (en) * | 2013-07-01 | 2019-06-04 | Panasonic Intellectual Property Corporation Of America | Motion sensor device having plurality of light sources |
IL235359A (en) * | 2014-10-27 | 2015-11-30 | Ofer David | Simulates a wide-dynamic-range environment with a high intensity beam / reflector |
US10306217B2 (en) * | 2015-04-17 | 2019-05-28 | Seiko Epson Corporation | Display device, control method for display device, and computer program |
US11162781B2 (en) * | 2016-06-23 | 2021-11-02 | University Of Utah Research Foundation | Interferometry systems and methods |
US10884127B2 (en) * | 2016-08-02 | 2021-01-05 | Samsung Electronics Co., Ltd. | System and method for stereo triangulation |
US10677894B2 (en) * | 2016-09-06 | 2020-06-09 | Magna Electronics Inc. | Vehicle sensing system for classification of vehicle model |
-
2016
- 2016-08-23 JP JP2016162320A patent/JP2018031607A/ja active Pending
-
2017
- 2017-07-06 CN CN201780003177.9A patent/CN108027416B/zh active Active
- 2017-07-06 US US15/760,438 patent/US10989790B2/en active Active
- 2017-07-06 WO PCT/JP2017/024749 patent/WO2018037728A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11143640A (ja) * | 1997-11-11 | 1999-05-28 | Seiko Epson Corp | 座標検出装置、それを備えたスクリーン、及び表示装置 |
JP2005092861A (ja) * | 2003-08-11 | 2005-04-07 | Hitachi Ltd | 車両制御システム |
JP2011154626A (ja) * | 2010-01-28 | 2011-08-11 | Konami Digital Entertainment Co Ltd | 領域推定装置、領域推定方法、ならびに、プログラム |
JP2014220787A (ja) * | 2012-05-24 | 2014-11-20 | パナソニックインテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 制御方法、情報通信装置およびプログラム |
US20140285818A1 (en) * | 2013-03-15 | 2014-09-25 | Leap Motion, Inc. | Determining positional information of an object in space |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3814797A4 (en) * | 2018-07-24 | 2022-03-02 | Sense Photonics, Inc. | PHASE NOISE AND CORRECTION METHODS IN MULTIFREQUENCY LIDAR |
CN112740288A (zh) * | 2018-10-12 | 2021-04-30 | 因温特奥股份公司 | 进口监控***和用于运行进口监控***的方法 |
US11610446B2 (en) | 2018-10-12 | 2023-03-21 | Inventio Ag | Access control system and method for operating an access control system |
Also Published As
Publication number | Publication date |
---|---|
JP2018031607A (ja) | 2018-03-01 |
US20180259616A1 (en) | 2018-09-13 |
US10989790B2 (en) | 2021-04-27 |
CN108027416A (zh) | 2018-05-11 |
CN108027416B (zh) | 2023-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018037728A1 (ja) | 測距装置、電子装置、および、測距装置の制御方法 | |
US20200344421A1 (en) | Image pickup apparatus, image pickup control method, and program | |
US11397250B2 (en) | Distance measurement device and distance measurement method | |
WO2017057043A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US11076141B2 (en) | Image processing device, image processing method, and vehicle | |
WO2020116039A1 (ja) | 測距装置及び測距方法 | |
KR102392221B1 (ko) | 화상 처리 장치, 및 촬상 장치, 및 화상 처리 시스템 | |
US20210389448A1 (en) | Control device, control method and sensor control system | |
WO2020137755A1 (ja) | 測距装置及び測距方法 | |
WO2020022137A1 (ja) | 受光装置及び測距装置 | |
WO2019225349A1 (ja) | 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体 | |
WO2019163315A1 (ja) | 情報処理装置、撮像装置、及び撮像システム | |
JP7172603B2 (ja) | 信号処理装置、信号処理方法、およびプログラム | |
WO2020137754A1 (ja) | 測距装置及び測距方法 | |
JP2018032986A (ja) | 情報処理装置および方法、車両、並びに情報処理システム | |
WO2021246303A1 (ja) | 測距装置、電子機器、センサシステム及び制御方法 | |
WO2021161858A1 (ja) | 測距装置および測距方法 | |
WO2023234033A1 (ja) | 測距装置 | |
WO2023281825A1 (ja) | 光源装置、測距装置及び測距方法 | |
WO2021229983A1 (ja) | 撮像装置及びプログラム | |
WO2024095625A1 (ja) | 測距装置および測距方法 | |
WO2024070673A1 (ja) | 固体撮像装置、電子機器及びプログラム | |
JP2024048232A (ja) | 光検出装置及び測距システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 15760438 Country of ref document: US |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17843216 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17843216 Country of ref document: EP Kind code of ref document: A1 |