CN112513670B - 测距仪、测距***、测距方法及程序 - Google Patents

测距仪、测距***、测距方法及程序 Download PDF

Info

Publication number
CN112513670B
CN112513670B CN201980051036.3A CN201980051036A CN112513670B CN 112513670 B CN112513670 B CN 112513670B CN 201980051036 A CN201980051036 A CN 201980051036A CN 112513670 B CN112513670 B CN 112513670B
Authority
CN
China
Prior art keywords
light source
distance
clock
light
source unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980051036.3A
Other languages
English (en)
Other versions
CN112513670A (zh
Inventor
城坚诚
竹田智哉
松本奈奈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN112513670A publication Critical patent/CN112513670A/zh
Application granted granted Critical
Publication of CN112513670B publication Critical patent/CN112513670B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明实现了一种配置，在该配置中，具有多个光源的光源单元和测距仪(相机)由分离的时钟控制，并且光源可以放置在任意位置。在本发明中，通过使用ToF传感器对从光源单元的多个光源输出后被对象的表面反射的光进行摄影，来计算到物体的距离。用于控制ToF传感器的摄影定时的传感器时钟是与用于控制光源单元的光源的发光定时的光源单元时钟不同的装置专用时钟。测距仪生成多个差值计算方程，这些差值计算方程是用于计算从每个光源到装置的距离的距离计算方程，并使用所生成的差值计算方程来计算到物体的距离。

Description

测距仪、测距***、测距方法及程序
技术领域
本公开涉及一种测距仪、测距***、测距方法及程序。具体地，本公开涉及使用飞行时间(ToF)技术来测量到对象的距离的测距仪、和测距***、测距方法及用于实现该测距方法的程序。
背景技术
已知飞行时间(ToF)技术是用于测量到对象的距离或对象的三维形状的技术。
ToF技术是用光照射对象并且分析反射光以测量到对象的距离或对象的形状的技术。
使用ToF技术的测距仪采用集成了发光单元(光源)和光接收单元(相机)的所谓的ToF相机。测距仪具有利用来自光源的输出光照射待测对象(测距目标对象)以及利用相机接收反射光的配置。
然而，在该配置中，从与相机集成的光源输出的光遵循往返路径，在该往返路径中，光到达对象、从对象的表面反射、并返回到相机侧。当从相机到对象的距离是d时，光路是2d，该2d为距离d的两倍。由此，较长的光路降低了输入到相机的光的强度，从而导致测距精度较低的问题。具体地，在测量到远离相机的对象的距离时，测量精度显著减小。
作为同一申请人的在先专利申请的专利文献1(日本专利申请特开号2018-31607)公开了一种独立于相机配置并且远离相机定位的光源的输出光由相机直接接收以测量从相机到光源的距离的装置。
在光源与相机之间的距离为d的情况下，该配置允许光源的输出光也仅经由距离为d的路径进入相机，使得可以防止由于上述光强度的降低而导致的测量精度的减小。
然而，专利文献1中公开的配置基于相机直接观察光源的假设。由此，除非传感器的动态范围很宽，否则该配置不能被使用。例如，直接观察光源需要短曝光时间以避免饱和，但引起了使周围主体变暗的问题。此外，该专利文献1没有教导由光源与相机之间的时钟偏差引起的问题的解决方案。
现有技术文献
专利文献
专利文献1：日本专利申请特开号2018-31607
发明内容
本发明待解决的问题
鉴于例如上述问题而做出了本公开。本公开指向提供一种测距仪、测距***、测距方法及程序，该测距仪、测距***、测距方法及程序即使对于除了光源之外的常见对象，也能够防止由于降低的光强度而导致的测量精度的降低。
此外，本公开的一个实施方式将发光单元(光源)和光接收单元(相机)放置在分开的位置处，从而允许利用单独的时钟控制发光单元(光源)和光接收单元(相机)。因此，提供了一种测距仪、测距***、测距方法及程序，该测距仪、测距***、测距方法及程序允许通过使从发光单元(光源)发射到对象上的光的反射光被引导到光接收单元(相机)来使用ToF技术测量到对象的距离和对象的三维形状。
问题的解决方案
根据本公开的第一方面，提供了一种测距仪，包括：
飞行时间(ToF)传感器，被配置为接收从对象的表面反射的光，所反射的光从包括在光源单元中的多个光源中的每个光源输出；以及
距离计算单元，被配置为分析ToF传感器的输出以计算到对象的距离，
其中，ToF传感器具有由传感器时钟控制的图像捕获定时，并且光源单元具有由光源单元时钟控制的光源发光定时，传感器时钟是专用于测距仪的时钟、与光源单元时钟不同。
此外，根据本公开的第二方面，提供了一种测距***，包括：
光源单元，具有多个光源；以及
测距仪，被配置为接收从对象的表面反射的光，所反射的光从光源单元的每个光源输出，
其中，测距仪包括：
飞行时间(ToF)传感器，被配置为从对象接收所反射的光；以及
距离计算单元，被配置为分析ToF传感器的输出以计算到对象的距离，
其中，光源单元具有由光源单元时钟控制的光源发光定时，并且测距仪的ToF传感器具有由传感器时钟控制的图像捕获定时，光源单元时钟和传感器时钟是不同的独立时钟。
此外，根据本公开的第三方面，
提供了一种在测距仪中执行的测距方法，该方法包括：
通过飞行时间(ToF)传感器接收从对象的表面反射的光的步骤，该反射光从包括在光源单元中的多个光源中的每个光源输出；以及
由距离计算单元通过分析ToF传感器的输出来计算到对象的距离的距离计算步骤，
其中，该距离计算步骤为
通过创建用于计算从光源单元的多个光源到测距仪的距离的多个距离计算公式来计算到对象的距离的步骤，
多个距离计算公式由以下数据项(a)至数据项(c)形成：
(a)与测距仪和对象之间的距离有关的数据，
(b)与对象和光源单元的每个光源之间的距离有关的数据，以及
(c)偏移C，与由于传感器时钟和光源时钟之间的相位差而发生的测距误差相对应，并且
进一步通过创建用于计算各个距离计算公式的差值的差值计算公式并且使用所创建的差值计算公式来计算到对象的距离。
此外，根据本公开的第四方面，
提供了一种在测距***中执行的测距方法，该测距***包括具有多个光源的光源单元以及测距仪，该测距仪被配置为接收从光源单元的每个光源输出并且从对象的表面反射的光，该方法包括：
由光源单元以由光源单元时钟限定的发光定时从该光源单元的每个光源发射光的步骤；
由测距仪的ToF传感器在由与光源单元时钟不同的传感器时钟限定的图像捕获定时执行图像捕获的步骤；以及
由测距仪的距离计算单元通过分析ToF传感器的输出来计算到对象的距离的步骤。
此外，根据本公开的第五方面，
提供了一种使测距仪执行测距处理的程序，该测距处理包括：
使飞行时间(ToF)传感器接收从对象的表面反射的光的步骤，所反射的光从包括在光源单元中的多个光源中的每个光源输出；以及
使距离计算单元通过分析ToF传感器的输出来计算到对象的距离的距离计算步骤，
其中，距离计算步骤执行：
创建用于计算从光源单元的多个光源到测距仪的距离的多个距离计算公式的处理，该多个距离计算公式由以下数据项(a)至数据项(c)形成：
(a)与测距仪和对象之间的距离有关的数据，
(b)与对象和光源单元的每个光源之间的距离有关的数据，以及
(c)偏移C，该偏移C与由于传感器时钟和光源时钟之间的相位差而发生的测距误差相对应，以及
创建用于计算各个距离计算公式的差值的差值计算公式的进一步处理、以及使用所创建的差值计算公式来计算到对象的距离的处理。
应注意，本公开的程序是例如作为以非瞬时计算机可读形式提供的存储介质或通信介质可访问可执行各种程序代码的图像处理设备或计算机***的程序。以非瞬时计算机可读形式提供的这种程序使得可以在信息处理设备或计算机***上实现根据该程序的处理。
通过基于稍后描述的本公开的实施方式的详细描述和附图，本发明的其他目的、特征和优点将变得显而易见。应注意，本文中的术语“***”是指多个设备的逻辑部件集合并且不限于各个部件的设备设置在同一壳体中的***。
本发明的效果
本公开的一个实施方式实现了通过单独的时钟控制具有多个光源的光源单元以及测距仪(相机)以允许将光源设置在可选位置处的配置。
具体地，例如，光源单元的多个光源的输出光从对象的表面反射，并且ToF传感器捕获反射光以计算到对象的距离。控制ToF传感器的图像捕获定时的传感器时钟是专用于测距仪的时钟，该传感器时钟与控制光源单元的光源的发光定时的光源单元时钟不同。测距仪创建多个距离计算公式中的差值计算公式，以使用创建的差值计算公式来计算到对象的距离，该距离计算公式用于计算从每个光源到测距仪的距离。
本配置实现了通过单独的时钟控制具有多个光源的光源单元以及测距仪(相机)以允许将光源设置在可选位置处的配置。
应注意，本说明书中所描述的效果仅是实例且不是限制性的，并且可以具有附加的效果。
附图说明
图1是示出描述使用ToF技术的测距处理的概述的图。
图2是示出描述使用ToF技术的测距处理的概述的图。
图3是示出描述使用ToF技术的测距处理的概述的图。
图4是示出描述使用ToF技术的测距处理的概述的图。
图5是示出描述由本公开的测距仪执行的处理的概述的图。
图6是示出描述相位同步处理的图。
图7是示出描述本公开的测距***的示例性配置的图。
图8是示出描述光源单元的示例性具体配置的图。
图9是示出被设定为以时分方式驱动的每个光源的光源驱动控制的实例的图。
图10是示出描述测距仪(相机)的具体配置的图。
图11是示出用于描述使用本公开的测距***测距的整个序列的流程图的图。
图12是示出用于描述使用本公开的测距***测距的整个序列的流程图的图。
图13是示出描述帧同步处理的细节的图。
图14是示出描述估计时钟频率的处理的图。
图15是示出用于描述测距仪(相机)中的频率同步处理的序列的流程图的图。
图16是示出描述在测距仪(相机)中执行频率同步处理的构成部件的图。
图17是示出描述计算光源单元的位置和定向并计算到主体的距离的示例性具体处理的图。
图18是示出描述计算光源单元的位置和定向并计算到主体的距离的示例性具体处理的图。
图19是示出用于描述计算光源单元的位置和定向并计算到主体的距离的具体处理序列的流程图的图。
图20是示出描述用于计算光源单元的位置和定向并计算到主体的距离的测距仪(相机)中的构成部件的图。
图21是示出描述执行基于时钟相位差的偏移计算处理和对象距离(深度)计算处理的示例性具体处理的图。
图22是示出描述执行基于时钟相位差的偏移计算处理和对象距离(深度)计算处理的示例性具体处理的图。
图23是示出描述双曲面的图。
图24是示出用于描述执行基于时钟相位差的偏移计算处理和对象距离(深度)计算处理的具体处理序列的流程图的图。
图25是示出描述用于执行基于时钟相位差的偏移计算处理和对象距离(深度)计算处理的测距仪(相机)中的构成部件的图。
图26是示出描述在已知光源位置和光源时钟偏移的情况下的示例性具体对象距离(深度)计算处理的图。
图27是示出描述用于在已知光源位置和光源时钟偏移的情况下执行对象距离(深度)计算处理的测距仪(相机)中的构成部件的图。
图28是示出描述防止双曲面方程与线性方程的联立方程的解中出现多解的示例性配置的图。
图29是示出描述防止双曲面方程与线性方程的联立方程的解中出现多解的示例性配置的图。
图30是示出描述本公开的测距***的特性的图。
图31是示出描述使用多个光源单元的示例性配置的图。
图32是示出描述使用多个光源单元的示例性配置的图。
图33是示出描述本公开的测距***的使用实例的图。
图34是示出描述本公开的测距***的使用实例的图。
图35是示出描述本公开的测距***的使用实例的图。
图36是示出描述本公开的测距***的使用实例的图。
图37是示出描述本公开的测距***的使用实例的图。
图38是示出描述本公开的测距仪的示例性硬件配置的图。
具体实施方式
现在参考附图详细描述本公开的测距仪、测距***、测距方法及程序。此外，根据以下描述的项给出描述。
1.ToF技术的测距处理的概述
2.由本公开的测距仪执行的处理的概述
3.由本公开的测距仪执行的处理的序列
4.帧同步处理
5.频率同步处理
6.光源单元的位置和定向的计算处理的细节以及与光源单元的位置和定向计算处理一起执行距离计算的具体处理实例
7.在执行基于时钟相位差的偏移计算处理和对象距离(深度)计算处理时的具体处理实例
8.在已知的光源位置和光源时钟偏移的情况下的对象距离(深度)计算处理的具体实例
9.防止双曲面方程与线性方程的联立方程的解中出现多解的配置
10.使用多个光源单元的示例性配置
11.本公开的测距***的其他使用实例
12.测距仪的示例性硬件配置
13.本公开的配置的总结
[1.ToF技术的测距处理的概述]
现在描述ToF技术的测距处理的概述。
如上所述，飞行时间(time-of-flight(ToF))技术是用于测量到对象的距离或对象的三维形状的技术之一。ToF技术是利用光照射对象并且分析反射光以测量到对象的距离(深度)或对象的形状的技术。
参考图1和后续附图描述通过ToF技术的距离(深度)测量处理的概述。此外，尽管下面的描述没有具体提及三维形状测量处理，但是通过在对象的整个表面上测量到对象的表面的距离使得可以测量对象的三维形状。
图1示出光源(发光单元)1、相机(光接收单元)2和对象3。从光源(发光单元)1输出的光从对象3反射并且入射在相机(光接收单元)2上。
该配置测量直到来自光源1的输出光从对象3反射并且入射在相机2上为止的时间Δt，从而允许测量从相机2到对象3的距离(深度)d。
距离d可以根据如下(公式1)计算：
d＝(1/2)×c×Δt……(公式1)
其中，
c是光速。
此外，在图中，为了清楚起见，光源1和相机2被示出在稍微远的位置处。然而，在现有技术的常见装置中，光源1的发光定时和相机2的图像捕获定时由一个时钟控制，所以光源1和相机2被配置在基本相同的位置处，诸如在同一的装置中。因此，直到来自光源1的输出光从对象3反射并且入射在相机2上为止的时间Δt是光行进了从相机2到对象3的距离(深度)d的两倍的距离的时间。这就是上述用于计算(公式1)中的距离d的公式中乘以“(1/2)”的原因。
然而，在图1所示的配置中，由于时间Δt非常短，因此难以进行时间Δt的更精确的测量。由此，实际上，在光源1发射脉冲光与相机2接收脉冲光之间的时间差被转换为相位差以获得它们之间的距离。
参考图2描述该处理。
图2示出与图1类似的光源(发光单元)1、相机(光接收单元)2和对象3。光源1发射脉冲光，并且相机2接收从对象3反射并返回的脉冲光。
该配置允许从光源1输出的脉冲光与输入到相机2的脉冲光之间的时间差被转换为相位差以用于观察。
光源1以已知的频率f[Hz]高速闪烁。换言之，光源1的发光模式的一个周期是1/f[秒]。相机2测量每个像素的光闪烁模式的相位。在后续阶段中参考图3描述该基于像素的相位测量配置的具体实例。
例如，假设光源1输出的脉冲光与相机2接收的脉冲光之间的相位差是在这种情况下，直到来自光源1的输出光从对象3反射并且入射在相机2上为止的时间Δt可以通过如下(公式2)来计算。
将通过(公式2)计算的时间Δt代入先前描述的(公式1)，使得可以使用如下(公式3)计算从相机2(或光源1)到对象3的距离d：
其中，
c是光速，
是从光源1输出的脉冲光的相位与相机2接收的脉冲光的相位之间的差值，并且
f是脉冲光的频率。
参考图3描述相机2中的像素单元中的脉冲光的相位计算配置。
参考图1和图2描述的相机2是与普通相机不同的ToF相机，并且每个像素以高速反复接通/关断，且仅在接通期间累积电荷。
在使用ToF相机测量到对象的距离时，
依次切换接通/关断执行定时，并且分析每个定时的所累积的电荷。接通/关断执行定时的切换模式例如是如下在图3的左侧示出的四种类型。
(c1)0度相位
(c2)90度相位
(c3)180度相位
(c4)270度相位
0度相位(c1)被设定为使得接通定时(光接收定时)是由光源1输出的脉冲光的相位(即，与图3的左侧所示的发光模式(a)相同的相位)。
90度相位(c2)被设定为使得接通定时(光接收定时)落后由光源1输出的脉冲光(发光模式(a))90度。
180度相位(c3)被设定为使得接通定时(光接收定时)落后由光源1输出的脉冲光(发光模式(a))180度。
270度相位(c4)被设定为使得接通定时(光接收定时)落后由光源1输出的脉冲光(发光模式(a))270度。
相机2依次执行这四种切换，以获取随着光接收定时变化的光接收量。换言之，获得四种光接收量以及取决于光接收量的不同的累积相位和电荷。
例如，假设在针对发光模式的光接收像素的相位差为0度、90度、180度和270度的情况下累积的电荷分别被设置为Q0、Q90、Q180和Q270。
关于这一点，用于通过应用上述(公式3)来计算到对象的距离d的相位差是从光源1输出的脉冲光与由相机2接收的脉冲光之间的相位差。该相位差/>可以基于如下(公式4)计算。
将由以上(公式4)计算的相位差(即，从光源1输出的脉冲光与输入到相机2的脉冲光之间的相位差/>)代入(公式3)。由此，可以根据(公式3)计算从相机2(或光源1)到对象3的距离d。
另外，将图4所示的ToF相机所捕获的图像帧(即，针对发光模式(脉冲)的相位偏差值为0度、90度、180度、270度的相位设定的捕获图像或每个捕获图像的累积电荷)在本文被称为分量。
图4示出根据从左到右示出的时间轴由相机(ToF相机)捕获的图像数据。
依次且重复地捕获具有针对发光模式(脉冲)的相位偏差值为0度、90度、180度和270度的相位设定的捕获图像。
具有针对0度、90度、180度和270度的相位设定的一组分量的组合被称为帧。
换言之，一帧具有关于与发光模式(脉冲)的相位偏差值为0度、90度、180度和270度的相位设定的捕获图像的Q0、Q90、Q180和Q270的累积电荷的信息。
此外，分量之间的时间通常设定得比帧之间的时间短。
[2.由本公开的测距仪执行的处理的概述]
现在描述由本公开的测距仪执行的处理的概述。
如参考图1至图3所描述的，在通过ToF技术测量到对象的距离时，需要检测光源的发光脉冲与相机的光接收脉冲之间的相位差。
为了找出光源的发光脉冲的接通/关断定时和在相机中执行的像素的接通/关断定时，需要对相位差精确检测。
鉴于此，例如，期望通过一个时钟控制(即，通过一个时钟彼此同步)光源的发光脉冲的接通/关断定时和在相机中执行的像素的接通/关断定时。
如图5的(a)所示，例如，光源1和相机2被配置在一个装置中并且由来自一个时钟的时钟信号控制的布置能够同步光源的发光脉冲和相机2的电荷累积定时。换言之，可以获取具有针对发光模式(脉冲)的相位偏差值为0度、90度、180度和270度的相位设定的捕获图像的分量。
然而，在图5的(a)所示的布置中，从光源1到相机2的光路将是到对象3的距离d的两倍长(即，2d)，因此相机2的光接收强度降低，导致测距精度减小。
图5的(b)所示的布置考虑到了相机2的降低的光接收强度和减小的测距精度。
在图5的(b)所示的布置中，光源1放置为更靠近对象3。这种布置使得可以缩短光源1的输出光从对象3反射并由相机2接收的路径，使得在不降低相机2的光接收强度的情况下能够提高测距精度。
然而，在如上所述光源1与相机2在位置上彼此分离并且这些装置用作分开的装置的情况下，各个装置可能需要由单独的时钟信号控制。
如果如上所述通过不同的时钟信号控制光源1和相机2，则难以完全匹配光源1和相机2的控制定时(即，难以使它们同步)。如果没有进行同步，则无法精确地获取具有针对发光模式(脉冲)的相位偏差值为0度、90度、180度和270度的相位设定的捕获图像的分量。
此外，执行精确测距所必需的同步处理的类型包括以下多种同步处理。
(1)帧同步处理，
(2)频率同步处理，以及
(3)相位同步处理。
(1)帧同步处理是针对在相机2侧获取的每个帧或分量来获取光源1侧的发光定时的同步处理。
(2)频率同步处理是用于检查和调整光源1与相机2的时钟之间的频率偏差以消除频率偏差的处理。例如，即使光源1和相机2的时钟被设置为100Mhz，但由于时钟之间的个体差异，光源1的时钟通常为100.0001MHz。因此，有必要精确地找出该差异。
(3)相位同步处理是用于检查光源1与相机2的时钟之间的相位偏差并且调整相位以消除相位偏差的处理。
例如，如图6所示，光源1的波形(Light(t))被定义为如下正弦波：
Light(t)＝cos(fLt+θL)
如图6所示，除了根据上述正弦波发光的光源1的fL和θL之外，相位同步处理对于估计发光开始时间t1是必要的。
图7示出本公开的测距***的一个实施方式的示例性总体配置。本公开的测距***是与上面参考图5的(b)描述的配置类似的光源和相机可由单独的时钟控制的***。
换言之，该***使用于控制光源的发光定时的时钟和用于控制相机的图像捕获定时的时钟成为分开的时钟。
这样的配置使光源能够被放置在远离相机的任何位置处。这使得可以将光源放置得更靠近距离待测的对象。
因此，从光源发射的光从距离待测的对象反射。捕获反射光的相机能够捕获光强度未降低的反射光，使得可以实现高精度的测距。
如上所述，本公开的***具有能够将来自光源的输出光从对象反射并且入射在相机上的光路设定为短的配置。
然而，在本公开的测距***中，确定光源的控制定时的时钟(CLK1)和确定相机的控制定时的时钟(CLK2)不同。因此，需要执行考虑时钟之间的偏差的处理。在随后的阶段中将详细描述该处理。
图7中所示的本公开的测距***包括光源单元10和测距仪(相机)20。此外，测距仪(相机)20测量对象30与该测距仪(相机)20之间的距离。另外，除了测距之外，还可以测量对象30的表面形状(即，对象30的三维形状)。
如图7所示，光源单元10具有多个光源a、光源b和光源c。这三个光源以等距间隔(W)布置。光源a至光源c输出单独的脉冲光线。脉冲光的输出定时(即，相位)由一个时钟(CLK1)的时钟信号控制。
此外，在图7所示的实施方式中，光源单元10具有三个相对位置固定的光源。光源的数量不限于三个，并且可包括具有三个或更多个(诸如，四个和五个)光源的配置，或者包括根据该处理仅具有两个光源的配置。
现在描述使用具有三个光源的光源单元10的配置和处理以及使用具有两个光源的光源单元10的配置和处理。
现在描述使用具有三个光源的光源单元10的配置和处理。从光源单元10的三个光源a至光源c输出的脉冲光从对象30的表面反射并且入射在测距仪(相机)20上。测距仪(相机)20具有与以上参考图2至图4描述的ToF相机类似的ToF传感器，并且获取设定了不同的光接收定时的图像(即，具有多个分量的帧)。
基于由相机专用时钟(CLK2)输出的时钟信号来执行测距仪(相机)20的控制定时。
现在参考图8描述光源单元10的示例性具体配置。如以上参考图7描述，光源单元10包括多个光源并且具有光源单元时钟。
如图8所示，光源单元10包括光源单元时钟(CLK1)101、光源控制单元102、与光源相对应的延迟调整单元103至延迟调整单元105、以及多个光源(即，光源a 106、光源b 107和光源c 108)。多个光源a至光源c由一个光源单元时钟101控制，因此从多个光源a至光源c发射的光(脉冲光)的频率相同(或为已知的倍数)。
例如，在参考时钟是10MHz时钟的情况下，从光源a至光源c输出的脉冲光的频率设定可以如下设定：
(设定实例1)光源a至光源c的脉冲光频率均被设定为10MHz，以及
(设定实例2)光源a至光源c的脉冲光频率分别被设定为指定值的倍数(诸如，10MHz、20MHz和30MHz)。
例如，上述这种设置是可行的。
此外，光源a至光源c的每个脉冲光的相位还取决于从光源单元时钟101至光源a至c的配线的长度，因此预期引起一定程度的偏差。然而，假设预先校准这种偏差。为了方便起见，本文假设多个光源a至光源c的相位相同，并且不存在偏差。此外，即使当各个光源的相位发生偏离时，如果知道偏差程度，就可以在后续阶段中进行校正和使用。
此外，如图8的(a)中的光源的布置实例所示，假设各个光源a至光源c具有固定的物理布置。
例如，光源a至光源c固定至光源单元10的壳体，使得光源之间的距离可以是“W”。光源单元10具有多个光源物理固定的配置。
如图8的(a)中的光源的布置实例所示，参考光源单元10中的给定点来定义光源坐标系。光源单元中的分量部分是固定的，因此各个光源的位置在光源坐标***中已知。
光源控制单元102和延迟调整单元103至延迟调整单元105调整光源a至光源c的发光定时(即，发光脉冲)。此外，光源控制单元102和延迟调整单元103至延迟调整单元105通过从光源单元时钟101提供的时钟来控制光源a至光源c的发光定时。延迟调整单元103至延迟调整单元105控制光源a 106至光源c 108的发光定时的延迟量。
此外，来自光源单元10的光源a至光源c的光线被单独控制，以使光线到达测距仪(相机)20而不彼此干扰。因此，例如，如下控制光源的驱动：
(a)以时分驱动光源，
(b)每个光源的发光频率被设定为不同。例如，每个光源的发光频率被设定为不同(诸如时钟频率的一倍、两倍或三倍)，以及
(c)改变每个光源所使用的波长。例如，使用具有诸如为850nm、905nm和940nm的不同波长的光。
图9示出在将光源驱动控制设定为上面的项(a)的“光源的时分驱动”时的光源驱动控制的实例。
图9示出从光源单元时钟101提供的时钟和信号以及光源a至光源c的发光脉冲的实例。
在图9所示的实例中，光源a至光源c被设定为通过相对于参考时钟(光源单元时钟)以相同的频率和相位改变定时来依次发射光线。
此外，设定熄灭周期，使得可以识别当前哪个光源正在发射。在经过了熄灭周期之后，使光源以光源a、光源b和光源c的顺序发射光线。然后，在预定熄灭周期之后，仍以光源a至光源c的顺序重复发光。
现在参考图10详细描述测距仪(相机)20的配置。
如图10所示，测距仪(相机)20包括传感器时钟201、ToF传感器202、移动主体检测单元203、相位计算单元204、相位图像存储器205、光源位置估计单元206、光源单元位置和定向存储器207、时钟相位差(光源时钟偏移)计算单元208、时钟相位差(光源时钟偏移)存储器209、时钟偏差量估计单元210、传感器时钟调整单元211和距离(深度)计算单元220。
ToF传感器202包括与以上参考图2至图4描述的ToF相机类似的图像传感器。换言之，获取设定了不同的光接收定时的图像(即，具有多个分量的帧)。
ToF传感器202的光接收定时由从传感器时钟201输出的时钟信号确定。
移动主体检测单元203从由ToF传感器202捕获到的图像中检测运动主体。用于运动主体检测的该处理用于执行上述频率同步处理(即，用于修改光源与ToF传感器之间的时钟偏差的同步处理)。在后续阶段中详细描述该处理。
相位计算单元204计算以上参考图2和图3描述的发光脉冲与光接收脉冲之间的相位差在该配置中，发光脉冲是光源单元10的各个光源a至光源c的发光脉冲。光接收脉冲是与由ToF传感器202接收的光源a至光源c的输出光相对应的光接收脉冲。
相位图像存储器205具有存储在其中的帧图像和相位差数据。帧图像由ToF传感器202捕获的分量(相位图像)形成，并且相位差数据由相位计算单元204计算。
光源位置估计单元206执行用于估计光源单元10的位置和定向的处理，更具体地，例如光源a至光源c的三维位置估计处理。稍后描述具体的处理实例。
光源单元位置和定向存储器207存储由光源位置估计单元206估计的光源单元10的位置和定向信息(与光源a至光源c的三维位置有关的信息)。
时钟相位差(光源时钟偏移)计算单元208执行用于计算传感器时钟201与光源单元时钟101之间的偏差(即，时钟相位差)的处理，并且将计算出的时钟相位差存储到时钟相位差(光源时钟偏移)存储器209中。稍后详细描述该处理。
时钟偏差量估计单元210估计传感器时钟201与光源单元时钟101之间的频率偏差量。传感器时钟调整单元211基于由时钟偏差量估计单元210估计的传感器时钟201与光源单元时钟101之间的偏差量来调整传感器时钟201的频率。换言之，调整传感器时钟201的时钟频率和光源单元时钟101的时钟频率以消除或减小频率之间的偏差。稍后详细描述该处理。
此外，即使调整时钟频率，也难以消除两个时钟之间的相位差(相位偏差)。在实际测距中，考虑时钟相位差的处理是必要的。上述时钟相位差(光源时钟偏移)计算单元208计算该时钟相位差。
距离(深度)计算单元220计算到待测对象30的距离(深度)。所计算的距离是从测距仪(相机)20到对象30的表面的距离。
对于该距离计算，使用相位图像存储器205、光源单元位置和定向存储器207以及时钟相位差(光源时钟偏移)存储器209中存储的数据。换言之，使用以下数据进行距离计算：
(a)由ToF传感器202捕获的分量(相位图像)形成并且存储在相位图像存储器205中的帧图像，以及由相位计算单元204计算出的相位差数据
(b)存储在光源单元位置和定向存储器207中的由光源位置估计单元206估计的光源单元10的位置和定向信息(与光源a至光源c的三维位置相关的信息)
(c)存储在时钟相位差(光源时钟偏移)存储器209中的与传感器时钟201和光源单元时钟101之间的偏差(相位差)相对应的偏移、或者与在计算由于相位差而发生的距离时的误差量相对应的偏移。
稍后详细描述该处理。
[3.由本公开的测距仪执行的处理的顺序]
现在描述由本公开的测距仪(相机)20执行的处理顺序。
参考图11中所示的流程图，首先给出使用具有图7中所示的配置的本公开的测距***进行测距的整个序列的概述的描述。
此外，图11所示的过程包括四个处理步骤S11至步骤S14。首先，给出每个步骤的粗略处理操作和整体的处理过程的描述。在后续阶段详细描述每个步骤的处理。
现在将描述图11中所示的流程图的每个步骤的处理。
(步骤S11)
在步骤S11中，首先执行帧同步处理。
如以上参考图6描述，帧同步处理是用于针对相机侧所获取的每个帧或分量获取光源侧的发光定时的同步处理。
在步骤S11中，针对在测距仪(相机)20侧获取的每个帧和分量，获取光源单元10侧的发光定时。
此外，在后续阶段中描述具体处理。
(步骤S12)
在步骤S12中，现在执行频率同步处理。该处理用于检查并调整测距仪(相机)20侧使用的传感器时钟与光源单元10侧使用的光源单元时钟之间的频率偏差，以消除频率上的偏差。该处理对于测距仪(相机)20估计在光源单元10中使用的时钟的频率是必要的。
(步骤S13)
随后，在步骤S13中，估计光源单元10的位置或定向。如以上参考图7描述，光源单元10包括多个光源a至光源c。在步骤S13中，执行用于估计这些光源a至光源c中的每个光源的位置的处理。
(步骤S14)
随后，在步骤S14中，执行对象30的距离(深度)测量处理。具体地，测量从测距仪(相机)20到对象30的距离。
此外，对于该处理，执行用于计算与由于传感器时钟与光源时钟之间的相位差而发生的时钟相位差(即，测距误差)相对应的偏移C的处理。
在后续阶段中描述这些步骤S11至S14的具体处理操作。
此外，图11中示出的过程是由本公开的测距仪(相机)20执行的处理顺序的基本过程。然而，除了根据图11中所示的过程执行的处理之外，本公开的测距仪(相机)20还能够例如根据图12的(a)和图12的(b)中所示的顺序计算到对象的距离(深度)。
在图12的(a)所示的过程中，步骤S11至步骤S12与图11所示的过程的步骤S11至步骤S12相同。
在图12的(a)所示的过程中，在步骤S12中的时钟频率同步处理之后，执行以下步骤S21的处理。
(步骤S21)
在步骤S21中，一起组合执行用于估计光源单元10的位置和定位的处理和用于到对象的距离(即，从测距仪(相机)20到对象30的距离)的计算处理。
步骤S21的处理与根据图11所示的过程通过组合步骤S13的处理与步骤S14的处理而执行的处理相对应。
此外，在图12的(b)所示的过程中，步骤S11至步骤S13与图11所示的过程的步骤S11至步骤S13相同。
在图12的(b)所示的过程中，在步骤S13中的光源单元10的位置和定位估计处理之后，执行以下步骤S31的处理。
(步骤S31)
在步骤S31中，通过使用时钟相位差(即，基于传感器时钟与光源时钟之间的相位差的偏移C，具体地，基于时钟相位差的测距误差的值)，来执行用于测量到对象的距离(深度)的处理。
根据图12的(b)所示的过程执行的处理是在基于时钟相位差预先计算偏移C并将该偏移C存储在存储器中的情况下执行的过程。
除了根据图11中所示的过程执行的处理之外，本公开的测距仪(相机)20还能够例如根据图12的(a)和图12的(b)中所示的序列计算到对象的距离(深度)。
现在描述上述处理操作。
[4.帧同步处理]
现在详细描述参考图11所示的流程图描述的步骤S11中的帧同步处理。帧同步处理是针对在测距仪(相机)20侧获取的每个帧和分量来获取光源单元10侧的发光定时的处理。
参考图13描述处理的具体实例。
如以上参考图9描述，光源单元10的三个光源a至光源c通过针对用作参考时钟的光源单元时钟以相同的频率和相位改变定时来依次发射光线。此外，设定熄灭周期，使得可以识别当前哪个光源正在发光。在经过熄灭周期之后，使光源以光源a、光源b和光源c的顺序发射光线。然后，在预定熄灭周期之后，仍以光源a至光源c的顺序重复发光。
以此方式，在各个光源以时分方式依次点亮的情况下，测距仪(相机)20必须识别光源何时发光以及哪个光源发光。因此，如图13的下部所示，光源单元10以一定间隔在熄灭周期依次接通光源。
此外，假设测距仪(相机)20预先检查每个光源的点亮时间、点亮顺序和熄灭周期的长度。测距仪(相机)20在图像捕获开始之后最初检测第一熄灭周期。一旦可以检测到熄灭周期，则通过考虑周期性(按照光源a、光源b和光源c的顺序)来确定当前点亮哪个光源。
图11所示的过程的步骤S11的帧同步处理是确定光源单元10的哪个输出脉冲光被测距仪(相机)20接收的处理。
[5.频率同步处理]
现在详细描述参考图11所示的流程图描述的步骤S12中的频率同步处理。
步骤S12中的处理是频率同步处理。该处理用于检查和调整测距仪(相机)20侧使用的传感器时钟与光源单元10侧使用的光源单元时钟之间的频率偏差，以消除频率偏差。该处理对于测距仪(相机)20估计在光源单元10中使用的时钟的频率是必要的。
参考图14描述该处理的具体实例。
该处理用于调整测距仪(相机)20侧的传感器时钟(CLK2)，使得图14所示的测距仪(相机)20侧的传感器时钟(CLK2)与光源单元10侧的光源单元时钟(CLK1)同步。
光源单元10具有三个光源a至光源c，但是它们都使用相同的光源单元时钟(CLK1)，因此可以使用任何一个光源，只要该光源用于调整即可。例如，给出使用光源a的输出光的示例性处理的描述。
如图14所示，来自光源单元10的输出光(光源a的输出光)从对象10反射并且由测距仪(相机)20接收。
接收信号是图14的右侧的图解部分(a1)中示出的具有分量的帧。换言之，如以上参考图3和图4描述，该帧是具有累积相位依次改变(0度、90度、180度和270度)的分量的帧。
以时间序列获取具有这四个分量的多个帧。
本文假设测距仪(相机)20、光源单元10和对象30全部处于未移动的固定位置。
在这种情况下，从光源单元10的光源a输出的脉冲光与输入到测距仪(相机)20的脉冲光之间的相位差是沿着从光源单元10经由对象10到测距仪(相机)20的路径行进的光随时间的相位差。
存在测距仪(相机)20、光源单元10和对象30都处于未移动的固定位置并且测距仪(相机)20侧的传感器时钟(CLK2)与光源单元10侧的光源单元时钟(CLK1)在频率上匹配的情况。在这种情况下，如图14的右侧的图解部分(a21)所示，从光源单元10的光源a输出的脉冲光与输入到测距仪(相机)20的脉冲光之间的相位差预计在以时间序列获取的任何帧中不变。
然而，可能存在测距仪(相机)20侧的传感器时钟(CLK2)与光源单元10侧的光源单元时钟(CLK1)在频率上不匹配的情况。换言之，存在偏差。在这种情况下，如图14的右侧的图解部分(a22)所示，从光源单元10的光源a输出的脉冲与输入到测距仪(相机)20的光的脉冲之间的相位差将随着以时间序列获取的帧的进展而变化。
在获得如图14的图解部分(a22)所示的观察数据的情况下，测距仪(相机)20确定在测距仪(相机)20侧的传感器时钟(CLK2)与光源单元10侧的光源单元时钟(CLK1)之间存在频率偏差。测距仪(相机)20执行传感器时钟调整处理以消除偏差。
传感器时钟调整处理的详细顺序如下。
具有偏差的两个时钟的频率由fL和fS表示，
其中，fL是光源单元时钟频率，并且fS是传感器时钟频率。
在这种情况下，T秒内两个时钟之间的时钟偏差量为：
(fL-fS)T。
另外，T秒内两个时钟之间的相位偏差量为
2π(fL-fS)T。
此外，每单位时间(一秒)的相位偏差量为
每单位时间(一秒)的相位偏差量与图14的图解部分(a21)和图解部分(a22)中所示的图表的斜率相对应。
获得图14的图解部分(a21)和图解部分(a22)中所示的数据作为测距仪(相机)20的观察值。换言之，可以基于观察数据获得每单位时间(一秒)的相位偏差量
基于从观察数据获得的每单位时间(一秒)的相位偏差量根据获得的上述公式/>可以计算两个时钟之间的频率差(fL-fS)，如由以下公式表示的。
测距仪(相机)20基于根据上述公式计算的两个时钟之间的频率差，执行用于消除或减小传感器时钟与光源单元时钟之间的频率偏差的处理(频率同步处理)。调整之后的最新更新的传感器时钟的频率f′S是通过以下公式获得的频率。
如上所述，执行图11的过程的步骤S12中的频率同步处理。具体地，执行用于检查在测距仪(相机)20侧使用的传感器时钟与在光源单元10侧使用的光源单元时钟之间的频率偏差以消除频率偏差的调整处理。
现在参考图15和图16描述用于在测距仪(相机)20中执行频率同步处理的构成部件和处理顺序。
图15是示出频率同步处理的处理顺序的流程图。
图16是与以上参考图10描述的测距仪(相机)20的配置类似的配置框图，并且在频率同步处理中使用的构成部件用粗框示出。
参考图16所示的配置框图描述图15的流程图中的每个步骤的处理。
(步骤S101)
在步骤S101中，首先，基于在时间t获取的一个帧来测量相位图像
该处理由图16所示的相位计算单元204基于从ToF传感器202输入的一个帧执行。
该处理与以上参考图14描述的获取图14的图解部分(a21)或图解部分(a22)的帧1的时间t处的相位差的处理相对应。此外，x表示所获取图像的像素位置。
(步骤S102)
随后，在步骤S102中，首先，基于在时间t+Δt获取的一个帧来测量相位图像
该处理也由图16所示的相位计算单元204基于从ToF传感器202输入的一个帧执行。
(步骤S103)
随后，在步骤S103中，检测包括在所获取的图像中的移动主***置。
在图16所示的移动主体检测单元203中执行该处理。
如以上参考图14描述，在该频率同步处理中，光源、对象和相机(ToF传感器)必须具有固定的相对位置。例如，在对象正在移动的情况下，即使通过使用来自移动对象的反射光也无法执行精确的频率同步处理。
执行步骤S103的处理，以从待处理的对象去除这种移动主体的捕获像素。
(步骤S104)
随后，在步骤S104中，基于以下公式，使用分别在步骤S101和步骤S102中获取的相位图像和相位图像/>计算每单位时间(一秒)的相位偏差量
/>
此外，如上所述，x表示所获取图像的像素位置，并且针对每个像素位置计算每单位时间(一秒)的相位偏差量
在图16所示的相位计算单元204中执行该处理。此外，x表示所获取图像的像素位置。
(步骤S105)
随后，在步骤S105中，作为多个帧的重复处理操作，确定步骤S101至S104的处理是否完成指定次数。
在未达到指定次数的情况下，重复步骤S101和后续步骤的处理操作。在达到指定次数的情况下，该处理前进至步骤S106。
(步骤S106)
随后，在步骤S106中，从在步骤S104中针对每个像素计算出的相位偏差量中移除移动主***置的像素对应数据，计算与静止主体相对应的相位偏差量的平均值。该平均值用作每单位时间(一秒)的相位偏差量/>
在图16所示的时钟偏差量估计单元210中执行该处理。
此外，不包括与移动主体像素相对应的数据的原因在于，如上所述当对象移动时，即使通过使用来自移动对象的反射光也不能执行精确的频率同步处理。
(步骤S107)
随后，在步骤S107中，根据以下公式计算新调整的传感器时钟频率f′S，其中，当前传感器时钟频率fS与光源单元时钟的频率基本匹配。
在图16所示的时钟偏差量估计单元210中执行该处理。
(步骤S108)
最后，在步骤S108中，将在步骤S107中计算出的调整后的传感器时钟频率f′S设定为传感器时钟的频率。
在图16所示的传感器时钟调整单元211中执行该处理。
根据以上过程执行的处理基本上消除了测距仪(相机)20侧的传感器时钟(CLK2)与光源单元10侧的光源单元时钟(CLK1)之间的频率偏差。
此外，在本实施方式中，传感器时钟调整单元211设置在测距仪(相机)20侧以消除或减小光源单元10侧的光源单元时钟(CLK1)与测距仪(相机)20侧的传感器时钟(CLK2)之间的频率偏差。例如，时钟调整单元可设置在光源单元10侧以执行用于消除或减小光源单元10侧的两个时钟之间的频率偏差的调整。
[6.光源单元的位置和定向的计算处理的细节以及与光源单元的位置和定向计算处理一起执行距离计算的具体处理实例]
现在详细描述参考图11所示的流程图描述的步骤S13中的光源单元的位置和定向估计处理。
此外，在该项中，给出参考图12的(a)所示的流程图描述的步骤S21中的处理(即，估计光源单元的位置和定向以及距离计算的处理)的具体例描述。
图11所示的过程的步骤S13中的处理是估计光源单元10的位置或定向的处理。如以上参考图7描述，光源单元10包括多个光源a至光源c。在步骤S13中，执行用于估计这些光源a至光源c中的每个光源的三维位置的处理。
图12的(a)所示的过程的步骤S21中的处理是用于一起组合执行估计光源单元10的位置和定向的处理以及对到对象的距离(即，从测距仪(相机)20到对象30的距离)的计算处理的处理。
步骤S21的处理与根据图11所示的过程通过组合步骤S13的处理与步骤S14的处理而执行的处理相对应。
参考图17和其他附图描述上述处理的具体实例。
图17和图18是示出描述光源单元的位置和定向的估计处理过程的图。此外，在以下前提下执行光源单元的位置和定向估计处理：
(a)定义光源坐标系(光源单元的坐标系)，并且在未定义光源坐标系时定义它。
然而，光源坐标系和相机坐标系之间的相对位置是未知的，
(b)光源单元中的每个光源的相对位置已知。
换言之，光源坐标系知道每个光源位置，
(c)整个光源单元的位置未知，以及
(d)光源时钟与传感器时钟的时钟频率基本匹配(调整已完成)或偏差已知。
然而，相位偏差仍然存在。
在这些前提下执行光源单元10的位置和定向的估计处理，具体地，执行设置在光源单元10中的多个光源中的每个光源的三维位置估计处理。
此外，在图10所示的测距仪(相机)20的光源位置估计单元206中执行光源位置估计处理。在后续阶段参考图20描述光源位置估计单元206的具体配置。
光源位置估计单元206最初执行图17的描述部分(1)所示的光源位置估计处理过程的前半部分(过程步骤(S1))。
换言之，在过程步骤(S1)中，使用基于由光源单元10的各个光源a至光源c发射的脉冲的光接收脉冲而获取的帧，来计算距离(测距仪(相机)20与各个光源a至光源c之间的距离)。
各个光源a至光源c与测距仪(相机)20之间的距离由以下(公式11)表示。
[数学式1]
应注意，以上(公式11)中的向量符号参数(每个参数上用箭头“→”表示的参数)指示从一个坐标系(例如，光源坐标系)的原点开始的向量。此外，以上(公式11)中的参数指示如下：
C是与由光源单元10的时钟与测距仪(相机)20的时钟之间的相位偏差引起的测距误差相对应的偏移项，
Obs(uD，E1)是位于位置E1处的光源a发光时在像素位置uD处观察到的距离，
Obs(uD，E2)是位于位置E2的光源b发光时在像素位置uD处观察到的距离，
Obs(uD，E3)是位于位置E3的光源c发光时在像素位置uD处观察到的距离，
uD＝(uD，vD)是投射点D的像素位置，
|OD|是连接测距仪(相机)20与对象30的向量的大小(距离)。应注意，O是作为测距仪(相机)20的坐标系的相机坐标系的原点，并且D是来自光源的光从对象30反射的位置，并且
|DEn|是连接在位置En处的每个光源与在对象30处的反射位置的向量的大小(距离)。
应注意，在上面的公式的描述中省略了向量符号。此外，本文的描述中省略了向量符号。
如上所述，在过程步骤(S1)中，光源位置估计单元206计算从设置在光源单元10中的三个光源a至光源c到测距仪(相机)20的三个距离计算公式，
三个距离计算公式具有以下(a)至(c)中提到的数据：
(a)测距仪与对象之间的距离数据|OD|，
(b)对象与光源之间的距离数据|DEn|，以及
(c)偏移C，与由于传感器时钟与光源时钟之间的相位差而发生的测距误差相对应。
随后，光源位置估计单元206执行图18的描述部分(1)所示的光源位置估计处理过程的后半部分(过程步骤(S2至S3))。
换言之，在过程步骤(S2)中，创建针对在过程步骤(S1)中计算出的三个距离Obs(uD，E1)、Obs(uD，E2)和Obs(uD，E3)之间的差值的计算公式的联立方程，即以下(公式12)所示的联立方程。
[数学式2]
随后，在过程步骤(S3)中，求解上述联立方程以确定光源坐标系中的多个主***置LDk及其对应的像素位置uk。
从相机坐标系看到的光源的位置是未知的，所以在相机坐标系没有任何修改的情况下无法求解该方程。然而，光源在光源坐标***中的位置是已知的，因此可以在光源坐标***中求解方程。
使用光源坐标系求解以上公式12所示的联立方程使得能够确定光源坐标系中的多个主***置LDk及其对应的像素位置uk。
此外，在该实例中，多个主***置LDk包括例如光源单元10的光源a、光源b和光源c的相应位置E1、E2和E3以及对象30的表面位置。
此外，如果坐标系中的多个点与由相机投射的像素位置之间的对应关系是已知的，则通常可以确定该坐标系与相机坐标系之间的相对位置和定向。
换言之，求解所谓的多点透视成像(perspective-n-point(PnP))问题使得可以导出光源坐标系与相机坐标系之间的相对关系，以将光源坐标系中的主***置转换成相机坐标系。
该处理使得可以确定相机坐标系中的主***置LDk及其对应的像素位置uk。因此，在相机坐标系中，可以根据光源a至光源c的捕获像素的位置来确定光源a、光源b和光源c的相应位置E1、E2和E3及其的对象30的表面位置。相机坐标系中的对象30的表面位置的确定使得可以计算到对象30的距离(即，测距仪(相机)20与对象之间的距离)。
现在参考图19和图20描述测距仪(相机)20的光源位置估计单元206的详细配置以及光源位置和定向估计处理和主***置计算处理(即，距离计算处理)的处理序列。
图19是示出描述光源位置和定向估计处理和主***置计算处理(即，距离计算处理)的处理序列的流程图。
图20是示出以上参考图10描述的测距仪(相机)20的光源位置估计单元206的详细配置的图。
参考图20所示的配置框图描述图19的流程图中的每个步骤的处理。
(步骤S201)
步骤S201最初使用基于来自光源单元10的光源a至光源c当中的一个光源的输出光(即，发射脉冲的光接收脉冲)而获取的帧来计算距离(光源a至光源c与测距仪(相机)20之间的距离)。
相应光源a至光源c与测距仪(相机)20之间的距离由上述(公式11)表示。
[数学式3]
如上所述，在过程步骤S201中，光源位置估计单元206计算从设置在光源单元10中的三个光源a至光源c到测距仪(相机)20的三个距离计算公式，
三个距离计算公式具有以下(a)至(c)中提到的数据：
(a)测距仪与对象之间的距离数据|OD|，
(b)对象与光源之间的距离数据|DEn|，以及
(c)偏移C，与由于传感器时钟与光源时钟之间的相位差而发生的测距误差相对应。
图20是示出测距仪(相机)20的光源位置估计单元206的详细配置的图。相位图像存储器1 205至相位图像存储器3 205与图10所示的相位图像存储器205相对应，并且在图20中被单独示出为存储与各个光源a至光源c相对应的相位图像的存储器。
在图20所示的相位到距离转换单元251中执行步骤S201的处理。
(步骤S202)
步骤S202确定是否已完成针对所有光源的距离信息的获取。
当未完成针对所有光源的距离信息的获取时，该处理返回到步骤S201，并且执行针对待处理光源的距离信息获取处理。
如果已完成针对所有光源的距离信息的获取，则该处理进行到步骤S203。
(步骤S203)
在步骤S203中，执行用于确定光源坐标系中的多个关注点(主体)的位置以及图像上的点的坐标的处理。
该处理与上述图18的处理(步骤S2至S3)相对应。
换言之，首先，针对与在步骤S201中计算出的三个光源Obs(uD，E1)、Obs(uD，E2)和Obs(uD，E3)相对应的距离之间的差值创建计算公式的联立方程，该联立方程为上述(公式12)中所示的联立方程。
[数学式4]
此外，在图20所示的差值计算单元252中执行该差值计算处理。
由差值计算单元252计算出的差值数据被输出到主***置计算单元253。主***置计算单元253求解联立方程，以计算光源坐标系中的多个主***置LDk及其对应的像素位置uk。
如以上参考图18描述，从相机坐标观看到的光源的位置是未知的，所以在相机坐标系没有任何修改的情况下无法求解该方程。然而，光源在光源坐标***中的位置是已知的，因此可以在光源坐标***中求解方程。
使用光源坐标系求解以上公式12所示的联立方程使得可以确定光源坐标系中的多个主***置LDk及其对应的像素位置uk。
此外，在该实例中，多个主***置LDk包括例如光源单元10的光源a、光源b和光源c的相应位置E1、E2和E3以及对象30的表面位置。
(步骤S204至步骤S205)
如以上参考图18描述，如果坐标系中的多个点与由相机投射的像素位置之间的对应关系是已知的，则通常可以确定该坐标系与相机坐标系之间的相对位置和定向。
首先，在步骤S204中，求解多点透视成像(PnP)问题使得可以导出光源坐标系与相机坐标系之间的相对关系。
在图20所示的光源-相机位置关系估计单元254中执行该处理。光源-相机位置关系估计单元254获得存储在光源坐标系光源位置存储器中的光源坐标系光源位置，以解决多点透视成像(PnP)问题，从而获得光源坐标系。由此，光源-相机位置关系估计单元254导出与相机坐标系的相对关系，并且将结果存储在相机-光源坐标系相对位置DB 256中。该信息输出至坐标转换单元257。
随后，在步骤S205中，将光源坐标系中的主***置转换成相机坐标系中的值。在坐标转换单元257中执行该处理。
这些处理使得可以确定相机坐标系中的主***置LDk及其对应的像素位置uk。由此，在相机坐标系中，可以从光源a至光源c的捕捉像素的位置确定光源a、光源b和光源c的相应位置E1、E2和E3及其的对象30的表面位置，并且计算到对象30的距离(即，测距仪(相机)20与对象之间的距离)。
此外，在参考图10描述的测距仪(相机)20的距离(深度)计算单元220中执行该距离(深度)计算处理。
[7.执行基于时钟相位差的偏移计算处理和对象距离(深度)计算处理的具体处理实例]
现在给出在执行参考图11所示的流程图描述的步骤S14的处理(即，基于时钟相位差的偏移计算处理和对象距离(深度)计算处理)的情况下的具体处理实例的描述。
在图11所示的过程的步骤S14中的处理是用于对象30的距离(深度)测量处理的处理(即，测量从测距仪(相机)20到对象30的距离的处理)。此外，对于该处理，执行用于计算与由于传感器时钟与光源时钟之间的相位差而发生的时钟相位差(即，测距误差)相对应的偏移C的处理。
此外，即使对于设置有两个光源的光源单元10，也可以执行该处理。换言之，光源单元10只要是包括两个或更多个光源即可实现。
参考图21和其他附图描述上述处理的具体实例。
光源单元10侧的时钟与测距仪(相机)20侧的时钟之间的相位差计算处理在如下前提下执行：
(a)相机坐标系中的光源单元10的每个光源的位置是已知的，以及
(b)光源单元10的光源单元时钟与测距仪(相机)20侧的传感器时钟在频率上基本匹配或者已估计它们的频率。
在这些前提条件下，执行用于测距仪(相机)20侧的时钟的相位差计算处理，并且进一步计算到主体(诸如对象30)的距离。
此外，在图10所示的测距仪(相机)20的时钟相位差(光源时钟偏移)计算单元208中执行时钟相位差计算处理。在距离(深度)计算单元220中执行距离计算。
此外，时钟相位差(光源时钟偏移)计算单元208计算与测距仪(相机)20侧的时钟的相位差或者与基于该相位差的测距误差相对应的偏移C的相位差。距离(深度)计算单元220应用该偏移C以计算到对象30的距离。
偏移C是与计算距离时的基于传感器时钟201与光源单元时钟101之间的相位差的误差量相对应的偏移C，并且具有与以上参考图17描述的过程步骤(S1)中使用的(公式11)的偏移C类似的值。
可以仅使用来自光源单元10的两个光源的发光脉冲，利用测距仪(相机)20侧的时钟执行相位差计算处理以及对象30的主体距离计算处理等。
如上所述，该处理不仅在光源单元10具有三个光源的配置中可执行，而且在仅具有两个光源的配置中也可执行。
图21仅示出光源单元10的两个光源a和光源b。
两个光源是位于位置E1处的光源a和位于位置E2处的光源b。此外，假定在以图21所示的测距仪(相机)20的位置处为原点0的相机坐标系中获取位置。
图21右侧的图解部分示出由时钟相位差(光源时钟偏移)计算单元208和距离(深度)计算单元220执行的“(1)距离(深度)计算处理”的概述。
首先，在过程步骤(S1)中，使用基于由光源单元10的两个光源a和光源b发射的脉冲的光接收脉冲而获取的帧来计算距离(测距仪(相机)20与各个光源a和光源b之间的距离)。
各个光源a和b与测距仪(相机)20之间的距离由以下(公式21)表示。
[数学式5]
应注意，以上(公式21)中的向量符号参数(每个参数上用箭头“→”表示的参数)指示从一个坐标系(例如，相机坐标系)的原点开始的向量。此外，以上(公式21)中的参数指示如下：
C是与由光源单元10的时钟与测距仪(相机)20的时钟之间的相位偏差引起的测距误差相对应的偏移项，
Obs(uD，E1)是位于位置E1处的光源a发光时在像素位置uD处观察到的距离，
Obs(uD，E2)是位于位置E2的光源b发光时在像素位置uD处观察到的距离，
uD＝(uD，vD)是投射点D的像素位置，
|OD|是连接测距仪(相机)20与对象30的向量的大小(距离)。应注意，O是作为测距仪(相机)20的坐标系的相机坐标系的原点，并且D是来自光源的光从对象30反射的位置，并且
|DEn|是连接在位置En处的每个光源与在对象30处的反射位置的向量的大小(距离)。
应注意，在上面的公式的描述中省略了向量符号。
如上所述，在过程步骤(S1)中，距离(深度)计算单元220计算从设置在光源单元10中的两个光源a和光源b到测距仪(相机)20的两个距离计算公式，
两个距离计算公式具有以下(a)至(c)中提到的数据：
(a)测距仪与对象之间的距离数据|OD|，
(b)对象与光源之间的距离数据|DEn|，以及
(c)偏移C，与由于传感器时钟与光源时钟之间的相位差而发生的测距误差相对应。
随后，在过程步骤(S2)中，创建针对在过程步骤(S1)中计算的两个距离Obs(uD，E1)与Obs(uD，E2)之间的差值的计算公式，作为由以下公式22表示的差值计算公式。
[数学式6]
该差值计算公式的创建使得可以消除包括在过程步骤(S1)中创建的距离计算公式中的偏移项C(即，与由光源单元10的时钟与测距仪(相机)20的时钟之间的相位偏差引起的测距误差相对应的偏移项C)。
随后，在过程步骤(S3)中，计算到对象30的距离(即，测距仪(相机)20与对象30之间的距离D)。
在该处理中，首先，确定从测距仪(相机)20的原点O到对象30的表面D的向量OD的方向上的单位向量d，并且创建以下公式23。
[数学式7]
(公式23)是由连接测距仪(相机)20与对象30的线形成的线性方程。
以此方式，在过程步骤(S3)中，距离(深度)计算单元220创建：
(d)由连接测距仪(相机)20和与对象30的线形成的线性方程。
随后，通过使用(公式23)和在过程步骤(S2)中预先创建的距离差值计算公式(公式22)来计算对象30的表面D的位置(x，y，z)，基于位置(x，y，z)来计算距离D。
步骤S1至过程步骤S3的处理可以进行如下总结。
在过程步骤(S1)中，距离(深度)计算单元220创建从设置在光源单元10中的至少两个光源到测距仪(相机)20的两个距离计算公式，
两个距离计算公式，具有以下(a)至(c)中提到的数据：
(a)测距仪与对象之间的距离数据，
(b)对象与光源单元的光源之间的距离数据，以及
(c)偏移C，与由于传感器时钟与光源时钟之间的相位差而发生的测距误差相对应。
另外，在过程步骤(S2)中，创建计算距离计算公式之间的差值的一个差值计算公式。
此外，在过程步骤(S3)中，
(d)创建由连接测距仪与对象的线确定的线性方程，并且
差值计算公式与线性方程作为联立方程求解以计算测距仪(相机)20与对象30之间的距离。
参考图22描述该处理。
在过程步骤(S2)中创建的距离差值计算公式(公式22)与指示以光源a和光源b的相应位置E1和E2为焦点的两片双曲面的一侧的方程相对应。为了简单起见，它在此被称为双曲面。
另一方面，在过程步骤(S3)中创建的(公式23)与指示连接测距仪(相机)20的原点O与对象30的表面D的直线的方程相对应。
如图22的描述部分(A)所示，
与双曲面方程相对应的差值计算公式(公式22)的两个方程以及
与线性方程相对应的(公式23)
作为联立方程求解。由此，如图22的图解部分(B1)所示，可以计算满足两个方程的点(即，交点)。
如图22的图解部分(B1)所示，该交点是对象30的表面位置D的位置(x，y，z)。
以此方式，与双曲面方程相对应的差值计算公式(公式22)中的两个方程以及
与线性方程相对应的(公式23)
作为联立方程求解。由此，可以计算对象30的表面D的位置(x，y，z)。该位置(x，y，z)是指示相机坐标系的位置的坐标。可以基于位置(x，y，z)计算到相机坐标系的原点O的距离D。
另外，如图22的图解部分(B2)所示，存在两个交点将被检测为由与双曲面方程相对应的差值计算公式(式22)和与线性方程相对应的(公式23)引起的交点的可能性。通常难以识别哪个是正确位置。然而，该问题可以通过改变相机与光源的相对位置避免(稍后描述)。可替换地，通过将遮光板等附接至相应的点光源上并仅向相机的方向(或者与相机相反的方向)投射光，可以识别多解中的哪个是正确的位置。
通常，给出从点A到点P和点B到点P的距离由|AP|和|BP|表示，则具有常数|AP|-|BP|的点P的集合是双曲面的一部分。换言之，上述差值计算公式(公式22)是指示双曲面的一部分的公式。
例如，如图23所示，假定点A的坐标为(0，0，c)，点B的坐标为(0，0，-c)，并且|AP|-|BP|等于2e，则点P满足以下(公式24)。
[数学式8]
此外，在示出图23中的双曲面的图中，由以上(公式24)表示的图示被划分成在+z方向和在-z方向上的两个曲面。这是因为即使在|AP|-|BP|＝-2e的情况下，也可以获得与(公式24)相同的公式。如果已知|AP|-|BP|的符号，则指定其中的一个。
上述差值计算公式(公式22)也等效于该问题，所以由(公式22)表示的图示为双曲面(两片双曲面)的一片。
以此方式，距离(深度)计算单元220将与双曲面方程相对应的差值计算公式(公式22)和与线性方程对应的(公式23)这两个方程作为联立方程求解，并计算对象30的表面D的位置(x，y，z)。此外，距离(深度)计算单元220基于计算出的位置(x，y，z)计算到相机坐标系的原点O的距离D。
参考图24和图25，现在给出测距仪(相机)20的时钟相位差(光源时钟偏移)计算单元208和距离(深度)计算单元220的详细配置的描述。还给出时钟相位差计算处理和主***置计算处理(即，距离计算处理)的处理顺序的描述。
图24是示出描述时钟相位差计算处理和主***置计算处理(即，距离计算处理)的流程图。
图25是示出以上参考图10描述的测距仪(相机)20的时钟相位差(光源时钟偏移)计算单元208和距离(深度)计算单元220的详细配置的图。
在图25所示的构成部件中，除了时钟相位差(光源时钟偏移)计算单元208之外，相位到距离转换单元271至主***置计算单元275是距离(深度)计算单元220的构成部件。内部参数存储器273是测距仪(相机)20中的可由距离(深度)计算单元220访问的存储器，并且存储例如通过预先执行的相机校准处理获得的相机参数等。
参考图25所示的配置框图描述了图24的流程图中的每个步骤的处理。
(步骤S301)
步骤S301最初使用基于来自光源单元10的两个光源a或光源b中的任何一个光源的输出光(即，发射脉冲的光接收脉冲)而获取的帧来计算距离(光源与测距仪(相机)20之间的距离)。
在图25所示的相位到距离转换单元271中执行步骤S301的处理。
(步骤S302)
步骤S302确定是否已完成针对两个光源的距离信息的获取。
当未完成针对两个光源的距离信息的获取时，该处理返回至步骤S301，并且执行针对待处理的光源的距离信息获取处理。
如果已完成针对两个光源的距离信息的获取，则该处理进行到步骤S303。
在步骤S302的处理中确定已完成两个光源的距离信息的获取的情况下，获得由以下(公式21)表示的公式的距离信息作为两个光源与测距仪(相机)20之间的距离计算公式。
[数学式9]
图25是示出测距仪(相机)20的时钟相位差(光源时钟偏移)计算单元208和距离(深度)计算单元220的详细配置的图。相位图像存储器1 205至相位图像存储器2 205与图10所示的相位图像存储器205相对应，并且在图25中被单独示出为存储与各个光源a和光源b相对应的相位图像的存储器。
(步骤S303)
随后，在过程步骤(S301)中，创建针对对应于各个光源而计算的两个距离Obs(uD，E1)和Obs(uD，E2)之间的差值的计算公式，该计算公式是由上述(公式22)表示的差值计算公式。
[数学式10]
此外，在图25所示的差值计算单元272中执行该差值计算处理。
由差值计算单元272计算出的差值数据被输出到主***置计算单元275。
(步骤S304)
随后，在步骤S304中，使用已知的条件和参数创建满足在步骤S303中创建的差值计算公式的双曲面方程。
如上所述，上述的差值计算公式(公式22)是指示双曲面的一部分的公式。换言之，如图23所示，假定点A的坐标为(0，0，c)，点B的坐标为(0，0，-c)，且|AP|-|BP|＝2e，则点P满足上述(公式24)。在示出图23中的双曲面的图中，由(公式24)表示的图示被划分成在+z方向和在-z方向上的两个曲面。
这是因为即使在|AP|-|BP|＝-2e的情况下，也可以获得与(公式24)相同的公式。如果已知|AP|-|BP|的符号，则指定其中的一个。
上述差值计算公式(公式22)也等效于该问题，所以由(公式22)表示的图示为双曲面(两片双曲面)的一片。
在步骤S304中，使用上述已知的条件和参数创建满足在步骤S303中创建的差值计算公式的双曲面方程。
在图25所示的主***置计算单元275中执行该处理。
(步骤S305)
随后，在步骤S305中，使用已知的条件和参数获得在从测距仪(相机)20到对象30的表面D的向量OD的方向上的单位向量d。创建包括单位向量d的线性方程(即上述(公式23)中指示的线性方程)。
此外，给定某个空间上的点(x，y，z)投射在相机上的像素位置是(u，v)，则它们之间的位置关系通常定义为的以下所示(公式25)。
[数学式11]
此外，f、cv和cu是可以预先获得的透镜参数(内部参数)，并且存储在图25所示的内部参数存储器273中。
另一方面，如果给出投射在相机上的像素位置(u，v)，则可以估计在像素位置处观察到的视线方向(视线向量)。换言之，获得以下公式26。
[数学式12]
以上求解(公式26)使得可以确定与向量OD的方向上的视线向量相对应的单位向量d。
利用该处理，获得在从测距仪(相机)20到对象30的表面D的向量OD的方向上的单位向量d。创建包括单位向量d的线性方程(即，下面描述的(公式23)中指示的线性方程)。
[数学式13]
另外，在图25所示的视线向量计算单元274和主***置计算单元275中执行该处理。
(步骤S306)
最后，在步骤S306中，求解由在步骤S303至步骤S304中创建的双曲面方程和在步骤S305中创建的线性方程构形成的联立方程。计算双曲面与直线之间的交点位置。基于计算出的交点位置计算从测距仪(相机)20到对象30的表面的距离D。
该处理计算双曲面与直线之间的交点位置，这在以上参考图22已进行描述。换言之，该处理是获取与双曲面方程(公式22)相对应的差值计算公式、与线性方程(公式23)相对应的公式以及由这两个方程形成的联立方程的处理。
[数学式14]
通过求解为联立方程，计算对象30的表面D的位置(x，y，z)。该位置(x，y，z)是指示相机坐标系的位置的坐标。可以基于位置(x，y，z)计算到相机坐标系的原点O的距离D。
在图25所示的主***置计算单元275中执行步骤S306的处理。
以此方式，可以计算到对象30的距离。
此外，尽管在该过程中未示出，但是在执行距离计算处理时，图25所示的时钟相位差(光源时钟偏移)计算单元208进一步计算在步骤S301至步骤S302中创建的距离计算公式。换言之，时钟相位差(光源时钟偏移)计算单元208计算包括在以下距离计算公式(公式21)中的偏移C(即，由于传感器时钟与光源时钟之间的相位差而发生的测距误差的值)。时钟相位差(光源时钟偏移)计算单元208将结果存储在时钟相位差(光源时钟偏移)存储器209中。
[数学式15]
偏移C的值是固定值，因此可以在后续的距离计算处理中使用。
此外，通过根据图24所示的过程的处理来计算对象30的位置和距离，并且还获取光源的位置。因此，可以使用上述距离计算公式(公式21)从这些值计算偏移C的值。
此外，如果可以计算偏移C的值，则还可以基于偏移C的值来计算传感器时钟与光源时钟之间的相位差。计算出的相位差连同偏移C的值一起存储在时钟相位差(光源时钟偏移)存储器209中。
[8.在光源位置和光源时钟偏移已知的情况下的对象距离(深度)计算处理的具体实例]
接下来，现在描述在光源位置和光源时钟偏移已知的情况下的对象距离(深度)计算处理的具体实例。
该处理与图12的(b)所示的流程图的步骤S31的处理相对应。
图12的(b)中示出的步骤S31中的处理是用于通过使用时钟相位差(即，基于传感器时钟与光源时钟之间的相位差的偏移C，具体地，基于时钟相位差的测距误差的值)来测量到对象的距离(深度)的处理。如上所述，根据图12的(b)所示的过程而执行的处理是在基于时钟相位差预先计算偏移C并将该偏移C存储在存储器中的情况下执行的过程。
换言之，例如，在上述参考图21至图25描述的处理中，该处理是在时钟相位差(光源时钟偏移)计算单元208将偏移C的值存储在时钟相位差(光源时钟偏移)存储器209中之后执行的距离计算处理。
此外，如上所述，偏移C与由于传感器时钟与光源时钟之间的相位差而发生的测距误差的值相对应。
参考图26和其他图描述上述处理的具体实例。
在该处理中，距离(深度)计算单元220通过求解图26右侧所示的两个公式的联立方程来计算到对象30的距离。
换言之，该联立方程是在以下(公式31)中指示的联立方程。
[数学式16]
以上公式31的联立方程由光源a与测距仪(相机)20之间的距离计算公式和包括从测距仪(相机)20到对象30的表面的向量OD方向上的单位向量d的线性方程这两个公式形成。
光源a与测距仪(相机)20之间的距离计算公式与包括在上述(公式11)和(公式21)中的公式相同。
Obs(uD，E1)是在由位于位置E1的光源a发光时在像素位置uD处观察到的距离。
uD＝(uD，vD)是投射点D的像素位置。
此外，C是偏移项，并且与由于传感器时钟与光源时钟之间的相位差而发生的测距误差的值相对应。在该处理实例中，该偏移C的值已知。
包括单位向量d的线性方程是与上述(公式23)相同的公式。
图27是示出执行上述处理的距离(深度)计算单元220的详细配置的图。参考图27，给出用于创建这些联立方程的处理以及由距离(深度)计算单元220执行用于求解该联立方程以计算到对象30的距离的处理的描述。
相位到距离转换单元282最初使用基于来自光源单元10的一个光源a的输出光(即，发射脉冲的光接收脉冲)而获取的帧来计算距离(光源与测距仪(相机)20之间的距离)。
该计算公式是用于计算以上(公式31)的Obs(uD，E1)的距离计算公式。此外，该距离计算公式中包括的偏移C是由于传感器时钟与光源时钟之间的相位差而发生的测距误差的值，并且是图27所示的时钟相位差(光源时钟偏移)存储器209中存储的已知值。
另一方面，视线向量计算单元281和主***置计算单元283使用已知的条件和参数获得在从测距仪(相机)20到对象30的表面D的向量OD的方向上的单位向量d。创建包括单位向量d的线性方程(即，包括在以上(公式31)中的线性方程)。
该处理与以上参考图24描述的过程的步骤S305的处理相同。
随后，主***置计算单元283求解由相位到距离转换单元282所创建的距离计算公式与包括单位向量d的线性方程形成的联立方程(即，上述(公式31)的联立方程)，并且获得对象30的表面D的三维位置以计算到相机坐标系的原点O的距离D。此外，从光源单元位置和定向存储器207获取在这些处理操作中所使用的光源位置信息。从时钟相位差(光源时钟偏移)存储器209获取偏移C的值。
[9.防止在双曲面方程与线性方程的联立方程的解中产生多解的配置]
接下来，现在给出防止双曲面方程与线性方程的联立方程的解中产生多解的配置的描述。
如之前参考图22描述的，作为用于确定对象30的距离的处理，上面描述了用于求解以下联立方程并计算双曲面与直线的交点的处理。
[数学式17]
换言之，(公式22)与(公式23)形成联立方程。(公式22)是到两个光源的距离计算公式的差值计算公式。(公式23)是由连接测距仪(相机)20与对象30的线确定的线性方程(即，包括从测距仪(相机)20的原点O到对象30的表面D的向量OD的方向上的单位向量d的线性方程)。
如参考图22的描述部分(A)所描述的，与双曲面方程相对应的差值计算公式(公式22)以及
与线性方程对应的(公式23)这两个方程作为联立方程求解。
由此，如图22的图解部分(B1)所示，可以计算满足两个方程的点(即，交点)。
如图22的图解部分(B1)所示，该交点是对象30的表面位置D的位置(x，y，z)。
由此，与双曲面方程相对应的差值计算公式(公式22)和与线性方程相对应的(公式23)这两个方程作为联立方程求解。由此，可以计算对象30的表面D的位置(x，y，z)。该位置(x，y，z)是指示相机坐标系的位置的坐标。可以基于位置(x，y，z)计算到相机坐标系的原点O的距离D。
但是，如图22的图解部分(B2)所示，将检测到由与双曲面方程相对应的差值计算公式(公式22)和与线性方程相对应的(公式23)产生的两个交点(即，存在多个解(所谓的多解)可以出现在联立方程中的可能性)。
现在给出用于防止出现这种多解的主体(即，待测量距离的对象)的布置限制的描述。
图28是示出用于防止出现多解的对象30的布置限制的实例的图。
如图28所示，预先定义主体(即，待测量距离的对象)的对象(主体)存在允许区域301。
随后，确定与对象(主体)存在允许区域301的端点相切的双曲面302。在这种情况下，计算双曲面302与对象(主体)存在允许区域301的端点相切并且由以下公式(公式41)定义的k的绝对值为最大值的表面。
[数学式18]
通过以上(公式41)计算出的值k对应于对象30与光源a之间的距离以及对象30与光源b之间的距离之间的差值。
相机(即，测距仪(相机)20)被布置在由该条件限定的双曲面的内部区域中的如所示出的位置处。
这种布置使得可以创建一设定，在该设定中防止在由与双曲面方程相对应的差值计算公式(公式22)和与线性方程相对应的(公式23)形成的联立方程中出现多解(即，防止检测到两个交点)。
图29是设定与图28不同的条件以防止在联立方程中出现多解的实例。
图29中所示的实例是布置限制的实例，在该布置限制中，光源a和光源b以及相机(即，测距仪(相机)20)被布置为满足以下条件：
(条件A)光源a与光源b以及相机(即，测距仪(相机)20)布置成直线，以及
(条件B)从上述直线倾斜测距仪(相机)20的光轴(拍摄方向)。
满足这些条件A和条件B的光源和测距仪(相机)20的布置可以创建一设定，在该设定中防止在由与双曲面方程相对应的差值计算公式(公式22)和与线性方程相对应的(公式23)形成的联立方程中出现多解(即，防止检测到两个交点)。
例如，可以在图29所示的对象(主体)存在允许区域303中布置待测量距离的对象30。
[10.使用多个光源单元的示例性配置]
现在描述使用多个光源单元的示例性配置。本公开的测距***具有可以独立于测距仪(相机)来配置光源单元的技术特征。
换言之，如图30所示，可以在与测距仪(相机)20的时钟不同的时钟下控制光源单元10，独立于测距仪(相机)配置光源单元，并且将光源单元10放置在任何位置。
由此，可以将光源单元10放置在待测量距离的对象30附近，从而缩短直到来自光源单元10的每个光源的光从对象30的表面反射并且入射在测距仪(相机)20的传感器(ToF传感器)上为止的光路。该配置使测距仪(相机)20的传感器(ToF传感器)可以接收高强度光，从而提高检测精度。
此外，来自光源单元10的光源a至光源c的光线被单独控制，使得光线到达测距仪(相机)20而不彼此干扰。因此，例如，如下控制光源的驱动：
(a)以时分驱动光源，
(b)每个光源的发光频率被设定为不同。例如，每个光源的发光频率被设定为不同(诸如时钟频率的一倍、两倍或三倍)，以及
(c)改变每个光源所使用的波长。例如，使用具有诸如为850nm、905nm和940nm的不同波长的光。
使用这种特性导致图31所示的配置可以例如实现这样的配置，即可为布置在宽阔空间中的各种对象测量距离。
换言之，如图31所示，多个光源单元U1至光源单元U3联接在一起且与用于同步的配线连接，从而通过一个时钟来控制它们的发光。
光源单元U1至光源单元U3与用于同步的配线连接，并且在一个时钟的控制下以指定的定时控制它们发光。
然而，单独控制每个光源单元的光源a至光源i，使得光线到达测距仪(相机)20而不彼此干扰。具体地，例如，如下控制光源的驱动：
(a)以时分驱动光源，
(b)每个光源的发光频率被设定为不同。例如，每个光源的发光频率被设定为不同(诸如时钟频率的一倍、两倍或三倍)，以及
(c)改变每个光源所使用的波长。例如，使用具有诸如为850nm、905nm和940nm的不同波长的光。
这样的配置使得可以精确地测量放置在彩色空间中的各种对象的距离。图32示出具体的使用实例。
例如，图32示出布置在仓库中的架子上的多个光源单元。各个光源单元由用于同步的配线连接，并且在一个时钟的控制下。
不同的物品被放置在每个架子上，并且来自光源的光从每个物品的表面反射并且入射在测距仪(相机)20的ToF传感器上。ToF传感器基于输入光中的最高强度光计算距离。这种配置使得可以高精度地测量到宽阔空间内的各种位置处的每个对象的距离。
[11.本公开的测距***的其他使用实例]
接下来，给出本公开的测距***的其他使用实例的描述。
图33示出光源单元10和测距仪(相机)20安装在车辆内部的配置。
该测距仪例如是能够检测驾驶员的姿势等的装置。
例如，该测距***在驾驶员由于突发疾病而处于倚靠在方向盘上的位置的情况下，可以用于车辆的紧急停止。
光源单元10的输出光施加到驾驶员的头部等，并且该输出光的反射光由测距仪(相机)20捕获以检测驾驶员的姿势。当检测到与驾驶员的正常姿势不同的姿势时，可以采取诸如发出警报或使车辆紧急停止的措施。
图34示出一设定，在该设定中客厅中的用户佩戴头戴式显示器(HMD)并且在观看虚拟现实(VR)图像的同时享受游戏。
HMD通过组合由相机捕获的真实世界视图与虚拟图像(诸如，动画)来显示他们。
诸如动画的图像必须通过其与实际捕获的图像中存在的各种对象组合来显示和移动。
例如，动画动物在如所示出的客厅的地板、TV的侧面等上移动。
在HMD上显示这种VR图像是精确地测量到实际对象的距离所必须的。
本公开的***用于该测距。例如，如所示出的天花板灯具用作本公开的***的光源单元10，并且本公开的测距仪(相机)20内置于由用户佩戴的HMD中。
这种***使HMD侧的测距仪(相机)20可以分析来自被配置为天花板灯具的光源单元10的输出光的反射光并且精确地测量到诸如客厅中的地板、电视和观叶植物的各种对象的距离。在HMD中，距离信息针对虚拟对象显示控制的使用使得可以输出高精度的VR图像。
此外，在图34所示的实例中，给出了测距仪(相机)20结合到HMD中的示例性配置的描述。然而，例如，如图35所示，测距仪(相机)20可与HMD分开配置。在图35所示的实例中，测距仪(相机)20放置在电视上，并且光源单元10设置在HMD的侧面上。
这种配置使得来自结合到用户侧的HMD中的光源的光可以从客厅中的各种对象反射，并且反射光可以入射在电视上的测距仪(相机)20中的ToF传感器上。由此，可以分析光接收信号以测量每个对象的距离。测距信息经由例如Wi-Fi等传输到HMD或电视，并且使用测距信息的VR图像被输出到HMD或电视。
光源单元10和测距仪(相机)20的示例性布置可具有各种配置。例如，如图36所示，光源单元10可布置在放置在客厅中的落地灯上。
作为本公开的测距***的另一使用实例，例如，图37中示出洗车机的使用实例。
该洗车机必须精确地测量待洗车的位置以执行最佳洗涤处理是必要的。
为此目的，可以使用本公开的测距***。光源单元10和测距仪(相机)20布置在洗车机的天花板和侧表面上。
该配置使来自光源单元10的光从车辆的表面反射并且入射在光源单元10的ToF传感器上。对反射光的分析使得可以精确地测量到车辆表面的距离，可以最佳地控制水压调整和清洗剂喷射量等，从而可以实现更有效的清洗。
[12.测距仪的示例性硬件配置]
现在将参考图38给出测距仪的示例性硬件配置的描述。
此外，图38是示出可用作在上述实施方式中描述的测距仪的硬件的示例性配置的图。
中央处理单元(CPU)501用作根据存储在只读存储器(ROM)502或存储单元508中的程序执行各种处理的数据处理单元。例如，执行根据上述实施方式中描述的顺序的处理。将由CPU 501执行的程序、数据等存储在随机存取存储器(RAM)503中。CPU 501、ROM 502和RAM503经由总线504互相连接。
CPU 501经由总线504连接至输入/输出接口505。包括各种开关、键盘、鼠标、麦克风等中的任何的输入单元506与包括显示器、扬声器等的输出单元507连接至输入/输出接口505。
CPU 501响应于从输入单元506输入的命令执行各种处理，并将处理结果输出到例如输出单元507。
例如使用硬盘等配置连接至输入/输出接口505的存储单元508，并且该存储单元508存储由CPU 501执行的程序和各种类型的数据。通信单元509用作经由诸如互联网或局域网的网络的数据通信收发单元，并且此外，用作用于广播波的收发单元，并且通信单元509与外部装置通信。
连接至输入/输出接口505的驱动器510驱动诸如磁盘、光盘、磁光盘的可移除介质511、以及诸如存储卡的半导体存储器，并执行数据记录或读取。
ToF传感器521检测从光源输出的光的对象反射光。传感器时钟522用作控制ToF传感器521的光接收定时的时钟。
[13.本公开的配置的总结]
已经参考具体实施方式详细描述本公开的实施方式。但是，显而易见的是本领域技术人员可在不脱离本公开的要旨的范围内对实施方式进行修改和替换。换言之，本公开已经以示例的形式公开并且不应被限制性地解读。为了确定本公开的要旨，应当考虑权利要求的范围。
此外，本说明书中公开的技术可以在本文包括以下配置。
(1)一种测距仪，包括：
飞行时间(ToF)传感器，被配置为接收从对象的表面反射的光，所反射的光从包括在光源单元中的多个光源中的每个光源输出；以及
距离计算单元，被配置为分析ToF传感器的输出以计算到对象的距离，
其中，ToF传感器具有由传感器时钟控制的图像捕获定时，并且光源单元具有由光源单元时钟控制的光源发光定时，传感器时钟是专用于测距仪的时钟、与光源单元时钟不同。
(2)根据(1)的测距仪，还包括：
传感器时钟调整单元，被配置为执行消除或减小传感器时钟与光源单元时钟之间的在频率上的偏差的控制。
(3)根据(2)的测距仪，还包括：
时钟偏差量估计单元，被配置为计算传感器时钟与光源单元时钟之间的在频率上的偏差量，
其中，传感器时钟调整单元
根据由时钟偏差量估计单元估计的在频率上的偏差量来调整传感器时钟的频率。
(4)根据(1)至(3)中任一项的测距仪，还包括：
光源位置估计单元，被配置为分析光源单元的每个光源的位置。
(5)根据(4)的测距仪，其中，光源位置估计单元
创建用于计算从设置在光源单元中的至少三个光源到测距仪的距离的三个距离计算公式，
该三个距离计算公式由以下数据项(a)至数据项(c)形成：
(a)与测距仪和对象之间的距离有关的数据，
(b)与对象和光源单元的每个光源之间的距离有关的数据，以及
(c)偏移C，该偏移C与由于传感器时钟和光源时钟之间的相位差而发生的测距误差相对应。
(6)根据(5)的测距仪，还包括：
距离计算单元，被配置为通过创建用于计算各个距离计算公式的差值的三个差值计算公式并将所创建的三个差值计算公式作为联立方程求解，来计算测距仪与对象之间的距离。
(7)根据(6)的测距仪，其中差值计算公式为
不包括与由于传感器时钟和光源时钟之间的相位差而发生的测距误差相对应的偏移C的公式。
(8)根据(1)至(7)中任一项的测距仪，还包括：
距离计算单元，被配置为通过创建用于计算从设置在光源单元中的至少两个光源到测距仪的距离的两个距离计算公式来计算测距仪与对象之间的距离，
两个距离计算公式由以下数据项(a)至数据项(c)形成：
(a)与测距仪和对象之间的距离有关的数据，
(b)与对象和光源单元的每个光源之间的距离有关的数据，以及
(c)偏移C，该偏移C与由于传感器时钟和光源时钟之间的相位差而发生的测距误差相对应，
进一步通过创建用于计算各个距离计算公式的差值的一个差值计算公式来计算测距仪与对象之间的距离，并且
进一步通过创建
(d)由连接测距仪和对象的线确定的线性方程，并且
通过将差值计算公式和线性方程作为联立方程求解来计算测距仪与对象之间的距离。
(9)根据(8)的测距仪，其中，差值计算公式为
使用光源单元的两个光源的位置作为焦点来定义双曲面的方程，并且
距离计算单元
计算由差值计算公式定义的双曲面与线性方程之间的交点作为对象的位置。
(10)一种测距***，包括：
光源单元，具有多个光源；以及
测距仪，被配置为接收从对象的表面反射的光，所反射的光从光源单元的每个光源输出，
其中，测距仪包括：
飞行时间(ToF)传感器，被配置为从对象接收所反射的光；以及
距离计算单元，被配置为分析ToF传感器的输出以计算到对象的距离，并且
光源单元具有由光源单元时钟控制的光源发光定时，并且测距仪的ToF传感器具有由传感器时钟控制的图像捕获定时，光源单元时钟和传感器时钟是不同的独立时钟。
(11)根据(10)的测距***，其中，光源单元包括具有固定相对位置的多个光源。
(12)根据(10)或(11)的测距***，其中，光源单元包括具有固定相对位置的三个或更多个光源。
(13)根据(10)至(12)中任一项的测距***，其中，测距***包括：
多个光源单元，多个光源单元中的每个光源单元具有多个光源，并且
设置在多个光源单元中的多个光源具有由一个光源单元时钟控制的发光定时。
(14)根据(10)至(13)中任一项的测距***，其中，
光源单元的多个光源与测距仪布置成一条直线，并且
测距仪利用ToF传感器从与直线的方向不同的方向捕获输入光。
(15)根据(10)至(14)中任一项的测距***，还包括：
时钟调整单元，设置在光源单元以及测距仪中的至少一者中，该时钟调整单元被配置为执行消除或减小传感器时钟与光源单元时钟之间的频率上的偏差的控制。
(16)一种在测距仪中执行的测距方法，该方法包括：
通过飞行时间(ToF)传感器接收从对象的表面反射的光的步骤，所反射的光从包括在光源单元中的多个光源中的每个光源输出；以及
由距离计算单元通过分析ToF传感器的输出来计算到对象的距离的距离计算步骤，
其中，该距离计算步骤为
通过创建用于计算从光源单元的多个光源到测距仪的距离的多个距离计算公式来计算到对象的距离的步骤，
该多个距离计算公式由以下数据项(a)至数据项(c)形成：
(a)与测距仪和对象之间的距离有关的数据，
(b)与对象和光源单元的每个光源之间的距离有关的数据，以及
(c)偏移C，该偏移C与由于传感器时钟和光源时钟之间的相位差而发生的测距误差相对应，并且
进一步通过创建用于计算各个距离计算公式的差值的差值计算公式并且使用所创建的差值计算公式来计算到对象的距离。
(17)一种在测距***中执行的测距方法，该测距***包括具有多个光源的光源单元以及被配置为接收从光源单元的每个光源输出并从对象的表面反射的光的测距仪，该方法包括：
由光源单元以由光源单元时钟限定的发光定时从光源单元的每个光源发射光的步骤；
由测距仪的ToF传感器以由与光源单元时钟不同的传感器时钟限定的图像捕获定时执行图像捕获的步骤；以及
由测距仪的距离计算单元通过分析ToF传感器的输出来计算到对象的距离的步骤。
(18)一种使测距仪执行测距处理的程序，包括：
使得飞行时间(ToF)传感器接收从对象的表面反射的光的步骤，该反射光从包括在光源单元中的多个光源中的每个光源输出；以及
距离计算单元通过分析ToF传感器的输出来计算到对象的距离的距离计算步骤，
其中，距离计算步骤执行：
创建用于计算从光源单元的多个光源到测距仪的距离的多个距离计算公式的处理，
多个距离计算公式由以下数据项(a)至数据项(c)形成：
(a)与测距仪和对象之间的距离有关的数据，
(b)与对象和光源单元的每个光源之间的距离有关的数据，以及
(c)偏移C，该偏移C与由于传感器时钟和光源时钟之间的相位差而发生的测距误差相对应，并且
创建用于计算各个距离计算公式的差值的差值计算公式的进一步处理、以及使用所创建的差值计算公式来计算到对象的距离的处理。
此外，说明书中描述的一系列处理可通过硬件、软件或两者的复杂配置来执行。在使用软件执行处理的情况下，可以通过在内置于专用硬件中的计算机中的存储器上安装记录处理顺序的程序或者通过在可以执行各种处理的通用计算机中安装程序来执行处理。例如，可以预先在记录介质中记录程序。除了从记录介质安装在计算机上之外，还可经由诸如局域网(LAN)和互联网的网络接收程序，并将接收的程序安装在诸如内置硬盘的记录介质上。
应注意，本说明书中描述的各个处理不仅可以根据描述以时间序列执行，而且还可以根据执行处理的设备的处理性能或在需要并行地或单独地执行。此外，本说明书中的术语“***”是指多个设备的逻辑组配置，并且不限于各个配置的设备被设置在同一壳体中的***。
工业适用性
如上所述，本公开的一个实施方式实现了通过单独的时钟控制具有多个光源的光源单元和测距仪(相机)以允许将光源设定在可选位置的配置。
具体地，例如，光源单元的多个光源的输出光从对象的表面反射，并且ToF传感器捕获反射光以计算到对象的距离。控制ToF传感器的图像捕获定时的传感器时钟是专用于测距仪的时钟，该传感器时钟与控制光源单元的光源的发光定时的光源单元时钟不同。测距仪创建用于计算从每个光源到测距仪的距离的多个距离计算公式的差值计算公式，以使用所创建的差值计算公式来计算到对象的距离。
本配置实现了通过单独的时钟控制具有多个光源的光源单元以及测距仪(相机)以允许将光源设定在可选位置处的配置。
参考符号列表
1 光源
2 相机(光接收单元)
3 对象
10 光源单元
20 测距仪(相机)
30 对象
101 光源单元时钟
102 光源控制单元
103至105 延迟调整单元
106至108 光源a至光源c
201 传感器时钟
202 ToF传感器
203 移动主体检测单元
204 相位计算单元
205 相位图像存储器
206 光源位置估计单元
207 光源单元位置和定向存储器
208 时钟相位差(光源时钟偏移)计算单元
209 时钟相位差(光源时钟偏移)存储器
210 时钟偏差量估计单元
211 传感器时钟调整单元
220 距离(深度)计算单元
251 相位到距离转换单元
252 差值计算单元
253 主体计算单元
254 光源-相机位置关系估计单元
256 相机-光源坐标系相对位置DB
257 坐标转换单元
271 相位到距离转换单元
272 差值计算单元
273 内部参数存储器
274 视线向量计算单元
275 主***置计算单元
281 视线向量计算单元
282 相位到距离转换单元
283 主***置计算单元
301、302 对象(主体)存在允许区域
501 CPU
502 ROM
503 RAM
504 总线
505 输入/输出接口
506 输入单元
507 输出单元
508 存储单元
509 通信单元
510 驱动器
511 可移除介质
521 ToF传感器
522 传感器时钟。

Claims (16)

1.一种测距仪，包括：
飞行时间传感器，被配置为接收从对象的表面反射的光，所反射的光从包括在光源单元中的多个光源中的每个光源输出；以及
距离计算单元，被配置为分析所述飞行时间传感器的输出以计算到所述对象的距离，
其中，所述飞行时间传感器具有由传感器时钟控制的图像捕获定时，并且所述光源单元具有由光源单元时钟控制的光源发光定时，所述传感器时钟是与所述光源单元时钟不同的专用于所述测距仪的时钟；
所述测距仪还包括：
光源位置估计单元，被配置为分析所述光源单元中的每个所述光源的位置，
所述光源位置估计单元：
创建用于计算从设置在所述光源单元中的至少三个所述光源到所述测距仪的距离的三个距离计算公式，所述三个距离计算公式由以下数据项(a)至数据项(c)形成：
(a)与所述测距仪和所述对象之间的距离有关的数据，
(b)与所述对象和所述光源单元中的每个所述光源之间的距离有关的数据，以及
(c)偏移C，所述偏移C与由于所述传感器时钟和光源单元时钟之间的相位差而发生的测距误差相对应。
2.根据权利要求1所述的测距仪，还包括：
传感器时钟调整单元，被配置为执行消除或减小所述传感器时钟与所述光源单元时钟之间的在频率上的偏差的控制。
3.根据权利要求2所述的测距仪，还包括：
时钟偏差量估计单元，被配置为计算所述传感器时钟与所述光源单元时钟之间的在频率上的偏差量，
其中，所述传感器时钟调整单元：
根据由所述时钟偏差量估计单元估计的在频率上的所述偏差量来调整所述传感器时钟的频率。
4.根据权利要求1所述的测距仪，还包括：
距离计算单元，被配置为通过创建用于计算各个距离计算公式的差值的三个差值计算公式并且将所创建的三个差值计算公式作为联立方程求解，来计算所述测距仪与所述对象之间的距离。
5.根据权利要求4所述的测距仪，其中，所述差值计算公式为不包括所述偏移C的公式，所述偏移C与由于所述传感器时钟和所述光源单元时钟之间的相位差而发生的所述测距误差相对应。
6.根据权利要求1所述的测距仪，还包括：
距离计算单元，被配置为通过创建用于计算从设置在所述光源单元中的至少两个所述光源到所述测距仪的距离的两个距离计算公式来计算所述测距仪与所述对象之间的距离，
所述两个距离计算公式由以下数据项(a)至数据项(c)形成：
(a)与所述测距仪和所述对象之间的距离有关的数据，
(b)与所述对象和所述光源单元中的每个所述光源之间的距离有关的数据，以及
(c)偏移C，所述偏移C与由于所述传感器时钟与光源单元时钟之间的相位差而发生的测距误差相对应，
进一步通过创建用于计算各个距离计算公式的差值的一个差值计算公式，来计算所述测距仪与所述对象之间的距离，并且
进一步
通过创建(d)由连接所述测距仪与所述对象的线确定的线性方程，并且通过将所述差值计算公式与所述线性方程作为联立方程求解，来计算所述测距仪与所述对象之间的距离。
7.根据权利要求6所述的测距仪，其中，
所述差值计算公式为使用所述光源单元的两个所述光源的位置作为焦点来定义双曲面的方程，并且
所述距离计算单元
计算由所述差值计算公式定义的所述双曲面与所述线性方程之间的交点，作为所述对象的位置。
8.一种测距***，包括：
光源单元，具有多个光源；以及
测距仪，被配置为接收从对象的表面反射的光，所反射的光从所述光源单元的每个所述光源输出，
其中，所述测距仪包括：
飞行时间传感器，被配置为从所述对象接收所反射的光；以及
距离计算单元，被配置为分析所述飞行时间传感器的输出以计算到所述对象的距离，并且
所述光源单元具有由光源单元时钟控制的光源发光定时，并且所述飞行时间传感器具有由传感器时钟控制的图像捕获定时，所述光源单元时钟与所述传感器时钟是不同的独立时钟；
所述测距仪还包括：
光源位置估计单元，被配置为分析所述光源单元中的每个所述光源的位置，
所述光源位置估计单元：
创建用于计算从设置在所述光源单元中的至少三个所述光源到所述测距仪的距离的三个距离计算公式，所述三个距离计算公式由以下数据项(a)至数据项(c)形成：
(a)与所述测距仪和所述对象之间的距离有关的数据，
(b)与所述对象和所述光源单元中的每个所述光源之间的距离有关的数据，以及
(c)偏移C，所述偏移C与由于所述传感器时钟和光源单元时钟之间的相位差而发生的测距误差相对应。
9.根据权利要求8所述的测距***，其中，所述光源单元包括具有固定的相对位置的多个所述光源。
10.根据权利要求8所述的测距***，其中，所述光源单元包括具有固定的相对位置的三个或更多个所述光源。
11.根据权利要求8所述的测距***，其中，
所述测距***包括：
多个光源单元，所述多个光源单元中的每个光源单元具有多个所述光源，并且
设置在所述多个光源单元中的多个所述光源具有由一个所述光源单元时钟控制的光源发光定时。
12.根据权利要求8所述的测距***，其中，
所述光源单元的多个所述光源与所述测距仪布置成一条直线，并且
所述测距仪利用所述飞行时间传感器从与所述直线的方向不同的方向捕获输入光。
13.根据权利要求8所述的测距***，还包括：
时钟调整单元，设置在所述光源单元以及所述测距仪中的至少一者中，所述时钟调整单元被配置为执行消除或减小所述传感器时钟与所述光源单元时钟之间的频率上的偏差的控制。
14.一种在测距仪中执行的测距方法，所述方法包括：
由飞行时间传感器接收从对象的表面反射的光的步骤，所反射的光从包括在光源单元中的多个光源中的每个光源输出；以及
由距离计算单元通过分析所述飞行时间传感器的输出来计算到所述对象的距离的距离计算步骤，
其中，所述距离计算步骤为：
通过创建用于计算从所述光源单元中的多个所述光源到所述测距仪的距离的多个距离计算公式来计算到所述对象的距离的步骤，
所述多个距离计算公式由以下数据项(a)至数据项(c)形成：
(a)与所述测距仪和所述对象之间的距离有关的数据，
(b)与所述对象和所述光源单元中的每个所述光源之间的距离有关的数据，以及
(c)偏移C，所述偏移C与由于传感器时钟和光源单元时钟之间的相位差而发生的测距误差相对应，其中，所述传感器时钟控制所述飞行时间传感器的图像捕获定时并且所述光源单元时钟控制所述光源单元的光源发光定时，并且
进一步通过创建用于计算各个距离计算公式的差值的差值计算公式并且通过使用所创建的差值计算公式来计算到所述对象的距离。
15.一种在测距***中执行的测距方法，所述测距***包括具有多个光源的光源单元以及测距仪，所述测距仪被配置为接收从所述光源单元的每个所述光源输并出且从对象的表面反射的光，所述方法包括：
由所述光源单元以由光源单元时钟限定的发光定时从所述光源单元的每个所述光源发射光的步骤；
由所述测距仪的飞行时间传感器以由与所述光源单元时钟不同的传感器时钟限定的图像捕获定时执行图像捕获的步骤；以及
由所述测距仪的距离计算单元通过分析所述飞行时间传感器的输出来计算到所述对象的距离的步骤；
其中，所述测距仪还包括：光源位置估计单元，被配置为分析所述光源单元中的每个所述光源的位置，
由所述测距仪的所述光源位置估计单元：
创建用于计算从设置在所述光源单元中的至少三个所述光源到所述测距仪的距离的三个距离计算公式，所述三个距离计算公式由以下数据项(a)至数据项(c)形成：
(a)与所述测距仪和所述对象之间的距离有关的数据，
(b)与所述对象和所述光源单元中的每个所述光源之间的距离有关的数据，以及
(c)偏移C，所述偏移C与由于所述传感器时钟和光源单元时钟之间的相位差而发生的测距误差相对应。
16.一种计算机可读存储介质，其上存储有程序，所述程序在被执行时使测距仪执行测距处理，所述测距处理包括：
使飞行时间传感器接收从对象的表面反射的光的步骤，所反射的光从包括在光源单元中的多个光源中的每个光源输出；以及
使距离计算单元通过分析所述飞行时间传感器的输出来计算到所述对象的距离的距离计算步骤，
其中，所述距离计算步骤执行：
创建用于计算从所述光源单元中的多个所述光源到所述测距仪的距离的多个距离计算公式的处理，
所述多个距离计算公式由以下数据项(a)至数据项(c)形成：
(a)与所述测距仪和所述对象之间的距离有关的数据，
(b)与所述对象和所述光源单元中的每个所述光源之间的距离有关的数据，以及
(c)偏移C，所述偏移C与由于传感器时钟和光源单元时钟之间的相位差而发生的测距误差相对应，其中，所述传感器时钟控制所述飞行时间传感器的图像捕获定时并且所述光源单元时钟控制所述光源单元的光源发光定时，以及
创建用于计算各个距离计算公式的差值的差值计算公式的进一步处理、以及使用所创建的所述差值计算公式来计算到所述对象的距离的处理。
CN201980051036.3A 2018-08-07 2019-07-10 测距仪、测距***、测距方法及程序 Active CN112513670B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-148529 2018-08-07
JP2018148529 2018-08-07
PCT/JP2019/027353 WO2020031603A1 (ja) 2018-08-07 2019-07-10 距離計測装置、距離計測システム、および距離計測方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN112513670A CN112513670A (zh) 2021-03-16
CN112513670B true CN112513670B (zh) 2024-06-18

Family

ID=69415510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980051036.3A Active CN112513670B (zh) 2018-08-07 2019-07-10 测距仪、测距***、测距方法及程序

Country Status (5)

Country Link
US (1) US20210293939A1 (zh)
KR (1) KR20210042311A (zh)
CN (1) CN112513670B (zh)
DE (1) DE112019003952T5 (zh)
WO (1) WO2020031603A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210036574A (ko) * 2019-09-26 2021-04-05 삼성전자주식회사 자세 추정 방법 및 장치
KR20240030636A (ko) 2022-08-31 2024-03-07 주식회사 동운아나텍 3d 센싱 시스템의 센싱 깊이값 보정장치 및 그 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6373428B1 (en) * 1999-04-01 2002-04-16 Mcewan Technologies, Llc Self locking dual frequency clock system
US7525670B1 (en) * 2008-04-02 2009-04-28 Eastman Kodak Company Distance and orientation measurement of an object
JP2010190675A (ja) * 2009-02-17 2010-09-02 Toyota Motor Corp 距離画像センサシステムおよび距離画像生成方法
KR101975971B1 (ko) * 2012-03-19 2019-05-08 삼성전자주식회사 깊이 카메라, 다중 깊이 카메라 시스템, 그리고 그것의 동기 방법
JP2018031607A (ja) 2016-08-23 2018-03-01 ソニーセミコンダクタソリューションズ株式会社 測距装置、電子装置、および、測距装置の制御方法
JP6795758B2 (ja) * 2016-09-29 2020-12-02 ミツミ電機株式会社 センサ回路及びセンサ装置
CN110226184B (zh) * 2016-12-27 2023-07-14 杰拉德·迪尔克·施密茨 用于机器感知的***和方法

Also Published As

Publication number Publication date
DE112019003952T5 (de) 2021-05-06
US20210293939A1 (en) 2021-09-23
TW202010999A (zh) 2020-03-16
KR20210042311A (ko) 2021-04-19
CN112513670A (zh) 2021-03-16
WO2020031603A1 (ja) 2020-02-13

Similar Documents

Publication Publication Date Title
US11625845B2 (en) Depth measurement assembly with a structured light source and a time of flight camera
JP6827073B2 (ja) 構造化光およびタイムオブフライトを用いた深度マッピング
US10496157B2 (en) Controlling handheld object light sources for tracking
US10935371B2 (en) Three-dimensional triangulational scanner with background light cancellation
JP7076368B2 (ja) レンジゲート式デプスカメラ部品
US20140055771A1 (en) Time of Flight Camera with Stripe Illumination
JP2016509378A (ja) 関心のある被写体の適応性照明を用いる奥行き撮像方法および装置
CA3051102A1 (en) Method for epipolar time of flight imaging
US11803982B2 (en) Image processing device and three-dimensional measuring system
JP2010190675A (ja) 距離画像センサシステムおよび距離画像生成方法
CN112513670B (zh) 测距仪、测距***、测距方法及程序
Schönlieb et al. Coded modulation phase unwrapping for time-of-flight cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant