CN113538592A - 一种距离测量装置与相机融合***的标定方法及装置 - Google Patents
一种距离测量装置与相机融合***的标定方法及装置 Download PDFInfo
- Publication number
- CN113538592A CN113538592A CN202110680076.3A CN202110680076A CN113538592A CN 113538592 A CN113538592 A CN 113538592A CN 202110680076 A CN202110680076 A CN 202110680076A CN 113538592 A CN113538592 A CN 113538592A
- Authority
- CN
- China
- Prior art keywords
- camera
- distance measuring
- measuring device
- target image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000005259 measurement Methods 0.000 claims abstract description 33
- 238000004590 computer program Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 26
- 238000003384 imaging method Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 108091026890 Coding region Proteins 0.000 description 1
- 101000701876 Homo sapiens Serpin A9 Proteins 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 102000050111 human SERPINA9 Human genes 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本申请适用于距离测量技术领域，提供了一种距离测量装置与相机融合***的在线标定方法，包括：控制距离测量装置向目标场景投射斑点光束并采集斑点光束得到第一目标图像，同步控制相机采集目标场景得到第二目标图像；根据第一目标图像获取斑点光束对应的光斑在世界坐标系下的三维坐标信息；根据第二目标图像获取斑点光束对应的光斑在像素坐标系下的二维坐标信息；根据预设投影规则确定多对初始点对；获取每个初始点对的匹配置信度；将匹配置信度满足预设条件的初始点对作为目标点对，根据目标点对计算距离测量装置与相机之间的外参。实现了实时、高精度的在线标定校准，提高了自标定方案的鲁棒性及适应性。
Description
技术领域
本申请属于距离测量技术领域，尤其涉及一种距离测量装置与相机融合***的标定方法及装置。
背景技术
对于目前成熟的智能感知方案，特别是L4以上自动驾驶***，对感知能力的需求多样化，需要利用距离测量装置与相机等多传感器融合来实现对车辆、环境，精确实时、全面可靠的感知。其中，所述距离测量装置包括基于飞行时间原理的深度相机或者激光雷达(LiDAR，Light Detection and Ranging)，用于获取目标的三维数据。在距离测量装置与相机融合***中，相机可以提供丰富的视觉纹理信息，弥补由于距离测量装置低分辨率导致在识别、认知上的短板；同时距离测量装置直接的3D几何测量也可以弥补相机在深度估计方面的不足，提供更为精确的深度信息。
在距离测量装置与相机融合***中，多传感器融合需要首要解决的问题是，如何将不同的传感器的数据标定到同一个坐标系里，距离测量装置与相机融合***的高精度标定是数据融合处理的基础和前提。通常距离测量装置与相机融合***在出厂前会进行参数标定，但是产品在实际使用过程中由于温度、机械碰撞、使用老化等因素的影响，会导致***的内外参数发生变化，使得***标定精度下降，导致多传感器之间出现“对不齐”的情况，对后续的感知、三维重建等应用的精度产生非常明显的影响，这时就需要进行在线标定重新标定内外参数。但是，目前的在线标定算法，无论是精度还是鲁棒性都比较差，导致这种情况下只能返厂进行离线标定，而目前离线标定算法对场景、目标要求较高，并且实际操作较为复杂，整个流程需要的人力成本、时间成本都很高。
发明内容
本申请实施例提供了一种距离测量装置与相机融合***的标定方法及装置，可以解决上述问题。
第一方面，本申请实施例提供了一种距离测量装置与相机融合***的标定方法，包括：
控制所述距离测量装置向目标场景投射斑点光束并采集所述斑点光束得到第一目标图像，并且同步控制所述相机采集所述目标场景得到第二目标图像；其中，所述第二目标图像为红外波段下的成像结果；
根据所述第一目标图像获取所述斑点光束对应的光斑在世界坐标系下的三维坐标信息；
根据所述第二目标图像获取所述斑点光束对应的光斑在像素坐标系下的二维坐标信息；
根据预设投影规则确定多对初始点对，所述初始点对包括所述光斑对应的所述三维坐标信息和所述二维坐标信息；
获取每个所述初始点对的匹配置信度；
将所述匹配置信度满足预设条件的初始点对作为目标点对，并根据所述目标点对计算所述距离测量装置与所述相机之间的外参。
进一步地，所述根据所述第一目标图像获取所述斑点光束对应的光斑在世界坐标系下的三维坐标信息，包括：
根据所述第一目标图像获取所述斑点光束对应的光斑在像素坐标系下的第一坐标；
获取所述斑点光束对应的距离测量值；
根据所述距离测量装置的内参、所述第一坐标和所述距离测量值，计算得到所述斑点光束对应的光斑在世界坐标系下的三维坐标信息。
进一步地，在所述根据预设投影规则确定多对初始点对之前，还包括：
根据所述距离测量值计算得到所述斑点光束对应的光斑的视差值，
根据所述视差值修正所述光斑在所述第二目标图像中空间分布；
匹配修正后的所述第二目标图像和所述第一目标图像确定多对初始点对。
进一步地，所述预设投影规则确定多对初始点对，包括：
所述预设投影规则为时间编码规则，将同一时刻对应的所述三维坐标信息与所述二维坐标信息进行匹配，得到多对初始点对；
所述预设投影规则为空间编码规则，匹配所述第一目标图像和所述第二目标图像中所述光斑的空间分布，得到多对初始点对。进一步地，所述根据所述目标点对计算所述距离测量装置与所述相机之间的外参，包括：
构建重投影误差函数模型；
根据所述目标点对和所述重投影误差函数模型进行迭代计算，得到最小重投影误差和所述距离测量装置与所述相机之间的外参。
进一步地，在所述根据所述目标点对和所述重投影误差函数模型进行迭代计算，得到最小重投影误差和所述距离测量装置与所述相机之间的外参之后，还包括：
对所述距离测量装置的深度相机的第一内参初值和所述相机融合***中的相机的第二内参初值进行优化，得到所述距离测量装置的优化后的第一目标内参和所述相机的优化后的第二目标内参。
进一步地，在所述获取每个所述初始点对的匹配置信度之后，还包括；
根据每个所述初始点对的匹配置信度确定整体置信度；
若所述整体置信度小于预设阈值，则判定工作状态异常，并且停止计算所述距离测量装置与所述相机之间的外参。
第二方面，本申请实施例提供了一种距离测量装置与相机融合***的标定装置，包括：
控制单元，用于控制所述距离测量装置向目标场景投射斑点光束并采集所述斑点光束得到第一目标图像，并且同步控制所述相机采集所述目标场景得到第二目标图像；其中，所述第二目标图像为红外波段下的成像结果；
第一获取单元，用于根据所述第一目标图像获取所述斑点光束对应的光斑在世界坐标系下的三维坐标信息；
第二获取单元，用于根据所述第二目标图像获取所述斑点光束对应的光斑在像素坐标系下的二维坐标信息；
确定单元，用于根据预设投影规则确定多对初始点对，所述初始点对包括所述光斑对应的所述三维坐标信息和所述二维坐标信息；
第三获取单元，用于获取每个所述初始点对的匹配置信度；
第一处理单元，用于将所述匹配置信度满足预设条件的初始点对作为目标点对，并根据所述目标点对计算所述距离测量装置与所述相机之间的外参。
第三方面，本申请实施例提供了一种距离测量装置与相机融合***的标定装置设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的距离测量装置与相机融合***的标定方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的距离测量装置与相机融合***的标定方法。
本申请实施例中，控制距离测量装置向目标场景投射斑点光束并采集斑点光束得到第一目标图像，并且同步控制相机采集目标场景得到第二目标图像；根据第一目标图像获取斑点光束对应的光斑在世界坐标系下的三维坐标信息；根据第二目标图像获取斑点光束对应的光斑在像素坐标系下的二维坐标信息；根据预设投影规则确定多对初始点对，所述初始点对包括所述光斑对应的所述三维坐标信息和所述二维坐标信息；获取每个初始点对的匹配置信度；将匹配置信度满足预设条件的初始点对作为目标点对，并根据目标点对计算距离测量装置与相机之间的外参。上述自标定方案可以不依赖特殊的标定设备及标定物，在复杂使用场景下，调制距离测量装置以预设编码规则发射斑点光束，并通过具有红外感光能力的相机同步对距离测量装置投射到目标场景的斑点光束进行成像，实现距离测量装置和相机实时、在线的标定校准，突破距离测量装置分辨率的对外参标定精度的限制，降低标定的人力成本及时间成本，并且保证3D数据与2D数据的准确匹配，提高了自标定方案的鲁棒性及适应性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请第一实施例提供的一种距离测量装置与相机融合***的标定方法的示意流程图；
图2是本申请第一实施例提供的一种距离测量装置与相机融合***的标定方法中一种空间编码规则的示意图；
图3是本申请第一实施例提供的一种距离测量装置与相机融合***的标定方法中另一种空间编码规则的示意图；
图4是本申请第二实施例提供的距离测量装置与相机融合***的标定设备的示意图；
图5是本申请第三实施例提供的距离测量装置与相机融合***的标定设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
请参见图1，图1是本申请第一实施例提供的一种距离测量装置与相机融合***的标定方法的示意流程图。本实施例中一种距离测量装置与相机融合***的标定方法的执行主体为具有距离测量装置与相机融合***的标定功能的设备。
在对距离测量装置与相机融合***的标定方法进行详细的说明前，先说明一下距离测量装置与相机融合***。
距离测量装置包括ToF深度传感器\LiDAR，用于朝向目标场景投射斑点光束并采集被目标场景反射的斑点光束，计算斑点光束从发射到被采集的飞行时间获取目标场景的深度图像。
距离测量装置中，采用的是固定阵列发射模式的LiDAR或深度相机，可以是面阵发射式或机械扫描式的LiDAR，或者也可以是基于飞行时间原理(包括DTOF、ITOF)的深度相机中的任意一种，距离测量装置的发射器包括至少一个光源，用于投射斑点光束。
具体的，距离测量装置包括发射器、采集器、控制和处理电路。
发射器包括光源、发射光学元件等。在一些实施例中，还包括分束元件。对于光源，光源可以是单个光源或者是由多个光源组成的光源阵列，其中，光源阵列可以被配置分组发光，分成多个子光源阵列，每个子光源阵列可以是一行或一列光源，也可以是其他任意的形式。当控制发射器发射斑点光束时可以一次仅开启一个子光源阵列或者仅开启每个子光源阵列中的一个光源，以产生固定的点阵列形式出射投影在目标表面。
一种典型的实例，光源配置为VCSEL(Vertical-Cavity Surface-EmittingLaser，垂直腔面发射激光器)阵列光源，通过列寻址或二位寻址进行阵列发射，并经过单个或多个透镜构成的发射光学元件调制后以固定的点阵列形式投影在目标表面。又一种典型的实例，光源可以使用EEL(Edge-emitting Laser，边发射激光器)或VCSEL发射斑点光束，发射光学元件包括准直透镜以及分束元件，经过发射光学元件后进行光学准直并由分束元件进行分束，同样产生固定的点阵列形式出射投影在物体表面，分束元件可以是衍射光源元件(Difractive Optical Element，DOE)、微透镜阵列等。
采集器，包括由至少一个像素组成的像素单元、过滤单元和接收光学元件，接收光学元件将目标反射的斑点光束成像到像素阵列上，过滤单元用于滤除背景光和杂散光，所述像素可以是APD、SiPM、SPAD、CCD、CMOS等光电探测器中的一种。在一些实施例中，像素单元是一种专门用于光飞行时间测量的图像传感器，像素单元也可以集成到一种专门用于光飞行时间测量的感光芯片中。在一个典型实施例中，像素单元包括由多个SPAD组成，SPAD可以对入射的单个光子进行响应并输出指示所接收光子在每个SPAD处相应到达时间的光子信号。一般地，采集器还包括有与像素单元连接的信号放大器、时数转换器(TDC)、数模转换器(ADC)等器件中的一种或多种组成的读出电路(这些电路即可以与像素整合在一起，作为采集器的一部分，也可以作为控制和处理电路的一部分。
控制和处理电路可以是独立的专用电路，比如深度相机自身具有计算能力的独立电路；也可以包含通用处理电路，比如当该深度相机被集成到如手机、电视、电脑等智能终端中去，终端中的处理器可以执行控制和处理电路的功能。控制和处理电路同时控制发射器和采集器，并根据发射光束与反射光束之间的时间差或相位差计算目标的深度。在本发明中，为便于表述，将控制与处理电路作为具有距离测量装置与相机融合***的标定功能的设备的一部分。
其中，对于控制和处理电路执行深度计算的测量原理，典型的是通过直接(DToF)飞行时间方法，计算脉冲发射时刻与接收时刻间的差值来计算飞行时间t，进一步根据公式D＝ct/2计算物体距离。另外，也可以通过间接(IToF)飞行时间方法，通过求解发射波形的相位信息来求解飞行时间，或者是通过发射调制编码的连续波信号，接收端通过相关匹配等信号处理方法间接求解飞行时间，例如：AMCW调幅连续波，FMCW调频连续波，编码脉冲发射等，上述不同的测距方案均不会影响本方案的实现。
本申请所述融合***中的相机为高分辨率成像相机，高分辨率成像相机需要与距离测量装置保证严格的时间同步，在标定过程中，需要保证在近红外波段下对激光投射出的逐点或阵列光斑进行清晰成像。在实际产品使用过程中，可以根据实际使用场景选择对可见光或近红外光进行视觉感知，实现相机与距离测量装置的融合感知效果。本申请所述的融合***中还包括处理器，用于接收深度图像和可见光图像进行三维测量；或，接收深度图像和可见光图像进行***的参数标定，优选地，处理器集成到具有标定功能的设备中。
在一个典型实施例中，所述相机包括RGB-IR传感器，即在不同的像素表面采用不同的滤光片，保证相机可以同时对可见光及近红外波段的场景进行成像，当进行在线标定时，根据相机可以对近红外波段成像的特性对光源发射的斑点光束进行成像得到第二目标图像，用于后续参数标定。
在另一个典型实施例中，所述相机包括多滤光片切换器，可以根据实际使用场景与功能要求，切换不同的截止滤光片，即保证相机成像的可靠性，又保证在进行在线标定时对斑点光束进行成像。优选地，多滤光片切换器包括可见光波段带通滤光片、红外带通滤光片和可见光近红外滤光片。当融合***在白天或者强光环境下进行三维测量工作模式时，可见光波段带通滤光片工作，此时只允许可见光光线进入，相机用于采集目标场景的可见光图像，而避免距离测量装置发射的红外光线对相机成像的干扰，使相机能够还原出真实的可见光彩色。当开始进行在线在标定过程时，红外截止滤光片自动移开，红外带通滤光片开始工作，红外带通滤光片的波长选通范围与距离测量装置投射光束的波长一致，此时只允许红外光线进入，避免可见光在标定过程中对红外成像的干扰，此时相机采集目标场景的红外光图像。并且，当融合***处于夜晚环境或者暗光环境进行三维测量模式时，由于此时照度偏低时，无法获取目标场景清晰的可见光图像，可见光波段带通滤光片及红外带通滤光片自动移开，可见光近红外滤光片开始工作，使相机在对目标场景成像时充分利用到所有光线，提高低光照度时的成像性能。
如图1所示的距离测量装置与相机融合***的标定方法可以包括：
S101：控制所述距离测量装置向目标场景投射斑点光束并采集所述斑点光束得到第一目标图像，并且同步控制所述相机采集所述目标场景得到第二目标图像；其中，所述第二目标图像为红外波段下的成像结果。
设备控制距离测量装置中的发射器向目标场景投射斑点光束并通过采集器采集斑点光束得到第一目标图像。并同步控制相机采集目标场景得到第二目标图像。需要说明的是，由于此时融合***进行在线标定，相机需要采集目标场景的红外图像，当相机被配置为RGB-IR传感器时，可以同时输出目标场景的可见光图像和红外图像(第二目标图像)；当相机被配置为包括多滤光片切换器时，这里可以在进行自标定之前，先控制多滤光片切换器切换为红外带通滤光片，仅指定红外波段选通，避免环境光进入对标定产生干扰，典型选择如：850nm、905nm、1550nm等几个红外波段范围，具体的波段选择需要与发射器发射光信号的波段相适配。在本实施例中，对融合***进行自标定时，可以不需要设置标定物，设备控制距离测量装置中的发射器朝向目标场景中的任意物体投射斑点光束，控制距离测量装置与相机采集投射的光斑并根据采集的图像进行自标定。
针对固定阵列发射的距离测量装置，包括LiDAR或深度相机，其中，光源可以是单个光源或者是由多个光源组成的光源阵列，光源阵列可以被配置分组发光，用于投射斑点光束。在进行投影时，可以按照预设投影规则进行投影，通过预设投影规则，可以提升光斑位置匹配的准确度，避免相邻光斑造成的误匹配。预设投影规则可以包括空间编码规则和时间编码规则。
时间编码规则是指在标定过程中，按照时间编码序列控制发射器发射斑点光束，便于后续进行光斑点对的准确匹配。时间编码规则是指在标定过程中，控制光源开启的顺序。优选的，控制发射器一次仅投射一个斑点光束，发射顺序可以是按照一定顺序设置的也可以是随机设置的。
空间编码规则是指在标定过程中，光源阵列可以被配置为包括多个子光源阵列，子光源阵列可以是一行或一列光源，也可以是其他任意的形式，一次仅开启一个子光源阵列或者仅开启每个子光源阵列中的一个光源。举例来说，一种实施方式中，通过控制光源进行一维逐行\列的发射，如图2所示，从左至右按列依次发射光斑，同一时刻保证只有一列光斑投射并被相机成像。另一种实施方式中，按照空间分块实现编码发射，如图3左上角为一典型子块，按照箭头指示方向编码扫描发射，其他子块发射与该子块一致，同一时刻保每个子块只有一个光斑投射并被成像。其中，分块的尺寸设计及箭头指示仅作为理解，并非方案固定要求，在相关的方案中均可以进行一定的调整。采用空间编码规则时，保证单次投射即可获取多对目标点对，同时根据投影规则可以提高光斑匹配的鲁棒性，有效的控制不同光斑之间的空间位置，实现干扰避免，降低或消除误匹配的概率，从而提高标定的精度。
为了提高光斑匹配的鲁棒性，上述方案中提到的时间编码与空间编码规则，在具体的产品及方案中，可通过不同的形式结合使用，均应该包属于本专利的保护范围。
在控制距离测量装置向目标场景投射斑点光束并采集斑点光束得到第一目标图像的同时，设备同步控制相机融合***中的相机采集目标场景得到第二目标图像。为了保证标定的精度，在采集第二目标图像时，需要严格的保证与采集斑点光束得到第一目标图像的时间同步。
S102：根据所述第一目标图像获取所述斑点光束对应的光斑在世界坐标系下的三维坐标信息。
设备根据第一目标图像获取斑点光束对应的光斑在世界坐标系下的三维坐标信息。其中，第一目标图像是由采集器采集的，可以从第一目标图像中获取光斑在像素坐标系下的坐标，并获取每个光斑对应的深度值后，就可以根据距离测量装置的内参来计算得到光斑在世界坐标系下的三维坐标信息。
具体来说，设备根据第一目标图像获取斑点光束对应的光斑在像素坐标系下的第一坐标；发射器中第i个光源投射到标定板上形成第i个光斑，以光源阵列左上角为原心建立的原点坐标系下，第i个光源的坐标为(x，y)，由于距离测量装置中发射器和采集器的光学共轭，则可以认为第i个斑点光束对应的光斑在像素坐标系下的第一坐标为(xi，yi)。其中，控制光源开启的顺序即可知道投射到目标场景上光斑的编号i。
另一种方式中，采集器也可作为一种相机，光斑成像到采集器上，也可以根据光斑的成像位置确定光斑在像素坐标系下的坐标。
然后，设备获取斑点光束对应的光斑的距离测量值D，根据距离测量装置的内参、第一坐标和距离测量值，计算得到斑点光束对应的光斑的三维坐标信息。设备中预先存储距离测量装置的内参KD，包括焦距、畸变参数、像素偏移等变量，则可以计算出第i个斑点光束对应的光斑在世界坐标系下的三维坐标信息。
以一个光斑为例，具体来说，第i个斑点光束对应的光斑在像素坐标系下的第一坐标为(xi，yi)，
则得到第i个斑点光束对应的光斑在世界坐标系下的理想坐标(X′Wi,YW′i,Z′Wi)，利用畸变参数θd进行加畸变操作，得到光斑在世界坐标系下的空间坐标PWi(XWi,YWi,ZWi)，即斑点光束对应的光斑的三维坐标信息。其中，
fd为距离测量装置的焦距，D为第i个光斑对应的距离测量值，i为光斑标号，i＝1，2，…，n。
S103：根据所述第二目标图像获取所述斑点光束对应的光斑在像素坐标系下的二维坐标信息。
设备根据第二目标图像获取斑点光束对应的光斑的二维坐标信息，即设备可以根据第二目标图像中斑点光束对应的光斑的成像位置直接确定二维坐标信息。设备可以将第i个光斑在像素坐标系下的坐标标记为pi(ui,vi)。
在本申请实施例中，由于目标场景中目标物体的远近距离不同以及距离测量装置与相机之间存在一定的距离，对于同一个光源发射的斑点光束投射到不同距离的目标物体上反射回的斑点光束成像位置会发生偏移，即存在视差的影响，当根据预设编码规则发射斑点光束并用于匹配时，则相机采集斑点光束时受到视差的影响导致光斑位置发生偏移，比如一次测量开启一列光源发射斑点光束照射目标物体，在目标物体上形成一列光斑，受到视差的影响，导致相机采集到的光斑排列形式与投影到物体上的排列形式不同，其中有些光斑可能会偏移，不再成像一列的排列形式，而无法准确的进行后续的匹配，再将距离测量装置采集的光斑与相机采集的光斑进行匹配确定目标点对时可能产生误匹配的情况。所以，在一种实施方式中，需要对相机采集的光斑在像素坐标系下的二维坐标进行修正，即修正光斑在第二目标图像中空间分布，修正后再进行后续步骤的匹配确定对应的目标点对，提高匹配的准确性，同时这样可以适配相应的硬件***，降低方案对于标定场景及目标物的要求，极大的提高方案对场景的适用性。
在修正时，设备根据第一目标图像获取斑点光束对应的光斑的距离测量值D，并根据***基线(外参标定结果中T向量的模)和***的等效成像焦距计算得到斑点光束对应的光斑的视差值；根据视差值对第二目标图像中光斑的初始坐标信息进行修正，得到斑点光束对应的光斑在像素坐标系下的二维坐标信息，其中，视差值即为斑点光束的初始坐标沿基线方向的偏移量，比如设置基线方向为像素坐标系的x方向。
具体来说，已知***基线B及等效成像焦距f，可以计算得到光斑对应的视差值d，视差值的计算公式为：
对于光斑成像结果，按照计算出的视差值d对第二目标图像中的每个光斑的初始坐标信息进行修正，得到修正后的光斑在第二目标图像中空间分布。
S104：根据预设投影规则确定多对初始点对，所述初始点对包括所述光斑对应的所述三维坐标信息和所述二维坐标信息。
设备可以根据预设投影规则将三维坐标信息与二维坐标信息进行匹配，得到多对初始点对。预设投影规则在S101中已经进行过详细的说明，此处不再赘述，在配对时，本实施例中并不限制配对的方式。例如，当预设投影规则为时间编码规则时，比如一种实施方式中，设备控制发射器一次仅投射一个斑点光束，设备可以将同一时刻对应的三维坐标信息与二维坐标信息进行匹配，得到一个初始点对即完成了对三维坐标信息和二维坐标信息的配对。
在另一中实现方式中，当预设投影规则为空间编码方式时，则结合第一目标图像和第二目标图像中光斑的成像位置及排列方式进行匹配，实现三维坐标信息与二维坐标信息的配对。其中，当选择空间编码方式时，还需要对于第二目标图像中的光斑进行视差修正，利用修正后的第二目标图像与第一目标图像进行匹配，实现三维坐标信息与二维坐标信息的配对。
可以理解的是，在实际应用中，通常时间编码规则与空间编码规则以任意的形式结合在一起调制发射器投影到目标物体中的斑点光束，不管如果结合都可以在目标物体上形成一定模式的光斑图案，则根据第一目标图像和第二目标图像中光斑的排列形式及位置即可实现匹配。
S105：获取每个所述初始点对的匹配置信度。
设备获取每个初始点对的匹配重投影误差、光斑成像对比度、光斑尺寸等信息，根据匹配重投影误差、光斑成像对比度、光斑尺寸等信息计算初始点对的匹配置信度。
其中，匹配重投影误差可以根据设备中出厂预设的重投影误差函数模型来计算。
若需要对内参进行优化，重投影误差函数模型可以为：
其中，KD为距离测量装置的内参，包括焦距、畸变参数、像素偏移等变量，KC为相机的内参，旋转矩阵R和平移矩阵T为外参，Tofi为深度测量结果。
在一些实施例中，若当距离测量装置内参固定，仅用于标定外参时，此时预设的重投影误差函数模型可以为：
其中，第i个光斑在像素坐标系下的坐标标记为pi(ui,vi)，旋转矩阵R和平移矩阵T为外参。
进一步地，计算出每个初始点对的匹配置信度后，设备可以根据每个初始点对的匹配置信度确定整体置信度；若整体置信度小于预设阈值，说明当前传感器存在工作异常或传感器间外参已经出现较大偏差，此时进行在线标定校准风险较高，后续自标定步骤不能实现，则判定工作状态异常，并且停止计算所述距离测量装置与所述相机之间的外参。也可以同时给上级的控制***发送异常信号，建议进行人工干预处理。
S106：将所述匹配置信度满足预设条件的初始点对作为目标点对，并根据所述目标点对计算所述距离测量装置与所述相机之间的外参。
设备根据匹配置信度对初始点对进行筛选，将满足预设条件的初始点对标记为目标点对。
设备根据所有的目标点对计算距离测量装置与所述相机之间的外参，其中，每组目标点对中的三维坐标信息和二维坐标信息都遵循相同的几何规律。设备可以构建三维坐标信息和二维坐标信息之间的对应关系，该对应关系中包含了距离测量装置与相机之间的外参。具体的对应关系如下：
[ui，vi，1]T＝Kc[R,t][XWi,YWi,ZWi,1]T
其中，Kc相机的内参，[R,t]为距离测量装置与相机之间的外参
在明确获取到了多对符合对应关系的目标点对后，通过迭代计算，是可以准确的计算出距离测量装置与相机之间的外参，完成外参的标定。
在计算时，可以采用PnP算法，PnP相机位姿估计算法就是通过几个已知坐标的特征点，结合他们在相机中的成像，求解出旋转矩阵R和平移矩阵T，即求解出外参。
在上文中已经计算得到了匹配重投影误差，根据目标点对和重投影误差函数模型进行迭代计算，每次计算都会得到一个新的外参，通过新的外参来计算重投影误差，从所有的重投影误差中筛选出最小的值，作为最小重投影误差，将最小重投影误差对应的外参作为最后求解出的最优的距离测量装置与相机之间的外参。
此外，设备可以将计算得到的最小重投影误差作为用于作为标定精度的定量评估标准。
进一步地，根据步骤S105可知，匹配重投影误差模型可以设置为仅包括外参的函数模型或者也可以设置为包括内参和外参的函数模型，当设置为包括内参和外参的函数模型时，通过多次的迭代计算，在计算外参的同时，设备可以对距离测量装置的第一内参初值和相机的第二内参初值进行优化，得到距离测量装置的优化后的第一目标内参和相机的优化后的第二目标内参。
本申请实施例中，控制距离测量装置向目标场景投射斑点光束并采集斑点光束得到第一目标图像，并且同步控制相机融合***中的相机采集标定板得到第二目标图像；根据第一目标图像获取斑点光束对应的光斑在世界坐标系下的三维坐标信息；根据第二目标图像获取斑点光束对应的光斑在像素坐标系下的二维坐标信息；根据预设投影规则确定多对初始点对，所述初始点对包括所述光斑对应的所述三维坐标信息和所述二维坐标信息；获取每个初始点对的匹配置信度；将匹配置信度满足预设条件的初始点对作为目标点对，并根据目标点对计算距离测量装置与相机之间的外参。上述自标定方案可以不依赖特殊的标定设备及目标场景，在复杂使用场景下，调制距离测量装置以预设编码规则发射斑点光束，并通过具有红外感光能力的相机同步对距离测量装置投射到目标场景的斑点光束进行成像，实现距离测量装置和相机实时、在线的标定校准，突破距离测量装置分辨率的对外参标定精度的限制，降低标定的人力成本及时间成本，并且保证3D数据与2D数据的准确匹配，提高了自标定方案的鲁棒性及适应性。
其中，本实施例中的距离测量装置，可选用通过单点\多点扫描、点阵列收发并基于飞行时间测量原理的距离测量方案。具体的，距离测量装置可以是各种应用于自动驾驶或智能机器人场景的LiDAR方案，比如基于阵列收发方案(逐行列发射接收或面阵收发接收)、也可以是固定点阵收发模式或通过衍射光学元件实现固定点阵列收发模式的深度相机，包括基于iToF或dToF原理的深度(距离)测量方案，用于在手机及类似消费电子设备中，应用于室内重建、人体扫描、人脸识别等场景。对于本申请技术方案来讲，换用上述相关的底层硬件方案均不影响整体的融合及高精度标定方案，所有类似的方案均应该在该专利的保护范围以内。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
请参见图4，图4是本申请第二实施例提供的距离测量装置与相机融合***的标定设备的示意图。包括的各单元用于执行图4对应的实施例中的各步骤。具体请参阅图4对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图4，距离测量装置与相机融合***的标定设备6包括：
控制单元410，用于控制所述距离测量装置向目标场景投射斑点光束并采集所述斑点光束得到第一目标图像，并且同步控制所述相机采集所述目标场景得到第二目标图像；其中，所述第一目标图像为红外波段下的成像结果；
第一获取单元420，用于根据所述第一目标图像获取所述斑点光束对应的光斑在世界坐标系下的三维坐标信息；
第二获取单元430，用于根据所述第二目标图像获取所述斑点光束对应的光斑在相机坐标系下的二维坐标信息；
确定单元440，用于根据预设投影规则确定多对初始点对，所述初始点对包括所述光斑对应的所述三维坐标信息和所述二维坐标信息；
第三获取单元450，用于获取每个所述初始点对的匹配置信度；
第一处理单元460，用于将所述匹配置信度满足预设条件的初始点对作为目标点对，并根据所述目标点对计算所述距离测量装置与所述相机之间的外参。
进一步地，所述第一获取单元420，具体用于：
根据所述第一目标图像获取所述斑点光束对应的光斑在像素坐标系下的第一坐标；
获取所述斑点光束对应的距离测量值；
根据所述距离测量装置的内参、所述第一坐标和所述距离测量值，计算得到所述斑点光束对应的光斑在世界坐标系下的三维坐标信息。
进一步地，所述第一获取单元420，具体用于：
根据所述距离测量值计算得到所述斑点光束对应的光斑的视差值，
根据所述视差值修正所述光斑在所述第二目标图像中空间分布；
匹配修正后的所述第二目标图像和所述第一目标图像确定多对初始点对。
进一步地，所述确定单元440，具体用于：
所述预设投影规则为时间编码规则，将同一时刻对应的所述三维坐标信息与所述二维坐标信息进行匹配，得到多对初始点对；
所述预设投影规则为空间编码规则，匹配所述第一目标图像和所述第二目标图像中所述光斑的空间分布，得到多对初始点对。
进一步地，所述第一处理单元460，具体用于：
构建重投影误差函数模型；
根据所述目标点对和所述重投影误差函数模型进行迭代计算，得到最小重投影误差和所述距离测量装置与所述相机之间的外参。
进一步地，所述第一处理单元460，具体用于：
对所述距离测量装置的深度相机的第一内参初值和所述相机融合***中的相机的第二内参初值进行优化，得到所述距离测量装置的优化后的第一目标内参和所述相机的优化后的第二目标内参。
进一步地，所述距离测量装置与相机融合***的标定装置4，还包括；
第二处理单元，用于根据每个所述初始点对的匹配置信度确定整体置信度；
第三处理单元，用于若所述整体置信度小于预设阈值，则判定工作状态异常，并且停止计算所述距离测量装置与所述相机之间的外参。
图5是本申请第三实施例提供的距离测量装置与相机融合***的标定设备的示意图。如图5所示，该实施例的距离测量装置与相机融合***的标定设备5包括：处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52，例如距离测量装置与相机融合***的标定程序。所述处理器50执行所述计算机程序52时实现上述各个距离测量装置与相机融合***的标定方法实施例中的步骤，例如图1所示的步骤101至106。或者，所述处理器50执行所述计算机程序52时实现上述各装置实施例中各模块/单元的功能，例如图4所示模块410至460的功能。
示例性的，所述计算机程序52可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器51中，并由所述处理器50执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序52在所述距离测量装置与相机融合***的标定设备5中的执行过程。例如，所述计算机程序52可以被分割成控制单元、第一获取单元、第二获取单元、确定单元、第三获取单元、第一处理单元，各单元具体功能如下：
控制单元，用于控制所述距离测量装置向目标场景投射斑点光束并采集所述斑点光束得到第一目标图像，并且同步控制所述相机采集所述目标场景得到第二目标图像；其中，所述第二目标图像为红外波段下的成像结果；
第一获取单元，用于根据所述第一目标图像获取所述斑点光束对应的光斑在世界坐标系下的三维坐标信息；
第二获取单元，用于根据所述第二目标图像获取所述斑点光束对应的光斑在像素坐标系下的二维坐标信息；
确定单元，根据预设投影规则确定多对初始点对，所述初始点对包括所述光斑对应的所述三维坐标信息和所述二维坐标信息；；
第三获取单元，用于获取每个所述初始点对的匹配置信度；
第一处理单元，用于将所述匹配置信度满足预设条件的初始点对作为目标点对，并根据所述目标点对计算所述距离测量装置与所述相机之间的外参。
所述距离测量装置与相机融合***的标定设备可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是距离测量装置与相机融合***的标定设备5的示例，并不构成对距离测量装置与相机融合***的标定设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述距离测量装置与相机融合***的标定设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51可以是所述距离测量装置与相机融合***的标定设备5的内部存储单元，例如距离测量装置与相机融合***的标定设备5的硬盘或内存。所述存储器51也可以是所述距离测量装置与相机融合***的标定设备5的外部存储设备，例如所述距离测量装置与相机融合***的标定设备5上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述距离测量装置与相机融合***的标定设备5还可以既包括所述距离测量装置与相机融合***的标定设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述距离测量装置与相机融合***的标定设备所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
本申请实施例还提供了一种网络设备，该网络设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种距离测量装置与相机融合***的标定方法，其特征在于，包括：
控制所述距离测量装置向目标场景投射斑点光束并采集所述斑点光束得到第一目标图像，并且同步控制所述相机采集所述目标场景得到第二目标图像；其中，所述第二目标图像为红外波段下的成像结果；
根据所述第一目标图像获取所述斑点光束对应的光斑在世界坐标系下的三维坐标信息；
根据所述第二目标图像获取所述斑点光束对应的光斑在像素坐标系下的二维坐标信息；
根据预设投影规则确定多对初始点对，所述初始点对包括所述光斑对应的所述三维坐标信息和所述二维坐标信息；
获取每个所述初始点对的匹配置信度；
将所述匹配置信度满足预设条件的初始点对作为目标点对，并根据所述目标点对计算所述距离测量装置与所述相机之间的外参。
2.如权利要求1所述的距离测量装置与相机融合***的标定方法，其特征在于，根据所述第一目标图像获取所述斑点光束对应的光斑在世界坐标系下的三维坐标信息，还包括：
根据所述第一目标图像获取所述斑点光束对应的光斑在像素坐标系下的第一坐标；
获取所述斑点光束对应的距离测量值；
根据所述距离测量装置的内参、所述第一坐标和所述距离测量值，计算得到所述斑点光束对应的光斑在世界坐标系下的三维坐标信息。
3.如权利要求2所述的距离测量装置与相机融合***的标定方法，其特征在于，在所述根据预设投影规则确定多对初始点对之前，还包括：
根据所述距离测量值计算得到所述斑点光束对应的光斑的视差值，
根据所述视差值修正所述光斑在所述第二目标图像中空间分布；
匹配修正后的所述第二目标图像和所述第一目标图像确定多对初始点对。
4.如权利要求1所述的距离测量装置与相机融合***的标定方法，其特征在于，所述预设投影规则确定多对初始点对，包括：
所述预设投影规则为时间编码规则，将同一时刻对应的所述三维坐标信息与所述二维坐标信息进行匹配，得到多对初始点对；
所述预设投影规则为空间编码规则，匹配所述第一目标图像和所述第二目标图像中所述光斑的空间分布，得到多对初始点对。
5.如权利要求1所述的距离测量装置与相机融合***的标定方法，其特征在于，所述根据所述目标点对计算所述距离测量装置与所述相机之间的外参，包括：
构建重投影误差函数模型；
根据所述目标点对和所述重投影误差函数模型进行迭代计算，得到最小重投影误差和所述距离测量装置与所述相机之间的外参。
6.如权利要求5所述的距离测量装置与相机融合***的标定方法，其特征在于，在所述根据所述目标点对和所述重投影误差函数模型进行迭代计算，得到最小重投影误差和所述距离测量装置与所述相机之间的外参之后，还包括：
对所述距离测量装置的深度相机的第一内参初值和所述相机融合***中的相机的第二内参初值进行优化，得到所述距离测量装置的优化后的第一目标内参和所述相机的优化后的第二目标内参。
7.如权利要求1所述的距离测量装置与相机融合***的标定方法，其特征在于，在所述获取每个所述初始点对的匹配置信度之后，还包括；
根据每个所述初始点对的匹配置信度确定整体置信度；
若所述整体置信度小于预设阈值，则判定工作状态异常，并且停止计算所述距离测量装置与所述相机之间的外参。
8.一种距离测量装置与相机融合***的标定装置，其特征在于，包括：
控制单元，用于控制所述距离测量装置向目标场景投射斑点光束并采集所述斑点光束得到第一目标图像，并且同步控制所述相机采集所述目标场景得到第二目标图像；其中，所述第二目标图像为红外波段下的成像结果；
第一获取单元，用于根据所述第一目标图像获取所述斑点光束对应的光斑在世界坐标系下的三维坐标信息；
第二获取单元，用于根据所述第二目标图像获取所述斑点光束对应的光斑在像素坐标系下的二维坐标信息；
确定单元，用于根据预设投影规则确定多对初始点对，所述初始点对包括所述光斑对应的所述三维坐标信息和所述二维坐标信息；
第三获取单元，用于获取每个所述初始点对的匹配置信度；
第一处理单元，用于将所述匹配置信度满足预设条件的初始点对作为目标点对，并根据所述目标点对计算所述距离测量装置与所述相机之间的外参。
9.一种距离测量装置与相机融合***的标定设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110680076.3A CN113538592B (zh) | 2021-06-18 | 2021-06-18 | 一种距离测量装置与相机融合***的标定方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110680076.3A CN113538592B (zh) | 2021-06-18 | 2021-06-18 | 一种距离测量装置与相机融合***的标定方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113538592A true CN113538592A (zh) | 2021-10-22 |
| CN113538592B CN113538592B (zh) | 2023-10-27 |
Family
ID=78125131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110680076.3A Active CN113538592B (zh) | 2021-06-18 | 2021-06-18 | 一种距离测量装置与相机融合***的标定方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113538592B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113888449A (zh) * | 2021-12-08 | 2022-01-04 | 深圳市先地图像科技有限公司 | 一种激光成像用的图像处理方法、***及相关设备 |
| CN114092569A (zh) * | 2022-01-19 | 2022-02-25 | 安维尔信息科技(天津)有限公司 | 一种基于多传感器融合的双目相机在线标定方法及*** |
| CN114235351A (zh) * | 2021-12-17 | 2022-03-25 | 深圳市先地图像科技有限公司 | 一种激光阵列中激光光斑偏移检测方法、***及相关设备 |
| CN115097427A (zh) * | 2022-08-24 | 2022-09-23 | 北原科技(深圳)有限公司 | 基于飞行时间法的自动标定***及方法 |
| CN115170665A (zh) * | 2022-07-08 | 2022-10-11 | 北京航空航天大学 | 一种基于图像的球形物***姿确定方法及*** |
| CN115231407A (zh) * | 2022-07-15 | 2022-10-25 | 日立楼宇技术（广州）有限公司 | 一种电梯的位移检测方法、装置、设备及存储介质 |
| CN115375772A (zh) * | 2022-08-10 | 2022-11-22 | 北京英智数联科技有限公司 | 相机标定方法、装置、设备及存储介质 |
| WO2022262332A1 (zh) * | 2021-06-18 | 2022-12-22 | 深圳奥锐达科技有限公司 | 一种距离测量装置与相机融合***的标定方法及装置 |
| CN116336964A (zh) * | 2023-05-31 | 2023-06-27 | 天津宜科自动化股份有限公司 | 一种物体轮廓信息的获取*** |
| CN117238143A (zh) * | 2023-09-15 | 2023-12-15 | 北京卓视智通科技有限责任公司 | 基于雷达双光谱相机的交通数据融合方法、***和装置 |
| WO2024087982A1 (zh) * | 2022-10-28 | 2024-05-02 | 华为技术有限公司 | 一种图像处理方法及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109272570A (zh) * | 2018-08-16 | 2019-01-25 | 合肥工业大学 | 一种基于立体视觉数学模型的空间点三维坐标求解方法 |
| CN110657785A (zh) * | 2019-09-02 | 2020-01-07 | 清华大学 | 一种高效的场景深度信息获取方法及*** |
| CN111856433A (zh) * | 2020-07-25 | 2020-10-30 | 深圳奥锐达科技有限公司 | 一种距离测量***及测量方法 |
| CN112465912A (zh) * | 2020-11-18 | 2021-03-09 | 新拓三维技术(深圳)有限公司 | 一种立体相机标定方法及装置 |
| CN112862897A (zh) * | 2021-01-29 | 2021-05-28 | 武汉惟景三维科技有限公司 | 一种基于相位移编码圆的相机离焦状态下的快速标定方法 |
| CN112907727A (zh) * | 2021-01-25 | 2021-06-04 | 中国科学院空天信息创新研究院 | 相对变换矩阵的标定方法、装置及*** |
-
2021
- 2021-06-18 CN CN202110680076.3A patent/CN113538592B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109272570A (zh) * | 2018-08-16 | 2019-01-25 | 合肥工业大学 | 一种基于立体视觉数学模型的空间点三维坐标求解方法 |
| CN110657785A (zh) * | 2019-09-02 | 2020-01-07 | 清华大学 | 一种高效的场景深度信息获取方法及*** |
| CN111856433A (zh) * | 2020-07-25 | 2020-10-30 | 深圳奥锐达科技有限公司 | 一种距离测量***及测量方法 |
| CN112465912A (zh) * | 2020-11-18 | 2021-03-09 | 新拓三维技术(深圳)有限公司 | 一种立体相机标定方法及装置 |
| CN112907727A (zh) * | 2021-01-25 | 2021-06-04 | 中国科学院空天信息创新研究院 | 相对变换矩阵的标定方法、装置及*** |
| CN112862897A (zh) * | 2021-01-29 | 2021-05-28 | 武汉惟景三维科技有限公司 | 一种基于相位移编码圆的相机离焦状态下的快速标定方法 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022262332A1 (zh) * | 2021-06-18 | 2022-12-22 | 深圳奥锐达科技有限公司 | 一种距离测量装置与相机融合***的标定方法及装置 |
| CN113888449A (zh) * | 2021-12-08 | 2022-01-04 | 深圳市先地图像科技有限公司 | 一种激光成像用的图像处理方法、***及相关设备 |
| CN114235351A (zh) * | 2021-12-17 | 2022-03-25 | 深圳市先地图像科技有限公司 | 一种激光阵列中激光光斑偏移检测方法、***及相关设备 |
| CN114235351B (zh) * | 2021-12-17 | 2023-10-31 | 深圳市先地图像科技有限公司 | 一种激光阵列中激光光斑偏移检测方法、***及相关设备 |
| CN114092569A (zh) * | 2022-01-19 | 2022-02-25 | 安维尔信息科技(天津)有限公司 | 一种基于多传感器融合的双目相机在线标定方法及*** |
| CN115170665A (zh) * | 2022-07-08 | 2022-10-11 | 北京航空航天大学 | 一种基于图像的球形物***姿确定方法及*** |
| CN115231407A (zh) * | 2022-07-15 | 2022-10-25 | 日立楼宇技术（广州）有限公司 | 一种电梯的位移检测方法、装置、设备及存储介质 |
| CN115231407B (zh) * | 2022-07-15 | 2023-09-15 | 日立楼宇技术（广州）有限公司 | 一种电梯的位移检测方法、装置、设备及存储介质 |
| CN115375772A (zh) * | 2022-08-10 | 2022-11-22 | 北京英智数联科技有限公司 | 相机标定方法、装置、设备及存储介质 |
| CN115375772B (zh) * | 2022-08-10 | 2024-01-19 | 北京英智数联科技有限公司 | 相机标定方法、装置、设备及存储介质 |
| CN115097427B (zh) * | 2022-08-24 | 2023-02-10 | 北原科技(深圳)有限公司 | 基于飞行时间法的自动标定方法 |
| CN115097427A (zh) * | 2022-08-24 | 2022-09-23 | 北原科技(深圳)有限公司 | 基于飞行时间法的自动标定***及方法 |
| WO2024087982A1 (zh) * | 2022-10-28 | 2024-05-02 | 华为技术有限公司 | 一种图像处理方法及电子设备 |
| CN116336964A (zh) * | 2023-05-31 | 2023-06-27 | 天津宜科自动化股份有限公司 | 一种物体轮廓信息的获取*** |
| CN116336964B (zh) * | 2023-05-31 | 2023-09-19 | 天津宜科自动化股份有限公司 | 一种物体轮廓信息的获取*** |
| CN117238143A (zh) * | 2023-09-15 | 2023-12-15 | 北京卓视智通科技有限责任公司 | 基于雷达双光谱相机的交通数据融合方法、***和装置 |
| CN117238143B (zh) * | 2023-09-15 | 2024-03-22 | 北京卓视智通科技有限责任公司 | 基于雷达双光谱相机的交通数据融合方法、***和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113538592B (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113538592B (zh) | 一种距离测量装置与相机融合***的标定方法及装置 | |
| CN113538591B (zh) | 一种距离测量装置与相机融合***的标定方法及装置 | |
| CN110596721B (zh) | 双重共享tdc电路的飞行时间距离测量***及测量方法 | |
| CN110596722B (zh) | 直方图可调的飞行时间距离测量***及测量方法 | |
| US11675082B2 (en) | Method and device for optical distance measurement | |
| CN111830530B (zh) | 一种距离测量方法、***及计算机可读存储介质 | |
| CN110596725B (zh) | 基于插值的飞行时间测量方法及测量*** | |
| CN110596724B (zh) | 动态直方图绘制飞行时间距离测量方法及测量*** | |
| CN110596723B (zh) | 动态直方图绘制飞行时间距离测量方法及测量*** | |
| CN111538024B (zh) | 一种滤波ToF深度测量方法及装置 | |
| CN113780349B (zh) | 训练样本集的获取方法、模型训练方法及相关装置 | |
| CN111766596A (zh) | 一种距离测量方法、***及计算机可读存储介质 | |
| CN114296057A (zh) | 一种计算测距***相对外参的方法、装置和存储介质 | |
| US20220364849A1 (en) | Multi-sensor depth mapping | |
| CN216133412U (zh) | 一种距离测量装置与相机融合*** | |
| CN110986816B (zh) | 一种深度测量***及其测量方法 | |
| CN112987021B (zh) | 一种飞行时间法和结构光法相融合的结构光三维成像***及方法 | |
| CN213091889U (zh) | 一种距离测量*** | |
| CN112379389A (zh) | 一种结合结构光相机和tof深度相机的深度信息获取装置和方法 | |
| CN116485862A (zh) | 一种深度数据标定校准方法与装置 | |
| CN111796296A (zh) | 一种距离测量方法、***及计算机可读存储介质 | |
| CN114549609A (zh) | 一种深度测量***及方法 | |
| CN114667457A (zh) | 电子设备及其控制方法 | |
| CN115023626A (zh) | 用于校准车辆或机器人的摄像头和/或激光雷达传感器的方法 | |
| CN117111046B (zh) | 畸变矫正方法、***、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |