CN113112532B - 一种多ToF相机***实时配准方法 - Google Patents
一种多ToF相机***实时配准方法 Download PDFInfo
- Publication number
- CN113112532B CN113112532B CN202110397128.6A CN202110397128A CN113112532B CN 113112532 B CN113112532 B CN 113112532B CN 202110397128 A CN202110397128 A CN 202110397128A CN 113112532 B CN113112532 B CN 113112532B
- Authority
- CN
- China
- Prior art keywords
- point
- camera
- cameras
- points
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000000007 visual effect Effects 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 230000008901 benefit Effects 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明属于计算机视觉技术领域，更具体地，涉及一种多ToF相机***实时配准方法，包括多个相机分别实时获取相位与振幅信息，多个相机之间具有重合视野；将相位与振幅信息分别转换为深度图像与红外图像；根据红外图像与深度图像计算得到多个相机的实时位姿关系；根据深度图像得到在相机坐标系下的三维点云信息；根据实时相对位姿与三维点云信息，完成多个相机的三维信息实时配准。本发明中通过特征点匹配求解相机间位姿关系，不需要对多个相机进行标定，适用于多个相机间具有相对运动的情况，且不需要保证多个相机的时序严格同步，降低***成本，具有较高的实用性。
Description
技术领域
本发明属于计算机视觉技术领域，更具体地，涉及一种多ToF相机***实时配准方法。
背景技术
近年来，随着人机交互、自动驾驶、医学成像、增强现实和机器人感知等领域的发展，ToF(飞行时间)技术的应用越来越广泛。因为单个ToF相机输出的深度图像可能存在深度缺失，并且视角有限，在实际应用中采用两个或多个ToF相机协同工作可以解决这些问题。目前，在匹配两个或多个ToF相机采集的深度信息时，采用的是提前标定相机间外差的方法，这种方法在利用外差确定相机间的位姿关系，并以此匹配不同相机的深度信息，由于标定得到的外差是固定的，所以这种方法只适用于多个ToF相机相对位置固定的应用场景下；其次，现有方法在拍摄运动目标或相机本身在运动的场景下，必须要求各相机之间在曝光时间上完全同步，否则就会出现失配，这无疑提高了硬件的要求与成本。
如中国专利CN111435539A公开了一种基于联合优化的多相机***外参标定方法，包括：利用相邻两个相机的共视区域内的特征点信息得到相邻相机之间的位姿；以多相机***中的其中一个相机为基准相机，以基准相机的坐标系为参考坐标系，以基准相机的位姿为初始位姿，根据相邻相机之间的位姿依次变换得到各相机在参考坐标系的位姿，并且基准相机通过变换得到与初始位姿不同的第二位姿；将所有相机在参考坐标系下的位姿加上基准相机的第二位姿通过基于几何域配准的联合优化算法，得到优化后的每个相机的位姿。因其需要对相机进行外参标定，不适用于多个相机位置发生相对运动或拍摄目标发生运动的情况，且要求各个相机的时序完全同步，这样的相机成本过高。
发明内容
本发明为克服上述现有技术中的至少一个缺陷，提供一种多ToF相机***实时配准方法，其不要求各个相机的时序完全同步，且适用于多个相机发生相对运动的情况，成本较低，效果更好。
为解决上述技术问题，本发明采用的技术方案是：
提供一种多ToF相机***实时配准方法，包括:
S1：多个相机分别实时获取相位与振幅信息，多个相机之间具有重合视野；
S2：将相位与振幅信息分别转换为深度图像与红外图像；
S3：根据红外图像计算得到多个相机的实时位姿关系；
S4：根据深度图像得到在相机坐标系下的三维点云信息；
S5：根据实时相对位姿与三维点云信息，完成多个相机的三维信息实时配准。
本方案中对相机得到的红外图像、深度图像计算多个相机的位姿关系，而不需要提前通过外参标定的方法对多个相机进行标定，从而在采用多个相机进行协同工作时，不需要保证多个相机间的相对位置固定，再利用深度图像得到三维点云信息，根据位姿关系对三维点云信息配准，实现多个相机图像的配准；同时，这样的方案不需要确保多个相机的时序严格同步，即减少了相机的时序同步模块，降低了***的成本，同时的使得相机更加轻便、结构更加紧凑，有利于在无人移动平台上的应用。
进一步地，上述的步骤S1中多个相机的光源频率、解调频率均调制至相互正交。
进一步地，上述的步骤S1中多个相机中每两个相机之间的重合视野大于每个相机视野的一半。
进一步地，上述的步骤S3具体包括：
S31：对所有红外图像提取特征点；
S32：提取特征点的描述子；
S33：根据描述子对多个相机中的第一相机对应的红外图像与其余相机对应的红外图像分别进行特征点匹配，并在相应的深度图像上得到匹配点；
S34：选取特征点匹配对数最多的红外图像对应的相机作为对准相机，根据深度图像上的匹配点计算对准相机与第一相机的位姿关系；
S35：对多个相机的红外图像与深度图像均执行步骤S33至步骤S34，得到所有相机间的实时位姿关系。
进一步地，上述的步骤S31中提取特征点具体包括：
S311：设定特征点第一判断阈值；
S312：在一张红外图像上选取一个像素点，记为中心像素点，选取中心像素点周围的第一设定个数像素点，计算每个像素点与中心像素点之间的灰度值差值，若第一设定个数像素点中计算得到的灰度值差值为正的数量大于特征点第一判断阈值，则将当前中心像素点记为特征点；
S313：遍历每张红外图像的所有像素点，重复执行步骤S312，直至完成对每个红外图像的特征点提取。
进一步地，上述的步骤S32中提取特征点的描述子具体包括：
S321：选取一张红外图像的特征点周围第二设定大小的像素区域A，设定特征点选取顺序；
S322：按设定特征点选取顺序，选取像素区域A内的若干个像素点；
S323：依次将选取的若干像素点与当前特征点进行灰度值大小比较，若像素点灰度值大于特征点灰度值，则结果记为1，否则记为0，并将结果依次排列得到与若干个像素点数量相同的若干位二进制数据，记为当前红外图像特征点的描述子；
S324：对当前红外图像的所有特征点执行步骤S321至步骤S323，得到所有特征点的描述子；
S325：对所有红外图像执行步骤321至步骤S324，得到所有红外图像的所有特征点的描述子。
进一步地，上述的步骤S33中特征点匹配具体包括：
S331：计算一张红外图像中每个描述子与另一张红外图像中每个描述子的汉明距离；
S332：将步骤S331中得到的所有汉明距离按大小进行排序，将汉明距离最小对应的特征点记为最优点，将汉明距离次小对应的特征点记为次优点；
S333：设定第二判断阈值，将最优点的描述子的汉明距离除以次优点的描述子的汉明距离得到比较值r；
S334：判断r与第二判断阈值的大小关系，若r大于第二判断阈值，则剔除当前特征点，若r小于第二判断阈值，则将当前最优点记为正确点并保留；
S335：根据坐标关系由正确点在对应的深度图像上找到相应的点坐标，并将深度图像上相应的点记为匹配点。
进一步地，上述的步骤S34中位姿关系可用旋转矩阵R与平移向量t表示，具体计算过程为：
S341：构建关于位姿关系的非线性最小二乘优化函数：
S342：定义多个相机中的第一相机、第二相机的两组匹配点的质心p、q分别为：
S343：根据步骤S342中的结果改写步骤S341中的函数，得到目标函数：
S344：根据奇异值分解计算得到旋转矩阵R：
qi＝pi-p，
q′i＝p′i-p′，
平移向量t的计算公式为：
t＝p-Rp′，
其中，qi为第一相机图像中任意匹配点的去质心坐标，q′i为第二相机图像中任意匹配点的去质心坐标，pi为第一相机深度图像的任意匹配点，n为一个相机中匹配点数量，p′i为第二相机深度图像的任意匹配点，p′为第二相机深度图像的匹配点集合，p为第一相机深度图像的匹配点集合。
进一步地，上述的步骤S4中计算得到在相机坐标系下的三维点云信息，具体包括：
S41：将多个相机的传感器阵列上的像素点映射到相机坐标系上，具体公式为：
其中，x、y、z为相机三维坐标的三个方向的坐标，u、v为传感器阵列上的像素点的位置；
S42：求解相机三维坐标中的z坐标，具体公式为：
其中，D为像素中存储的深度值，f为相机镜头的焦距，u、v为像素点在像素坐标系中的坐标位置，u0、v0为镜头光心沿焦距对应的传感器中心点像素坐标位置。
进一步地，上述的步骤S5具体包括：
S51：选定一个相机的相机坐标系作为世界坐标系：
S52：根据位姿关系，将多个相机坐标系下的三维点云旋转平移至世界坐标系下，完成三维信息实时配准。
与现有技术相比，有益效果是：
本发明中利用多个相机的中得到的深度图像与红外图像，提取红外图像中的特征点，通过特征点匹配计算多个相机之间的位姿关系，从而根据位姿关系对通过深度图像得到的三维点云数据进行融合配准，其只需要保证多个相机之间具有重合视野即可，不需要对相机进行标定，且不要求多个相机的时序完全同步，因此在多个相机间具有相对运动或拍摄目标发生运动的情况下，也能完成相互配准得到清晰的图像，同时还可减少时序同步模块，降低了硬件成本，可使无人移动平台结构更加紧凑、轻便。
附图说明
图1是本发明实施例多ToF相机***实时配准方法的流程示意图；
图2是本发明实施例多ToF相机***实时配准方法多个相机间重合视野示意图；
图3是本发明实施例多ToF相机***实时配准方法的像素区域A与像素点选取方式示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”“长”“短”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体描述：
实施例：
如图1至图3所示为一种多ToF相机***实时配准方法，包括：
S1：多个相机分别实时获取相位与振幅信息，多个相机之间具有重合视野；
S2：将相位与振幅信息分别转换为深度图像与红外图像；
S3：根据红外图像计算得到多个相机的实时位姿关系；
S4：根据深度图像得到在相机坐标系下的三维点云信息；
S5：根据实时相对位姿与三维点云信息，完成多个相机的三维信息实时配准。
本实施例中的步骤S1中多个相机的光源频率、解调频率均调制至相互正交，以避免多个相机同时工作时的光源相互干扰。
本实施例中的步骤S1中多个相机中每两个相机之间的重合视野大于每个相机视野的一半(参见图2)，以保证多个相机间可以进行特征点匹配。
本实施例中的步骤S3具体包括：
S31：对所有红外图像提取特征点；
S32：提取特征点的描述子；
S33：根据描述子对多个相机中的第一相机对应的红外图像与其余相机对应的红外图像分别进行特征点匹配，并在相应的深度图像上得到匹配点；
S34：选取特征点匹配对数最多的红外图像对应的相机作为对准相机，根据深度图像上的匹配点计算对准相机与第一相机的位姿关系；
S35：对多个相机的红外图像与深度图像均执行步骤S33至步骤S34，得到所有相机间的实时位姿关系。
本实施例中的步骤S31中提取特征点具体包括：
S311：设定特征点第一判断阈值；具体地，第一判断阈值与第一设定个数像素点相关，本实施例中第一判断阈值为第一设定像素点的75％，当然在具体实施过程中还可以采用其他的数值，这里不做限定；
S312：在一张红外图像上选取一个像素点，记为中心像素点，选取中心像素点周围的第一设定个数像素点，具体地，以中心像素点为圆心，选取其周围圆周上的16个像素点(参见图3)；计算每个像素点与中心像素点之间的灰度值差值，若第一设定个数像素点中计算得到的灰度值差值为正的数量大于特征点第一判断阈值，即若在16个像素点中有12个及以上的像素点的灰度值大于中心像素点的灰度值，则将当前中心像素点记为特征点；需要说明的是，第一设定像素点的个数以及选取的方式，均为参考实施方式，不能理解为对本方案的限定；
S313：遍历每张红外图像的所有像素点，重复执行步骤S312，直至完成对每个红外图像的特征点提取。
本实施例中的步骤S32中提取特征点的描述子具体包括：
S321：选取一张红外图像的特征点周围第二设定大小的像素区域A，设定特征点选取顺序；具体地，像素区域A大小为32×32；
S322：按设定特征点选取顺序，选取像素区域A内的128个像素点；当然，需要说明是的，本实施例中像素区域A的大小以及在像素区域A内选取的像素点个数，均为参考的实施例，其是为了在准确匹配描述子的同时减少计算时间，不能理解为对本方案的限定，在具体实施过程中，也可以根据实际情况选择其他大小的像素区域A以及相应的像素点个数，当然像素点个数应当小于像素区域A内包含的全部像素点；
S323：依次将选取的若干像素点与当前特征点进行灰度值大小比较，若像素点灰度值大于特征点灰度值，则结果记为1，否则记为0，并将结果依次排列得到大小为128位的二进制数据，记为当前红外图像特征点的描述子，应当理解的是，此处描述子的大小为128位是对应在像素区域A内选取的像素点个数；
S324：对当前红外图像的所有特征点执行步骤S321至步骤S323，得到所有特征点的描述子；
S325：对所有红外图像执行步骤S321至步骤S324，得到所有红外图像的所有特征点的描述子。
本实施例中的步骤S33中特征点匹配具体包括：
S331：计算一张红外图像中每个描述子与另一张红外图像中每个描述子的汉明距离；
S332：将步骤S331中得到的所有汉明距离按大小进行排序，将汉明距离最小对应的特征点记为最优点，将汉明距离次小对应的特征点记为次优点；
S333：设定第二判断阈值，将最优点的描述子的汉明距离除以次优点的描述子的汉明距离得到比较值r；
S334：判断r与第二判断阈值的大小关系，若r大于第二判断阈值，则剔除当前特征点，若r小于第二判断阈值，则将当前最优点记为正确点并保留；
S335：根据坐标关系由正确点在对应的深度图像上找到相应的点坐标，并将深度图像上相应的点记为匹配点
本实施例中的步骤S34中位姿关系可用旋转矩阵R与平移向量t表示，具体计算过程为：
S341：构建关于位姿关系的非线性最小二乘优化函数：
S342：定义多个相机中的第一相机、第二相机的两组匹配点的质心p、q分别为：
S343：根据步骤S342中的结果改写步骤S341中的函数，得到目标函数：
S344：根据奇异值分解计算得到旋转矩阵R：
qi＝pi-p，
q′i＝p′i-p′，
平移向量t的计算公式为：
t＝p-Rp′，
其中，qi为第一相机图像中任意匹配点的去质心坐标，q′i为第二相机图像中任意匹配点的去质心坐标，pi为第一相机深度图像的任意匹配点，n为一个相机中匹配点数量，p′i为第二相机深度图像的任意匹配点，p′为第二相机深度图像的匹配点集合，p为第一相机深度图像的匹配点集合。
本实施例中的步骤S4中计算得到在相机坐标系下的三维点云信息，具体包括：
S41：将多个相机的传感器阵列上的像素点映射到相机坐标系上，具体公式为：
其中，x、y、z为相机三维坐标的三个方向的坐标，u、v为传感器阵列上的像素点的位置；
S42：求解相机三维坐标中的z坐标，具体公式为：
其中，D为像素中存储的深度值，f为相机镜头的焦距，u、v为像素点在像素坐标系中的坐标位置，u0、v0为镜头光心沿焦距对应的传感器中心点像素坐标位置。
本实施例中的步骤S5具体包括：
S51：选定一个相机的相机坐标系作为世界坐标系：
S52：根据位姿关系，将多个相机坐标系下的三维点云旋转平移至世界坐标系下，完成三维信息实时配准。
本发明是参照本申请实施例的方法、设备(***)、和计算机程序产品的流程图或方框图来描述的，应理解可由计算机程序指令实现流程图或方框图中的每一流程或方框、以及流程图或方框图中的流程或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (8)
1.一种多ToF相机***实时配准方法，其特征在于，包括：
S1：多个相机分别实时获取相位与振幅信息，所述多个相机之间具有重合视野；
S2：将所述相位与振幅信息分别转换为深度图像与红外图像；
S3：根据所述红外图像与深度图像计算得到多个相机的实时位姿关系；
所述步骤S3具体包括：
S31：对所有红外图像提取特征点；
S32：提取所述特征点的描述子；
S33：根据所述描述子对所述多个相机中的第一相机对应的红外图像与其余相机对应的红外图像分别进行特征点匹配，并在相应的深度图像上得到匹配点；
步骤S33中所述特征点匹配具体包括：
S331：计算一张红外图像中每个描述子与另一张红外图像中每个描述子的汉明距离；
S332：将步骤S331中得到的所有汉明距离按大小进行排序，将汉明距离最小对应的特征点记为最优点，将汉明距离次小对应的特征点记为次优点；
S333：设定第二判断阈值，将所述最优点的描述子的汉明距离除以次优点的描述子的汉明距离得到比较值r；
S334：判断r与所述第二判断阈值的大小关系，若r大于第二判断阈值，则剔除当前特征点，若r小于第二判断阈值，则将当前最优点记为正确点并保留；
S335：根据坐标关系由所述正确点在对应的深度图像上找到相应的点坐标，并将深度图像上相应的点记为匹配点；
S34：选取特征点匹配对数最多的红外图像对应的相机作为对准相机，根据所述深度图像上的匹配点计算所述对准相机与所述第一相机的位姿关系；
S35：对所述多个相机的红外图像与深度图像均执行步骤S33至步骤S34，得到所有相机间的实时位姿关系；
S4：根据所述深度图像得到在相机坐标系下的三维点云信息；
S5：根据实时相对位姿与三维点云信息，完成多个相机的三维信息实时配准。
2.根据权利要求1所述的一种多ToF相机***实时配准方法，其特征在于，步骤S1中所述多个相机的光源频率、解调频率均调制至相互正交。
3.根据权利要求1所述的一种多ToF相机***实时配准方法，其特征在于，步骤S1中所述多个相机中每两个相机之间的重合视野大于每个相机视野的一半。
4.根据权利要求1所述的一种多ToF相机***实时配准方法，其特征在于，步骤S31中所述提取特征点具体包括：
S311：设定特征点第一判断阈值；
S312：在一张红外图像上选取一个像素点，记为中心像素点，选取中心像素点周围的第一设定个数像素点，计算每个像素点与中心像素点之间的灰度值差值，若第一设定个数像素点中计算得到的灰度值差值为正的数量大于所述特征点第一判断阈值，则将当前中心像素点记为特征点；
S313：遍历每张红外图像的所有像素点，重复执行步骤S312，直至完成对每个红外图像的特征点提取。
5.根据权利要求1所述的一种多ToF相机***实时配准方法，其特征在于，步骤S32中所述提取所述特征点的描述子具体包括：
S321：选取一张红外图像的特征点周围第二设定大小的像素区域A，设定特征点选取顺序；
S322：按所述设定特征点选取顺序，选取所述像素区域A内的若干个像素点；
S323：依次将选取的若干像素点与当前特征点进行灰度值大小比较，若像素点灰度值大于所述特征点灰度值，则结果记为1，否则记为0，并将结果依次排列得到与若干个像素点数量相同的若干位二进制数据，记为当前红外图像特征点的描述子；
S324：对当前红外图像的所有特征点执行步骤S321至步骤S323，得到所有特征点的描述子；
S325：对所有红外图像执行步骤S321至步骤S324，得到所有红外图像的所有特征点的描述子。
6.根据权利要求1所述的一种多ToF相机***实时配准方法，其特征在于，步骤S34中所述位姿关系可用旋转矩阵R与平移向量t表示，具体计算过程为：
S341：构建关于位姿关系的非线性最小二乘优化函数：
，
S342：定义所述多个相机中的第一相机、第二相机的两组匹配点的质心p、q分别为：
，
，
S343：根据步骤S342中的结果改写步骤S341中的函数，得到目标函数：
S344：根据奇异值分解计算得到旋转矩阵R：
，
，
，
平移向量t的计算公式为：
，
其中，为第一相机图像中任意匹配点的去质心坐标，为第二相机图像中任意匹配点的去质心坐标，为第一相机深度图像的任意匹配点，n为一个相机中匹配点数量，为第二相机深度图像的任意匹配点，为第二相机深度图像的匹配点集合，p为第一相机深度图像的匹配点集合。
7.根据权利要求1所述的一种多ToF相机***实时配准方法，其特征在于，步骤S4中计算得到在相机坐标系下的三维点云信息，具体包括：
S41：将多个相机的传感器阵列上的像素点映射到相机坐标系上，具体公式为：
其中，x、y、z为相机三维坐标的三个方向的坐标，u、v为传感器阵列上的像素点的位置；
S42：求解相机三维坐标中的z坐标。
8.根据权利要求1至7任一项所述的一种多ToF相机***实时配准方法，其特征在于，所述步骤S5具体包括：
S51：选定一个相机的相机坐标系作为世界坐标系：
S52：根据所述位姿关系，将多个相机坐标系下的三维点云旋转平移至世界坐标系下，完成三维信息实时配准。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110397128.6A CN113112532B (zh) | 2021-04-13 | 2021-04-13 | 一种多ToF相机***实时配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110397128.6A CN113112532B (zh) | 2021-04-13 | 2021-04-13 | 一种多ToF相机***实时配准方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113112532A CN113112532A (zh) | 2021-07-13 |
| CN113112532B true CN113112532B (zh) | 2023-04-21 |
Family
ID=76716821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110397128.6A Active CN113112532B (zh) | 2021-04-13 | 2021-04-13 | 一种多ToF相机***实时配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113112532B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113393383B (zh) * | 2021-08-17 | 2021-11-16 | 常州市新创智能科技有限公司 | 一种双深度相机拍照图像的拼接方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816703A (zh) * | 2017-11-21 | 2019-05-28 | 西安交通大学 | 一种基于相机标定和icp算法的点云配准方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107292921B (zh) * | 2017-06-19 | 2020-02-04 | 电子科技大学 | 一种基于kinect相机的快速三维重建方法 |
| CN109544599B (zh) * | 2018-11-22 | 2020-06-23 | 四川大学 | 一种基于相机位姿估计的三维点云配准方法 |
| CN111150175A (zh) * | 2019-12-05 | 2020-05-15 | 新拓三维技术(深圳)有限公司 | 一种双足三维扫描方法、装置及*** |
| CN112164117A (zh) * | 2020-09-30 | 2021-01-01 | 武汉科技大学 | 一种基于Kinect相机的V-SLAM位姿估算方法 |
-
2021
- 2021-04-13 CN CN202110397128.6A patent/CN113112532B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816703A (zh) * | 2017-11-21 | 2019-05-28 | 西安交通大学 | 一种基于相机标定和icp算法的点云配准方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113112532A (zh) | 2021-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112894832B (zh) | 三维建模方法、装置、电子设备和存储介质 | |
| KR101761751B1 (ko) | 직접적인 기하학적 모델링이 행해지는 hmd 보정 | |
| CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
| CN107194991B (zh) | 一种基于骨架点局域动态更新的三维全局可视化监控***构建方法 | |
| CN109993793B (zh) | 视觉定位方法及装置 | |
| CN107665483B (zh) | 免定标便捷的单目镜头鱼眼图像畸变矫正方法 | |
| CN107358633A (zh) | 一种基于三点标定物的多相机内外参标定方法 | |
| CN113841384B (zh) | 校准装置，用于校准的图表和校准方法 | |
| CN112598729B (zh) | 融合激光与相机的目标物体识别与定位方法 | |
| CN108389157A (zh) | 一种三维全景图像快速拼接方法 | |
| US20230023046A1 (en) | Method and device for generating vehicle panoramic surround view image | |
| CN102542294A (zh) | 双视觉信息融合的集控式足球机器人识别***及识别方法 | |
| CN110889873A (zh) | 一种目标定位方法、装置、电子设备及存储介质 | |
| Khoshelham et al. | Generation and weighting of 3D point correspondences for improved registration of RGB-D data | |
| CN112085790A (zh) | 点线结合的多相机视觉slam方法、设备及存储介质 | |
| CN113409391A (zh) | 视觉定位方法及相关装置、设备和存储介质 | |
| CN109613974B (zh) | 一种大场景下的ar家居体验方法 | |
| CN113077519A (zh) | 一种基于人体骨架提取的多相机外参自动标定方法 | |
| CN107633537B (zh) | 一种基于投影的摄像头标定方法 | |
| CN113112532B (zh) | 一种多ToF相机***实时配准方法 | |
| CN114882106A (zh) | 位姿确定方法和装置、设备、介质 | |
| CN109753930B (zh) | 人脸检测方法及人脸检测*** | |
| CN114581632A (zh) | 基于增强现实技术的零件装配误差检测方法、设备和装置 | |
| CN108683897B (zh) | 多投影显示***畸变的智能校正方法 | |
| CN109410272A (zh) | 一种变压器螺母识别与定位装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |