CN107507235A - 一种基于rgb‑d设备采集的彩色图像和深度图像的配准方法 - Google Patents
一种基于rgb‑d设备采集的彩色图像和深度图像的配准方法 Download PDFInfo
- Publication number
- CN107507235A CN107507235A CN201710775729.XA CN201710775729A CN107507235A CN 107507235 A CN107507235 A CN 107507235A CN 201710775729 A CN201710775729 A CN 201710775729A CN 107507235 A CN107507235 A CN 107507235A
- Authority
- CN
- China
- Prior art keywords
- depth
- mrow
- angle point
- msubsup
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于RGB‑D设备采集的彩色图像和深度图像的配准方法，使用规则镂空的校正板，利用校正板提供的规则性约束，提取彩色图像和深度图像角点，并且利用深度角点对深度相机的偏移模型建模。彩色角点和深度角点分别用来获取彩色相机和深度相机的相机内参以及两个相机之间的相对位置关系。最终，结合偏移模型及相机内参和相对位置关系精确的配准RGB‑D设备采集的彩色图像和深度图像。所得结果可作为输入数据应用于更高级的计算机视觉、增强现实任务中。
Description
技术领域
本发明涉及一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，属于计算机视觉技术领域。
背景技术
RGB-D设备采集的彩色图像和深度图像配准是计算机视觉中的一个基础和重要问题，配准需要确定RGB-D设备中彩色相机和深度相机的相机内参和畸变参数、两者的相对位置关系以及深度相机的偏移模型。准确地配准RGB-D设备采集的彩色深度图像可以有效的辅助其他应用，如增强现实、机器人导航、三维重建、SLAM等。
目前，RGB-D设备的配准主要分为三类：一类是利用RGB-D设备的制造商提供的缺省参数配准彩色和深度图像，如Kinect等；第二类是基于角点提取的方法计算配准参数；第三类是利用角点共面的特性提供约束，计算配准参数。
第一类方法中，有些RGB-D设备，如Kinect等，提供了缺省的校正参数，这些参数存储于其设备的内存中，可以实时的配准RGB-D设备采集的场景彩色和深度信息。第二类方法中，很多方法使用基于角点提取的策略配准RGB-D设备采集的彩色和深度信息。为了配准RGB-D设备，传统的方法首先提取彩色和深度角点，然后分别计算彩色相机和深度相机的相机内参及形变参数，然后再计算两相机之间的相对位置关系。在提取角点过程中，传统方法使用黑白棋盘格。然而，现有算法无法在深度图像中准确地提取传统黑白棋盘格中的角点，因此，很多辅助设备也经常被用来提取彩色和深度角点，如木制校正板等。另外，有些方法利用深度图像恢复场景三维信息，然后在三维信息中寻找三维角点与彩色角点的对应关系，然而由于噪声的影响，这种方法提取的三维角点精度不高；第三类方法中，利用角点共面特性提供的约束来计算配准参数，这类方法可以避免深度图像中的角点提取过程，一定程度上提升了配准的精度，但是这类方法往往时间复杂度较高，稳定性不够，求解难度较大。
以上三种方法都存在不同的问题：第一类中，由于生产过程中的误差等问题，缺省的配准参数在配准单个RGB-D设备时准确度不足；第二类方法中，由于RGB-D设备普遍存在噪声，因此无法准确的提取深度角点，这严重影响了配准的精度；第三类方法往往复杂度较高，求解难度大，稳定性不够。另外，上述三种方法均没有对深度相机中存在的偏移进行建模，这也导致上述几类方法的精度不够。
中国专利文献CN104616284A公开了一种彩色深度相机的彩色图像到深度图像的像素级对准方法。它包括步骤1)确定红外图像和深度图像之间的偏移量量，2)分别标定红外相机和彩色相机的内部参数，3)标定红外相机和彩色相机之间的相对姿势，4)标定深度相机模型的参数，5)利用红外图像和彩色图像的内外参数以及深度图像参数，从彩色图像的一个像素点出发，找到深度图像上对应的像素点，从而确定彩色图像上的像素点的深度；但是，在该专利中，1、红外相机采集的深度图像包含严重的噪声，在此基础上提取的深度角点准确度较低，因此，以此角点为基础标定的深度相机参数准确度不够。2、该专利并未发现深度相机中存在的偏移，这也导致该专利对准的彩色和深度图像精度不高。
发明内容
针对现有技术的不足，本发明提供了一种基于RGB-D设备采集的彩色图像和深度图像的配准方法；
本发明的目的是配准RGB-D设备采集的彩色图像和深度图像，获取RGB-D设备的彩色相机和深度相机的相机内参及形变参数、两相机的相对位置关系及深度相机的偏移模型参数。
本发明使用规则镂空的校正板，首先，利用规则镂空校正板提供的有效约束，准确提取彩色图像角点和深度图像角点，其中深度图像角点包括深度理论角点和深度实际角点。其次，利用彩色图像角点和深度理论角点分别求解彩色相机内参Kc、畸变参数Dc以及深度相机内参Kd。第三，以彩色图像角点、深度理论角点、彩色相机内参Kc、深度相机内参Kd作为输入，利用彩色图像角点和深度理论角点的一一对应关系建立目标函数，并利用Levenberg-Marquardt最小二乘算法优化求解彩色相机和深度相机之间的相对位置关系(R,t)；同时，根据RGB-D设备的有效探测距离，等间距均匀的选取不同的距离点，在不同的距离点选取多个正视视角，在每个视角下使用RGB-D设备采集多帧包含规则镂空校正板的彩色和深度图像对，使用相同的方法提取深度理论角点和深度实际角点，对深度相机的偏移模型F建模。最终，参数模型θ包括：θ＝{Kc,Dc,Kd,R,t,F}。
本发明使用规则镂空的校正板提取深度图像中的角点，该校正板镂空区域的规则排列可以提供有效的约束，准确提取深度图像中的角点，因此，可以准确地标定深度相机的参数；另外，本发明对深度相机的偏移模型建模，偏移模型可以进一步提升彩色图像和深度图像的配准精度。通过本发明所得定位结果具有很高的精度，通过不同的数据集的比较发现，本发明配准RGB-D设备采集彩色和深度图像对的平均误差控制在2个像素以内。
术语解释：
1、相机内参，相机内参K是3×3的矩阵，其用来描述在相机坐标系下的三维点P到相机平面的二维点p的投影关系，p＝KP，其形式为其中[fu,fv]T为相机在二维平面的焦距，[u,v]T为相机成像平面的主点。
2、畸变参数，相机的畸变是指由于相机物镜***设计、制作、装配所引起的像点偏离其理想位置的点位误差，本发明使用D＝{f1,f2,f3,f4}表示相机的畸变参数。
3、角点，通常被定义为两条边的交点，更严格的说，角点的局部邻域应该具有两个不同区域的不同方向的边界。
4、单应性矩阵(homography)，单应性矩阵H是一个3×3的矩阵，其表示一个平面Q到另一个平面Q′’的投影关系，表达式为：Q＝HQ′。
5、单应性逆矩阵，是指单应性矩阵H的逆。
6、正视视角，在本申请中是指观测三维物体时，视线与三维物体的z轴(深度方向)平行的视角。
7、相机坐标系，是以光轴与图像平面的交点为图像坐标系的原点所构成的直角坐标系。相机坐标系(观察坐标系)相机坐标系的原点为相机的光心，x轴与y轴与图像的X,Y轴平行，z轴为相机光轴，它与图形平面垂直。光轴与图像平面的交点，即为图像坐标系的原点，构成的直角坐标系为相机坐标系。
本发明的技术方案为：
一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，所述RGB-D设备包括一组彩色相机、深度相机对，包括步骤如下：
(1)利用规则镂空校正板提供的有效约束，准确提取彩色图像角点和深度图像角点，所述深度图像角点包括深度理论角点和深度实际角点，深度理论角点是指在不受噪声及深度相机偏移影响下的深度图像角点的理论位置，深度实际角点是指在噪声及深度相机偏移影响下的深度图像角点的观测位置；
(2)利用彩色图像角点求解彩色相机内参Kc、畸变参数Dc，利用深度理论角点求解深度相机内参Kd；
(3)以彩色图像角点、深度理论角点、彩色相机内参Kc、深度相机内参Kd作为输入，利用彩色图像角点和深度理论角点的一一对应关系建立目标函数，求解彩色相机和深度相机在三维空间中的位置关系(R,t)；R为3×3的矩阵，表示彩色相机和深度相机之间的旋转关系，t为3×1的矩阵，表示彩色相机和深度相机之间的平移关系；
根据RGB-D设备的有效探测距离，等间距均匀的选取不同的距离点，在不同的距离点选取多个正视视角，在每个视角下使用RGB-D设备采集多帧包含规则镂空校正板的彩色图像和深度图像对，使用步骤(1)所述方法提取深度理论角点和深度实际角点，对深度相机的偏移模型F建模；偏移模型F包括F的量值||F||及F的角度ψ(F)，量值||F||包括***偏移的量值||FS||和随机偏移的量值||Fγ||，||F||＝||FS||+||Fγ||；
(4)获取参数模型θ，参数模型θ包括：θ＝{Kc,Dc,Kd,R,t,F}。
根据本发明优选的，所述步骤(1)，包括步骤如下：
a、使用规则镂空的校正板，所述校正板设有m×n个镂空区域，m、n均为整数，m≥5，n≥5，即：校正板上，每行有m个镂空区域，每列有n个镂空区域；使用RGB-D设备在任意视角和任意距离拍摄该校正板，获取若干组原始的包含完整校正板的彩色图像和深度图像对；
b、对步骤a获取的原始的包含完整校正板的彩色图像，采用角点检测算法提取彩色图像角点；
c、对步骤a获取的原始的包含完整校正板的深度图像，提取每个镂空区域，并计算每个镂空区域的中心点，共获取m*n个镂空区域的中心点；每个镂空区域的中心点对应4个深度理论角点和4个深度实际角点，深度理论角点和深度实际角点一一对应，且数量均为4*m*n个；
d、根据步骤c获取的m*n个镂空区域的中心点，在正视视角下存在与m*n个镂空区域的中心点一一对应的m*n个虚拟中心点，所述虚拟中心点不受噪声影响，且规则排列；同时，在正视视角下存在与4*m*n个深度理论角点一一对应的4*m*n个虚拟角点，所述虚拟角点不受噪声影响，且规则排列；
e、根据步骤c获取的镂空区域的中心点与步骤d中存在的虚拟中心点，计算单应性矩阵；
f、根据步骤e计算得到的单应性矩阵，对单应性矩阵求逆，得到单应性逆矩阵；
g、利用步骤f生成的单应性逆矩阵将步骤d生成的每个虚拟角点映射回深度图像空间，得到深度图像中镂空校正板的理论角点，即深度理论角点；
h、把步骤g得到的每个镂空区域的4个深度理论角点依次连接，形成网格，将网格的四条网格线分别平移至包含完整校正板的每条噪声边界的中心线位置，形成新网格，每个新网格的角点即为深度实际角点。
根据本发明优选的，所述镂空区域为正方形，在所述校正板上，每一行中，若干个镂空区域等间距排列，间距为镂空区域的边长；每一列中，若干个镂空区域等间距排列，间距为镂空区域的边长。利用该规则镂空校正板提供的有效约束，准确提取彩色图像角点和深度图像角点。
根据本发明优选的，所述步骤e，计算单应性矩阵，包括步骤如下：
假设 是指任一镂空区域的中心点在三维空间的坐标； 是指任一镂空区域的中心点对应的虚拟中心点在三维空间的坐标；计算单应性矩阵H，如式(Ⅰ)所示：
设定则H通过式(Ⅱ)估计：
通过最小二乘法求解单应性矩阵H。
根据本发明优选的，所述步骤g，包括步骤如下：
假设 为与4*m*n个深度理论角点一一对应的4*m*n个虚拟角点，则深度理论角点H-1是指单应性矩阵H的逆矩阵。
根据本发明优选的，所述步骤b中，采用Harris角点检测算法提取彩色图像角点。
根据本发明优选的，所述步骤(2)中，通过Zhengyou Zhang相机标定算法，利用彩色图像角点求解彩色相机内参Kc、畸变参数Dc。
根据本发明优选的，所述步骤(2)中，通过Zhengyou Zhang相机标定算法，利用深度理论角点求解深度相机内参Kd。
根据本发明优选的，所述步骤(3)中，以彩色图像角点、深度理论角点、彩色相机内参Kc、深度相机内参Kd作为输入，利用彩色图像角点和深度理论角点的一一对应关系建立目标函数，求解彩色相机和深度相机之间的相对位置关系(R,t)，包括步骤如下：
根据深度相机内参Kd以及采集的深度图像的深度理论角点还原深度相机坐标系下的三维空间点Xd，如式(Ⅲ)所示：
式(Ⅲ)中，为深度相机内参Kd的逆矩阵；
深度相机坐标系下的三维空间点Xd和与其对应的彩色相机坐标系下的三维空间点Xc的映射关系如式(Ⅳ)所示：
Xc＝RXd+t (Ⅳ)
式(Ⅳ)中，R是旋转矩阵，表示深度相机与彩色相机之间的旋转关系，t是平移矩阵，表示深度相机与彩色相机之间的平移关系；
在不考虑畸变的情况下，彩色相机坐标系下的三维空间点Xc到彩色图像像素点pc的投影如式(Ⅴ)所示：
pc＝KcXc (Ⅴ)
由此建立深度图像的深度理论角点到彩色图像像素点pc的映射，该映射关系采用最小二乘算法求解。
根据本发明优选的，所述RGB-D设备的型号为Kinect Xbox360或Kinect forWindows。
根据本发明优选的，所述步骤(3)中，根据RGB-D设备的有效探测距离，等间距均匀的选取不同的距离点，在不同的距离点选取多个正视视角，在每个正视视角下使用RGB-D设备采集多帧包含规则镂空校正板的彩色图像和深度图像对，使用相同的方法提取深度理论角点和深度实际角点，对深度相机的偏移模型F建模，包括步骤如下：
A、RGB-D设备正对规则镂空校正板，即穿过规则镂空校正板并与规则镂空校正板垂直的轴的方向与所述RGB-D设备的拍摄方向平行；在RGB-D设备的有效探测距离内，等间距选取若干个点，在每个点选取多个正视视角，在每个正视视角下使用RGB-D设备采集多帧包含完整规则镂空校正板的彩色图像和深度图像对；
B、采用上述步骤c至步骤i的方法提取深度理论角点和深度实际角点；
C、利用三维B-spline函数对RGB-D设备中的深度相机的偏移模型F建模，包括步骤如下：
a、偏移模型F的***偏移的量值||FS||用如下B-spline函数表示，如式(Ⅵ)所示：
式(Ⅵ)中，将深度图像平面均分成M×N的网格，例如，假设深度图像平面大小为W×H，每个网格的大小为(W/M)×(H/N)；
L表示将深度相机的有效测试距离等间隔的分为L段；由此将RGB-D设备的探测空间三维体分为M×N×L个小的三维体，将这些小的三维体称为体素；
fpqk是指式(VI)中每个网格的角点的权重参数；
uB、vB、zB为每个体素中的像素点[uB,vB]T及对应的深度zB；
为一阶分段函数，其表示如下：当p≤uB≤p+1时，当p+1≤uB≤p+2时，否则，
为一阶分段函数，其表示如下：当q≤vB≤q+1时，当q+1≤vB≤q+2时，否则，
为分段式二阶函数，其表示如下：当k≤zB≤k+1时，当k+1≤zB≤k+2时，当k+2≤zB≤k+3时，否则，
此过程将RGB-D设备的有效深度探测范围分为M×N×L个三维体素，合理的选择M，N和L可以使分段B-spline函数模拟连续函数。
在得到***偏移量值||Fs||后，随机偏移量值||Fγ||＝||F||-||Fs||。上述步骤A-B的过程中，本发明可获取不同深度上的深度理论角点和深度实际角点的点集，深度实际角点与对应的深度理论角点之间的差值即为两角点对应的偏移。通过步骤A-B的操作，本发明可获取不同深度上大量的偏移采样。通过这些偏移采样，本发明可估计||Fs||，在得到||FS||后，本发明可根据偏移采样及对应的||FS||，得到||Fγ||。
b、偏移模型F的角度ψ(F)与其周围的像素有关。对于需估计偏移的深度图像像素点pd，选取一个以pd为中心的窗口，在窗口范围内的像素被分为两个区域：像素值均高于窗口范围内平均像素值的区域即高像素值区域，以及像素值均低于窗口范围内平均像素值的区域即低像素值区域，假设vb为高像素值区域的中心，vf为低像素值区域的中心，vb到vf的方向模拟像素的偏移方向，因此ψ(F)的表示如式(Ⅶ)所示：
ψ(F)＝tan-1(yf-yb,xf-xb) (Ⅶ)
式(Ⅶ)中，vf＝[xf,yf]T，vb＝[xb,yb]T。
本发明的有益效果为：
1、本发明利用规则镂空校正板及单应性矩阵约束，可以有效消除RGB-D设备中包含的噪声对角点提取过程精度的影响，有效精确的提取深度图像中的角点，从而使深度相机内参标定过程及彩色和深度相机相对位置关系求解过程更加准确。
2、现有技术中，深度相机存在偏移，本申请对此偏移建立模型，并应用模型处理原始采集的深度图像，再进行彩色和深度图像配准，从而使配准精度更高。
3、在对深度相机偏移的建模过程中，本申请使用三维B-spline函数，以将RGB-D设备的深度探测空间分为M×N×L个三维体素的方式表示偏移模型的非线性关系，消除了固定公式表达偏移模型的非线性表达上限，从而使该非线性表达更加准确。
附图说明
图1为本发明基于RGB-D设备采集的彩色图像和深度图像的配准方法的流程框图；
图2为本发明规则镂空的校正板的示意图；
图3为本发明单应性逆矩阵将每个虚拟角点映射回深度图像空间的示意图；
图4为本发明镂空区域的区域模拟图；
图5(a)为RGB-D设备采集的第一组彩色图像示意图；
图5(b)为应用本发明的方法对图5(a)中RGB-D设备采集的深度图像配准后的深度图像示意图；
图5(c)为将图5(b)配准后的深度图像与彩色图像合并后的结果示意图；
图5(d)为将图5(b)配准后的深度图像三维点云显示的结果示意图。
图6(a)为RGB-D设备采集的第二组彩色图像示意图；
图6(b)为应用本发明的方法对图6(a)中RGB-D设备采集的深度图像配准后的深度图像示意图；
图6(c)为将图6(b)配准后的深度图像与彩色图像合并后的结果示意图；
图6(d)为将图6(b)配准后的深度图像三维点云显示的结果示意图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例
一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，如图1所示，RGB-D设备(Kinect for Windows)包括一组彩色相机、深度相机对，包括步骤如下：
(1)利用规则镂空校正板提供的有效约束，准确提取彩色图像角点和深度图像角点，所述深度图像角点包括深度理论角点和深度实际角点，深度理论角点是指在不受噪声及深度相机偏移影响下的深度图像角点的理论位置，深度实际角点是指在噪声及深度相机偏移影响下的深度图像角点的观测位置；包括步骤如下：
a、使用规则镂空的校正板，所述校正板设有m×n个镂空区域，m、n均为整数，m≥5，n≥5，即：校正板上，每行有m个镂空区域，每列有n个镂空区域；镂空区域为正方形，在校正板上，每一行中，m个镂空区域等间距排列，间距为镂空区域的边长；每一列中，n个镂空区域等间距排列，间距为镂空区域的边长，如图2所示。利用该规则镂空校正板提供的有效约束，准确提取彩色图像角点和深度图像角点。
使用RGB-D设备在任意视角和任意距离拍摄该校正板，获取若干组原始的包含完整校正板的彩色图像和深度图像对；
b、对步骤a获取的原始的包含完整校正板的彩色图像，采用Harris角点检测算法提取彩色图像角点；
c、对步骤a获取的原始的包含完整校正板的深度图像，提取每个镂空区域，并计算每个镂空区域的中心点，共获取m*n个镂空区域的中心点；每个镂空区域的中心点对应4个深度理论角点和4个深度实际角点，深度理论角点和深度实际角点一一对应，且数量均为4*m*n个；
d、根据步骤c获取的m*n个镂空区域的中心点，在正视视角下存在与m*n个镂空区域的中心点一一对应的m*n个虚拟中心点，所述虚拟中心点不受噪声影响，且规则排列；同时，在正视视角下存在与4*m*n个深度理论角点一一对应的4*m*n个虚拟角点，所述虚拟角点不受噪声影响，且规则排列；
e、根据步骤c获取的镂空区域的中心点与步骤d中存在的虚拟中心点，计算单应性矩阵：假设 是指任一镂空区域的中心点在三维空间的坐标； 是指任一镂空区域的中心点对应的虚拟中心点在三维空间的坐标；计算单应性矩阵H，如式(Ⅰ)所示：
设定则H通过式(Ⅱ)估计：
通过最小二乘法求解单应性矩阵H。
f、根据步骤e计算得到的单应性矩阵，对单应性矩阵H求逆，得到单应性逆矩阵H-1：
g、利用步骤f生成的单应性逆矩阵将步骤d生成的每个虚拟角点映射回深度图像空间，如图3所示，图3中，(a)为RGB-D设备采集的深度图像，(b)为正视视角下的虚拟中心点(黑色点)和虚拟角点(灰色点)，得到深度图像中镂空校正板的理论角点，即深度理论角点：假设 为与4*m*n个深度理论角点一一对应的4*m*n个虚拟角点，则深度理论角点H-1是指单应性矩阵H的逆矩阵。
h、把步骤g得到的每个镂空区域的4个深度理论角点依次连接，形成网格，将网格的四条网格线分别平移至包含完整校正板的每条噪声边界的中心线位置，形成新网格，每个新网格的角点即为深度实际角点。镂空区域的区域模拟图如图4所示，图4中，黑色区域为校正板区域，灰色区域为镂空区域；由图可知每个镂空区域受到严重噪声影响，每个镂空区域边界为受噪声影响的曲线，pd1、pd2、pd3、pd4为深度实际角点，为深度理论角点，箭头表示深度相机偏移F；
(2)通过Zhengyou Zhang相机标定算法，利用彩色图像角点求解彩色相机内参Kc、畸变参数Dc，通过Zhengyou Zhang相机标定算法，利用深度理论角点求解深度相机内参Kd；
(3)以彩色图像角点、深度理论角点、彩色相机内参Kc、深度相机内参Kd作为输入，利用彩色图像角点和深度理论角点的一一对应关系建立目标函数，求解彩色相机和深度相机在三维空间中的位置关系(R,t)；R为3×3的矩阵，表示彩色相机和深度相机之间的旋转关系，t为3×1的矩阵，表示彩色相机和深度相机之间的平移关系；包括步骤如下：
根据深度相机内参Kd以及采集的深度图像的深度理论角点还原深度相机坐标系下的三维空间点Xd，如式(Ⅲ)所示：
式(Ⅲ)中，为深度相机内参Kd的逆矩阵；
深度相机坐标系下的三维空间点Xd和与其对应的彩色相机坐标系下的三维空间点Xc的映射关系如式(Ⅳ)所示：
Xc＝RXd+t (Ⅳ)
式(Ⅳ)中，R是旋转矩阵，表示深度相机与彩色相机之间的旋转关系，t是平移矩阵，表示深度相机与彩色相机之间的平移关系；
在不考虑畸变的情况下，彩色相机坐标系下的三维空间点Xc到彩色图像像素点pc的投影如式(Ⅴ)所示：
pc＝KcXc (Ⅴ)
由此建立深度图像的深度理论角点到彩色图像像素点pc的映射，该映射关系采用最小二乘算法求解。
根据RGB-D设备的有效探测距离，等间距均匀的选取不同的距离点，在不同的距离点选取多个正视视角，在每个视角下使用RGB-D设备采集多帧包含规则镂空校正板的彩色图像和深度图像对，使用步骤(1)所述方法提取深度理论角点和深度实际角点，对深度相机的偏移模型F建模；偏移模型F包括F的量值||F||及F的角度ψ(F)，量值||F||包括***偏移的量值||FS||和随机偏移的量值||Fγ||，||F||＝||FS||+||Fγ||；包括步骤如下：
A、RGB-D设备正对规则镂空校正板，即穿过规则镂空校正板并与规则镂空校正板垂直的轴的方向与所述RGB-D设备的拍摄方向平行；在RGB-D设备的有效探测距离内，等间距选取若干个点，在每个点选取多个正视视角，在每个正视视角下使用RGB-D设备采集多帧包含完整规则镂空校正板的彩色图像和深度图像对；
B、采用上述步骤c至步骤i的方法提取深度理论角点和深度实际角点；
C、利用三维B-spline函数对RGB-D设备中的深度相机的偏移模型F建模，包括步骤如下：
a、偏移模型F的***偏移的量值||FS||用如下B-spline函数表示，如式(Ⅵ)所示：
式(Ⅵ)中，将深度图像平面均分成M×N的网格，例如，假设深度图像平面大小为W×H，每个网格的大小为(W/M)×(H/N)；
L表示将深度相机的有效测试距离等间隔的分为L段；由此将RGB-D设备的探测空间三维体分为M×N×L个小的三维体，将这些小的三维体称为体素；
fpqk是指式(VI)中每个网格的角点的权重参数；
uB、vB、zB为每个体素中的像素点[uB,vB]T及对应的深度zB；
为一阶分段函数，其表示如下：当p≤uB≤p+1时，当p+1≤uB≤p+2时，否则，
为一阶分段函数，其表示如下：当q≤vB≤q+1时，当q+1≤vB≤q+2时，否则，
为分段式二阶函数，其表示如下：当k≤zB≤k+1时，当k+1≤zB≤k+2时，当k+2≤zB≤k+3时，否则，
此过程将RGB-D设备的有效深度探测范围分为M×N×L个三维体素，合理的选择M，N和L可以使分段B-spline函数模拟连续函数。
在得到***偏移量值||FS||后，随机偏移量值||Fγ||＝||F||-||FS||。上述步骤A-B的过程中，本发明可获取不同深度上的深度理论角点和深度实际角点的点集，深度实际角点与对应的深度理论角点之间的差值即为两角点对应的偏移。通过步骤A-B的操作，本发明可获取不同深度上大量的偏移采样。通过这些偏移采样，本发明可估计||FS||，在得到||Fs||后，本发明可根据偏移采样及对应的||Fs||，得到||Fγ||。
b、偏移模型F的角度ψ(F)与其周围的像素有关。对于需估计偏移的深度图像像素点pd，选取一个以pd为中心的窗口，在窗口范围内的像素被分为两个区域：像素值均高于窗口范围内平均像素值的区域即高像素值区域，以及像素值均低于窗口范围内平均像素值的区域即低像素值区域，假设vb为高像素值区域的中心，vf为低像素值区域的中心，vb到vf的方向模拟像素的偏移方向，因此ψ(F)的表示如式(Ⅶ)所示：
ψ(F)＝tan-1(yf-yb,xf-xb) (Ⅶ)
式(Ⅶ)中，vf＝[xf,yf]T，vb＝[xb,yb]T。
(4)获取参数模型θ，参数模型θ包括：θ＝{Kc,Dc,Kd,R,t,F}。
图5(a)为RGB-D设备采集的第一组彩色图像示意图；图5(b)为应用本发明的方法对图5(a)中RGB-D设备采集的深度图像配准后的深度图像示意图；图5(c)为将图5(b)配准后的深度图像与彩色图像合并后的结果示意图；图5(d)为将图5(b)配准后的深度图像三维点云显示的结果示意图。
图6(a)为RGB-D设备采集的第二组彩色图像示意图；图6(b)为应用本发明的方法对图6(a)中RGB-D设备采集的深度图像配准后的深度图像示意图；图6(c)为将图6(b)配准后的深度图像与彩色图像合并后的结果示意图；图6(d)为将图6(b)配准后的深度图像三维点云显示的结果示意图。
根据图5(a)-图5(d)及图6(a)-图6(d)的结果可以发现，本发明可以高精度配准RGB-D设备采集的彩色和深度图像。现有技术，如背景技术中提及的中国专利文献CN104616284A，由于RGB-D设备深度相机包含的噪声的影响，不能准确的提取RGB-D设备采集的深度图像中的角点，进而影响标定深度相机的精度，从而影响RGB-D设备采集的彩色图像和深度图像的配准精度。另外，现有技术并没有对深度相机中存在的偏移进行有效处理，这也严重影响了彩色和深度图像的配准精度。上述问题在本发明中得到了有效解决。本发明使用规则镂空校正板提供的有效约束，可以准确的提取深度图像中的角点，进而获得准确的深度相机标定参数及准确的彩色和深度图像配准结果。同时，本发明对深度相机中存在的偏移进行了有效建模，可以提升彩色图像和深度图像的配准精度。
Claims (10)
1.一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，所述RGB-D设备包括一组彩色相机、深度相机对，其特征在于，包括步骤如下：
(1)利用规则镂空校正板提供的有效约束，准确提取彩色图像角点和深度图像角点，所述深度图像角点包括深度理论角点和深度实际角点，深度理论角点是指在不受噪声及深度相机偏移影响下的深度图像角点的理论位置，深度实际角点是指在噪声及深度相机偏移影响下的深度图像角点的观测位置；
(2)利用彩色图像角点求解彩色相机内参Kc、畸变参数Dc，利用深度理论角点求解深度相机内参Kd；
(3)以彩色图像角点、深度理论角点、彩色相机内参Kc、深度相机内参Kd作为输入，利用彩色图像角点和深度理论角点的一一对应关系建立目标函数，求解彩色相机和深度相机在三维空间中的位置关系(R,t)；R为3×3的矩阵，表示彩色相机和深度相机之间的旋转关系，t为3×1的矩阵，表示彩色相机和深度相机之间的平移关系；
根据RGB-D设备的有效探测距离，等间距均匀的选取不同的距离点，在不同的距离点选取多个正视视角，在每个视角下使用RGB-D设备采集多帧包含规则镂空校正板的彩色图像和深度图像对，使用步骤(1)所述方法提取深度理论角点和深度实际角点，对深度相机的偏移模型F建模；偏移模型F包括F的量值||F||及F的角度ψ(F)，量值||F||包括***偏移的量值||FS||和随机偏移的量值||Fγ||，||F||＝||FS||+||Fγ||；
(4)获取参数模型θ，参数模型θ包括：θ＝{Kc,Dc,Kd,R,t,F}。
2.根据权利要求1所述的一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，其特征在于，所述步骤(1)，包括步骤如下：
a、使用规则镂空的校正板，所述校正板设有m×n个镂空区域，m、n均为整数，m≥5，n≥5，即：校正板上，每行有m个镂空区域，每列有n个镂空区域；使用RGB-D设备在任意视角和任意距离拍摄该校正板，获取若干组原始的包含完整校正板的彩色图像和深度图像对；
b、对步骤a获取的原始的包含完整校正板的彩色图像，采用角点检测算法提取彩色图像角点；
c、对步骤a获取的原始的包含完整校正板的深度图像，提取每个镂空区域，并计算每个镂空区域的中心点，共获取m*n个镂空区域的中心点；每个镂空区域的中心点对应4个深度理论角点和4个深度实际角点，深度理论角点和深度实际角点一一对应，且数量均为4*m*n个；
d、根据步骤c获取的m*n个镂空区域的中心点，在正视视角下存在与m*n个镂空区域的中心点一一对应的m*n个虚拟中心点，所述虚拟中心点不受噪声影响，且规则排列；同时，在正视视角下存在与4*m*n个深度理论角点一一对应的4*m*n个虚拟角点，所述虚拟角点不受噪声影响，且规则排列；
e、根据步骤c获取的镂空区域的中心点与步骤d中存在的虚拟中心点，计算单应性矩阵；
f、根据步骤e计算得到的单应性矩阵，对单应性矩阵求逆，得到单应性逆矩阵；
g、利用步骤f生成的单应性逆矩阵将步骤d生成的每个虚拟角点映射回深度图像空间，得到深度图像中镂空校正板的理论角点，即深度理论角点；
h、把步骤g得到的每个镂空区域的4个深度理论角点依次连接，形成网格，将网格的四条网格线分别平移至包含完整校正板的每条噪声边界的中心线位置，形成新网格，每个新网格的角点即为深度实际角点。
3.根据权利要求1所述的一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，其特征在于，所述镂空区域为正方形，在所述校正板上，每一行中，若干个镂空区域等间距排列，间距为镂空区域的边长；每一列中，若干个镂空区域等间距排列，间距为镂空区域的边长。
4.根据权利要求2所述的一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，其特征在于，所述步骤e，计算单应性矩阵H，包括步骤如下：
假设 是指任一镂空区域的中心点在三维空间的坐标； 是指任一镂空区域的中心点对应的虚拟中心点在三维空间的坐标；计算单应性矩阵H，如式(Ⅰ)所示：
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>c</mi>
<mrow>
<mi>g</mi>
<mi>x</mi>
</mrow>
<mi>i</mi>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>c</mi>
<mrow>
<mi>g</mi>
<mi>y</mi>
</mrow>
<mi>i</mi>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mi>H</mi>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>c</mi>
<mrow>
<mi>d</mi>
<mi>x</mi>
</mrow>
<mi>i</mi>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>c</mi>
<mrow>
<mi>d</mi>
<mi>y</mi>
</mrow>
<mi>i</mi>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mi>I</mi>
<mo>)</mo>
</mrow>
</mrow>
设定则H通过式(Ⅱ)估计：
<mrow>
<mi>H</mi>
<mo>=</mo>
<msub>
<mi>argmin</mi>
<mi>H</mi>
</msub>
<msubsup>
<mo>&Sigma;</mo>
<mi>i</mi>
<mrow>
<mi>m</mi>
<mo>&times;</mo>
<mi>n</mi>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<msubsup>
<mi>c</mi>
<mrow>
<mi>g</mi>
<mi>x</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>-</mo>
<mfrac>
<mrow>
<msub>
<mi>h</mi>
<mn>11</mn>
</msub>
<msubsup>
<mi>c</mi>
<mrow>
<mi>d</mi>
<mi>x</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>+</mo>
<msub>
<mi>h</mi>
<mn>12</mn>
</msub>
<msubsup>
<mi>c</mi>
<mrow>
<mi>d</mi>
<mi>y</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>+</mo>
<msub>
<mi>h</mi>
<mn>13</mn>
</msub>
</mrow>
<mrow>
<msub>
<mi>h</mi>
<mn>32</mn>
</msub>
<msubsup>
<mi>c</mi>
<mrow>
<mi>d</mi>
<mi>x</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>+</mo>
<msub>
<mi>h</mi>
<mn>32</mn>
</msub>
<msubsup>
<mi>c</mi>
<mrow>
<mi>d</mi>
<mi>y</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>+</mo>
<msub>
<mi>h</mi>
<mn>33</mn>
</msub>
</mrow>
</mfrac>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<msubsup>
<mi>c</mi>
<mrow>
<mi>g</mi>
<mi>y</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>-</mo>
<mfrac>
<mrow>
<msub>
<mi>h</mi>
<mn>21</mn>
</msub>
<msubsup>
<mi>c</mi>
<mrow>
<mi>d</mi>
<mi>x</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>+</mo>
<msub>
<mi>h</mi>
<mn>22</mn>
</msub>
<msubsup>
<mi>c</mi>
<mrow>
<mi>d</mi>
<mi>y</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>+</mo>
<msub>
<mi>h</mi>
<mn>23</mn>
</msub>
</mrow>
<mrow>
<msub>
<mi>h</mi>
<mn>32</mn>
</msub>
<msubsup>
<mi>c</mi>
<mrow>
<mi>d</mi>
<mi>x</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>+</mo>
<msub>
<mi>h</mi>
<mn>32</mn>
</msub>
<msubsup>
<mi>c</mi>
<mrow>
<mi>d</mi>
<mi>y</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>+</mo>
<msub>
<mi>h</mi>
<mn>33</mn>
</msub>
</mrow>
</mfrac>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mi>I</mi>
<mi>I</mi>
<mo>)</mo>
</mrow>
</mrow>
通过最小二乘法求解单应性矩阵H。
5.根据权利要求2所述的一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，其特征在于，所述步骤g，包括步骤如下：
假设 为与4*m*n个深度理论角点一一对应的4*m*n个虚拟角点，则深度理论角点H-1是指单应性矩阵H的逆矩阵。
6.根据权利要求2所述的一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，其特征在于，所述步骤b中，采用Harris角点检测算法提取彩色图像角点。
7.根据权利要求1所述的一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，其特征在于，所述步骤(2)中，通过Zhengyou Zhang相机标定算法，利用彩色图像角点求解彩色相机内参Kc、畸变参数Dc；通过Zhengyou Zhang相机标定算法，利用深度理论角点求解深度相机内参Kd。
8.根据权利要求1所述的一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，其特征在于，所述步骤(3)中，以彩色图像角点、深度理论角点、彩色相机内参Kc、深度相机内参Kd作为输入，利用彩色图像角点和深度理论角点的一一对应关系建立目标函数，求解彩色相机和深度相机之间的相对位置关系(R,t)，包括步骤如下：
根据深度相机内参Kd以及采集的深度图像的深度理论角点还原深度相机坐标系下的三维空间点Xd，如式(Ⅲ)所示：
<mrow>
<msub>
<mi>X</mi>
<mi>d</mi>
</msub>
<mo>=</mo>
<msubsup>
<mi>K</mi>
<mi>d</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<msubsup>
<mi>p</mi>
<mi>d</mi>
<mrow>
<mo>^</mo>
<mi>j</mi>
</mrow>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mi>I</mi>
<mi>I</mi>
<mi>I</mi>
<mo>)</mo>
</mrow>
</mrow>
式(Ⅲ)中，为深度相机内参Kd的逆矩阵；
深度相机坐标系下的三维空间点Xd和与其对应的彩色相机坐标系下的三维空间点Xc的映射关系如式(Ⅳ)所示：
Xc＝RXd+t(Ⅳ)
式(Ⅳ)中，R是旋转矩阵，表示深度相机与彩色相机之间的旋转关系，t是平移矩阵，表示深度相机与彩色相机之间的平移关系；
在不考虑畸变的情况下，彩色相机坐标系下的三维空间点Xc到彩色图像像素点pc的投影如式(Ⅴ)所示：
pc＝KcXc(Ⅴ)
由此建立深度图像的深度理论角点到彩色图像像素点pc的映射，该映射关系采用最小二乘算法求解。
9.根据权利要求1所述的一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，其特征在于，所述RGB-D设备的型号为Kinect Xbox360或Kinect for Windows。
10.根据权利要求1-9任一所述的一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，其特征在于，所述步骤(3)中，根据RGB-D设备的有效探测距离，等间距均匀的选取不同的距离点，在不同的距离点选取多个正视视角，在每个正视视角下使用RGB-D设备采集多帧包含规则镂空校正板的彩色图像和深度图像对，使用相同的方法提取深度理论角点和深度实际角点，对深度相机的偏移模型F建模，包括步骤如下：
A、RGB-D设备正对规则镂空校正板，即穿过规则镂空校正板并与规则镂空校正板垂直的轴的方向与所述RGB-D设备的拍摄方向平行；在RGB-D设备的有效探测距离内，等间距选取若干个点，在每个点选取多个正视视角，在每个正视视角下使用RGB-D设备采集多帧包含完整规则镂空校正板的彩色图像和深度图像对；
B、采用上述步骤c至步骤i的方法提取深度理论角点和深度实际角点；
C、利用三维B-spline函数对RGB-D设备中的深度相机的偏移模型F建模，包括步骤如下：
a、偏移模型F的***偏移的量值||FS||用如下B-spline函数表示，如式(Ⅵ)所示：
<mrow>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>F</mi>
<mi>S</mi>
</msub>
<mo>|</mo>
<mo>|</mo>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>p</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>M</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>q</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>N</mi>
</munderover>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>L</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<msub>
<mi>f</mi>
<mrow>
<mi>p</mi>
<mi>q</mi>
<mi>k</mi>
</mrow>
</msub>
<msubsup>
<mi>N</mi>
<mi>p</mi>
<mn>1</mn>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>u</mi>
<mi>B</mi>
</msub>
<mo>)</mo>
</mrow>
<msubsup>
<mi>N</mi>
<mi>q</mi>
<mn>1</mn>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>B</mi>
</msub>
<mo>)</mo>
</mrow>
<msubsup>
<mi>N</mi>
<mi>k</mi>
<mn>2</mn>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>z</mi>
<mi>B</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mi>V</mi>
<mi>I</mi>
<mo>)</mo>
</mrow>
</mrow>
式(Ⅵ)中，将深度图像平面均分成M×N的网格；
L表示将深度相机的有效测试距离等间隔的分为L段；由此将RGB-D设备的探测空间三维体分为M×N×L个小的三维体，将这些小的三维体称为体素；
fpqk是指式(VI)中每个网格的角点的权重参数；
uB、vB、zB为每个体素中的像素点[uB,vB]T及对应的深度zB；
为一阶分段函数，其表示如下：当p≤uB≤p+1时，当p+1≤uB≤p+2时，否则，
为一阶分段函数，其表示如下：当q≤vB≤q+1时，当q+1≤vB≤q+2时，否则，
为分段式二阶函数，其表示如下：当k≤zB≤k+1时，当k+1≤zB≤k+2时，当k+2≤zB≤k+3时，否则，
在得到***偏移量值||FS||后，随机偏移量值||Fγ||＝||F||-||FS||；
b、对于需估计偏移的深度图像像素点pd，选取一个以pd为中心的窗口，在窗口范围内的像素被分为两个区域：像素值均高于窗口范围内平均像素值的区域即高像素值区域，以及像素值均低于窗口范围内平均像素值的区域即低像素值区域，假设vb为高像素值区域的中心，vf为低像素值区域的中心，vb到vf的方向模拟像素的偏移方向，因此ψ(F)的表示如式(Ⅶ)所示：
ψ(F)＝tan-1(yf-yb,xf-xb)(Ⅶ)
式(Ⅶ)中，vf＝[xf,yf]T，vb＝[xb,yb]T。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710775729.XA CN107507235B (zh) | 2017-08-31 | 2017-08-31 | 一种基于rgb-d设备采集的彩色图像和深度图像的配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710775729.XA CN107507235B (zh) | 2017-08-31 | 2017-08-31 | 一种基于rgb-d设备采集的彩色图像和深度图像的配准方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107507235A true CN107507235A (zh) | 2017-12-22 |
| CN107507235B CN107507235B (zh) | 2020-11-10 |
Family
ID=60693333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710775729.XA Active CN107507235B (zh) | 2017-08-31 | 2017-08-31 | 一种基于rgb-d设备采集的彩色图像和深度图像的配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107507235B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109352646A (zh) * | 2018-09-30 | 2019-02-19 | 泰安康平纳机械有限公司 | 纱线自动装卸方法及*** |
| CN109492639A (zh) * | 2018-11-12 | 2019-03-19 | 北京拓疆者智能科技有限公司 | 装载位置三维坐标获取方法、***及图像识别设备 |
| CN109934873A (zh) * | 2019-03-15 | 2019-06-25 | 百度在线网络技术（北京）有限公司 | 标注图像获取方法、装置及设备 |
| CN109978929A (zh) * | 2017-12-28 | 2019-07-05 | 舜宇光学（浙江）研究院有限公司 | 深度信息摄像模组的rgb-d图像合成优化***及其方法 |
| CN110163915A (zh) * | 2019-04-09 | 2019-08-23 | 深圳大学 | 一种多rgb-d传感器的空间三维扫描方法及装置 |
| CN111784757A (zh) * | 2020-06-30 | 2020-10-16 | 北京百度网讯科技有限公司 | 深度估计模型的训练方法、深度估计方法、装置及设备 |
| CN112150372A (zh) * | 2019-06-28 | 2020-12-29 | 深圳创想未来机器人有限公司 | 一种深度图矫正方法、深度图矫正装置和机器人 |
| CN112434543A (zh) * | 2020-11-24 | 2021-03-02 | 山东大学 | 一种针对畸变彩色直接部件标记的图像重构方法及*** |
| CN112509023A (zh) * | 2020-12-11 | 2021-03-16 | 国网浙江省电力有限公司衢州供电公司 | 一种多源相机***及rgbd配准方法 |
| TWI725522B (zh) * | 2018-08-28 | 2021-04-21 | 鈺立微電子股份有限公司 | 具有校正功能的影像擷取系統 |
| CN112734862A (zh) * | 2021-02-10 | 2021-04-30 | 北京华捷艾米科技有限公司 | 深度图像的处理方法、装置、计算机可读介质以及设备 |
| CN113034681A (zh) * | 2021-04-07 | 2021-06-25 | 清华大学 | 空间平面关系约束的三维重建方法及装置 |
| WO2021135321A1 (zh) * | 2019-12-30 | 2021-07-08 | 苏宁云计算有限公司 | 一种物体的定位方法、装置及计算机*** |
| CN113256611A (zh) * | 2021-06-21 | 2021-08-13 | 浙江光珀智能科技有限公司 | 一种rgb-d配准精度测试方法及设备 |
| CN115797426A (zh) * | 2023-02-13 | 2023-03-14 | 合肥的卢深视科技有限公司 | 图像对齐方法、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103745474A (zh) * | 2014-01-21 | 2014-04-23 | 南京理工大学 | 基于惯性传感器和摄像机的图像配准方法 |
| EP2993490A1 (en) * | 2014-09-08 | 2016-03-09 | Kabushiki Kaisha TOPCON | Operating device, operating system, operating method, and program therefor |
| CN106780618A (zh) * | 2016-11-24 | 2017-05-31 | 周超艳 | 基于异构深度摄像机的三维信息获取方法及其装置 |
-
2017
- 2017-08-31 CN CN201710775729.XA patent/CN107507235B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103745474A (zh) * | 2014-01-21 | 2014-04-23 | 南京理工大学 | 基于惯性传感器和摄像机的图像配准方法 |
| EP2993490A1 (en) * | 2014-09-08 | 2016-03-09 | Kabushiki Kaisha TOPCON | Operating device, operating system, operating method, and program therefor |
| CN106780618A (zh) * | 2016-11-24 | 2017-05-31 | 周超艳 | 基于异构深度摄像机的三维信息获取方法及其装置 |
Non-Patent Citations (1)
| Title |
|---|
| 汪汉云: "高分辨率三维点云目标识别技术研究", 《中国博士学位论文全文数据库》 * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978929A (zh) * | 2017-12-28 | 2019-07-05 | 舜宇光学（浙江）研究院有限公司 | 深度信息摄像模组的rgb-d图像合成优化***及其方法 |
| TWI725522B (zh) * | 2018-08-28 | 2021-04-21 | 鈺立微電子股份有限公司 | 具有校正功能的影像擷取系統 |
| CN109352646A (zh) * | 2018-09-30 | 2019-02-19 | 泰安康平纳机械有限公司 | 纱线自动装卸方法及*** |
| CN109352646B (zh) * | 2018-09-30 | 2023-01-06 | 泰安康平纳机械有限公司 | 纱线自动装卸方法及*** |
| CN109492639A (zh) * | 2018-11-12 | 2019-03-19 | 北京拓疆者智能科技有限公司 | 装载位置三维坐标获取方法、***及图像识别设备 |
| CN109934873A (zh) * | 2019-03-15 | 2019-06-25 | 百度在线网络技术（北京）有限公司 | 标注图像获取方法、装置及设备 |
| CN109934873B (zh) * | 2019-03-15 | 2021-11-02 | 百度在线网络技术（北京）有限公司 | 标注图像获取方法、装置及设备 |
| CN110163915A (zh) * | 2019-04-09 | 2019-08-23 | 深圳大学 | 一种多rgb-d传感器的空间三维扫描方法及装置 |
| CN112150372B (zh) * | 2019-06-28 | 2024-02-02 | 深圳创想未来机器人有限公司 | 一种深度图矫正方法、深度图矫正装置和机器人 |
| CN112150372A (zh) * | 2019-06-28 | 2020-12-29 | 深圳创想未来机器人有限公司 | 一种深度图矫正方法、深度图矫正装置和机器人 |
| WO2021135321A1 (zh) * | 2019-12-30 | 2021-07-08 | 苏宁云计算有限公司 | 一种物体的定位方法、装置及计算机*** |
| CN111784757A (zh) * | 2020-06-30 | 2020-10-16 | 北京百度网讯科技有限公司 | 深度估计模型的训练方法、深度估计方法、装置及设备 |
| CN111784757B (zh) * | 2020-06-30 | 2024-01-23 | 北京百度网讯科技有限公司 | 深度估计模型的训练方法、深度估计方法、装置及设备 |
| CN112434543B (zh) * | 2020-11-24 | 2022-02-01 | 山东大学 | 一种针对畸变彩色直接部件标记的图像重构方法及*** |
| CN112434543A (zh) * | 2020-11-24 | 2021-03-02 | 山东大学 | 一种针对畸变彩色直接部件标记的图像重构方法及*** |
| CN112509023B (zh) * | 2020-12-11 | 2022-11-22 | 国网浙江省电力有限公司衢州供电公司 | 一种多源相机***及rgbd配准方法 |
| CN112509023A (zh) * | 2020-12-11 | 2021-03-16 | 国网浙江省电力有限公司衢州供电公司 | 一种多源相机***及rgbd配准方法 |
| CN112734862A (zh) * | 2021-02-10 | 2021-04-30 | 北京华捷艾米科技有限公司 | 深度图像的处理方法、装置、计算机可读介质以及设备 |
| CN113034681B (zh) * | 2021-04-07 | 2022-05-03 | 清华大学 | 空间平面关系约束的三维重建方法及装置 |
| CN113034681A (zh) * | 2021-04-07 | 2021-06-25 | 清华大学 | 空间平面关系约束的三维重建方法及装置 |
| CN113256611B (zh) * | 2021-06-21 | 2021-12-24 | 浙江光珀智能科技有限公司 | 一种rgb-d配准精度测试方法及设备 |
| CN113256611A (zh) * | 2021-06-21 | 2021-08-13 | 浙江光珀智能科技有限公司 | 一种rgb-d配准精度测试方法及设备 |
| CN115797426A (zh) * | 2023-02-13 | 2023-03-14 | 合肥的卢深视科技有限公司 | 图像对齐方法、电子设备及存储介质 |
| CN115797426B (zh) * | 2023-02-13 | 2023-05-12 | 合肥的卢深视科技有限公司 | 图像对齐方法、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107507235B (zh) | 2020-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107507235A (zh) | 一种基于rgb‑d设备采集的彩色图像和深度图像的配准方法 | |
| CN105243637B (zh) | 一种基于三维激光点云进行全景影像拼接方法 | |
| CN107633536A (zh) | 一种基于二维平面模板的相机标定方法及*** | |
| CN106683173B (zh) | 一种基于邻域块匹配提高三维重建点云稠密程度的方法 | |
| CN104574339A (zh) | 一种用于视频监控的多尺度柱面投影全景图像生成方法 | |
| CN105374019A (zh) | 一种多深度图融合方法及装置 | |
| CN110443879B (zh) | 一种基于神经网络的透视误差补偿方法 | |
| CN108629756A (zh) | 一种Kinect v2深度图像无效点修复方法 | |
| CN104299220A (zh) | 一种对Kinect深度图像中的空洞进行实时填充的方法 | |
| CN104751458B (zh) | 一种基于180°旋转算子的标定角点检测方法 | |
| CN109523595A (zh) | 一种建筑工程直线棱角间距视觉测量方法 | |
| CN109360230A (zh) | 一种基于2d相机与3d相机的图像配准方法及*** | |
| CN105139355A (zh) | 一种深度图像的增强方法 | |
| Song et al. | Modeling deviations of rgb-d cameras for accurate depth map and color image registration | |
| CN112669280B (zh) | 一种基于lsd算法的无人机倾斜航拍直角像控点目标检测方法 | |
| CN106408596A (zh) | 基于边缘的局部立体匹配方法 | |
| CN106570907A (zh) | 一种相机标定方法及装置 | |
| CN107580203A (zh) | 沉浸式主动立体投影透视变换矩阵求解方法 | |
| CN115880369A (zh) | 线结构光3d相机和线阵相机联合标定的装置、***及方法 | |
| KR102023087B1 (ko) | 카메라 캘리브레이션 방법 | |
| CN112017259B (zh) | 一种基于深度相机与热像仪的室内定位与建图方法 | |
| CN110223356A (zh) | 一种基于能量生长的单目相机全自动标定方法 | |
| CN110379002A (zh) | 一种基于红外与可见光图像融合的三维重建表面温度显示方法 | |
| CN108198222B (zh) | 一种广角镜头标定及图像矫正方法 | |
| CN111968182B (zh) | 一种双目相机非线性模型参数的标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |