CN111028155B - 一种基于多对双目相机的视差图像拼接方法 - Google Patents
一种基于多对双目相机的视差图像拼接方法 Download PDFInfo
- Publication number
- CN111028155B CN111028155B CN201911304519.8A CN201911304519A CN111028155B CN 111028155 B CN111028155 B CN 111028155B CN 201911304519 A CN201911304519 A CN 201911304519A CN 111028155 B CN111028155 B CN 111028155B
- Authority
- CN
- China
- Prior art keywords
- image
- binocular
- point
- coordinate system
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 239000011159 matrix material Substances 0.000 claims abstract description 31
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 230000001131 transforming effect Effects 0.000 claims abstract description 9
- 238000005520 cutting process Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 230000000903 blocking effect Effects 0.000 claims 1
- 229910052731 fluorine Inorganic materials 0.000 claims 1
- 125000001153 fluoro group Chemical group F* 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 4
- 230000002194 synthesizing effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 7
- 238000003709 image segmentation Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多对双目相机的视差图像拼接方法,属于图像处理和计算机视觉领域。该方法首先利用标定算法,求解双目相机之间的位置关系,并利用这些先验信息求解图像之间的单应性矩阵;利用相机的内部参数和外物参数对深度图像进行相机坐标系的变换;利用图像之间的单应性矩阵计算出图像的重叠区域ROI,并建立能量模型,用图割算法求解;图割算法时间复杂度高,依赖于图的节点个数,本发明将图像分层,逐层求解并迭代,求出近似全局最优解的局部最优解;最后利用单应性矩阵对深度图像进行图像坐标系变换,并通过对拼接缝进行合成,实现无缝全景深度图像拼接。本发明对于内存及硬件要求较低;程序简单,易于实现,减少了图像配准时间。
Description
技术领域
本发明属于图像处理和计算机视觉领域,具体涉及一种通过相机之间的外部参数旋转向量R与平移向量T计算图像之间的单应性矩阵,并运用图割寻找图像之间最佳拼接缝,再利用R和T、单应性矩阵和最佳过渡区域将视差图像进行拼接的方法。
背景技术
现阶段,无人驾驶技术发展迅速,无人驾驶技术需要保证安全性,而仅仅简单利用可见光图像不能很好的定位障碍物,不能获得障碍物距离,无法准确定位自身车辆。随着基于双目相机获得视差图像技术的完善,视差图像也作为基础数据用于无人驾驶领域。但是受限于视差图像的精度,双目相机的视场角较小,单对双目相机无法为自身车辆提供足够的环境信息。车辆的视场角越大,获取信息越完全,对驾驶的安全性有着更高的保证。为了使视差图像有更广的视场角范围,需要将多张视差图像拼接在一起。目前视差图像的拼接主要有以下两种方法:
1.利用特征点的拼接方法
此方法将通过提取图像之间的特征匹配点,然后求解相机之间的旋转向量R和平移向量T,再根据R、T对视差图像进行拼接。此方法的优点是拼接效果较好,使用灵活,可以在大部分场景中使用,缺点是计算复杂度高,无法满足无人驾驶的高实时性要求。
2.利用相机标定的拼接方法
此方法将通过使用棋盘格获取相机之间的外部参数R、T,然后对视差图像进行拼接。此方法拼接计算量小,实时性高,但在视差图像拼接过程中容易产生拼接缝,使拼接效果不佳。
将视差图像拼接过程分为相机坐标变换和图像坐标变换两个过程。相机坐标系的变换需要利用相机内部参数K和相机间的外部参数R、T,在三维坐标系下进行计算;图像坐标系的变换需要利用相机图像之间的单应性矩阵H和可见光图像拼接的最佳过渡区域。图像坐标系变换过程需要预配准,匹配特征点计算相机间外部参数和单应性矩阵需要耗费大量的时间。经实验发现,相机角度固定,可以通过标定算法计算出相机之间的位置关系R、T和相机的内参K,并通过R、T与相机内参K,通过世界坐标系与图像坐标系的关系,推导出两幅图像之间的单应性矩阵,通过这种先验信息省略特征点匹配时间。图像配准完成,通过图割算法求解,图割算法费时,为了达到实时需要采用逐层处理图像,降低图割计算复杂度。利用基于图像得到的最佳拼接缝对变换图像坐标系后的视差图像进行无缝拼接处理。
发明内容
为了克服现有技术的不足,本发明提供了一种基于多对双目相机的视差图像拼接方法:基于通过先验信息,即相机之间的位置关系R、T,预先求解图像之间的单应性矩阵,并对传统的图割算法进行改进,提高图割算法效率,然后用于视差图像的拼接。拼接过程需要每一台双目相机得到的图像信息和深度图像信息。
本发明的具体技术方案为:
一种基于多对双目相机的视差图像拼接与可视化方法,包括以下步骤:
步骤1)标定每个双目相机的内部参数和外部参数;内部参数K包括焦距focus和光心坐标Cx,Cy;外部参数包括旋转矩阵R和平移向量T;标定得到双目相机的基线长baseline;得到两个双目相机的可见光图像与视差图像;
步骤2)计算单应性矩阵:结合双目相机的内部参数和外部参数、相机间的摆放角度及场景平面距离d计算单应性矩阵H,d根据实际情况选取合适的数值,一般其范围为8~15m;具体步骤如下:
2-1)场景中的平面在两双目相机成像,设平面在第一个双目相机坐标系下的单位法向量为N,其到第一个双目相机中心(坐标原点)的距离即场景平面距离d,则平面π表示为:
NTC1=d (1)
其中,C1是三维点P在第一个双目相机坐标系下的三维坐标,其在第二个双目相机坐标系下的坐标为C2,则C1和C2的关系为:
C2=RC1+T (2)
式(2)进一步表示为:
其中,R和T分别为第一个双目相机到第二个双目相机的旋转向量和平移向量;
2-2)将步骤2-1)C1和C2由相机内部参数可以变换到图像坐标系下:
c1=K1C1 (4)
c2=K2C2 (5)
由公式(3)、(4)、(5)可得:
最终得到由内部参数、外部参数计算得到单应性矩阵的计算公式:
其中,c1为C1对应成像平面坐标系中的坐标,c2为C2对应成像平面坐标系中的坐标;K1为第一个双目相机的内部参数;K2为第二个双目相机的内部参数;最终得到的变换矩阵H即为3*3的矩阵,a11~a33代表具体数值;
步骤3)利用步骤1)和步骤2)中得到的双目相机的内部参数和双目相机间的外部参数,对视差图像进行相机坐标系变换,具体包含以下步骤:
3-1)利用第一个双目相机内部参数K1(基线长baseline1和焦距focus1),将视差图像还原为第一个双目相机坐标系下的点云,点云三维坐标C1(X1,Y1,Z1)的计算公式如下:
其中,x1、y1为第一个双目相机下的像素坐标;disparity为视差值;
3-2)利用第一个双目相机到第二个双目相机外部参数的R和T变换点云的相机坐标系,得到第二个双目坐标系下的三维点云坐标;坐标变换公式如下:
3-3)利用第二个双目相机的内部参数K2(基线长baseline2和焦距focus2),将点云还原为视差图像,此时只需要Z2计算得到第二个双目相机坐标系下的视差值,计算公式如下:
步骤4)构建重叠区域模型:利用步骤2)中得到的图像间的单应性矩阵H,计算图像重叠区域ROI,对重叠区域建模;数学模型建立的具体步骤如下:
4-1)对于重叠区域的两张图像像素,计算两张图像重叠区域对应RGB像素的第二范数,并构建t-links,第二范数的计算公式如下:
e(p,q)=||p-p′||+||q-q′|| (14)
||p-p′||=(Rp-Rp′)2+(Gp-Gp′)2+(Bp-Bp′)2 (15)
||q-q′||=(Rq-Rq′)2+(Gq-Gq′)2+(Bq-Bq′)2 (16)
其中,e(·)表示权函数,p为源图像,q为目标图像,p为p图像一点的像素值,p′为p邻接点的像素值,q为目标图像一点的像素值,q′为q邻接点的像素值,Rp为p点R通道数值,Rp′为p′点R通道的数值,Gp为p点G通道数值,Gp′为p′点G通道的数值,Bp为p点B通道数值,Bp′为p′点B通道的数值,Rq为q点R通道数值,Rq′为q′点R通道数值,Gq为q点G通道数值,Gq′为q′点G通道数值,Bq为q点B通道数值,Bq′为q′点B通道数值;
4-2)对建立模型求其最佳缝合线,用图割方式求解(拼接缝),能量函数定义为:
E(f)=Σp,q∈NSp,q(lp,lq)+Σp∈PDP(lp) (17)
其中,Sp,q为平滑项表示将重叠区域的一对像素(p,q)分配给(lp,lq)的代价;lp为像素p分配的标签;lq为像素q分配的标签;DP为数据项表示将重叠区域像素p标记为lp的代价;
步骤5)将图像分为B1*B2大小的块,将分成的块看作图的节点,进行图割,找到局部最优解,再将B1*B2对应的最优缝合线所对应的节点继续分块,直至最终分块大小等于像素值,这样通过每次寻找局部最优解,最终近似地找到全局最优解;
步骤6)利用单应性矩阵H进行视差图像的图像坐标系的变换;对步骤5)中的最优缝合线进行无缝拼接;所述的视差图像拼接具体包括以下步骤:
6-1)将第一个双目相机视差图像变换到第二个双目相机的图像坐标系下:
其中,x1、y1为第一个双目相机的图像坐标系下的坐标;x2、y2为第二个双目相机的图像坐标系下的坐标;w为归一化系数;
6-2)拼接图像:比较图像坐标系变换后的第一个双目图像和第二个双目图像对应于最佳拼接缝的位置,分别将两张可见光图像和两张视差图像合并起来;
当双目相机大于两个时,重复步骤3)-步骤6),得到更广视场角的视差图像。
本发明的有益效果:本发明实现了大视场角全景视差图像显示,本发明的算法达到了实时,实现了大视差无缝全景视差图像拼接。本发明有以下几个优点:(1)程序对于内存以及硬件要求较低,可以在Nvidia TX2上达到实时;(2)程序简单,易于实现;(3)先验信息获得之后,可以直接作为参数传入,作为默认值;(4)将由图像得到的最佳拼接缝应用于视差图像的拼接,实现无缝拼接。本发明充分利用了图像的先验信息,减少了图像配准时间;所提出的方法具有很好的可扩展性,通过简单的输入相机的外部参数R和T、内部参数K,并设置d值,实现多对相机的全景显示。
附图说明
图1是本发明的流程图。
图2是本发明实施例双目相机的***结构图。
具体实施方式
本发明提出了一种基于多对双目相机的视差图像拼接方法,结合附图及实施例详细说明如下:
本发明以水平摆放的多对双目相机为成像***进行多视点图像采集,其中K1为第一台双目相机的内部参数,K2为第二台双目相机的内部参数。每台双目相机分辨率为1024*768,视频的帧率大于20帧/每秒,***参考结构如图2。在此基础上,计算每对双目相机之间的空间变换关系R和T,并通过R和T与成像平面距离d计算图像之间的单应性矩阵H,以中间图像为基准,计算图像水平方向的平移量,最后将计算好的参数作为输入进行拼接。具体流程如下:
1)***标定及数据采集
1-1)对每对双目相机标定,得到每对双目相机的包括焦距、光心的内部参数和包括旋转、平移的外部参数;
1-2)将每对双目相机分别连在多台电脑上,并用一个路由器控制进行数据同步采集;
1-3)采用专用定制的标定板,同时采集图像,注意采集过程中一定确保双目相机之间的位置关系保持一致,并保持标定板固定,旋转标定板,根据实际情况,每对双目相机分别采集10到15组图像。
2)计算图像变换之间的单应性矩阵
2-1)场景中的平面在两相机的成像,设平面在第一台相机坐标系下的单位法向量为N,其到第一台相机中心(坐标原点)的距离为d,则平面π可表示为:
NTC1=d
其中,C1是三维点P在第一相机坐标系下的坐标,X1其在第二台相机坐标系下的坐标为C2,两者关系为:
C2=R*C1+T
2-2)步骤2-1)得到的单应矩阵由第一台相机坐标系取得,还需要将其变换到成像平面坐标系中:
c1=K1C1
c2=K2C2
H=K1H′K2 -1
上式中d值可以手动设定,其余为定值。以此得到第一台双目相机到第二台双目相机的单应性矩阵H。
3)应用步骤1)和2)中计算得到的双目相机的内部参数和双目相机间的外部参数,对视差图像进行相机坐标系变换;
3-1)应用第一对双目相机内部参数K1等将视差图像还原为第一相机坐标系下的点云:
3-2)应用第一台双目相机到第二台双目相机的R和T变换点云的相机坐标系:
应用中间视点双目相机的内部参数K2将点云还原为视差图像,此时只需要Z2便可以得到视差图像,计算公式如下:
计算图像重叠区域并建模求解最佳拼接缝:首先通过图像间的单应性矩阵,计算重叠区域ROI,建立重叠区域模型;具体步骤如下:
4-1)利用图像间的单应性矩阵计算重叠区域大小:
取图像的四个顶点(0,0)、(img.cols,0)、(img.cols,img.rows)、(0,img.rows),计算转换后的坐标,变换后的左上角坐标为拼接后图像,单应性变换矩阵H为:
计算公式为:
其中,x为原图像p点经透视变换变换后的x轴坐标,y为原图像p点经透视变换变换后的y轴坐标,u为原图像p点x轴坐标,v为原图像p点y轴坐标;
4-2)建立能量模型(Seam-Driven Image Stitching),构建图割算法的能量函数:
其中,数据项Dp(lp)表示重叠区域内像素p赋值:
为了避免标记错误,μ设为一个非常大的数;
Sp,q(lp,lq)为平滑项:
Sp,q(lp,lq)=I*(p)+I*(q)
I*(p)=||I0(.)-I1(.)||2
5)模型建立完毕,运用图割进行求解,结果为最佳拼接缝,可知能量函数的构建对于拼接缝的结果十分重要。
5-1)由于图割运算时间与图的节点个数有关,算法复杂度较高,只能通过对重叠区域进行下采样或者分层,减少构建的图的节点数,通过此方法求得的局部最优解近似等于全局最优解,才能使算法的实时性达到要求。
5-2)此外,图割算法并行化同时可以起到进一步的加速效果。(Fast graphcut onGPU CVPR2008)
6)视差图像拼接具体包括以下步骤:
6-1)将第一台双目相机深度图像变换到第二台双目相机的图像坐标系下:
6-2)拼接视差图像:比较图像坐标系变换后的视差图像和中间视差图像对应于最佳拼接缝的位置,将两张视差图像合并起来。
步骤1)~6)完成一对双目相机的视差图像拼接,重复即可完成第二对双目相机(如第二台与第三台双目相机)视差图像的拼接。
Claims (8)
1.一种基于多对双目相机的视差图像拼接方法,其特征在于,所述的方法包括以下步骤:
步骤1)标定每个双目相机的内部参数和外部参数;内部参数K包括焦距focus和光心坐标Cx,Cy;外部参数包括旋转矩阵R和平移向量T;标定得到双目相机的基线长baseline;得到两个双目相机的可见光图像与视差图像;
步骤2)计算单应性矩阵:结合双目相机的内部参数和外部参数、相机间的摆放角度及场景平面距离d计算单应性矩阵H;所述d的取值范围为8~15m;
步骤3)利用步骤1)和步骤2)中得到的双目相机的内部参数和双目相机间的外部参数,对视差图像进行相机坐标系变换;
步骤4)构建重叠区域模型:利用步骤2)中得到的图像间的单应性矩阵H,计算图像重叠区域ROI,对重叠区域建模;
步骤5)将图像分为B1*B2大小的块,将分成的块看作图的节点,进行图割,找到局部最优解,再将B1*B2对应的最优缝合线所对应的节点继续分块,直至最终分块大小等于像素值,这样通过每次寻找局部最优解,最终找到全局最优解;
步骤6)利用单应性矩阵H进行视差图像的图像坐标系的变换;对步骤5)中的最优缝合线进行无缝拼接;当双目相机大于两个时,重复步骤3)-步骤6),得到更广视场角的视差图像。
2.根据权利要求1所述的一种基于多对双目相机的视差图像拼接方法,其特征在于,步骤2)所述的计算单应性矩阵的具体步骤如下:
2-1)场景中的平面在两双目相机成像,设平面在第一个双目相机坐标系下的单位法向量为N,其到第一个双目相机中心的距离即场景平面距离d,则平面π表示为:
NTC1=d (1)
其中,C1是三维点P在第一个双目相机坐标系下的三维坐标,其在第二个双目相机坐标系下的坐标为C2,则C1和C2的关系为:
C2=RC1+T (2)
式(2)进一步表示为:
其中,R和T分别为第一个双目相机到第二个双目相机的旋转向量和平移向量;
2-2)将步骤2-1)C1和C2由双目相机坐标系变换到图像坐标系下:
c1=K1C1 (4)
c2=K2C2 (5)
由公式(3)、(4)、(5)可得:
最终得到由内部参数、外部参数计算得到单应性矩阵的计算公式:
其中,c1为C1对应成像平面坐标系中的坐标,c2为C2对应成像平面坐标系中的坐标;K1为第一个双目相机的内部参数;K2为第二个双目相机的内部参数;最终得到的变换矩阵H即为3*3的矩阵,a11~a33代表具体数值。
3.根据权利要求2所述的一种基于多对双目相机的视差图像拼接方法,其特征在于,所述步骤3)具体包含以下步骤:
3-1)利用第一个双目相机的内部参数K1即基线长baseline1和焦距focus1,将视差图像还原为第一个双目相机坐标系下的点云,点云三维坐标C1(X1,Y1,Z1)的计算公式如下:
其中,x1 、 y1 为第一个双目相机的图像坐标系下的坐标 ;disparity1为第一个双目相机坐标系下的视差值;
3-2)利用第一个双目相机到第二个双目相机外部参数的R和T变换点云的相机坐标系,得到第二个双目坐标系下的三维点云坐标;坐标变换公式如下:
其中,x2、y2为第二个双目相机的图像坐标系下的坐标;
3-3)利用第二个双目相机的内部参数K2即基线长baseline2和焦距focus2,将点云还原为视差图像,此时只需要Z2计算得到第二个双目相机坐标系下的视差值,计算公式如下:
4.根据权利要求1或2所述的一种基于多对双目相机的视差图像拼接方法,其特征在于,步骤4)所述的构建重叠区域模型具体步骤如下:
4-1)对于重叠区域的两张图像像素,计算两张图像重叠区域对应RGB像素的第二范数,并构建t-links,第二范数的计算公式如下:
e(p,q)=||p-p′||+||q-q′|| (14)
||p-p′||=(Rp-Rp′)2+(Gp-Gp′)2+(Bp-Bp′)2 (15)
||q-q′||=(Rq-Rq′)2+(Gq-Gq′)2+(Bq-Bq′)2 (16)
其中,e(·)表示权函数,p为源图像,q为目标图像,p为p图像一点的像素值,p′为p邻接点的像素值,q为目标图像一点的像素值,q′为q邻接点的像素值,Rp为p点R通道数值,Rp′为p′点R通道的数值,Gp为p点G通道数值,Gp′为p′点G通道的数值,Bp为p点B通道数值,Bp′为p′点B通道的数值,Rq为q点R通道数值,Rq′为q′点R通道数值,Gq为q点G通道数值,Gq′为q′点G通道数值,Bq为q点B通道数值,Bq′为q′点B通道数值;
4-2)对建立模型求其最佳缝合线,用图割方式求解拼接缝,能量函数定义为:
E(f)=∑p,q∈NSp,q(lp,lq)+∑p∈PDP(lp) (17)
其中,Sp,q为平滑项,表示将重叠区域的一对像素(p,q)分配给(lp,lq)的代价;lp为像素p分配的标签;lq为像素q分配的标签;DP为数据项,表示将重叠区域像素p标记为lp的代价。
5.根据权利要求3所述的一种基于多对双目相机的视差图像拼接方法,其特征在于,步骤4)所述的构建重叠区域模型具体步骤如下:
4-1)对于重叠区域的两张图像像素,计算两张图像重叠区域对应RGB像素的第二范数,并构建t-links,第二范数的计算公式如下:
e(p,q)=||p-p′||+||q-q′|| (14)
||p-p′||=(Rp-Rp′)2+(Gp-Gp′)2+(Bp-Bp′)2 (15)
||q-q′||=(Rq-Rq′)2+(Gq-Gq′)2+(Bq-Bq′)2 (16)
其中,e(·)表示权函数,p为源图像,q为目标图像,p为p图像一点的像素值,p′为p邻接点的像素值,q为目标图像一点的像素值,q′为q邻接点的像素值,Rp为p点R通道数值,Rp′为p′点R通道的数值,Gp为p点G通道数值,Gp′为p′点G通道的数值,Bp为p点B通道数值,Bp′为p′点B通道的数值,Rq为q点R通道数值,Rq′为q′点R通道数值,Gq为q点G通道数值,Gq′为q′点G通道数值,Bq为q点B通道数值,Bq′为q′点B通道数值;
4-2)对建立模型求其最佳缝合线,用图割方式求解拼接缝,能量函数定义为:
E(f)=∑p,q∈NSp,q(lp,lq)+∑p∈PDP(lp) (17)
其中,Sp,q为平滑项表示将重叠区域的一对像素(p,q)分配给(lp,lq)的代价,lp为像素p分配的标签,lq为像素q分配的标签,DP为数据项表示将重叠区域像素p标记为lp的代价。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911304519.8A CN111028155B (zh) | 2019-12-17 | 2019-12-17 | 一种基于多对双目相机的视差图像拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911304519.8A CN111028155B (zh) | 2019-12-17 | 2019-12-17 | 一种基于多对双目相机的视差图像拼接方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111028155A CN111028155A (zh) | 2020-04-17 |
CN111028155B true CN111028155B (zh) | 2023-02-14 |
Family
ID=70210222
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911304519.8A Active CN111028155B (zh) | 2019-12-17 | 2019-12-17 | 一种基于多对双目相机的视差图像拼接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111028155B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11792511B2 (en) | 2015-03-21 | 2023-10-17 | Mine One Gmbh | Camera system utilizing auxiliary image sensors |
EP3586269A4 (en) | 2017-02-22 | 2021-04-14 | Mine One GmbH | IMAGE RECONSTRUCTION FOR VIRTUAL 3D |
EP4018645A4 (en) * | 2019-08-20 | 2023-08-16 | Mine One GmbH | CAMERA SYSTEM USING AUXILIARY IMAGE SENSORS |
CN111583118B (zh) * | 2020-05-13 | 2023-09-29 | 创新奇智(北京)科技有限公司 | 图像拼接方法、装置、存储介质及电子设备 |
CN111915482B (zh) * | 2020-06-24 | 2022-08-05 | 福建(泉州)哈工大工程技术研究院 | 一种适用于固定场景的图像拼接方法 |
CN112308777A (zh) * | 2020-10-16 | 2021-02-02 | 易思维(杭州)科技有限公司 | 一种平面、类平面零部件的快速图像拼接方法 |
CN112669199B (zh) * | 2020-12-16 | 2022-06-21 | 影石创新科技股份有限公司 | 图像拼接方法、计算机可读存储介质及计算机设备 |
CN112634337B (zh) * | 2021-03-11 | 2021-06-15 | 展讯通信(上海)有限公司 | 一种图像处理方法及装置 |
CN113344795B (zh) * | 2021-08-05 | 2021-10-29 | 常州铭赛机器人科技股份有限公司 | 一种基于先验信息的快速图像拼接方法 |
CN117333368B (zh) * | 2023-10-10 | 2024-05-21 | 南京矩视科技有限公司 | 一种基于局部边缘分析的图像拼接方法、设备和存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101710932B (zh) * | 2009-12-21 | 2011-06-22 | 华为终端有限公司 | 图像拼接方法及装置 |
CN106683071B (zh) * | 2015-11-06 | 2020-10-30 | 杭州海康威视数字技术股份有限公司 | 图像的拼接方法和装置 |
CN107767339B (zh) * | 2017-10-12 | 2021-02-02 | 深圳市未来媒体技术研究院 | 一种双目立体图像拼接方法 |
CN109961399B (zh) * | 2019-03-15 | 2022-12-06 | 西安电子科技大学 | 基于图像距离变换的最佳缝合线搜寻方法 |
-
2019
- 2019-12-17 CN CN201911304519.8A patent/CN111028155B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111028155A (zh) | 2020-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111062873B (zh) | 一种基于多对双目相机的视差图像拼接与可视化方法 | |
CN111028155B (zh) | 一种基于多对双目相机的视差图像拼接方法 | |
CN111047510B (zh) | 一种基于标定的大视场角图像实时拼接方法 | |
US10846844B1 (en) | Collaborative disparity decomposition | |
CN109919911B (zh) | 基于多视角光度立体的移动三维重建方法 | |
US20190012804A1 (en) | Methods and apparatuses for panoramic image processing | |
CN108053437B (zh) | 基于体态的三维模型获取方法及装置 | |
CN104537707B (zh) | 像方型立体视觉在线移动实时测量*** | |
CN110838164B (zh) | 基于物体点深度的单目图像三维重建方法、***及装置 | |
CN108629829B (zh) | 一种球幕相机与深度相机结合的三维建模方法和*** | |
US20190043219A1 (en) | Dual Model for Fisheye Lens Distortion and an Algorithm for Calibrating Model Parameters | |
US20200294269A1 (en) | Calibrating cameras and computing point projections using non-central camera model involving axial viewpoint shift | |
JP7502440B2 (ja) | 環境のトポグラフィを測定するための方法 | |
Mahdy et al. | Projector calibration using passive stereo and triangulation | |
CN109613974B (zh) | 一种大场景下的ar家居体验方法 | |
CN113496503B (zh) | 点云数据的生成及实时显示方法、装置、设备及介质 | |
CN115330594A (zh) | 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法 | |
Li et al. | Fast multicamera video stitching for underwater wide field-of-view observation | |
CN115205491A (zh) | 一种手持多视图三维重建的方法及装置 | |
CN111091595B (zh) | 斜视三维测绘方法及测绘*** | |
CN114022562A (zh) | 一种保持行人完整性的全景视频拼接方法和装置 | |
CN109089100B (zh) | 一种双目立体视频的合成方法 | |
CN116958449B (zh) | 城市场景三维建模方法、装置及电子设备 | |
US20230141515A1 (en) | System and method for stereoscopic image analysis | |
Zhang et al. | Design of a 3D reconstruction model of multiplane images based on stereo vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |