CN112002016A - 基于双目视觉的连续曲面重建方法、***和装置 - Google Patents
基于双目视觉的连续曲面重建方法、***和装置 Download PDFInfo
- Publication number
- CN112002016A CN112002016A CN202010889704.4A CN202010889704A CN112002016A CN 112002016 A CN112002016 A CN 112002016A CN 202010889704 A CN202010889704 A CN 202010889704A CN 112002016 A CN112002016 A CN 112002016A
- Authority
- CN
- China
- Prior art keywords
- image
- left camera
- linear function
- matrix
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 239000011159 matrix material Substances 0.000 claims abstract description 104
- 238000012886 linear function Methods 0.000 claims abstract description 79
- 238000004364 calculation method Methods 0.000 claims description 29
- 238000010276 construction Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims 1
- 230000036299 sexual function Effects 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 13
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000001419 dependent effect Effects 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001739 density measurement Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/30—Polynomial surface description
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Physics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Algebra (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明属于机器视觉领域,具体涉及了一种涉及了一种基于双目视觉的连续曲面重建方法、***和装置,旨在解决现有的三维测量技术感知距离短、易受光环境干扰、依赖特征点匹配、无法适用于无显著角点特征的物体和测量获得点云数量与图像像素数量比较小的问题。本发明包括:标定左右相机参数并建立对极约束矩阵,划定感兴趣区域并在感兴趣区域中建立分段线性函数描述空间构型,计算左右相机图像对应点的坐标,再通计算对应点的光度差分,依据光度差分更新分段线性函数,通过最优分段线性函数计算图像中像素的空间坐标。本发明实现了不依赖先验信息不用提取特征点的步骤就可以实现高精度连续曲面稠密重建。
Description
技术领域
本发明属于机器视觉领域,具体涉及了一种基于双目视觉的连续曲面重建方法、***和装置。
背景技术
基于视觉的三维测量技术是三维重建的基础,具有广泛的应用需求,包括工业测量、移动机器人环境感知、测绘等。
视觉的三维测量技术的核心是利用视觉传感数据确定观测对象的空间坐标,一般以记录多个空间点三维坐标的点云作为输出的数据格式。基于视觉的点云测量方法主要包括主动立体视觉和被动立体视觉两大类。主动立体视觉***向物体表面投射可见光或红外线结构光,通过三角测量原理获取点云,具有点云稠密、测量精准等优点,但也存在感知距离短、易受环境光干扰等缺点。被动立体视觉***由两台以上的相机构成,通过在不同相机图像中建立特征点的匹配关系解算特征点的空间坐标,具有无需主动光源、适应性较强,测量范围大等优点。但由于依赖特征点匹配,无法适用于无显著角点特征的物体,且即使对于特征点较丰富的物体,测量获得的点云也是稀疏的,即空间点云中点的数量与图像像素数量的比值很小。
对于以双目视觉为代表的被动立体视觉***,如果可以不依赖特征点,而是直接建立图像间各像素间的对应关系,将可以有效回避点云稀疏问题并可实现对缺乏角点特征的各种物体的测量。虽然单个图像像素所提供的灰度或色彩信息不足以提供可靠的匹配依据,但由物体的连续表面成像所形成的彼此相邻的多个像素作为一个整体进行匹配是高度可靠且精准的。建立可操作的非线性数学模型,描述连续曲面在不同成像视角下,像素集间的对应关系,是实现上述匹配过程可计算的前提。
发明内容
为了解决现有技术中的上述问题,即现有的三维测量技术感知距离短、易受光环境干扰、依赖特征点匹配、无法适用于无显著角点特征的物体和测量获得点云数量与图像像素数量比较小的问题,本发明提供了一种基于双目视觉的连续曲面重建方法,所述方法包括:
步骤S10,以左相机为基准建立空间坐标系,标定左相机内参数矩阵Minl、右相机内参数矩阵Minr和右相机在左相机拍摄图像坐标中的位姿矩阵rTl;
步骤S20,基于所述左相机内参数矩阵Minl、右相机内参数矩阵Minr和右相机在左相机拍摄图像坐标中的位姿矩阵rTl,构建对极约束矩阵E;
步骤S30,通过双目相机获取测量对象图像,使测量对象处于左相机和右相机的重叠视野区域,并在左相机图像中选取包含所述测量对象图像的感兴趣区域R;
步骤S40,基于所述感兴趣区域R,选取其中第vl行构造描述物体空间构型的分段线性函数f(ui):
其中,i为像素序号,b1,ki为待定参数,ki中的i=2,…,N-1,j为小于i当前取值并且大于或等于2的整数,k1为当i=1时的待定参数,所有的待定参数在迭代步骤中更新;
初始化各待定参数,其中0b1=1,0k1=1,0ki=0,ki中的i=2,…,N-1;
步骤S50,基于左相机图像坐标,通过所述分段线性函数f(ui)和所述对极约束矩阵E,逐点计算第vl行左相机图像在右相机图像中的对应点坐标;
步骤S60,基于所述左相机图像坐标和在右相机图像中的对应点坐标、对极约束矩阵E和所述分段线性函数f(ui),逐点计算每组对应点的光度差分sGi;
步骤S70,基于每组对应点的光度差分sGi调节所述分段线性函数的参数值,重复步骤S50-步骤S70直至满足第一终止条件获得最优曲线方程f’(ui);
所述第一终止条件为:
max(|s+1k1-sk1|,…,|s+1ki-ski|,|s+1b-sb|)<T
其中,T为预设的阈值,s和s+1表示迭代次数,sk1表示第s次迭代的所述分段线性函数f(ui)中的待定参数k1,ski是第s次迭代的所述分段线性函数f(ui)中的待定参数ki,ki中的i=2,3,…,N-1;sb表示第s次迭代的所述分段线性函数f(ui)中的待定参数b1;
步骤S80,基于所述最优曲线方程f’(ui)计算所述感兴趣区域R中每个点对应的空间坐标;
选取感兴趣区域R中另一行重复步骤S40-步骤S80,直至计算完感兴趣区域R每行对应的空间坐标点,获得重建的曲面。
进一步地,所述左相机内参数矩阵Minl为:
所述右相机内参数矩阵Minr为:
所述右相机在左相机拍摄图像坐标中的位姿矩阵rTl为:
进一步地,步骤S20包括:
步骤S21,计算所述左相机内参数矩阵Minl的逆矩阵Minl -1:
步骤S22,构建对极约束矩阵E为:
进一步地,步骤S50包括:
步骤S51,从左相机图像第vl行第一个像素开始,选取左相机图像中的坐标为(ui,vl)的点,设在右相机图像中对应的点坐标为(uri,vri);其中,uri和vri的计算方法为:
其中,sf(ui)表示第s次迭代的描述物体空间构型的分段线性函数;
步骤S52,在左相机图像第vl行上右移一个像素重复步骤S51计算右相机图像的对应点坐标,直至完成左相机图像第vl行全部点的对应点坐标计算。
进一步地,步骤S60包括:
步骤S61,基于左相机图像中的像素和在右相机图像中对应位置的像素,计算左相机和右相机对应点像素的光度差sEi:
sEi=|gl(ui,vl)-gr(uri,vri)|
其中,gl(x,y)为左相机图像中坐标为(x,y)的像素值,gr(x,y)是右相机图像中坐标为(x,y)的像素值;如果图像是灰度图像则|*|表示光度差sEi取灰度差*的绝对值,如果是RGB图像|*|表示取各通道差值的绝对值再求和;
其中,f(ui)为描述物体空间构型的分段线性函数;
其中,s表示迭代的次数。
进一步地,所述基于每组对应点的光度差分sGi调节所述分段线性函数的参数值,其方法为:
其中,μ1,μ2,μ3是调节步长,s和s+1表示迭代次数。
进一步地,所述标定左相机内参数矩阵Minl、右相机内参数矩阵Minr和右相机在左相机拍摄图像坐标中的位姿矩阵rTl,采用的标定方法包括张氏标定法,利用的工具函数包括openCV和Matlab提供的工具函数。
进一步地,所述感兴趣区域R的形状包括M行N列的矩形。
进一步地,所述基于所述最优曲线方程f’(ui)计算所述感兴趣区域R中每个点对应的空间坐标,其方法包括:
像素坐标为(ui,vl)对应的空间坐标为(xi,yi,zi):
本发明的另一方面,提出了一种基于双目视觉的连续曲面重建***,所述***包括:相机标定模块、感兴趣区域选取模块、分段线性函数构造模块、对应点图像坐标计算模块、光度差分计算模块、线性函数参数更新模块和空间坐标计算模块;
所述相机标定模块,用于以左相机为基准建立空间坐标系,标定左相机内参数矩阵Minl、右相机内参数矩阵Minr和右相机在左相机拍摄图像坐标中的位姿矩阵rTl;
所述对极约束矩阵构件模块,用于基于所述左相机内参数矩阵Minl、右相机内参数矩阵Minr和右相机在左相机拍摄图像坐标中的位姿矩阵rTl,构建对极约束矩阵E;
所述感兴趣区域选取模块,用于通过双目相机获取测量对象图像,使测量对象处于左相机和右相机的重叠视野区域,并在左相机图像中选取包含所述测量对象图像的感兴趣区域R;
所述分段线性函数构造模块,用于基于所述感兴趣区域R,选取其中第vl行构造描述物体空间构型的分段线性函数f(ui):
其中,i为像素序号,b1,ki为待定参数,ki中的i=2,…,N-1,j为小于i当前取值并且大于或等于2的整数,k1为当i=1时的待定参数,所有的待定参数在迭代步骤中更新;
初始化各待定参数,其中0b1=1,0k1=1,0ki=0,ki中的i=2,…,N-1;
所述对应点坐标计算模块,用于基于左相机图像坐标,通过所述分段线性函数f(ui)和所述对极约束矩阵E,逐点计算第vl行左相机图像在右相机图像中的对应点坐标;
所述光度差分计算模块,用于基于所述左相机图像坐标和在右相机图像中的对应点坐标、对极约束矩阵E和所述分段线性函数f(ui),逐点计算每组对应点的光度差分sGi;
所述线性函数更新模块,用于基于每组对应点的光度差分sGi调节所述分段线性函数的参数值,重复进行对应点坐标计算模块-线性函数更新模块的功能直至满足第一终止条件获得最优曲线方程f’(ui);
所述第一终止条件为:
max(|s+1k1-sk1|,…,|s+1ki-ski|,|s+1b-sb|)<T
其中,T为预设的阈值,s和s+1表示迭代次数,sk1表示第s次迭代的所述分段线性函数f(ui)中的待定参数k1,ski是第s次迭代的所述分段线性函数f(ui)中的待定参数ki,ki中的i=2,3,…,N-1;
sb表示第s次迭代的所述分段线性函数f(ui)中的待定参数b1;
所述空间坐标计算模块,用于基于所述最优曲线方程f’(ui)计算所述感兴趣区域R中每个点对应的空间坐标;
选取感兴趣区域R中另一行重复分段线性函数构造模块-空间坐标计算模块,直至计算完感兴趣区域R每行对应的空间坐标点,获得重建的曲面。
本发明的第三方面,提出了一种存储装置,其中存储有多条程序,所述程序适于由处理器加载并执行以实现上述的基于双目视觉的连续曲面重建方法。
本发明的第四方面,提出了一种处理装置,包括处理器、存储装置;所述处理器,适于执行各条程序;所述存储装置,适于存储多条程序;所述程序适于由处理器加载并执行以实现上述的基于双目视觉的连续曲面重建方法。
本发明的有益效果:
(1)本发明基于双目视觉的连续曲面重建方法,依据物体的连续表面成像形成的彼此相邻的多个像素作为一个整体进行匹配,建立非线性数学模型描述像素集间的对应关系,可以在没有关于重建对象先验信息的前提下还原出各种连续的曲面物体的空间构型,而且精度较高。
(2)本发明基于双目视觉的连续曲面重建方法,依据双目图像采集,行曲线连续分段线性函数建模,并基于双目图像像素值的参数迭代优化,由行曲线拼接得到完整曲面,可以完全不需要图像特征提取的常规步骤,并具有曲面稠密测量的特点,提高了对于无显著角点特征的物体的重建精度。
(3)本发明基于双目视觉的连续曲面重建方法,避开了现有技术的特征提取和曲面稠密测量的步骤,具有操作简单、运算速度快和精度较高的特点。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本发明基于双目视觉的连续曲面重建方法第一实施例的流程示意图;
图2是本发明基于双目视觉的连续曲面重建方法第一实施例的左相机采集图像;
图3是本发明基于双目视觉的连续曲面重建方法第一实施例的右相机采集图像;
图4是本发明基于双目视觉的连续曲面重建方法第一实施例的曲面重建点云左相机视角;
图5是本发明基于双目视觉的连续曲面重建方法第一实施例的曲面重建点云右相机视角。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于双目视觉的连续曲面重建方法,本方法包括步骤S10-步骤S80;
步骤S10,以左相机为基准建立空间坐标系,标定左相机内参数矩阵Minl、右相机内参数矩阵Minr和右相机在左相机拍摄图像坐标中的位姿矩阵rTl;
步骤S20,基于所述左相机内参数矩阵Minl、右相机内参数矩阵Minr和右相机在左相机拍摄图像坐标中的位姿矩阵rTl,构建对极约束矩阵E;
步骤S30,通过双目相机获取测量对象图像,使测量对象处于左相机和右相机的重叠视野区域,并在左相机图像中选取包含所述测量对象图像的感兴趣区域R;
步骤S40,基于所述感兴趣区域R,选取其中第vl行构造描述物体空间构型的分段线性函数f(ui)如公式(1)所示:
其中,i为像素序号,b1,ki为待定参数,ki中的i=2,…,N-1,j为小于i当前取值并且大于或等于2的整数,k1为当i=1时的待定参数,所有的待定参数在迭代步骤中更新;初始化各待定参数,其中0b1=1,0k1=1,0ki=0,ki中的i=2,…,N-1;
步骤S50,基于左相机图像坐标,通过所述分段线性函数f(ui)和所述对极约束矩阵E,逐点计算第vl行左相机图像在右相机图像中的对应点坐标;
步骤S60,基于所述左相机图像坐标和在右相机图像中的对应点坐标、对极约束矩阵E和所述分段线性函数f(ui),逐点计算每组对应点的光度差分sGi;
步骤S70,基于每组对应点的光度差分sGi调节所述分段线性函数的参数值,重复步骤S50-步骤S70直至满足第一终止条件获得最优曲线方程f’(ui);
所述第一终止条件如公式(2)所示:
max(|s+1k1-sk1|,…,|s+1ki-ski|,|s+1b-sb|)<T (2)
其中,T为预设的阈值,s和s+1表示迭代次数,sk1表示第s次迭代的所述分段线性函数f(ui)中的待定参数k1,ski是第s次迭代的所述分段线性函数f(ui)中的待定参数ki,ki中的i=2,3,…,N-1;
sb表示第s次迭代的所述分段线性函数f(ui)中的待定参数b1;
步骤S80,基于所述最优曲线方程f’(ui)计算所述感兴趣区域R中每个点对应的空间坐标;
选取感兴趣区域R中另一行重复步骤S40-步骤S80,直至计算完感兴趣区域R每行对应的空间坐标点,获得重建的曲面。
为了更清晰地对本发明基于双目视觉的连续曲面重建方法进行说明,下面结合图1对本发明方法实施例中各步骤展开详述。
本发明一种实施例的基于双目视觉的连续曲面重建方法,包括步骤S10-步骤S80,各步骤详细描述如下:
步骤S10,以左相机为基准建立空间坐标系,标定左相机内参数矩阵Minl、右相机内参数矩阵Minr和右相机在左相机拍摄图像坐标中的位姿矩阵rTl;
所述左相机内参数矩阵Minl如公式(3)所示:
所述右相机内参数矩阵Minr如公式(4)所示:
所述右相机在左相机拍摄图像坐标中的位姿矩阵rTl如公式(5)所示:
所述标定左相机内参数矩阵Minl、右相机内参数矩阵Minr和右相机在左相机拍摄图像坐标中的位姿矩阵rTl,采用的标定方法包括张氏标定法,利用的工具函数包括openCV和Matlab提供的工具函数;
采用其他任何满足本发明给出的标定后矩阵的方法进行标定或采用其他任何使用者自行开发的方法得出标定后如本发明提出的参数矩阵格式都应属于本发明要求保护的范围。
步骤S20,基于所述左相机内参数矩阵Ninl、右相机内参数矩阵Minr和右相机在左相机拍摄图像坐标中的位姿矩阵rTl,构建对极约束矩阵E;
在本实施例中,步骤S20包括:
步骤S21,计算所述左相机内参数矩阵Ninl的逆矩阵Minl -1如公式(6)所示:
步骤S22,构建对极约束矩阵E如公式(7)所示:
步骤S30,通过双目相机获取测量对象图像,使测量对象处于左相机和右相机的重叠视野区域,并在左相机图像中选取包含所述测量对象图像的感兴趣区域R。
优选的,所述感兴趣区域R的形状包括M行N列的矩形;
步骤S40,基于所述感兴趣区域R,选取其中第vl行构造描述物体空间构型的分段线性函数f(ui)如公式(8)所示:
其中,i为像素序号,b1,ki为待定参数,ki中的i=2,…,N-1,j为小于i当前取值并且大于或等于2的整数,k1为当i=1时的待定参数,所有的待定参数在迭代步骤中更新;
j小于2时求和符号自动无效;
初始化各待定参数,其中0b1=1,0k1=1,0ki=0,ki中的i=2,…,N-1;
该分段线性函数的含义为,先定义每行中第1个点即i=1时的空间构型如公式(8)上所示,是通过第2个点的横坐标u2通常取值为2,乘以待定参数k1加上待定参数b1所得;后续的点即i=2,3,…,N时的空间构型为第1个点加上第1个点至当前点间的每个相邻点组的待定参数kj的总和,如公式(8)下;
现有的被动立体视觉***依赖特征点匹配,无法适用于点云稀疏或无显著角点特征的物体;本发明通过采用如公式(8)的分段线性函数将连续表面成像所形成的彼此相邻的多个像素表示为一个整体进行匹配,克服了单个图像像素所提供的的灰度或彩色信息不足以提供可靠匹配依据的缺陷,使得直接建立图像各像素间的对应关系得以可靠且精准地实现,有效地回避了点云稀疏和缺乏角点特征的问题。
步骤S50,基于左相机图像坐标,通过所述分段线性函数f(ui)和所述对极约束矩阵E,逐点计算第vl行左相机图像在右相机图像中的对应点坐标;
在本实施例中,步骤S50包括:
步骤S51,从左相机图像第vl行第一个像素开始,选取左相机图像中的坐标为(ui,vl)的点,设在右相机图像中对应的点坐标为(uri,vri);其中,uri和vri的计算方法如公式(9)和公式(10)所示:
其中,sf(ui)表示迭代了s步描述物体空间构型的分段线性函数;
步骤S52,在左相机图像第vl行上右移一个像素重复步骤S51计算右相机图像的对应点坐标,直至完成左相机图像第vl行全部点的对应点坐标计算。
步骤S60,基于所述左相机图像坐标和在右相机图像中的对应点坐标、对极约束矩阵E和所述分段线性函数f(ui),逐点计算每组对应点的光度差分sGi;
在本实施例中,步骤S60包括:
步骤S61,基于左相机图像中的像素和在右相机图像中对应位置的像素,计算左相机和右相机对应点像素的光度差sEi如公式(11)所示:
sEi=|gl(ui,vl)-gr(uri,vri)| (11)
其中,gl(x,y)为左相机图像中坐标为(x,y)的像素值,gr(x,y)是右相机图像中坐标为(x,y)的像素值;如果图像是灰度图像则|*|表示光度差sEi取灰度差*的绝对值,如果是RGB图像|*|表示取各通道差值的绝对值再求和;
其中,f(ui)为描述物体空间构型的分段线性函数;
其中,s表示迭代的次数。
在本实施例中,所述基于每组对应点的光度差分sGi调节所述分段线性函数的参数值,其方法为如公式(15)、(16)和(17)所示:
其中,μ1,μ2,μ3是调节步长,可根据实际情况灵活设定,s表示第s次迭代,s+1表示第s+1次迭代。
步骤S70,基于各组对应点的光度差分sGi调节所述描述物体空间构型的分段线性函数的参数值,重复步骤S50-步骤S70直至满足第一终止条件获得最优曲线方程f’(ui);
所述第一终止条件如公式(18)所示:
max(|s+1k1-sk1|,…,|s+1ki-ski|,|s+1b-sb|)<T (18)
其中,i=1,2,…,N-1,T为预设的阈值,s和s+1表示迭代次数,sk1表示第s次迭代的所述分段线性函数f(ui)中的待定参数k1,ski是第s次迭代的所述分段线性函数f(ui)中的待定参数ki,ki中的i=2,3,…,N-1;sb表示第s次迭代的所述分段线性函数f(ui)中的待定参数b1;
步骤S80,基于所述最优曲线方程f’(ui)计算所述感兴趣区像素坐标为(ui,vl)对应的空间坐标为(xi,yi,zi),如公式(19)所示:
选取感兴趣区域R中另一行重复步骤S40-步骤S80,直至计算完感兴趣区域R每行对应的空间坐标点,获得重建的曲面。
在本实施例中,获取的左相机图像如图2所示,获取的右相机图像如图3所示;通过本发明基于双目视觉的连续曲面重建方法不基于左相机和右相机图像不依赖任何先验信息重建的曲面图像在左相机视角如图4所示,在右相机视角如图5所示。
本发明第二实施例的基于双目视觉的连续曲面重建***,所述***包括:相机标定模块、感兴趣区域选取模块、分段线性函数构造模块、对应点坐标计算模块、光度差分计算模块、线性函数更新模块和空间坐标计算模块;
所述相机标定模块,用于以左相机为基准建立空间坐标系,标定左相机内参数矩阵Minl、右相机内参数矩阵Minr和右相机在左相机拍摄图像坐标中的位姿矩阵rTl;
所述对极约束矩阵构件模块,用于基于所述左相机内参数矩阵Minl、右相机内参数矩阵Minr和右相机在左相机拍摄图像坐标中的位姿矩阵rTl,构建对极约束矩阵E;
所述感兴趣区域选取模块,用于通过双目相机获取测量对象图像,使测量对象处于左相机和右相机的重叠视野区域,并在左相机图像中选取包含所述测量对象图像的感兴趣区域R;
所述分段线性函数构造模块,用于基于所述感兴趣区域R,选取其中第vl行构造描述物体空间构型的分段线性函数f(ui)如公式(20)所示:
其中,i为像素序号,b1,ki为待定参数,ki中的i=2,…,N-1,j为小于i当前取值并且大于或等于2的整数,k1为当i=1时的待定参数,所有的待定参数在迭代步骤中更新;
初始化各待定参数,其中0b1=1,0k1=1,0ki=0,i中的i=2,…,N-1;
所述对应点坐标计算模块,用于基于左相机图像坐标,通过所述分段线性函数f(ui)和所述对极约束矩阵E,逐点计算第vl行左相机图像在右相机图像中的对应点坐标;
所述光度差分计算模块,用于基于所述左相机图像坐标和在右相机图像中的对应点坐标、对极约束矩阵E和所述分段线性函数f(ui),逐点计算每组对应点的光度差分sGi;
所述线性函数更新模块,用于基于每组对应点的光度差分sGi调节所述分段线性函数的参数值,重复进行对应点坐标计算模块-线性函数更新模块的功能直至满足第一终止条件获得最优曲线方程f’(ui);
所述第一终止条件如公式(21)所示:
其中,T为预设的阈值,s和s+1表示迭代次数,sk1表示第s次迭代的所述分段线性函数f(ui)中的待定参数k1,ski是第s次迭代的所述分段线性函数f(ui)中的待定参数ki,ki中的i=2,3,…,N-1;sb表示第s次迭代的所述分段线性函数f(ui)中的待定参数b1;
所述空间坐标计算模块,用于基于所述最优曲线方程f’(ui)计算所述感兴趣区域R中每个点对应的空间坐标;
选取感兴趣区域R中另一行重复分段线性函数构造模块-空间坐标计算模块,直至计算完感兴趣区域R每行对应的空间坐标点,获得重建的曲面。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
需要说明的是,上述实施例提供的基于双目视觉的连续曲面重建***,仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块来完成,即将本发明实施例中的模块或者步骤再分解或者组合,例如,上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块,以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称,仅仅是为了区分各个模块或者步骤,不视为对本发明的不当限定。
本发明第三实施例的一种存储装置,其中存储有多条程序,所述程序适于由处理器加载并执行以实现上述的基于双目视觉的连续曲面重建方法。
本发明第四实施例的一种处理装置,包括处理器、存储装置;处理器,适于执行各条程序;存储装置,适于存储多条程序;所述程序适于由处理器加载并执行以实现上述的基于双目视觉的连续曲面重建方法。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的存储装置、处理装置的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的模块、方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (12)
1.一种基于双目视觉的连续曲面重建方法,其特征在于,所述方法包括:
步骤S10,以左相机为基准建立空间坐标系,标定左相机内参数矩阵Minl、右相机内参数矩阵Minr和右相机在左相机拍摄图像坐标中的位姿矩阵rTl;
步骤S20,基于所述左相机内参数矩阵Minl、右相机内参数矩阵Minr和右相机在左相机拍摄图像坐标中的位姿矩阵rTl,构建对极约束矩阵E;
步骤S30,通过双目相机获取测量对象图像,使测量对象处于左相机和右相机的重叠视野区域,并在左相机图像中选取包含所述测量对象图像的感兴趣区域R;
步骤S40,基于所述感兴趣区域R,选取其中第vl行构造描述物体空间构型的分段线性函数f(ui):
其中,i为像素序号,b1,ki为待定参数,ki中的i=2,…,N-1,j为小于i当前取值并且大于或等于2的整数,k1为当i=1时的待定参数,所有的待定参数在迭代步骤中更新;初始化各待定参数,其中0b1=1,0k1=1,0ki=0,i=2,…,N-1;
步骤S50,基于左相机图像坐标,通过所述分段线性函数f(ui)和所述对极约束矩阵E,逐点计算第vl行左相机图像在右相机图像中的对应点坐标;
步骤S60,基于所述左相机图像坐标和在右相机图像中的对应点坐标、对极约束矩阵E和所述分段线性函数f(ui),逐点计算每组对应点的光度差分sGi;
步骤S70,基于每组对应点的光度差分sGi调节所述分段线性函数的参数值,重复步骤S50-步骤S70直至满足第一终止条件获得最优曲线方程f′(ui);
所述第一终止条件为:
max(|s+1k1-sk1|,…,|s+1ki-ski|,|s+1b-sb|)<T
其中,T为预设的阈值,s和s+1表示迭代次数,sk1表示第s次迭代的所述分段线性函数f(ui)中的待定参数k1,ski是第s次迭代的所述分段线性函数f(ui)中的待定参数ki,ki中的i=2,3,…,N-1;sb表示第s次迭代的所述分段线性函数f(ui)中的待定参数b1;
步骤S80,基于所述最优曲线方程f′(ui)计算所述感兴趣区域R中每个点对应的空间坐标;
选取感兴趣区域R中另一行重复步骤S40-步骤S80,直至计算完感兴趣区域R每行对应的空间坐标点,获得重建的曲面。
5.根据权利要求4所述的一种基于双目视觉的连续曲面重建方法,其特征在于,步骤S60包括:
步骤S61,基于左相机图像中的像素和在右相机图像中对应位置的像素,计算左相机和右相机对应点像素的光度差sLi:
sLi=|gl(ui,vl)-gr(uri,vri)|
其中,gl(x,y)为左相机图像中坐标为(x,y)的像素值,gr(x,y)是右相机图像中坐标为(x,y)的像素值;如果图像是灰度图像则|*|表示光度差sEi取灰度差*的绝对值,如果是RGB图像|*|表示取各通道差值的绝对值再求和;
其中,f(ui)为描述物体空间构型的分段线性函数;
其中,s表示迭代的次数。
7.根据权利要求1所述的基于双目视觉的连续曲面重建方法,其特征在于,所述标定左相机内参数矩阵Minl、右相机内参数矩阵Minr和右相机在左相机拍摄图像坐标中的位姿矩阵rTl,采用的标定方法包括张氏标定法,利用的工具函数包括openCV和Matlab提供的工具函数。
8.根据权利要求1所述的基于双目视觉的连续曲面重建方法,其特征在于,所述感兴趣区域R的形状包括M行N列的矩形。
10.一种基于双目视觉的连续曲面重建***,其特征在于,所述***包括:相机标定模块、感兴趣区域选取模块、分段线性函数构造模块、对应点图像坐标计算模块、光度差分计算模块、函数参数更新模块和空间坐标计算模块;
所述相机标定模块,用于以左相机为基准建立空间坐标系,标定左相机内参数矩阵Minl、右相机内参数矩阵Minr和右相机在左相机拍摄图像坐标中的位姿矩阵rTl;
所述对极约束矩阵构件模块,用于基于所述左相机内参数矩阵Minl、右相机内参数矩阵Minr和右相机在左相机拍摄图像坐标中的位姿矩阵rTl,构建对极约束矩阵E;
所述感兴趣区域选取模块,用于通过双目相机获取测量对象图像,使测量对象处于左相机和右相机的重叠视野区域,并在左相机图像中选取包含所述测量对象图像的感兴趣区域R;
所述分段线性函数构造模块,用于基于所述感兴趣区域R,选取其中第vl行构造描述物体空间构型的分段线性函数f(ui):
其中,i为像素序号,b1,ki为待定参数,ki中的i=2,…,N-1,j为小于i当前取值并且大于或等于2的整数,k1为当i=1时的待定参数,所有的待定参数在迭代步骤中更新;
初始化各待定参数,其中0b1=1,0k1=1,0ki=0,ki中的i=2,…,N-1;
所述对应点图像坐标计算模块,用于基于左相机图像坐标,通过所述分段线性函数f(ui)和所述对极约束矩阵E,逐点计算第vl行左相机图像在右相机图像中的对应点坐标;
所述光度差分计算模块,用于基于所述左相机图像坐标和在右相机图像中的对应点坐标、对极约束矩阵E和所述分段线性函数f(ui),逐点计算每组对应点的光度差分sGi;
所述函数参数更新模块,用于基于每组对应点的光度差分sGi调节所述分段线性函数的参数值,重复进行对应点坐标计算模块-线性函数更新模块的功能直至满足第一终止条件获得最优曲线方程f′(ui);
所述第一终止条件为:
max(|s+1k1-sk1|,…,|s+1ki-ski|,|s+1b-sb|)<T
其中,T为预设的阈值,s和s+1表示迭代次数,sk1表示第s次迭代的所述分段线性函数f(ui)中的待定参数k1,ski是第s次迭代的所述分段线性函数f(ui)中的待定参数ki,ki中的i=2,3,…,N-1;sb表示第s次迭代的所述分段线性函数f(ui)中的待定参数b1;
所述空间坐标计算模块,用于基于所述最优曲线方程f′(ui)计算所述感兴趣区域R中每个点对应的空间坐标;
选取感兴趣区域R中另一行重复分段线性函数构造模块-空间坐标计算模块,直至计算完感兴趣区域R每行对应的空间坐标点,获得重建的曲面。
11.一种存储装置,其中存储有多条程序,其特征在于,所述程序适于由处理器加载并执行以实现权利要求1-9任一项所述的基于双目视觉的连续曲面重建方法。
12.一种处理装置,包括处理器,适于执行各条程序;以及存储装置,适于存储多条程序,其特征在于,所述程序适于由处理器加载并执行以实现权利要求1-9任一项所述的基于双目视觉的连续曲面重建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010889704.4A CN112002016B (zh) | 2020-08-28 | 2020-08-28 | 基于双目视觉的连续曲面重建方法、***和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010889704.4A CN112002016B (zh) | 2020-08-28 | 2020-08-28 | 基于双目视觉的连续曲面重建方法、***和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112002016A true CN112002016A (zh) | 2020-11-27 |
CN112002016B CN112002016B (zh) | 2024-01-26 |
Family
ID=73464821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010889704.4A Active CN112002016B (zh) | 2020-08-28 | 2020-08-28 | 基于双目视觉的连续曲面重建方法、***和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112002016B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112991291A (zh) * | 2021-03-11 | 2021-06-18 | 中国科学院自动化研究所 | 基于双目视觉的内外螺纹起始角测量方法、***及设备 |
CN113706391A (zh) * | 2021-11-01 | 2021-11-26 | 成都数联云算科技有限公司 | 无人机航拍图像实时拼接方法、***、设备及存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070031037A1 (en) * | 2005-08-02 | 2007-02-08 | Microsoft Corporation | Stereo image segmentation |
US20100277571A1 (en) * | 2009-04-30 | 2010-11-04 | Bugao Xu | Body Surface Imaging |
CN103247053A (zh) * | 2013-05-16 | 2013-08-14 | 大连理工大学 | 基于双目显微立体视觉的零件精确定位方法 |
US20140369584A1 (en) * | 2012-02-03 | 2014-12-18 | The Trustees Of Dartmouth College | Method And Apparatus For Determining Tumor Shift During Surgery Using A Stereo-Optical Three-Dimensional Surface-Mapping System |
WO2015084837A1 (en) * | 2013-12-02 | 2015-06-11 | Immersive Touch, Inc. | Improvements for haptic augmented and virtual reality system for simulation of surgical procedures |
CN106846416A (zh) * | 2017-02-06 | 2017-06-13 | 遂昌县睿鼎科技服务有限公司 | 单机分束双目被动立体视觉精确重构与细分拟合方法 |
CN107945220A (zh) * | 2017-11-30 | 2018-04-20 | 华中科技大学 | 一种基于双目视觉的重建方法 |
CN108171787A (zh) * | 2017-12-18 | 2018-06-15 | 桂林电子科技大学 | 一种基于orb特征检测的三维重建方法 |
CN109272570A (zh) * | 2018-08-16 | 2019-01-25 | 合肥工业大学 | 一种基于立体视觉数学模型的空间点三维坐标求解方法 |
CN110044301A (zh) * | 2019-03-29 | 2019-07-23 | 易思维(天津)科技有限公司 | 基于单双目混合测量的三维点云计算方法 |
CN110378969A (zh) * | 2019-06-24 | 2019-10-25 | 浙江大学 | 一种基于3d几何约束的汇聚式双目相机标定方法 |
CN110569704A (zh) * | 2019-05-11 | 2019-12-13 | 北京工业大学 | 一种基于立体视觉的多策略自适应车道线检测方法 |
CN111383272A (zh) * | 2020-02-24 | 2020-07-07 | 江苏大学 | 一种双目视觉水果分拣并联机器人视觉盲区末端位姿检测方法 |
-
2020
- 2020-08-28 CN CN202010889704.4A patent/CN112002016B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070031037A1 (en) * | 2005-08-02 | 2007-02-08 | Microsoft Corporation | Stereo image segmentation |
US20100277571A1 (en) * | 2009-04-30 | 2010-11-04 | Bugao Xu | Body Surface Imaging |
US20140369584A1 (en) * | 2012-02-03 | 2014-12-18 | The Trustees Of Dartmouth College | Method And Apparatus For Determining Tumor Shift During Surgery Using A Stereo-Optical Three-Dimensional Surface-Mapping System |
CN103247053A (zh) * | 2013-05-16 | 2013-08-14 | 大连理工大学 | 基于双目显微立体视觉的零件精确定位方法 |
WO2015084837A1 (en) * | 2013-12-02 | 2015-06-11 | Immersive Touch, Inc. | Improvements for haptic augmented and virtual reality system for simulation of surgical procedures |
CN106846416A (zh) * | 2017-02-06 | 2017-06-13 | 遂昌县睿鼎科技服务有限公司 | 单机分束双目被动立体视觉精确重构与细分拟合方法 |
CN107945220A (zh) * | 2017-11-30 | 2018-04-20 | 华中科技大学 | 一种基于双目视觉的重建方法 |
CN108171787A (zh) * | 2017-12-18 | 2018-06-15 | 桂林电子科技大学 | 一种基于orb特征检测的三维重建方法 |
CN109272570A (zh) * | 2018-08-16 | 2019-01-25 | 合肥工业大学 | 一种基于立体视觉数学模型的空间点三维坐标求解方法 |
CN110044301A (zh) * | 2019-03-29 | 2019-07-23 | 易思维(天津)科技有限公司 | 基于单双目混合测量的三维点云计算方法 |
CN110569704A (zh) * | 2019-05-11 | 2019-12-13 | 北京工业大学 | 一种基于立体视觉的多策略自适应车道线检测方法 |
CN110378969A (zh) * | 2019-06-24 | 2019-10-25 | 浙江大学 | 一种基于3d几何约束的汇聚式双目相机标定方法 |
CN111383272A (zh) * | 2020-02-24 | 2020-07-07 | 江苏大学 | 一种双目视觉水果分拣并联机器人视觉盲区末端位姿检测方法 |
Non-Patent Citations (6)
Title |
---|
FEMAND S. COHEN等: ""Part I: Modeling Image Curves Using Invariant 3-D Object Curve Models-A Path to 3-D Recognition and Shape Estimation from Image Contours"", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, vol. 16, no. 1, XP000446418, DOI: 10.1109/34.273721 * |
QINGBIN WANG等: ""Binocular Initial Location and Extrinsic Parameters Real-time Calculation for Bionic Eye System"", 《PROCEEDING OF THE 11 TH WORLD CONGRESS ON INTELLIGENT CONTROL AND AUTOMATION SHENYANG》 * |
李福东等: ""基于双目视觉与工业机器人的大型工件自动上下料***"", 《机械设计与制造工程》, vol. 48, no. 1 * |
赵慧慧;梁志敏;高洪明;吴林;: "用于遥控焊接的焊缝特征检测算法", 焊接学报, no. 12 * |
马振华: ""基于双目视觉的空间未知运动目标位姿估计方法研究"", 《中国硕士学位论文全文数据库》 * |
黄政;: "基于区域灰度的双目视觉映射适应性匹配", 现代计算机, no. 04 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112991291A (zh) * | 2021-03-11 | 2021-06-18 | 中国科学院自动化研究所 | 基于双目视觉的内外螺纹起始角测量方法、***及设备 |
CN113706391A (zh) * | 2021-11-01 | 2021-11-26 | 成都数联云算科技有限公司 | 无人机航拍图像实时拼接方法、***、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112002016B (zh) | 2024-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110363858B (zh) | 一种三维人脸重建方法及*** | |
CN111563923B (zh) | 获得稠密深度图的方法及相关装置 | |
CN111127422B (zh) | 图像标注方法、装置、***及主机 | |
CN110176032B (zh) | 一种三维重建方法及装置 | |
CN112270713B (zh) | 标定方法以及装置、存储介质、电子装置 | |
CN110728671B (zh) | 基于视觉的无纹理场景的稠密重建方法 | |
CN112132906B (zh) | 一种深度相机与可见光相机之间的外参标定方法及*** | |
JP5633058B1 (ja) | 3次元計測装置及び3次元計測方法 | |
CN101697233A (zh) | 一种基于结构光的三维物体表面重建方法 | |
WO2018201677A1 (zh) | 基于光束平差的远心镜头三维成像***的标定方法及装置 | |
CN112002016B (zh) | 基于双目视觉的连续曲面重建方法、***和装置 | |
CN113689578A (zh) | 一种人体数据集生成方法及装置 | |
CN116129037B (zh) | 视触觉传感器及其三维重建方法、***、设备及存储介质 | |
CN112200848A (zh) | 低光照弱对比复杂环境下的深度相机视觉增强方法及*** | |
CN113379815A (zh) | 基于rgb相机与激光传感器的三维重建方法、装置及服务器 | |
KR102023087B1 (ko) | 카메라 캘리브레이션 방법 | |
CN112985258B (zh) | 一种三维测量***的标定方法及测量方法 | |
CN116559181B (zh) | 基于光度立体视觉的缺陷检测方法、***、装置及介质 | |
GB2569609A (en) | Method and device for digital 3D reconstruction | |
CN116021519A (zh) | 一种基于tof相机采摘机器人手眼标定方法以及装置 | |
CN112270693B (zh) | 一种飞行时间深度相机运动伪差检测方法和装置 | |
CN115014296A (zh) | 基于相机的输电线测距方法、装置和计算机设备 | |
CN115035175A (zh) | 一种三维模型构建数据处理方法及*** | |
CN113362244B (zh) | 基于优先级和数据使用计划的图像处理方法 | |
CN111010558B (zh) | 一种基于短视频图像的立木深度图生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |