CN116681827A - 一种基于多监视相机和点云融合的无缺陷三维点云重建方法及其装置 - Google Patents
一种基于多监视相机和点云融合的无缺陷三维点云重建方法及其装置 Download PDFInfo
- Publication number
- CN116681827A CN116681827A CN202310636189.2A CN202310636189A CN116681827A CN 116681827 A CN116681827 A CN 116681827A CN 202310636189 A CN202310636189 A CN 202310636189A CN 116681827 A CN116681827 A CN 116681827A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- camera
- coordinate system
- dimensional
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012544 monitoring process Methods 0.000 title claims abstract description 44
- 230000004927 fusion Effects 0.000 title claims abstract description 26
- 239000011159 matrix material Substances 0.000 claims abstract description 73
- 238000006243 chemical reaction Methods 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000009466 transformation Effects 0.000 claims description 31
- 238000001914 filtration Methods 0.000 claims description 9
- 230000002950 deficient Effects 0.000 claims 3
- 230000007547 defect Effects 0.000 abstract description 6
- 238000012937 correction Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000013519 translation Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 210000004209 hair Anatomy 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C1/00—Measuring angles
- G01C1/02—Theodolites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请提供了一种基于多监视相机和点云融合的无缺陷三维点云重建方法及其装置,所述方法包括:利用经纬仪建立立方镜坐标系,用多监视相机和经纬仪同时测量靶标,间接获得多监视相机坐标系与立方镜坐标系的转换矩阵,实现多监视相机全局标定;利用标定后的监视相机拍摄物体图片,并重建三维点云;对多个点云进行点云预处理,利用相机全局标定结果实现点云粗配准,再使用传统点云配准算法实现点云精配准,将配准后的点云融合成一个无缺陷三维点云。本申请具有很高的相机全局标定精度,且点云粗配准和精配准都具有较快的速度和较高的鲁棒性,能大大提升物体三维重建精度,获得无缺陷的物体点云。
Description
技术领域
本申请涉及相机标定和点云处理领域,尤其涉及一种基于多监视相机和点云融合的无缺陷三维点云重建方法及其装置。
背景技术
物体点云重建对于研究物体表面形貌、地形分析、三维可视化等领域有着重要意义。传统的物体点云重建方法基于单个相机或者一对双目相机完成,由于视角受限,导致重建出的点云存在孔洞、缺陷;如果选择更换视角拍摄,就需要使用点云配准算法进行配准,而目前已有的大多数点云粗配准算法在处理特征不明显的物体时,正确率不是非常高,而精配准又大多数依赖于粗配准的结果,因此不易稳定得到高精度无缺陷的物体三维点云。
不同于单一相机移动补拍重建三维点云,使用多监视相机在多视角位置下进行三维重建具有更高的精度。在工业上,利用经纬仪和立方镜实现的相机全局标定具有高精度的优势,因此经常用于标定航空航天项目使用的相机。由于相机全局标定无需每次使用时都进行,只需要在生产加工后进行一次全局标定,在定期内再次标定以校正误差即可,因此使用多监视相机实现无缺陷三维点云重建方法的成本主要来源于相机,这使得多相机***在众多工业领域广泛使用。
发明内容
本申请提供了一种基于多监视相机和点云融合的无缺陷三维点云重建方法及其装置,其目的是为了解决单相机三维重建精度不高且存在缺陷的问题,具有很高的相机全局标定精度,且点云粗配准和精配准都具有较快的速度和较高的鲁棒性,能大大提升物体三维重建精度,获得无缺陷的物体点云。
根据一些实施例,本申请采用如下技术方案:
一种基于多监视相机和点云融合的无缺陷三维点云重建方法,包括:
利用经纬仪建立立方镜坐标系;
用多监视相机和经纬仪同时测量靶标,间接获得多监视相机坐标系与立方镜坐标系的转换矩阵,实现多监视相机全局标定;
利用标定后的监视相机拍摄物体图片,并重建三维点云;
对多个点云进行点云预处理;
利用相机全局标定结果实现点云粗配准;
使用传统点云配准算法实现点云精配准;和
将配准后的点云融合成一个无缺陷三维点云。
进一步地,利用经纬仪测量一根长度已知标准杆两端角度,并将经纬仪与立方镜进行自准直,记录此时角度,再测量立方镜对应面上十字叉丝的角度,计算经纬仪坐标系与立方镜坐标系的转换矩阵。
进一步地,利用多监视相机拍摄靶标获得相机内外参数,再用经纬仪测量靶标部分角点角度,计算相机坐标系与经纬仪坐标系的转换矩阵,进而计算相机坐标系与立方镜坐标系的转换矩阵,其中立方镜坐标系作为世界坐标系。
进一步地,利用全局标定后的相机拍摄物体,使用视差原理双目重建三维点云,使用MVS方法单目重建三维点云。
进一步地,将重建点云的多余部分裁剪,对点云进行滤波,并进行降采样。
进一步地,利用监视相机全局标定出的相机与世界坐标系的转换矩阵对预处理后的点云进行坐标变换,实现点云粗配准。
进一步地,使用速度很快、精度很高的AAICP算法对粗配准后的点云进行精配准。
进一步地,将配准后的点云合并成一个大点云,并判断重复点进行删除,得到无缺陷的物体三维点云。
一种基于多监视相机和点云融合的无缺陷三维点云重建装置,包括:
经纬仪三维坐标测量模块,被配置为,测量空间任意点角度解算其三维坐标;
相机全局标定模块,被配置为,获得各监视相机内外参数和相机坐标系与世界坐标系的转换矩阵;
多监视相机三维点云融合模块,被配置为,进行点云预处理,并根据相机全局标定的结果实现点云粗配准,再使用传统算法进行点云精配准,最后将多个点云融合成一个完整无缺陷的物体三维点云。
发明效果
本申请基于多监视相机从多视角进行拍摄,并使用经纬仪与立方镜对多监视相机进行全局标定,具有标定精度高的优势,标定后的相机重建出的三维点云精度也非常高。同时,利用相机全局标定的结果对点云进行粗配准,与传统点云配准算法相比,具有更高的精度、速度和鲁棒性。本申请使用Anderson acceleration ICP点云精配准算法,具有配准精度高、配准速度快、鲁棒性好的优势。
本申请中双目相机位置固定,单目相机使用较高精度机械臂控制移动。因此物体可以随意移动,多相机同时拍摄后并行处理,再经过快速的点云配准和融合,实时性较高。使用者可以随迁移动或者更换物体,并在用户界面实时观察物体无缺陷的三维点云。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。
图1为本申请一实施例提供的基于多监视相机和点云融合的无缺陷三维点云重建方法的流程图;
图2为使用两台经纬仪测量空间任意点角度解算其三维坐标系的原理示意图;
图3为使用两台经纬仪与立方镜两个相互垂直平面自准直并测量对应面十字叉丝角度以解算经纬仪坐标系与立方镜坐标系的转换矩阵的原理示意图;
图4为单目相机参数标定时靶标世界坐标系、相机坐标系和像素坐标系之间的关系图;
图5为相机使用时存在的畸变示意图;
图6为双目相机立体校正的流程图;
图7为双目相机对靶标图像进行立体校正前(a)后(b)的对比图;
图8为单目点云坐标求解时的对极几何关系图;
图9为点云融合中重复点判断时使用的KD树的划分原理示意图;
图10为使用本申请提供的基于多监视相机和点云融合的无缺陷三维点云重建方法实现物体无缺陷三维点云重建的效果图,其中以石块和土壤作为实例。
具体实施方式
以下将结合实施例和附图对本申请的构思、具体结构及产生的技术效果进行清楚、完整地描述,以充分地理解本申请的目的、特征和效果。显然,所描述的实施例只是本项目的一部分实施例,而不是全部实施例。
目前利用相机重建物体三维点云的方法由于拍摄视角限制存在孔洞等缺陷,或者由于物体特征不明显导致多视角重建出点云在粗配准时效果较差,从而导致较难获得高精度无缺陷的物体三维点云。
针对上述问题,本申请实施例通过利用经纬仪测量一根长度已知标准杆两端角度,并将经纬仪与立方镜进行自准直,记录此时角度,再测量立方镜对应面上十字叉丝的角度,计算经纬仪坐标系与立方镜坐标系的转换矩阵;接着利用多监视相机拍摄靶标获得相机内外参数,再用经纬仪测量靶标部分角点角度,计算相机坐标系与经纬仪坐标系的转换矩阵,进而计算相机坐标系与世界坐标系的转换矩阵;然后利用全局标定后的相机拍摄物体,使用视差原理双目重建三维点云,使用MVS方法单目重建三维点云;再将重建点云的多余部分裁剪,对点云进行滤波,并进行降采样;接着利用监视相机全局标定出的相机与世界坐标系的转换矩阵对预处理后的点云进行坐标变换,实现点云粗配准;然后使用速度很快、精度很高的AAICP算法对粗配准后的点云进行精配准;最后将配准后的点云合并成一个大点云,并判断重复点进行删除,得到无缺陷的物体三维点云。
实施例1:
如图1所示,本申请实施例提供的基于多监视相机和点云融合的无缺陷三维点云重建方法包括如下步骤:
步骤101,利用经纬仪测量一根长度已知标准杆两端角度,并将经纬仪与立方镜进行自准直,记录此时角度,再测量立方镜对应面上十字叉丝的角度,计算经纬仪坐标系与立方镜坐标系的转换矩阵,具体如下:
(1)利用经纬仪内置自准直激光器与立方镜反射平面自准直,测量此时角度;再用两台经纬进行互瞄,使得两经纬仪射出的激光相互准直,测量此时角度作为初始角;
(2)如图2所示,两台经纬仪可以通过测量空间任意一点角度来解算三维坐标,但首先需要知道两经纬仪水平方向的基线长度。利用经纬仪测量一根长度已知的标准杆两端的角度,将其代入三维坐标解算方程和距离方程L2=(xT2-xT1)2+(yT2-yT1)2+(zT2-zT1)2就能解出经纬仪基线长度,进而可以解算任意一点三维坐标;
通过如下公式可以计算出经纬仪基线长度b:
其中,L为两台经纬仪水平方向基线长度,αA1、βA1、αA2、βA2分别为标准杆两端点的水平角和竖直角。
获得经纬仪基线长度后,就可以通过下式计算出空间任意一点在经纬仪坐标系下的坐标:
(3)如图3所示,根据经纬仪与立方镜两个面自准直后的角度,对经纬仪坐标系进行旋转,将经纬仪坐标系的x轴先绕y轴旋转水平角,再绕z轴旋转竖直角,此时x轴分别与立方镜坐标系的x、y轴平行,即可建立立方镜坐标系,也可以求解经纬仪坐标系与立方镜坐标系之间的旋转矩阵:
其中,xM、yM、zM为立方镜坐标系的三个轴在经纬仪坐标系下的向量,为立方镜坐标系到经纬仪坐标系的坐标旋转矩阵。
(4)利用经纬仪测量立方镜对应自准直面上的十字叉丝角度,并将其与坐标转换方程联立,就能够求解经纬仪坐标系与立方镜坐标系之间的平移向量,最后将旋转矩阵和平移向量结合即可得到经纬仪坐标系与立方镜坐标系之间的坐标转换矩阵。
由于立方镜是边长已知的正方体,假设其边长的一半为a,与经纬仪T1和经纬仪T2相对应的立方镜两个面中心的十字叉丝点分别为P和Q,如图3所示,则P和Q在立方镜坐标系下的齐次坐标分别为PM=[a 0 0 1]T和QM=[0 a 0 1]T。则这两点在经纬仪坐标系下的坐标满足下式:
假设两台经纬仪测量立方镜十字叉丝的角度分别为(αAP,βAP)和(αBQ,βBQ),经纬仪T1与点P满足如下关系:
同理经纬仪T2与点Q满足如下关系:
其中,h为经纬仪T2在竖直方向与经纬仪T1之间的距离,假设经纬仪T1与经纬仪T2互瞄时经纬仪T1竖直方向的角度为βAB,则h求解如下:
h=btanβAB
联立坐标转换方程和距离方程可以得到以下方程组,就可以求解经纬仪坐标系与立方镜坐标系之间的平移向量:
其中,xPT、xQT分别为经纬仪与立方镜自准直的面上十字叉丝点在经纬仪坐标系下x轴方向的坐标,T1、T2、T3为待求平移向量中的元素。
步骤102,利用多监视相机拍摄靶标获得相机内外参数,再用经纬仪测量靶标部分角点角度,计算相机坐标系与经纬仪坐标系的转换矩阵,进而计算相机坐标系与世界坐标系的转换矩阵,具体如下:
(1)使用多监视相机各自拍摄位置不断变动的靶标,提取图像中的靶标角点,对于双目相机还需要进行左右图像的角点匹配;
(2)由于各个相机的内参数不变,而外参数随着每次靶标位置的不同而改变,通过多张靶标图片就能建立方程组求解相机的内外参数,靶标世界坐标系、相机坐标系和像素坐标系之间的关系如图4所示;
通过下式可以建立靶标上各个角点与内参数的方程:
其中,dx和dy分别表示CCD上一个像素在x和y方向上的真实尺寸,f为相机焦距,s为相机倾斜系数,一般情况下为0,u0和v0为相机主点在像素坐标系下的坐标, 其中,fx、fy、u0、v0待标定的相机内参数。
(3)对于双目相机,在获得了单个相机内外参数后,还需要根据匹配的角度位置,联立解算出左右相机之间的坐标转换矩阵;
由于在单目标定时已经得到了每张靶标图像对应的左右相机外参数矩阵,因此对于靶标上任意一点PW,都可以通过下式求得该点在左右相机坐标系下的坐标值:
其中,和/>分别为靶标世界坐标系到左右相机坐标系的坐标旋转矩阵和坐标平移矩阵。每张图像都对应以上四个矩阵参数,将多张图像的方程联立,就能获得左右相机坐标系之间的坐标转换矩阵如下:
由于单目标定存在误差,因此利用每张图像对应的左右相机外参数矩阵求解出的R、T矩阵不一定完全相等,因此要通过反投影计算误差,并不断迭代找到最小误差对应的R、T矩阵的最优解。
(4)相机实际使用时存在如图5所示的畸变,标定出相机内外参数时,可以得到相机的畸变系数,接着需要对图像进行去畸变,将图像像素坐标根据内参数转成成像平面坐标系下坐标,将改坐标代入畸变校正方程中,得到的结果反算出新的像素坐标,对该非整数坐标进行整数插值,得到畸变校正后的图像;
通过下式可以实现畸变校正:
其中,径向坐标(xu,yu)为理想相机所拍摄到的未畸变像点在像面上的坐标,(xd,yd)为实际像点在像面上的坐标,(xc,yc)为相机主点在像面上的坐标;/>为畸变半径,k1、k2为径向畸变系数,p1、p2为切向畸变系数。
(5)对于双目相机,还需要将左右相机坐标系分别进行旋转至两坐标系各个坐标轴相互平行,且坐标平面共面,具体如下:
双目相机立体标定完成后可以获得左右相机之间的坐标旋转矩阵R和坐标平移矩阵T,如图6(a)所示;如图6(b),将左相机坐标系沿旋转矩阵R的正方向旋转R的一半,记该旋转矩阵为Rh1;如图6(c),再将右相机坐标系沿旋转矩阵R的反方向旋转R的一半,记该旋转矩阵为Rh2;经过左右相机一半的旋转后,左相机坐标系和右相机坐标系平行但不共面,如图6(d)所示;如图6(e),此时空间一点P在左右相机坐标系之间的坐标关系为PL=PR+Rh2T;将平行但不共面的左右相机坐标系旋转Rrec至与校正坐标系Orecxrecyreczrec平行,使左右相机坐标系平行且共面,如图6(f)所示,xrec轴与左右相机坐标系原点连线方向平行,xrecOreczrec平面与ZLOLORZR平面平行。
对于校正坐标系,令t=Rh2T,可以建立校正坐标系坐标轴在相机坐标系中的投影为:yrec=[0 0 1]T×xrec,zrec=xrec×yrec,因此校正坐标系与相机坐标系之间的坐标旋转矩阵为Rrec=[xrec yrec zrec]T。最终得到的左右相机旋转矩阵为:
将左右相机像点坐标全部代入上式,可以得到双目相机立体校正后的图像,结果如图7所示,(a)为立体校正前靶标图像,(b)为立体校正后靶标图像。
(6)利用经纬仪测量靶标的部分角点角度,解算其在经纬仪坐标系下的坐标,将其与相机参数标定时获得的角点在相机坐标系下的坐标结合,使用SVD分解法,求解出相机坐标系与经纬仪坐标系之间的坐标转换矩阵;
对多个角点构建如下矩阵:
其中,和/>为m个已知坐标的空间点在相机坐标系和经纬仪坐标系下坐标的平均值。对H进行SVD分解,就能得到两个标准正交矩阵和一个对角矩阵:
U·Δ·VT=SVD(H)
其中,U为H·HT矩阵的归一化特征向量,V为HT·H矩阵的归一化特征向量,Δ为包含H·HT矩阵和HT·H矩阵特征值的对角矩阵。
计算行列式|V·UT|的符号,如果大于0,则坐标旋转矩阵为如果小于0,则将V的任意一列的符号改变,再代入上式求解坐标旋转矩阵。接着就能利用空间一点P在两个坐标系下的坐标值求解坐标平移矩阵为/>
(7)将相机坐标系与经纬仪坐标系之间的坐标转换矩阵和经纬仪坐标系与立方镜坐标系之间的坐标转换矩阵相乘,就能得到相机坐标系与立方镜坐标系(世界坐标系)之间的坐标转换矩阵,即至此多监视相机全局标定完成。
步骤103,利用全局标定后的相机拍摄物体,使用视差原理双目重建三维点云,使用MVS方法单目重建三维点云,具体如下:
(1)使用全局标定后的各个监视相机同时拍摄物体;
(2)对于双目相机,利用视差原理求解左右图像的视差图,根据视差图重建三维点云;
(3)对于单目相机,提取图像关键点,并进行关键点匹配,然后使用利用关键点重建稀疏点云,再使用MVS方法重建稠密点云。
步骤104,将重建点云的多余部分裁剪,对点云进行滤波,并进行降采样,具体如下:
(1)通过对主体部分进行判断,设定三坐标轴阈值或球形区域将多余部分裁剪;
(2)对点云使用双边滤波、高斯滤波、条件滤波、直通滤波、基于随机采样一致性(RANSAC)滤波等滤波方法,去除离群点和噪声点;
(3)为了提高点云配准速度,要对点云进行降采样,将点云按照等宽度划分成多个体素栅格,在每个体素栅格内保留与中心点最近的点,剔除其余点,使得点云点数大幅降低但总体特征不变。
步骤105,利用监视相机全局标定出的相机与世界坐标系的转换矩阵对预处理后的点云进行坐标变换,实现点云粗配准,具体如下:
(1)根据单目相机拍摄图像求解单目相机重建点云在单目相机坐标系下的坐标;
对于两个不同位置拍摄的图像,首先要求解两个相机位置之间的坐标转换矩阵,可以利用对极几何关系来求解。如图8所示,C和C’为两个相机位置的相机光心,空间中任意一点M在两个相机像面上的像点分别为m和m’;由于CM上任意一点M1在像面I上的像点均为m,而在像面I’上的像点都在对极线l′m上,同理C′M上任意一点M′1在像面I上的像点都在对极线lm上;并且两个像面上的对极线都一定过相机光心连线CC′与对应像面的交点e和e’。由于m和m’分别为两个像面上的像点,因此可以利用对极几何关系将两图像中对应特征点之间的匹配过程从二维变为一维,降低匹配的计算量和耗费时间。
假设空间点M在两相机坐标系下坐标分别为X=[x y z]T和X′=[x′ y′ z′]T,在两图像中的像素坐标分别为p=[u v 1]T和p′=[u′ v′ 1]T,则在两归一化像面上的坐标分别为和/>两相机坐标系之间坐标转换矩阵满足X=RX′+T,则在像面坐标系下满足:
由于z和z′为未知参数,为了消除其影响,在上式两端左边同时叉乘T,得到:
再对上式两端同时左乘得到:
由于向量垂直于向量T和/>因此/>与/>点乘结果为0,因此可以得到:
其中,E=T×R为本质矩阵。考虑到像面坐标系与像素坐标系之间通过内参矩阵K关联,因此根据式上式可知像素坐标满足:
pTK-TT×RK-1p′=pTFp′=0
其中,F=K-TT×RK-1为基本矩阵。由于内参矩阵K已知,因此只需要求解坐标转换矩阵中的六个参数。在两个图像中利用特征点匹配算法寻找匹配的特征点,利用多对特征点构建式上式的方程,再通过最小二乘法就能求得坐标转换矩阵参数。
获得坐标转换矩阵之后,就可以使用三角测量来估计空间点的深度,进而求解出空间点在单目相机坐标系下的坐标。对式两端左边同时叉乘/>可以得到:
将像素坐标代入上式可得:
z′K-1p×RK-1p′+K-1p×T=0
由于上式中只有z′未知,因此可以通过上式求解出z′,同理可以求解出z。像素坐标和相机坐标系下坐标满足zp=KX,即可以解算出相机坐标系下的坐标。因此利用对极几何关系和三角测量就可以解算出空间点在单目相机坐标系下的坐标。
(2)根据双目相机拍摄图像求解双目相机重建点云在双目相机坐标系下的坐标;
由于双目相机两相机相对位置固定,因此相比于单目相机点云坐标求解,省去了两相机之间坐标转换矩阵的解算步骤。双目相机左右目都满足内参矩阵方程,并且考虑到通过匹配的角点可以求得左右相机之间的坐标转换矩阵,因此对左右图像进行特征点匹配后,就可以得到如下方程组:
在上式中未知数有xl、yl、zl、xr、yr、zr共六个,而方程共有七个,因此可以直接求解出空间点在双目相机坐标系下的坐标。
(3)用全局标定出的各相机坐标系与世界坐标系之间的坐标转换矩阵对(1)、(2)步中求解出的点云在各自相机坐标系下的坐标进行变换,全部统一到世界坐标系中,实现点云粗配准。
此步骤粗配准的精度取决于相机全局标定精度,由于使用的是经纬仪与立方镜进行标定,因此标定精度非常高,对应的点云粗配准精度也较高,为点云精配准提供了良好的条件。
步骤106,使用速度很快、精度很高的AAICP算法对粗配准后的点云进行精配准,具体如下:
(1)在源点云P中随机选取点集pi∈P;
(2)从目标点云Q中估计对应点集qi∈Q,使得‖qi-pi‖=min;
(3)对这两个点集使用SVD分解法,解算出两个点云之间的坐标转换矩阵;
(4)对pi使用(3)中计算出的坐标转换矩阵进行变换,得到新的对应点集p′i={p′i=R·pi+T,pi∈P};
(5)计算p′i与qi的平均距离
(6)设定距离阈值,如果d小于给定距离阈值或迭代次数大于最大迭代次数,则停止迭代过程,此时计算出的坐标转换矩阵为最优坐标转换矩阵,否则返回(2)继续迭代;
(7)根据Anderson加速思想来加速ICP的收敛过程,再不失精度的情况下大大提高点云配准的速度。
步骤107,将配准后的点云合并成一个大点云,并判断重复点进行删除,得到无缺陷的物体三维点云,具体如下:
(1)直接将多个配准后的点云直接相加和;
(2)对加和后的点云构建KD树,三维点构建KD树示意如图9所示;
(3)逐个遍历点云中的所有点,对于某一点,从根结点开始,向下访问KD数,将该点对应维度数值与该结点对应维度中位数进行比较,若小于中位数,则访问左子树,否则访问右子树,直到访问到叶子结点,计算该点与叶子结点中保存数据间的距离,若距离小于半径阈值,则对叶子结点中的点进行标记;
(4)进行回溯操作,从叶子结点往上访问,判断是否还有距离小于阈值的结点,如果有,进入该结点继续向下访问叶子结点标记距离小于阈值的点,在后续遍历过程中,如果遇到被标记过的点,则直接跳过该点;
(5)将大点云中被标记过的点删除,只保留未被标记的点,点云融合完成。
实施例2:
一种基于多监视相机和点云融合的无缺陷三维点云重建装置,包括:
经纬仪三维坐标测量模块,被配置为,测量空间任意点角度解算其三维坐标;
相机全局标定模块,被配置为,获得各监视相机内外参数和相机坐标系与世界坐标系的转换矩阵;
多监视相机三维点云融合模块,被配置为,进行点云预处理,并根据相机全局标定的结果实现点云粗配准,再使用传统算法进行点云精配准,最后将多个点云融合成一个完整无缺陷的物体三维点云。
本申请提出的方法效果如图10所示,其中(a)和(b)为源点云和目标点云,(c)和(d)为AAICP点云精配准结果俯视图和侧视图。相比于传统方法,本申请提出的方法具有更高的三维点云重建精度和速度,且鲁棒性更好。本申请通过使用经纬仪与立方镜对多监视相机进行标定,更精确的获得了相机的内外参数;使用标定结果实现点云粗配准,与传统方法中使用点云粗配准算法相比,速度更快、鲁棒性更好;并使用AAICP算法实现更精确更快速的点云精配准,从而提高了***的实时性,可以对工业中物体点云无缺陷实时重建、研究物体表面形貌、地形分析、三维可视化等方面起到重要作用。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (9)
1.一种基于多监视相机和点云融合的无缺陷三维点云重建方法,其特征在于,包括:
利用经纬仪建立立方镜坐标系;
用多监视相机和经纬仪同时测量靶标,间接获得多监视相机坐标系与立方镜坐标系的转换矩阵,实现多监视相机全局标定;
利用标定后的监视相机拍摄物体图片,并重建三维点云;
对多个点云进行点云预处理;
利用相机全局标定结果实现点云粗配准;
使用传统点云配准算法实现点云精配准;和
将配准后的点云融合成一个无缺陷三维点云。
2.如权利要求1所述的一种基于多监视相机和点云融合的无缺陷三维点云重建方法,其特征在于,
利用经纬仪测量一根长度已知标准杆两端角度,并将经纬仪与立方镜进行自准直,记录此时角度,再测量立方镜对应面上十字叉丝的角度,计算经纬仪坐标系与立方镜坐标系的转换矩阵。
3.如权利要求2所述的一种基于多监视相机和点云融合的无缺陷三维点云重建方法,其特征在于,
利用多监视相机拍摄靶标获得相机内外参数,再用经纬仪测量靶标部分角点角度,计算相机坐标系与经纬仪坐标系的转换矩阵,进而计算相机坐标系与立方镜坐标系的转换矩阵,其中将立方镜坐标系作为世界坐标系。
4.如权利要求1所述的一种基于多监视相机和点云融合的无缺陷三维点云重建方法,其特征在于,
利用全局标定后的相机拍摄物体,使用视差原理双目重建三维点云,使用MVS方法单目重建三维点云。
5.如权利要求4所述的一种基于多监视相机和点云融合的无缺陷三维点云重建方法,其特征在于,
将重建点云的多余部分裁剪,对点云进行滤波,并进行降采样。
6.如权利要求5所述的一种基于多监视相机和点云融合的无缺陷三维点云重建方法,其特征在于,
利用监视相机全局标定出的相机与世界坐标系的转换矩阵对预处理后的点云进行坐标变换,实现点云粗配准。
7.如权利要求6所述的一种基于多监视相机和点云融合的无缺陷三维点云重建方法,其特征在于,
使用速度很快、精度很高的AAICP算法对粗配准后的点云进行精配准。
8.如权利要求7所述的一种基于多监视相机和点云融合的无缺陷三维点云重建方法,其特征在于,
将配准后的点云合并成一个大点云,并判断重复点进行删除,得到无缺陷的物体三维点云。
9.一种无缺陷三维点云重建装置,为基于权利要求1~8所述的基于多监视相机和点云融合的无缺陷三维点云重建方法的无缺陷三维点云重建装置其特征在于,
所述无缺陷三维点云重建装置包括:
经纬仪三维坐标测量模块,被配置为,测量空间任意点角度解算其三维坐标;
相机全局标定模块,被配置为,获得各监视相机内外参数和相机坐标系与世界坐标系的转换矩阵;
多监视相机三维点云融合模块,被配置为,进行点云预处理,并根据相机全局标定的结果实现点云粗配准,再使用传统算法进行点云精配准,最后将多个点云融合成一个完整无缺陷的物体三维点云。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310636189.2A CN116681827A (zh) | 2023-05-31 | 2023-05-31 | 一种基于多监视相机和点云融合的无缺陷三维点云重建方法及其装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310636189.2A CN116681827A (zh) | 2023-05-31 | 2023-05-31 | 一种基于多监视相机和点云融合的无缺陷三维点云重建方法及其装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116681827A true CN116681827A (zh) | 2023-09-01 |
Family
ID=87780406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310636189.2A Pending CN116681827A (zh) | 2023-05-31 | 2023-05-31 | 一种基于多监视相机和点云融合的无缺陷三维点云重建方法及其装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116681827A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116863086A (zh) * | 2023-09-04 | 2023-10-10 | 武汉国遥新天地信息技术有限公司 | 一种光学动作捕捉***刚体稳定重建方法 |
CN116862999A (zh) * | 2023-09-04 | 2023-10-10 | 华东交通大学 | 一种双摄像机三维测量的标定方法、***、设备和介质 |
-
2023
- 2023-05-31 CN CN202310636189.2A patent/CN116681827A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116863086A (zh) * | 2023-09-04 | 2023-10-10 | 武汉国遥新天地信息技术有限公司 | 一种光学动作捕捉***刚体稳定重建方法 |
CN116862999A (zh) * | 2023-09-04 | 2023-10-10 | 华东交通大学 | 一种双摄像机三维测量的标定方法、***、设备和介质 |
CN116863086B (zh) * | 2023-09-04 | 2023-11-24 | 武汉国遥新天地信息技术有限公司 | 一种光学动作捕捉***刚体稳定重建方法 |
CN116862999B (zh) * | 2023-09-04 | 2023-12-08 | 华东交通大学 | 一种双摄像机三维测量的标定方法、***、设备和介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110288642B (zh) | 基于相机阵列的三维物体快速重建方法 | |
JP6722323B2 (ja) | 撮像装置のモデリングおよび校正のためのシステムおよびその方法 | |
CN107945220B (zh) | 一种基于双目视觉的重建方法 | |
US8121352B2 (en) | Fast three dimensional recovery method and apparatus | |
CN116681827A (zh) | 一种基于多监视相机和点云融合的无缺陷三维点云重建方法及其装置 | |
CN114998499B (zh) | 一种基于线激光振镜扫描的双目三维重建方法及*** | |
EP2847741B1 (en) | Camera scene fitting of real world scenes for camera pose determination | |
CN108416812B (zh) | 一种单摄像机镜像双目视觉***的标定方法 | |
CN109727290B (zh) | 基于单目视觉三角测距法的变焦相机动态标定方法 | |
CN109579695B (zh) | 一种基于异构立体视觉的零件测量方法 | |
CN110874854B (zh) | 一种基于小基线条件下的相机双目摄影测量方法 | |
Sabater et al. | Accurate disparity estimation for plenoptic images | |
CN108629829B (zh) | 一种球幕相机与深度相机结合的三维建模方法和*** | |
CN103278138A (zh) | 一种复杂结构薄部件三维位置及姿态的测量方法 | |
CN112381847B (zh) | 管路端头空间位姿测量方法及*** | |
CN108489398A (zh) | 一种广角场景下激光加单目视觉测量三维坐标的方法 | |
CN113205592A (zh) | 一种基于相位相似性的光场三维重建方法及*** | |
CN113205603A (zh) | 一种基于旋转台的三维点云拼接重建方法 | |
CN111429571A (zh) | 一种基于时空图像信息联合相关的快速立体匹配方法 | |
Liu et al. | Dense stereo matching strategy for oblique images that considers the plane directions in urban areas | |
Li et al. | A virtual binocular line-structured light measurement method based on a plane mirror | |
Hongsheng et al. | Three-dimensional reconstruction of complex spatial surface based on line structured light | |
CN113029108B (zh) | 一种基于序列海面影像的自动化相对定向方法及*** | |
CN111091595B (zh) | 斜视三维测绘方法及测绘*** | |
CN115409897A (zh) | 基于背景点云精细化处理的激光雷达与相机联合标定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |