CN118097036A - 一种适用于含有透光材料的物体点云重建***及方法 - Google Patents
一种适用于含有透光材料的物体点云重建***及方法 Download PDFInfo
- Publication number
- CN118097036A CN118097036A CN202410506512.9A CN202410506512A CN118097036A CN 118097036 A CN118097036 A CN 118097036A CN 202410506512 A CN202410506512 A CN 202410506512A CN 118097036 A CN118097036 A CN 118097036A
- Authority
- CN
- China
- Prior art keywords
- camera
- points
- point cloud
- point
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000000463 material Substances 0.000 title claims abstract description 35
- 239000011159 matrix material Substances 0.000 claims abstract description 38
- 230000000007 visual effect Effects 0.000 claims abstract description 20
- 230000002159 abnormal effect Effects 0.000 claims abstract description 18
- 230000005540 biological transmission Effects 0.000 claims abstract description 10
- 238000013519 translation Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 230000011218 segmentation Effects 0.000 claims abstract description 5
- 230000003287 optical effect Effects 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 239000012780 transparent material Substances 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 239000007787 solid Substances 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 9
- 230000007547 defect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000005341 toughened glass Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种针对含有透光材料的物体点云重建***及方法,***包括转台、RGB‑D相机、相机支架、目标物体和Apriltag标定板,方法基于***实现,包括启动***,自动采集目标物体不同视角的数据;将RGB图像和深度图像对齐,提取RGB图像中的Apriltag角点,求解相机坐标系中的每个角点到Apriltag坐标系对应点的旋转矩阵和平移矩阵,得到RGB‑D相机的外部参数;将对齐后的不同视角的RGB图像和深度图像数据进行合并,剔除由于透光材料导致的异常点;点云分割与目标物体提取。本发明能够大幅度降低透光能力强造成的深度信息的误差,为三维建模和分析提供了重要工具,适用于需要高质量点云数据的应用场景。
Description
技术领域
本发明属于三维视觉技术领域,具体涉及一种适用于含有透光材料的物体点云重建***及方法。
背景技术
三维视觉是计算机视觉的一个重要分支,专注于理解和处理三维空间中的图像和场景,涉及使用计算机和数字图像处理技术来获取、分析和呈现三维世界的信息。近年来,由于三维传感技术的飞速发展和三维几何数据的***式增长,三维视觉研究突破传统的二维图像空间,实现三维空间的分析、理解和交互。
目前针对含有透光材料的物体点云重建***主要有基于特征点匹配的点云重建***、体素化重建***和三维扫描仪***等,但各个***均存在各种不足;其中基于特征点匹配的点云重建***的主要缺陷有:1)计算复杂:特征点提取和匹配通常需要大量的计算资源和时间,尤其是在处理大规模点云时,这将会限制***的实时性能,且透光材料的区域一般特征点较少,很难进行准确的匹配和重建;2)噪声和失真:特征点匹配容易受到传感器噪声、光照变化和失真的影响,这些因素可以导致误匹配或点云重建的不稳定性;3)数据依赖性:利用特征点匹配进行的点云重建,对于由物体表面透光材质引起深度相机发射的光脉冲出现透射现象,会使采集到的点云数据中出现大量异常点,这些异常点会影响点云特征提取算法对特征点的误判,最终导致重建失败或重建精度较低。体素化重建的主要缺陷是重建精度不够理想。三维扫描仪***在性能上较为理想,但主要缺陷有:安装复杂,价格也偏高。综上可知,目前市场上迫切需要一种能对含有透光材料的物体进行三维点云重建的价格低廉、操作简单的***。
发明内容
为了解决上述技术问题,本发明提出了一种能够大幅度降低透光能力强造成的目标物体的深度信息的误差,实现成本低、扩展性强的物体三维重建***,包括转台、RGB-D相机、相机支架、目标物体和Apriltag标定板。
转台用于支撑和旋转目标物体,将其不同角度呈现给相机进行数据采集。RGB-D相机具备拍摄RGB彩色图像和捕捉深度信息的能力,用于采集物体的视觉数据。相机支架用于稳定安装RGB-D相机,确保它在数据采集过程中保持适当的位置和角度。目标物体部分表面由透光材料组成。Apriltag标定板放置于转台上,为图像提供定位和定向信息。
基于上述点云重建***,本发明还提供一种适用于含有透光材料的物体点云重建方法,包括以下步骤:
步骤1,启动点云重建***,自动采集目标物体不同视角的RGB图像和深度图像;
步骤2,将RGB图像和深度图像对齐,提取RGB图像中的Apriltag角点,求解相机坐标系中的每个角点到Apriltag坐标系对应点的旋转矩阵和平移矩阵,得到RGB-D相机的外部参数;
步骤3,将对齐后的不同视角的RGB图像和深度图像数据进行融合,剔除与邻域点的欧氏距离平均值大于设定阈值的噪声点,并根据亮度梯度确定透光区域的具***置,剔除由于透光材料导致的异常点,得到点云;
步骤4,采用平面模型分割算法对剔除异常点后的点云进行分割,提取目标物体。
而且,所述步骤1中启动点云重建***后,转台开始匀速旋转,使放置于其上的目标物体也随之匀速旋转。RGB-D相机根据实际需要每隔一定时间采集一张目标物体的RGB图像和一张目标物体的深度图像,以获取目标物体在不同视角的数据。
而且,所述步骤2中通过RGB传感器和TOF传感器实际摆放的物理间隔和夹角得到RGB图像和深度图像的对齐系数,实现两者之间的对齐,对于每次RGB-D相机自动采集的数据,均利用对齐系数将RGB图像和深度图像对齐。对采集到的RGB图像进行灰度化处理,然后进行边缘提取,得到每个Apriltag的角点。像素坐标系以图像左上角为原点,u轴为水平向右,v轴为垂直向下。假设一幅RGB图像中有n个Apriltag角点,在RGB图像中的坐标为,对应在深度图像的深度值为/>,根据识别到的Apriltag角点的ID值,得到其在Apriltag坐标系的三维坐标值为/>,z坐标为0,Apriltag坐标系的原点位于Apriltag标定板的左下角,x方向与y方向分别与Apriltag标定板初始位置的两边长重合,z轴垂直于标定板平面向上,该坐标系符合右手坐标系。
相机坐标系的坐标原点位于相机的光学中心,X轴指向相机的右侧,垂直于光学轴,与图像平面平行,Y轴指向相机的上方,垂直于光学轴,与X轴和图像平面平行,Z轴指向相机的观察方向,即指向被观察的场景,与光学轴平行;利用与RGB图像对齐的深度图,得到角点深度值,结合相机内参,将角点坐标从像素坐标系转换至相机坐标系中,坐标转换公式如下:
(1)
式中,u、v为像素点在像素坐标系中的坐标值,分别表示相机在像素坐标系中u、v方向上的焦距,/>表示像主点的像素坐标,X、Y、Z为像素点在相机坐标系中的坐标值,像素点在相机坐标系中的Z值为深度值d。
相机外参指的是相机的位姿,包括旋转矩阵R和平移矩阵t,假设存在多条光线,其中每一条都连接相机光学中心、三维目标点以及目标点在相机平面上的投影,将相机坐标系中的点用/>表示,Apriltag坐标系中的点用/>表示,则求解相机外参即为求解相机坐标系中的每个点到Apriltag坐标系对应点的旋转矩阵和平移矩阵;相机的外参通过调整/>使得表达式/>的值最小求得,/>表示2-范数的平方。
而且,所述步骤3中首先利用相机外参将对齐后的RGB图像和深度图像转换至Apriltag坐标系,然后根据当前时刻的Apriltag相比与初始时刻转过的角度,将该视角采集到的RGB图像和深度图像数据转换到最初时刻的Apriltag坐标系下,实现多角度视图融合。计算多幅不同视角RGB图像和深度图像融合后的点云数据中每个点与其K邻域内点的欧氏距离,并计算所有欧氏距离的均值和标准差/>,取距离阈值/>,其中为常数,即比例系数,再次遍历点云,剔除与K个邻域点的欧氏距离的平均值大于/>的点。对于透光材料引起的异常点,先利用Harris特征点检测方法提取RGB图像中的特征点,并将这些特征点均分成N个子集,接着计算子集内每个特征点周围区域的强度变化方向,以每个特征点为原点,作方向指向亮度变大的射线,若子集内存在一定数量的射线相交于共同的点,则认定这些点连接构成的闭合区域为透光材料区域,删除该区域内的特征点,逐个对子集里的特征点进行此判断删除操作,剔除异常数据。
而且,所述步骤4中将步骤1-3不断收集的目标物体各个角度的RGB图像和深度信息统一到最初时刻的Apriltag坐标系下,剔除由于透光材料而引起异常点的数据处理后,得到多角度的融合后的点云数据。对每个点云进行筛选,在Aptiltag坐标系中,去除z坐标值小于0和x、y大于标定板尺寸的点,得到目标物体和转台的点云信息,对于与目标物体有接触面积的转台难分割的情况,采用平面模型分割算法,将融合后的点云数据分割为体素,对于每个体素只保留其中心点,设置迭代次数阈值、距离阈值和内点数量阈值,随机选择M个体素的中心点,利用Ransac算法拟合平面方程,估计平面模型的参数。计算所有体素的中心点到估计平面的距离,将距离小于阈值的点作为内点,统计内点的数量,达到指定迭代次数或内点数量达到设定阈值,迭代停止。去除平面模型中的内点,即为去除转台点云,最终得到三维目标物体模型。
与现有技术相比,本发明具有如下优点:
1)通过自动化旋转转台和定期采集图像,实现了数据的自动化采集,降低了用户的操作干预,使数据采集更加高效,有助于提高点云重建***的实时性能和数据采集的一致性;
2)通过分析捕获到的图像中的Apriltag标签信息,计算得到相机的外部参数,包括位置和方向信息,为后续的数据处理和点云拼接提供可靠的基础,提高了点云重建的精度;
3)通过旋转目标物体获取不同角度的图像,并进行多角度视图融合得到更全面的物体视图,有助于减少遮挡并提供更多几何信息,从而提高点云重建的准确性和完整性;
4)考虑目标物体透光材料对深度信息的干扰,通过检测并去除由透光能力强造成的异常深度值的点,确保点云数据的准确性,解决了特征点匹配的噪声和失真问题;
5)相比市场上其他点云重建***,本发明提供的点云重建***结构相对简单,使用的设备较为常见,不需要复杂的安装过程,从而降低了***的成本,并提供了操作的便捷性。
综上所述,本发明通过技术创新解决了目前点云重建***存在的多种问题,提供了一种高效、精确、成本低廉且操作简单的适用于含有透光材料的物体点云重建***及方法。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中适用于含有透光材料的物体点云重建***的结构装置图。
图2为本发明实施例中适用于含有透光材料的物体点云重建方法的流程图。
图3为本发明实施例中相机外参估计方法的流程图。
图4为本发明实施例中透光材料数据处理的流程图。
图5为本发明实施例中点云分割算法的流程图。
具体实施方式
为了便于理解本申请,下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的首选实施例。但是,本申请可以以多种不同形式实现,并不限于本文所述的实施例。此外,提供的实施例目的为对本申请的公开内容更加透彻全面。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例1
如图1所示,本发明实施例1提供一种适用于含有透光材料的物体点云重建***,包括转台、RGB-D相机、相机支架、汽车模型和Apriltag标定板。
转台用于支撑和旋转目标物体,将其不同角度呈现给相机进行数据采集。RGB-D相机具备RGB(彩色图像)和深度(距离信息)捕捉能力,用于采集物体的视觉数据。相机支架用于稳定安装RGB-D相机,确保它在数据采集过程中保持适当的位置和角度。目标物体部分表面由透光材料组成,本实施例目标物体为汽车模型,其包括透光性质的钢化玻璃车窗。Apriltag标定板放置于转台上,为图像提供定位和定向信息。整个点云重建***需放置在纯色背景前。
实施例2
基于实施例1提供的物体点云重建***,本发明实施例2还提供一种适用于含有透光材料的物体点云重建方法,如图2所示,包括以下几个步骤:
步骤1,自动采集目标物体不同视角的数据。
启动物体点云重建***后,转台开始匀速旋转,使放置于其上的汽车模型也随之匀速旋转。RGB-D相机根据实际需要每隔一定时间采集一张汽车模型的RGB图像和一张汽车模型的深度图像,以获取汽车模型在不同视角的数据,用于后续处理。
步骤2,将RGB图像和深度图像对齐,提取RGB图像中的Apriltag角点,求解相机坐标系中的每个角点到Apriltag坐标系对应点的旋转矩阵和平移矩阵,得到RGB-D相机的外部参数。
如图3所示,本发明实施例2进一步提供一种相机外参估计方法,具体步骤如下:
由于RGB-D相机中的RGB传感器和TOF传感器存在一定的物理距离,所以需要通过RGB传感器和TOF传感器实际摆放的物理间隔和夹角得到RGB图像和深度图像的对齐系数,实现两者之间的对齐。对于每次RGB-D相机自动采集的数据,均需要利用对齐系数将RGB图像和深度图像对齐。
对采集到的RGB图像进行灰度化处理,然后进行边缘提取,得到每个Apriltag的角点。像素坐标系以图像左上角为原点,u轴为水平向右,v轴为垂直向下。假设一幅RGB图像中出现15个完整的Apriltag,每个Apriltag含有4个角点,则有60个Apriltag角点,在RGB图像中的像素坐标为,对应在深度图像的深度值为/>。根据识别到的Apriltag角点的ID值,得到其在Apriltag坐标系的三维坐标值为/>,z坐标为0。Apriltag坐标系的原点位于Apriltag标定板的左下角,x方向与y方向分别与Apriltag标定板初始位置的两边长重合,z轴垂直于标定板平面向上,该坐标系符合右手坐标系。
相机坐标系的坐标原点位于相机的光学中心(光学轴的交点),X轴指向相机的右侧,垂直于光学轴,与图像平面平行,Y轴指向相机的上方,垂直于光学轴,与X轴和图像平面平行,Z轴指向相机的观察方向,即指向被观察的场景,与光学轴平行;利用与RGB图像对齐的深度图,得到角点深度值,结合相机内参,将角点坐标从像素坐标系转换至相机坐标系中,坐标转换公式如下:
(1)
式中,u、v为像素点在像素坐标系中的坐标值,分别表示相机在像素坐标系中u、v方向上的焦距,/>表示像主点的像素坐标,X、Y、Z为像素点在相机坐标系中的坐标值,像素点在相机坐标系中的Z值为深度值d。
相机外参指的是相机的位姿,包括旋转矩阵R和平移矩阵t。假设存在多条光线,其中每一条都连接相机光学中心、三维目标点以及目标点在相机平面上的投影,将相机坐标系中的点用/>表示,Apriltag坐标系中的点用/>表示,则求解相机外参即为求解相机坐标系中的每个点到Apriltag坐标系对应点的旋转矩阵和平移矩阵;相机的外参通过调整/>使得表达式/>的值最小求得,/>表示2-范数的平方。本实施例采用Bundle Adjustment(BA)的非线性优化技术求解外参。BA通过最小化重投影误差来提高估计的准确性,能够实现高精度的转换。
步骤3,将对齐后的不同视角的RGB图像和深度图像数据进行融合,剔除与邻域点的欧氏距离平均值大于设定阈值的噪声点,并根据亮度梯度确定透光区域的具***置,剔除由于透光材料导致的异常点。
如图4所示,本发明实施例2还提供一种透光材料数据处理方法,具体如下:
首先利用相机外参将对齐后的RGB图像和深度图像转换至Apriltag坐标系,然后根据当前时刻的Apriltag相比与初始时刻转过的角度,将该视角采集到的RGB图像和深度图像数据转换到最初时刻的Apriltag坐标系下,从而实现多角度视图融合。由于汽车模型的透光性车窗可能对TOF相机采集的深度信息产生干扰,基于汽车模型的连续封闭特性,计算多幅不同视角RGB图像和深度图像融合后的点云数据中每个点与其K邻域内点的欧氏距离(本实施例中K取20,具体实施时可根据情况取值),并计算所有欧氏距离的均值和标准差/>,取距离阈值/>,其中/>为常数,即比例系数,再次遍历点云,剔除与20个邻域点的欧氏距离的平均值大于/>的点。
对于透光材料引起的异常点,先利用Harris特征点检测方法提取RGB图像中的特征点,并将这些特征点均分成N个子集(本实施例中N取10,具体实施时可根据情况取值),接着计算子集内每个特征点周围区域的强度变化方向,以每个特征点为原点,作方向指向亮度变大的射线,若子集内存在一定数量的射线相交于共同的点,则认定这些点连接构成的闭合区域为透光材料区域,删除该区域内的特征点。逐个对子集里的特征点进行上述判断删除操作,剔除异常数据。
步骤4,点云分割与目标物体提取。
通过步骤1-3不断收集目标物体各个角度的RGB图像和深度信息,并将其统一到最初时刻的Apriltag坐标系下,剔除由于透光材料而引起异常点的数据处理后,得到多角度的融合后的点云数据。
为了将汽车模型从场景中提取出来,对每个点云进行筛选,在Aptiltag坐标系中,去除z坐标值小于0和x、y大于标定板尺寸的点,从而得到目标物体和转台的点云信息。对于与汽车模型有接触面积的转台难分割的情况,采用平面模型分割算法,具体操作如图5所示,将融合后的点云数据分割为体素,对于每个体素只保留其中心点,设置迭代次数阈值、距离阈值和内点数量阈值(本实施例中最大迭代次数设为1000,距离阈值设为0.01,内点数量阈值设为原来点云数量的30%),随机选择M个体素的中心点(本实施例中M取50,具体实施时可根据情况取值),利用Ransac算法拟合平面方程,估计平面模型的参数。假设为M个体素中心点的集合,/>是点集P中的任意一点,/>是点集/>的中心,即/>,假设拟合的目标平面经过/>,且其法向量为/>,利用最小二乘法求解得到/>使/>中所有点到平面的距离即/>的值最小。定义矩阵/>,则:
(2)
式中,表示矩阵的范数,上标T表示矩阵转置。
对矩阵A进行奇异值分解,得到,代入式(2)得:
(3)
式中,V为的酉矩阵;U为/>的酉矩阵;/>是一个/>的矩阵,主对角线上的每个元素都为奇异值,除了主对角线上的元素以外全为0,即/>。
将用一个/>矩阵W表示,即/>,则式(3)表示为:
(4)
式中,、/>、/>均为奇异值,且/>;/>、/>、/>为矩阵W的元素。
最后得出拟合的平面法向量为矩阵U的第三列,即/>。
计算所有体素的中心点到估计平面的距离,将距离小于阈值的点作为内点,统计内点的数量,达到指定迭代次数或内点数量达到设定阈值,迭代停止。去除平面模型中的内点,即为去除转台点云,最终得到三维目标物体模型。
具体实施时,本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程,实现方法的***装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备,也应当在本发明的保护范围内。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施案例,做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (10)
1.一种适用于含有透光材料的物体点云重建方法,其特征在于,
物体点云重建过程基于点云重建***实现,所述点云重建***包括转台、RGB-D相机、相机支架、目标物体和Apriltag标定板;
转台用于支撑和旋转目标物体,将其不同角度呈现给相机进行数据采集;RGB-D相机具备拍摄RGB彩色图像和捕捉深度信息的能力,用于采集物体的视觉数据;相机支架用于稳定安装RGB-D相机;目标物体部分表面由透光材料组成;Apriltag标定板放置于转台上,为图像提供定位和定向信息;整个点云重建***需放置在纯色背景前;
所述物体点云重建过程包括以下步骤:
步骤1,启动点云重建***,自动采集目标物体不同视角的RGB图像和深度图像;
步骤2,将RGB图像和深度图像对齐,提取RGB图像中的Apriltag角点,求解相机坐标系中的每个角点到Apriltag坐标系对应点的旋转矩阵和平移矩阵,得到RGB-D相机的外部参数;
步骤3,将对齐后的不同视角的RGB图像和深度图像数据进行融合,剔除与邻域点的欧氏距离平均值大于设定阈值的噪声点,并根据亮度梯度确定透光区域的具***置,剔除由于透光材料导致的异常点,得到点云;
步骤4,采用平面模型分割算法对剔除异常点后的点云进行分割,提取目标物体。
2.如权利要求1所述的一种适用于含有透光材料的物体点云重建方法,其特征在于:步骤1中启动点云重建***后,转台开始匀速旋转,使放置于其上的目标物体也随之匀速旋转;RGB-D相机根据实际需要每隔一定时间采集一张目标物体的RGB图像和一张目标物体的深度图像,以获取目标物体在不同视角的数据。
3.如权利要求1所述的一种适用于含有透光材料的物体点云重建方法,其特征在于:步骤2中通过RGB传感器和TOF传感器实际摆放的物理间隔和夹角得到RGB图像和深度图像的对齐系数,实现两者之间的对齐,对于每次RGB-D相机自动采集的数据,均利用对齐系数将RGB图像和深度图像对齐;对采集到的RGB图像进行灰度化处理,然后进行边缘提取,得到每个Apriltag角点;像素坐标系以图像左上角为原点,u轴为水平向右,v轴为垂直向下,假设一幅RGB图像中有n个Apriltag角点,在RGB图像中的像素坐标为,对应在深度图像的深度值为/>,根据识别到的Apriltag角点的ID值,得到其在Apriltag坐标系的三维坐标值为/>,z坐标为0,Apriltag坐标系的原点位于Apriltag标定板的左下角,x方向与y方向分别与Apriltag标定板初始位置的两边长重合,z轴垂直于标定板平面向上,该坐标系符合右手坐标系。
4.如权利要求3所述的一种适用于含有透光材料的物体点云重建方法,其特征在于:步骤2中相机坐标系的坐标原点位于相机的光学中心,X轴指向相机的右侧,垂直于光学轴,与图像平面平行,Y轴指向相机的上方,垂直于光学轴,与X轴和图像平面平行,Z轴指向相机的观察方向,即指向被观察的场景,与光学轴平行;利用与RGB图像对齐的深度图,得到角点深度值,结合相机内参,将角点坐标从像素坐标系转换至相机坐标系中,坐标转换公式如下:
(1)
式中,u、v为像素点在像素坐标系中的坐标值,分别表示相机在像素坐标系中u、v方向上的焦距,/>表示像主点的像素坐标,X、Y、Z为像素点在相机坐标系中的坐标值,像素点在相机坐标系中的Z值为深度值d;
相机外参指的是相机的位姿,包括旋转矩阵R和平移矩阵t,假设存在多条光线,其中每一条都连接相机光学中心、三维目标点以及目标点在相机平面上的投影,将相机坐标系中的点用/>表示,Apriltag坐标系中的点用/>表示,则求解相机外参即为求解相机坐标系中的每个点到Apriltag坐标系对应点的旋转矩阵和平移矩阵;相机的外参通过调整使得表达式/>的值最小求得,/>表示2-范数的平方。
5.如权利要求1所述的一种适用于含有透光材料的物体点云重建方法,其特征在于:步骤3中首先利用相机外参将对齐后的RGB图像和深度图像转换至Apriltag坐标系,然后根据当前时刻的Apriltag相比与初始时刻转过的角度,将该视角采集到的RGB图像和深度图像数据转换到最初时刻的Apriltag坐标系下,实现多角度视图融合;计算多幅不同视角RGB图像和深度图像融合后的点云数据中每个点与其K邻域内点的欧氏距离,并计算所有欧氏距离的均值和标准差/>,取距离阈值/>,其中/>为常数,即比例系数,再次遍历点云,剔除与K个邻域点的欧氏距离的平均值大于/>的点。
6.如权利要求5所述的一种适用于含有透光材料的物体点云重建方法,其特征在于:步骤3中对于透光材料引起的异常点,先利用Harris特征点检测方法提取RGB图像中的特征点,并将这些特征点均分成N个子集,接着计算子集内每个特征点周围区域的强度变化方向,以每个特征点为原点,作方向指向亮度变大的射线,若子集内存在一定数量的射线相交于共同的点,则认定这些点连接构成的闭合区域为透光材料区域,删除该区域内的特征点,逐个对子集里的特征点进行此判断删除操作,剔除异常数据。
7.如权利要求1所述的一种适用于含有透光材料的物体点云重建方法,其特征在于:步骤4中将步骤1不断收集的目标物体各个角度的RGB图像和深度信息统一到最初时刻的Apriltag坐标系下,剔除由于透光材料而引起异常点的数据后,得到多角度的融合后的点云数据;对每个点云进行筛选,在Aptiltag坐标系中,去除z坐标值小于0和x、y大于标定板尺寸的点,得到目标物体和转台的点云信息,对于与目标物体有接触面积的转台难以分割的情况,采用平面模型分割算法,将融合后的点云数据分割为体素,对于每个体素只保留其中心点,设置迭代次数阈值、距离阈值和内点数量阈值,随机选择M个体素的中心点,利用Ransac算法拟合平面方程,估计平面模型的参数;计算所有体素的中心点到估计平面的距离,将距离小于阈值的点作为内点,统计内点的数量,达到指定迭代次数或内点数量达到设定阈值,迭代停止;去除平面模型中的内点,即为去除转台点云,最终得到三维目标物体模型。
8.如权利要求7所述的一种适用于含有透光材料的物体点云重建方法,其特征在于:步骤4中利用Ransac算法拟合平面方程估计平面模型的参数的计算过程如下:
假设为M个体素中心点的集合,/>是点集P中的任意一点,/>是点集/>的中心,即,假设拟合的目标平面经过/>,且其法向量为/>,利用最小二乘法求解得到使/>中所有点到平面的距离即/>的值最小,定义矩阵,则:
(2)
式中,表示矩阵的范数,上标T表示矩阵转置;
对矩阵A进行奇异值分解,得到,代入式(2)得:
(3)
式中,V为的酉矩阵;U为/>的酉矩阵;/>是一个/>的矩阵,主对角线上的每个元素都为奇异值,除了主对角线上的元素以外全为0,即/>;
将用一个/>矩阵W表示,即/>,则式(3)表示为:
(4)
式中,、/>、/>均为奇异值,且/>;/>、/>、/>为矩阵W的元素;
最后所得拟合的平面法向量为矩阵U的第三列。
9.一种适用于含有透光材料的物体点云重建设备,其特征在于,包括处理器和存储器,存储器用于存储程序指令,处理器用于调用存储器中的程序指令执行如权利要求1-8任一项所述的一种适用于含有透光材料的物体点云重建方法。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序执行时,实现如权利要求1-8任一项所述的一种适用于含有透光材料的物体点云重建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410506512.9A CN118097036B (zh) | 2024-04-25 | 2024-04-25 | 一种适用于含有透光材料的物体点云重建***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410506512.9A CN118097036B (zh) | 2024-04-25 | 2024-04-25 | 一种适用于含有透光材料的物体点云重建***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN118097036A true CN118097036A (zh) | 2024-05-28 |
CN118097036B CN118097036B (zh) | 2024-07-12 |
Family
ID=91157675
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410506512.9A Active CN118097036B (zh) | 2024-04-25 | 2024-04-25 | 一种适用于含有透光材料的物体点云重建***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118097036B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106952341A (zh) * | 2017-03-27 | 2017-07-14 | 中国人民解放军国防科学技术大学 | 一种基于视觉的水下场景三维点云重建方法及其*** |
US20210279957A1 (en) * | 2020-03-06 | 2021-09-09 | Yembo, Inc. | Systems and methods for building a virtual representation of a location |
CN114782628A (zh) * | 2022-04-25 | 2022-07-22 | 西安理工大学 | 基于深度相机的室内实时三维重建方法 |
CN115880443A (zh) * | 2023-02-28 | 2023-03-31 | 武汉大学 | 一种透明物体隐式表面重建方法及设备 |
CN116758223A (zh) * | 2023-07-06 | 2023-09-15 | 哈尔滨工业大学 | 基于双角度多光谱图像的三维多光谱点云重建方法、***及设备 |
-
2024
- 2024-04-25 CN CN202410506512.9A patent/CN118097036B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106952341A (zh) * | 2017-03-27 | 2017-07-14 | 中国人民解放军国防科学技术大学 | 一种基于视觉的水下场景三维点云重建方法及其*** |
US20210279957A1 (en) * | 2020-03-06 | 2021-09-09 | Yembo, Inc. | Systems and methods for building a virtual representation of a location |
CN114782628A (zh) * | 2022-04-25 | 2022-07-22 | 西安理工大学 | 基于深度相机的室内实时三维重建方法 |
CN115880443A (zh) * | 2023-02-28 | 2023-03-31 | 武汉大学 | 一种透明物体隐式表面重建方法及设备 |
CN116758223A (zh) * | 2023-07-06 | 2023-09-15 | 哈尔滨工业大学 | 基于双角度多光谱图像的三维多光谱点云重建方法、***及设备 |
Non-Patent Citations (3)
Title |
---|
EDVINCECILIA: ""双目视差图到点云的转换(原理+代码)"", 《HTTPS://BLOG.CSDN.NET/QQ_41037856/ARTICLE/DETAILS/134701111》, 22 February 2024 (2024-02-22), pages 1 - 3 * |
HAOPING XU等: ""Seeing Glass: Joint Point Cloud and Depth Completion for Transparent Objects"", 《5TH CONFERENCE ON ROBOT LEARNING (CORL 2021), LONDON, UK.》, 30 September 2021 (2021-09-30), pages 4 * |
王永琦等: "《基于MATLAB的机器视觉处理技术》", 31 March 2022, pages: 143 * |
Also Published As
Publication number | Publication date |
---|---|
CN118097036B (zh) | 2024-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109544456B (zh) | 基于二维图像和三维点云数据融合的全景环境感知方法 | |
CN109685078B (zh) | 基于自动标注的红外图像识别方法 | |
CN113689578B (zh) | 一种人体数据集生成方法及装置 | |
WO2020207172A1 (zh) | 基于三维光场技术的光学无人机监测方法及*** | |
CN112396640A (zh) | 图像配准方法、装置、电子设备及存储介质 | |
CN112954198B (zh) | 图像处理方法、装置和电子设备 | |
CN111899345B (zh) | 一种基于2d视觉图像的三维重建方法 | |
CN109214350B (zh) | 一种光照参数的确定方法、装置、设备及存储介质 | |
CN111540045B (zh) | 机械臂及其三维重建方法和装置 | |
US20220405968A1 (en) | Method, apparatus and system for image processing | |
CN115222884A (zh) | 一种基于人工智能的空间对象分析及建模优化方法 | |
CN116704048B (zh) | 一种双光配准方法 | |
CN118097036B (zh) | 一种适用于含有透光材料的物体点云重建***及方法 | |
JPH04130587A (ja) | 3次元画像評価装置 | |
Farhood et al. | 3D point cloud reconstruction from a single 4D light field image | |
CN116503567A (zh) | 基于ai大数据的智慧建模管理*** | |
WO2023065721A1 (en) | Methods, devices and systems for transparent object three-dimensional reconstruction | |
CN116205777A (zh) | 用于玻璃安装的控制方法、控制装置及高空机械设备 | |
WO2023083273A1 (zh) | 抓取点信息获取方法、装置、电子设备和存储介质 | |
CN115131459A (zh) | 平面布置图重建方法及装置 | |
WO2022011560A1 (zh) | 图像裁剪方法与装置、电子设备及存储介质 | |
CN114663284A (zh) | 红外热成像全景图像处理方法、***及存储介质 | |
CN115830131A (zh) | 一种固定相位偏差的确定方法、装置和设备 | |
Zhao et al. | 3DRef: 3D Dataset and Benchmark for Reflection Detection in RGB and Lidar Data | |
Li et al. | Overall well-focused catadioptric image acquisition with multifocal images: a model-based method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |