CN113267122B - 一种基于3d视觉传感器的工业零件尺寸测量方法 - Google Patents

一种基于3d视觉传感器的工业零件尺寸测量方法 Download PDF

Info

Publication number
CN113267122B
CN113267122B CN202110514684.7A CN202110514684A CN113267122B CN 113267122 B CN113267122 B CN 113267122B CN 202110514684 A CN202110514684 A CN 202110514684A CN 113267122 B CN113267122 B CN 113267122B
Authority
CN
China
Prior art keywords
point
point set
equation
standard model
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110514684.7A
Other languages
English (en)
Other versions
CN113267122A (zh
Inventor
龚裕钱
汪日伟
李雷辉
管依婷
马杰
周荣强
党旭飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou University of Technology
Original Assignee
Wenzhou University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou University of Technology filed Critical Wenzhou University of Technology
Priority to CN202110514684.7A priority Critical patent/CN113267122B/zh
Publication of CN113267122A publication Critical patent/CN113267122A/zh
Application granted granted Critical
Publication of CN113267122B publication Critical patent/CN113267122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

本发明涉及一种基于3D视觉传感器的工业零件尺寸测量方法,包括以下步骤:步骤1、基于标准模型进行人工标注,针对标准模型点选所需要检测的点集,并标注构成该点集的基本几何形状,包括点、线、面、圆和圆柱;步骤2、将待测零件的扫描点云与步骤1的标准模型进行配准以统一坐标系,配准过程包括粗配准和细配准;步骤3、经过步骤1的标准模型的选点以及步骤2中的点云配准过程,将基于最小距离和标注点集查找并进一步计算待测点云中与标准模型的对应点集和尺寸数据。本发明可快速准确的按照工业零件设计要求对待检测工业零件进行测量,时间复杂度能够满足工业生产要求,并可对多个工业零件进行测量分析。

Description

一种基于3D视觉传感器的工业零件尺寸测量方法
技术领域
本发明属于三维点云采集、标注、配准和基于点云表示的几何元素的检测与识别技术领域,涉及工业零件尺寸测量方法,尤其是一种基于3D视觉传感器的工业零件尺寸测量方法。
背景技术
目前,尺寸检测是所有产品尺寸测量过程中的必经环节,尤其在精密零部件生产过程中,加工制造的过程中难以避免变形导致精密零部件品质的生产不良。随着制造水平的提高,在家电、飞机、汽车零部件中出现了大量的A级曲面。用户对曲面零件的精度要求也越来越高,但由于曲面零件形状复杂,传统的检测工具存在检验难度大、精准度不高、检测时间长、操作难度大等硬伤。
与此同时,现代制造行业所使用的材料广泛,常用到一些易变形的材料,接触式测量检测方式无法操作,非接触式的基于三维视觉的检测就成了很好的替代性检测方案。传统算法对每一个工业零件都需要设计特定算法以寻找不同的检测部位,此方法复杂而且实现时间不可确定。若实现这一***,需要根据点云曲面特征,例如法向信息,曲率信息以及空间位置信息进行筛选与排查。
但是由于实际采集点云的噪声以及点云分布扰动,利用以上信息定位的测量位置将会变得十分不稳定。并且,随着工业零件日趋朝着多样化的趋势发展,其对工件检测要求以及工艺制造难度也不断加大,已有的表面尺寸测量***难以满足需求,其开发周期以及算法的计算复杂度将会越来越不可预知。
因此如何提供一种适应性强、计算效率高的非接触式的工业零件尺寸测量方法是本领域技术人员亟待解决的技术难题。
经检索,未发现与本发明相同或相近似的现有技术的公开文献。
发明内容
本发明的目的在于克服现有技术的不足,提出一种设计合理、适应性强且计算效率高的基于3D视觉传感器的工业零件尺寸测量方法。
本发明解决其现实问题是采取以下技术方案实现的:
一种基于3D视觉传感器的工业零件尺寸测量方法,包括以下步骤:
步骤1、基于标准模型进行人工标注,针对标准模型点选所需要检测的点集,并标注构成该点集的基本几何形状,包括点、线、面、圆和圆柱;
步骤2、将待测零件的扫描点云与步骤1的标准模型进行配准以统一坐标系,配准过程包括粗配准和细配准;
步骤3、经过步骤1的标准模型的选点以及步骤2中的点云配准过程,将基于最小距离和标注点集查找并进一步计算待测点云中与标准模型的对应点集和尺寸数据。
而且,所述步骤1的具体步骤包括:
(1)标记空间点
设置此次标注形状为空间点,并设置点选半径R,假设选择的点为p0,点集为S,满足以下关系的其它点也会添加到S中,dist为计算两点距离函数:
P{pi|dist<pi,p0><R}
(2)标记直线
①设空间直线方程的向量表示形式为(x,y,z)=(x0,y0,z0)+t(a,b,c),其中直线进行定点(x0,y0,z0),并且其方向向量为(a,b,c)。所选点集为P{pi,i=1,2,…n},其中p0(x0,y0,z0)为P的平均值,即:
Figure BDA0003061506540000031
②令矩阵
Figure BDA0003061506540000032
对矩阵A进行奇异分解,令A=U∑V*,其中U是m×m阶的正交矩阵,∑是m×n阶的非负实数对角矩阵,V*即V的共轭转置,是n×n阶的正交矩阵,V的第一列即为(a,b,c)
③最终可得空间直线方程(x,y,z)=(x0,y0,z0)+t(a,b,c);
(3)标记平面
①设平面点法式方程为a(x-x0)+b(y-y0)+c(z-z0)=0,其中(x0,y0,z0)为平面上的定点,(a,b,c)为垂直平面的方向向量,其求解过程和直线类似,依据公式(1)对求出点集的平均值p0(x0,y0,z0);
②进行与计算直线类似的奇异分解得A=U∑V*,最终求得(a,b,c)
③取任意所选点集中一点pi(xi,yi,zi)求得di=a(xi-x0)+b(yi-y0)+c(zi-z0)
④将di带入可得F(x,y,z,d)=ax+by+cz+d即为空间平面方程;
(4)标记圆柱:
①假设圆柱面方程由P0{x0,y0,z0},
Figure BDA0003061506540000041
其中P0为直线上的定点,
Figure BDA0003061506540000042
为直线的方向向量,以及半径R构成,设置迭代误差为
Figure BDA0003061506540000043
并从标记点集I{p1,p2…pn}中随机选取三个点A,B,C作为待计算点集S{A,B,C},根据以下公式计算点集S{pa,pb,pc}中唯一平面方程,其中Ax表示A点的x坐标值,其它表示形式同理:
设:
Figure BDA0003061506540000044
有:
Figure BDA0003061506540000045
d=-(aAx+bAy+cAz)
②使用公式(1)计算S{A,B,C}的P0,根据S{A,B,C}到H点集的平均距离计算得到R,过程如下所示,其中Dis(p1,p2)表示p1.p2两点间距离:
Figure BDA0003061506540000051
③计算标记点集I中所有点集到由顶点P0和方向向量
Figure BDA0003061506540000052
听表示的直线
Figure BDA0003061506540000053
的距离与R的方差
Figure BDA0003061506540000054
过程如下所示,其中Dis(p,l)表示点p到直线l的距离:
Figure BDA0003061506540000055
Figure BDA0003061506540000056
则重新选择S{A,B,C},否则跳出当前迭代过程
④最终可得到由直线
Figure BDA0003061506540000057
和R组成的圆柱方程F{l,R}。
而且,所述步骤2包括以下具体步骤:
(1)将待测零件的扫描点云与标准模型进行粗配准,其具体步骤包括:
假设P{Pi|Pi∈R3,i=1,2,…,N}为标准模型,Q{Qi|Qi∈R3,i=1,2,…,M}为扫描待检测点云,使用4 points Congruent Sets(4PCS)方法对P,Q点云进行粗配准,其具体步骤包括:
①设置迭代终止距离α,在P中随机选出包含4个点的点集p′;
②在Q中选出与p′对应符合条件的共面点集q′;
③计算p′和q′之间的刚性变换矩阵M0,并将其作用于P,使得P与Q在同一坐标系下;
④计算P{pi|pi∈R3,i=1,2,…,N},Q{qi|qi∈R3,i=1,2,…,M}点集之间的距离之和α′,若α′小于α,则重新选择p′,进行下一步迭代;
(2)将待测零件的扫描点云与标准模型进行细配准:
将步骤2第(1)步的结果矩阵M0作用于Q,得到Q′,对Q′和P使用ICP算法,其具体步骤包括:
①对于Q′{q′i,i=1,2,…,M},查找其在P中的最近点{p′i,i=1,2,…,N}
②求得使下述公式中点对平均距离最小的刚体变换,求得平移参数和旋转参数:
Figure BDA0003061506540000061
③对Q{q′i,i=1,2,…,N}使用上一步求得的平移和旋转参数,得到新的Q′{q′i,i=1,2,…,M};
④如果新的Q′{q′i,i=1,2,…,M}与{p′i,i=1,2,…,N}满足II中目标函数要求,即两点集的平均距离小于某一给定阈值,则停止迭代计算,否则再次计算Q′以继续迭代,直到达到目标函数的要求;
⑤直到跌倒满足要求,得到配准方程M1
最终变换矩阵为M=M1*M0,作用于MQ{MQi|Qi∈R3,i=1,2,…,M},即将Q配准至P且在同一坐标系下。
而且,所述步骤3的具体步骤包括:
(1)基于KD-tree树结构搜索工业零件的待测点云,其具体步骤包括:
①对于步骤1中标注的点集P0{p1,p2…pn},依次查找已配准的点集Q中的对应最近点集Q{q′i,i=1,2,…,N},以构成新的空间点的集合P′0
②步骤1中的直线、平面、圆柱、圆的点集搜索方法如空间点的搜索方法一致,并依次命名为P′1,P′2,P′3,P′4
(2)对标注点集重新计算所标注的几何形状,对步骤3第(1)步所获得的P′1,P′2,P′3,P′4,依次使用步骤1中的估计方法计算其标记的对应几何方程,并命名为F′1,F′2,F′3,F′4
(3)从定位公差的测量角度给出检测指标,包括测量对象之间的平行度、垂直度和位置度数据,并将其作为待检测工业零件的尺寸测量结果:
①平行度:通过步骤1标注标准点云中的标准基准线L1以及测量线L2,在重新搜索待测量中的L1,L2点集并估计其方程。利用两直线方程可以估计其夹角作为平行度测量指标;
②垂直度、倾斜度检测同理I,基于重新估计的方程计算夹角来表示垂直程度以及倾斜程度;
③位置度:对于在零件上的点、线、面,需要测量其相对于理想位置的准确情况。
本发明的优点和有益效果:
1、本发明提供一种定制化程度高且能够满足实时性要求的基于3D视觉传感器的工业零件表面尺寸测量方法,基于点云配准技术,通过实现一次人工标记、扫描点云与标准模型配准和尺寸计算测量策略,可对零件表面的各项检测指标进行快速准确的测量,实现高扩展性以及全自动的工业零件尺寸检测,可快速准确的按照工业零件设计要求对待检测工业零件进行测量,时间复杂度能够满足工业生产要求,可以对多个工业零件进行测量分析。
2、本发明能够克服人工检测工业零件效率低、检测结果无法保证等问题,采用3D机器视觉检测的方法提高流水线生产效率,减低人工成本,为建成具有检测安全性、可靠性及自动化程度高的智能工厂提供了基础。
附图说明
图1本发明的处理流程图。
具体实施方式
以下结合附图对本发明实施例作进一步详述:
一种基于3D视觉传感器的工业零件尺寸测量方法,包括以下步骤:
步骤1、基于标准模型进行人工标注,针对标准模型点选所需要检测的点集,并标注构成该点集的基本几何形状,包括点、线、面、圆和圆柱;
所述步骤1的具体方法为:基于OpenSceneGraph(OSG)实现三维交互式可视化***完成对标准模型中点集的渲染、可视化以及基本的交互操作,包括对标准模型上的多个目标点进行选择或者取消选择,以及在一次选择完成标注构成此点集的几何形状;
所述步骤1的具体步骤包括:
(1)标记空间点
设置此次标注形状为空间点,并设置点选半径R,假设选择的点为p0,点集为S,满足以下关系的其它点也会添加到S中,dist为计算两点距离函数。
P{pi|dist<pi,p0><R}
(2)标记直线
设置此次标注形状为空间直线,在点集选择完成后会根据当前所选择的点集拟合计算一条直线,并将结果显示供用户参考,用户可利用此拟合结果对所选点进行删除或者重新点选,其直线拟合步骤包括:
①设空间直线方程的向量表示形式为(x,y,z)=(x0,y0,z0)+t(a,b,c),其中直线进行定点(x0,y0,z0),并且其方向向量为(a,b,c)。所选点集为P{pi,i=1,2,…n},其中p0(x0,y0,z0)为P的平均值,即:
Figure BDA0003061506540000091
②令矩阵
Figure BDA0003061506540000092
对矩阵A进行奇异分解,令A=U∑V*,其中U是m×m阶的正交矩阵,∑是m×n阶的非负实数对角矩阵,V*即V的共轭转置,是n×n阶的正交矩阵,V的第一列即为(a,b,c)
③最终可得空间直线方程(x,y,z)=(x0,y0,z0)+t(a,b,c).
(4)标记平面
选择需要检测的目标点集P2{p1,p2…pn},标注此点集几何形状为平面,在点集选择完成后会显示当前平面拟合效果供用户参考,用户也可以利用此平面拟合结果对选点进行调整,其平面拟合的具体步骤包括:
①设平面点法式方程为a(x-x0)+b(y-y0)+c(z-z0)=0,其中(x0,y0,z0)为平面上的定点,(a,b,c)为垂直平面的方向向量,其求解过程和直线类似,依据公式(1)对求出点集的平均值p0(x0,y0,z0);
②进行与计算直线类似的奇异分解得A=U∑V*,最终求得(a,b,c)
③取任意所选点集中一点pi(xi,yi,zi)求得di=a(xi-x0)+b(yi-y0)+c(zi-z0)
④将di带入可得F(x,y,z,d)=ax+by+cz+d即为空间平面方程。
(5)标记圆柱:
点选需要检测的目标点集P4{p1,p2…pn}标注此点集几何形状为圆柱面,在点集选择完成后也会显示当前圆柱拟合效果供用户参考;同时,用户也可以利用此圆柱拟合结果对选点进行调整,拟合圆柱面使用的是基于RANSAC的方法,是一种可以利用随机分布求取目标方程的方法,其具体拟合步骤包括:
①假设圆柱面方程由P0{x0,y0,z0},
Figure BDA0003061506540000101
其中P0为直线上的定点,
Figure BDA0003061506540000102
为直线的方向向量,以及半径R构成,设置迭代误差为
Figure BDA0003061506540000103
并从标记点集I{p1,p2…pn}中随机选取三个点A,B,C作为待计算点集S{A,B,C},根据以下公式计算点集S{pa,pb,pc}中唯一平面方程,其中Ax表示A点的x坐标值,其它表示形式同理:
设:
Figure BDA0003061506540000111
有:
Figure BDA0003061506540000112
d=-(aAx+bAy+cAz)
②使用公式(1)计算S{A,B,C}的P0,根据S{A,B,C}到H点集的平均距离计算得到R,过程如下所示,其中Dis(p1,p2)表示p1.p2两点间距离:
Figure BDA0003061506540000113
③计算标记点集I中所有点集到由顶点P0和方向向量
Figure BDA0003061506540000114
所表示的直线
Figure BDA0003061506540000115
的距离与R的方差
Figure BDA0003061506540000116
过程如下所示,其中Dis(p,l)表示点p到直线l的距离:
Figure BDA0003061506540000117
Figure BDA0003061506540000118
则重新选择S{A,B,C},否则跳出当前迭代过程
④最终可得到由直线
Figure BDA0003061506540000119
和R组成的圆柱方程F{l,R}
步骤2、将待测零件的扫描点云与步骤1的标准模型进行配准以统一坐标系,配准过程包括粗配准和细配准;
所述步骤2包括以下具体步骤:
(1)将待测零件的扫描点云与标准模型进行粗配准,其具体步骤包括:
假设P{Pi|Pi∈R3,i=1,2,…,N}为标准模型,Q{Qi|Qi∈R3,i=1,2,…,M}为扫描待检测点云,使用4points Congruent Sets(4PCS)方法对P,Q点云进行全局配准,也就是粗配准,其具体步骤包括:
①设置迭代终止距离α,在P中随机选出包含4个点的点集p′;
②在Q中选出与p′对应符合条件的共面点集q′;
③计算p′和q′之间的刚性变换矩阵M0,并将其作用于P,使得P与Q在同一坐标系下:
④计算P{pi|pi∈R3,i=1,2,…,N},Q{qi|qi∈R3,i=1,2,…,M}点集之间的距离之和α′,若α′小于α,则重新选择p′,进行下一步迭代;
(2)将待测零件的扫描点云与标准模型进行细配准:
将步骤2第(1)步的结果矩阵M0作用于Q,得到Q′,对Q′和P使用Iterative ClosestPoint(ICP)算法,其具体步骤包括:
①对于Q′{q′i,i=1,2,…,M},查找其在P中的最近点{p′i,i=1,2,…,N}
②求得使下述公式中点对平均距离最小的刚体变换,求得平移参数和旋转参数:
Figure BDA0003061506540000121
③对Q{q′i,i=1,2,…,N}使用上一步求得的平移和旋转参数,得到新的Q′{q′i,i=1,2,…,M};
④如果新的Q′{q′i,i=1,2,…,M}与{p′i,i=1,2,…,N}满足II中目标函数要求,即两点集的平均距离小于某一给定阈值,则停止迭代计算,否则再次计算Q′以继续迭代,直到达到目标函数的要求;
⑤直到跌倒满足要求,得到配准方程M1
最终变换矩阵为M=M1*M0,作用于MQ{MQi|Qi∈R3,i=1,2,…,M},即将Q配准至P且在同一坐标系下。
步骤3、经过步骤1的标准模型的选点以及步骤2中的点云配准过程,将基于最小距离和标注点集查找并进一步计算待测点云中与标准模型的对应点集和尺寸数据。
所述步骤3的具体步骤包括:
(1)基于KD-tree树结构,其为一种分割k维数据空间的数据结构,可应用于三维空间中数据的检索,本发明将利用其搜索工业零件的待测点云,也就是实际扫描点云中的标注点集,其具体步骤包括:
①对于步骤1中标注的点集P0{p1,p2…pn},依次查找已配准的点集Q中的对应最近点集Q{q′i,i=1,2,…,N},以构成新的空间点的集合P′0
②步骤1中的直线、平面、圆柱、圆的点集搜索方法如空间点的搜索方法一致,并依次命名为P′1,P′2,P′3,P′4
(2)对标注点集重新计算所标注的几何形状,对步骤3第(1)步所获得的P′1,P′2,P′3,P′4,也就是直线、平面、圆、圆柱,依次使用步骤1中的估计方法计算其标记的对应几何方程,并命名为F′1,F′2,F′3,F′4
(3)从定位公差的测量角度给出检测指标,作为待检测工业零件的尺寸测量结果:
①平行度:通过步骤1标注标准点云中的标准基准线L1以及测量线L2,在重新搜索待测量中的L1,L2点集并估计其方程。利用两直线方程可以估计其夹角作为平行度测量指标;
②垂直度、倾斜度检测同理I,基于重新估计的方程计算夹角来表示垂直程度以及倾斜程度;
③位置度:对于在零件上的点、线、面,需要测量其相对于理想位置的准确情况,其测量步骤包括:
A.对于点:通过公式1计算P和P′0的重心,得到Pc和P′c
B.计算Pc和P′c之间的偏差来表示点的位置度误差
C.对于线:使用步骤三中的倾斜度检测作为误差参考值
D.对于面:利用步骤1中所标注的平面点集P2估计其方程F2,计算F2与F′2的法向夹角,使用此值作为平面误差的参考值。
最终,以上计算结果,包括测量对象之间的平行度、垂直度和位置度数据可作为扫描工件的尺寸测量数据。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (3)

1.一种基于3D视觉传感器的工业零件尺寸测量方法,其特征在于:包括以下步骤:
步骤1、基于标准模型进行人工标注,针对标准模型点选所需要检测的点集,并标注构成该点集的基本几何形状,包括点、线、面、圆和圆柱;
步骤2、将待测零件的扫描点云与步骤1的标准模型进行配准以统一坐标系,配准过程包括粗配准和细配准;
步骤3、经过步骤1的标准模型的选点以及步骤2中的点云配准过程,将基于最小距离和标注点集查找并进一步计算待测点云中与标准模型的对应点集和尺寸数据;
所述步骤1的具体步骤包括:
(1)标记空间点
设置此次标注形状为空间点,并设置点选半径R,假设选择的点为p0,点集为S,满足以下关系的其它点也会添加到S中,dist为计算两点距离函数:
P{pi|dist<pi,p0><R}
(2)标记直线
①设空间直线方程的向量表示形式为(x,y,z)=(x0,y0,z0)+t(a,b,c),其中直线进行定点(x0,y0,z0),并且其方向向量为(a,b,c);所选点集为P{pi,i=1,2,…n},其中p0(x0,y0,z0)为P的平均值,即:
Figure FDA0003871411360000021
②令矩阵
Figure FDA0003871411360000022
对矩阵A进行奇异分解,令A=U∑V*,其中U是m×m阶的正交矩阵,∑是m×n阶的非负实数对角矩阵,V*即V的共轭转置,是n×n阶的正交矩阵,V的第一列即为(a,b,c)
③最终可得空间直线方程(x,y,z)=(x0,y0,z0)+t(a,b,c);
(3)标记平面
①设平面点法式方程为a(x-x0)+b(y-y0)+c(z-z0)=0,其中(x0,y0,z0)为平面上的定点,(a,b,c)为垂直平面的方向向量,其求解过程和直线类似,依据公式(1)对求出点集的平均值p0(x0,y0,z0);
②进行与计算直线类似的奇异分解得A=U∑V*,最终求得(a,b,c)
③取任意所选点集中一点pi(xi,yi,zi)求得di=a(xi-x0)+b(yi-y0)+c(zi-z0)
④将di带入可得F(x,y,z,d)=ax+by+cz+d即为空间平面方程;
(4)标记圆柱:
①假设圆柱面方程由P0{x0,y0,z0},
Figure FDA0003871411360000023
其中P0为直线上的定点,
Figure FDA0003871411360000024
为直线的方向向量,以及半径R构成,设置迭代误差为
Figure FDA0003871411360000025
并从标记点集I{p1,p2…pn}中随机选取三个点A,B,C作为待计算点集S{A,B,C},根据以下公式计算点集S{pa,pb,pc}中唯一平面方程,其中Ax表示A点的x坐标值,
其它表示形式同理:
设:
Figure FDA0003871411360000031
有:
Figure FDA0003871411360000032
d=-(aAx+bAy+cAz)
②使用公式(1)计算S{A,B,C}的P0,根据S{A,B,C}到H点集的平均距离计算得到R,过程如下所示,其中Dis(p1,p2)表示p1.p2两点间距离:
Figure FDA0003871411360000033
③计算标记点集I中所有点集到由顶点P0和方向向量
Figure FDA0003871411360000034
所表示的直线
Figure FDA0003871411360000035
的距离与R的方差
Figure FDA0003871411360000036
过程如下所示,其中Dis(p,l)表示点p到直线l的距离:
Figure FDA0003871411360000037
Figure FDA0003871411360000038
则重新选择S{A,B,C},否则跳出当前迭代过程
④最终可得到由直线
Figure FDA0003871411360000039
和R组成的圆柱方程F{l,R}。
2.根据权利要求1所述的一种基于3D视觉传感器的工业零件尺寸测量方法,其特征在于:所述步骤2包括以下具体步骤:
(1)将待测零件的扫描点云与标准模型进行粗配准,其具体步骤包括:
假设P{Pi|Pi∈R3,i=1,2,…,N}为标准模型,Q{Qi|Qi∈R3,i=1,2,…,M}为扫描待检测点云,使用4 points Congruent Sets方法对P,Q点云进行粗配准,其具体步骤包括:
①设置迭代终止距离α,在P中随机选出包含4个点的点集p';
②在Q中选出与p'对应符合条件的共面点集q';
③计算p'和q'之间的刚性变换矩阵M0,并将其作用于P,使得P与Q在同一坐标系下;
④计算P{pi|pi∈R3,i=1,2,…,N},Q{qi|qi∈R3,i=1,2,…,M}点集之间的距离之和α',若α'小于α,则重新选择p',进行下一步迭代;
(2)将待测零件的扫描点云与标准模型进行细配准:
将步骤2第(1)步的结果矩阵M0作用于Q,得到Q',对Q'和P使用ICP算法,其具体步骤包括:
①对于Q'{q'i,i=1,2,…,M},查找其在P中的最近点{p'i,i=1,2,…,N}
②求得使下述公式中点对平均距离最小的刚体变换,求得平移参数和旋转参数:
Figure FDA0003871411360000041
③对Q{q'i,i=1,2,…,N}使用上一步求得的平移和旋转参数,得到新的Q'{q'i,i=1,2,…,M};
④如果新的Q'{q'i,i=1,2,…,M}与{p'i,i=1,2,…,N}满足Ⅱ中目标函数要求,即两点集的平均距离小于某一给定阈值,则停止迭代计算,否则再次计算Q'以继续迭代,直到达到目标函数的要求;
⑤直到跌倒满足要求,得到配准方程M1
最终变换矩阵为M=M1*M0,作用于MQ{MQi|Qi∈R3,i=1,2,…,M},即将Q配准至P且在同一坐标系下。
3.根据权利要求1所述的一种基于3D视觉传感器的工业零件尺寸测量方法,其特征在于:所述步骤3的具体步骤包括:
(1)基于KD-tree树结构搜索工业零件的待测点云,其具体步骤包括:
①对于步骤1中标注的点集P0{p1,p2…pn},依次查找已配准的点集Q中的对应最近点集Q{q'i,i=1,2,…,N},以构成新的空间点的集合P'0
②步骤1中的直线、平面、圆柱、圆的点集搜索方法如空间点的搜索方法一致,并依次命名为P'1,P'2,P'3,P'4
(2)对标注点集重新计算所标注的几何形状,对步骤3第(1)步所获得的P'1,P'2,P'3,P'4,依次使用步骤1中的估计方法计算其标记的对应几何方程,并命名为F'1,F'2,F'3,F'4
(3)从定位公差的测量角度给出检测指标,包括测量对象之间的平行度、垂直度和位置度数据,并将其作为待检测工业零件的尺寸测量结果:
①平行度:通过步骤1标注标准点云中的标准基准线L1以及测量线L2,在重新搜索待测量中的L1,L2点集并估计其方程;利用两直线方程可以估计其夹角作为平行度测量指标;
②垂直度、倾斜度检测同理I,基于重新估计的方程计算夹角来表示垂直程度以及倾斜程度;
③位置度:对于在零件上的点、线、面,需要测量其相对于理想位置的准确情况。
CN202110514684.7A 2021-05-12 2021-05-12 一种基于3d视觉传感器的工业零件尺寸测量方法 Active CN113267122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110514684.7A CN113267122B (zh) 2021-05-12 2021-05-12 一种基于3d视觉传感器的工业零件尺寸测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110514684.7A CN113267122B (zh) 2021-05-12 2021-05-12 一种基于3d视觉传感器的工业零件尺寸测量方法

Publications (2)

Publication Number Publication Date
CN113267122A CN113267122A (zh) 2021-08-17
CN113267122B true CN113267122B (zh) 2023-01-31

Family

ID=77230433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110514684.7A Active CN113267122B (zh) 2021-05-12 2021-05-12 一种基于3d视觉传感器的工业零件尺寸测量方法

Country Status (1)

Country Link
CN (1) CN113267122B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937069B (zh) * 2022-03-24 2023-09-19 北京小米移动软件有限公司 零件检测方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104539928B (zh) * 2015-01-05 2016-08-24 武汉大学 一种光栅立体印刷图像合成方法
KR20170100718A (ko) * 2016-02-25 2017-09-05 한국전자통신연구원 점군 정합 장치 및 방법
CN106248035A (zh) * 2016-08-19 2016-12-21 苏州大学 一种基于点云模型的面轮廓度精确检测的方法及***
CN106408581B (zh) * 2016-09-12 2019-05-03 厦门大学 一种快速的三维点云直线提取方法
CN106949848B (zh) * 2017-03-15 2019-11-29 深圳市深视智能科技有限公司 一种高精度激光3d轮廓手机结构件检测方法
CN110335295B (zh) * 2019-06-06 2021-05-11 浙江大学 一种基于tof相机的植物点云采集配准与优化方法

Also Published As

Publication number Publication date
CN113267122A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
JP5251080B2 (ja) 物体認識方法
CN103678754B (zh) 信息处理装置及信息处理方法
CN110335234B (zh) 一种基于古文物LiDAR点云的三维变化检测方法
JP4900204B2 (ja) 物体認識方法
CN107301648B (zh) 基于重叠区域边界角度的冗余点云去除方法
Ge et al. Surface-based matching of 3D point clouds with variable coordinates in source and target system
Mehrad et al. Robust localization to align measured points on the manufactured surface with design surface for freeform surface inspection
CN111986219B (zh) 一种三维点云与自由曲面模型的匹配方法
Dong et al. Application of local-feature-based 3D point cloud stitching method of low-overlap point cloud to aero-engine blade measurement
Cheung et al. Measurement and characterization of ultra-precision freeform surfaces using an intrinsic surface feature-based method
Li et al. Differential evolution algorithm-based range image registration for free-form surface parts quality inspection
CN113267122B (zh) 一种基于3d视觉传感器的工业零件尺寸测量方法
JP5104248B2 (ja) 物体認識装置およびロボット装置
WO2018131163A1 (ja) 情報処理装置、データベース生成装置、方法、プログラム、及び記憶媒体
Bauer et al. Registration strategy of point clouds based on region-specific projections and virtual structures for robot-based inspection systems
Mu et al. A point cloud registration-based calibration algorithm for robot offline programming automatic loading in aero-grinding applications
CN109670557B (zh) 一种基于杆状构筑物的公路点云自动配准方法
Wu et al. A measurement method of free-form tube based on multi-view vision for industrial assembly
Shaw et al. Automatic registration method for hybrid optical coordinate measuring technology
CN101939666B (zh) 利用传感器数据来对对象的运动进行计算机辅助计算的方法
CN115082547B (zh) 一种基于点云数据的轮廓度测量方法、存储介质
Sun et al. Precision work-piece detection and measurement combining top-down and bottom-up saliency
CN115147471A (zh) 一种基于曲率密度特征的激光点云自动配准方法
Li et al. Research on three-dimensional reconstruction technology of line laser scanning scene based on Otsu method
CN113743483A (zh) 一种基于空间平面偏移分析模型的道路点云误差场景分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 325000 no.326, Binhai 22nd Road, Wenzhou Economic and Technological Development Zone, Wenzhou City, Zhejiang Province

Applicant after: Wenzhou Institute of Technology

Address before: Oujiang college, Wenzhou University, No.1, landscape Avenue, Chashan Higher Education Park, Ouhai, Wenzhou, Zhejiang 325000

Applicant before: WENZHOU UNIVERSITY OUJIANG College

GR01 Patent grant
GR01 Patent grant