CN116935013A - 基于三维重建的电路板点云大范围拼接方法及*** - Google Patents
基于三维重建的电路板点云大范围拼接方法及*** Download PDFInfo
- Publication number
- CN116935013A CN116935013A CN202311186175.1A CN202311186175A CN116935013A CN 116935013 A CN116935013 A CN 116935013A CN 202311186175 A CN202311186175 A CN 202311186175A CN 116935013 A CN116935013 A CN 116935013A
- Authority
- CN
- China
- Prior art keywords
- circuit board
- point cloud
- point
- components
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 239000011159 matrix material Substances 0.000 claims abstract description 47
- 230000009466 transformation Effects 0.000 claims abstract description 45
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 241000764238 Isis Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于数字光栅投影***三维重建的电路板点云大范围拼接方法及***,其中方法包括以下步骤:使用数字光栅投影***依次采集电路板点云数据;利用电路板点云高度和颜色信息将电路板元器件与底板分离;提取相邻两帧电路板点云元器件的特征点;为电路板元器件特征点构建带有颜色信息的直方图描述符;对相邻两帧电路板元器件特征点的直方图描述符进行匹配,并计算粗配准变换矩阵;对粗配准的电路板元器件点云进行精配准,得到精配准变换矩阵;根据粗配准变换矩阵和精配准变换矩阵依次对电路板点云进行拼接得到完整的电路板点云数据。本发明能够提高电路板点云拼接的精度和效率。
Description
技术领域
本发明属于计算机视觉领域,尤其涉及基于数字光栅投影***三维重建的电路板点云大范围拼接方法及***。
背景技术
电路板是电子设备的重要组成部分,其质量和性能直接影响电子设备的功能和稳定性。因此,对电路板进行有效的检测和分析是保证电子设备正常运行的必要条件。电路板检测是指对电路板的表面、元件、焊点、连接等部分进行检查,以发现缺陷、损伤、错误等问题。
传统的电路板检测方法主要基于二维图像,但二维图像无法提供电路板的三维形状和表面信息,容易受到光照、阴影、反射等因素的干扰,导致检测结果不准确或不完整。为了克服这些问题,利用三维重建技术进行电路板检测成为一种新的趋势。
三维重建是指利用结构光、相机和计算机等设备,从电路板的二维图像中恢复其三维形状和表面信息的过程。数字光栅投影***是一种高效的三维重建方法,它通过数字投影仪向目标物体投射特定的结构光图案,由相机捕获目标调制后的图像,再通过图像处理和视觉模型求出目标物体的三维信息。数字光栅投影***是一种基于面阵结构光的三维重建方法,它使用数字投影仪,可以快速地改变投影图案,实现高速、高精度、高分辨率的三维重建。数字光栅投影***相比其他三维重建方法,具有更好的抗环境干扰、抗噪声、抗运动模糊等优势。
由于电路板的尺寸和形状的多样性,以及相机和投影仪的视场和分辨率的限制,单次投影或单次拍摄往往无法获得电路板的完整三维信息。因此,需要对多个局部点云进行大范围拼接,以实现对电路板的全面测量和分析。点云大范围拼接是指将多个局部点云通过配准和融合等方法拼接成一个完整的全局点云的过程。点云大范围拼接可以提高点云的完整性和覆盖率,实现对电路板的全面测量和分析。然而,点云大范围拼接也面临着一些挑战,如点云之间的部分重叠、背景影响,精度低、运算速度慢等问题。
发明内容
本发明的目的在于提供一种能够有效分离电路板元器件与底板,提升运算效率的基于数字光栅投影***三维重建的电路板点云大范围拼接方法及***。
本发明所采用的技术方案是:
提供一种基于数字光栅投影***三维重建的电路板点云大范围拼接方法,包括以下步骤:
S1、使用数字光栅投影***依次采集电路板点云数据;
S2、利用电路板点云高度和颜色信息将电路板元器件与底板分离;
S3、提取相邻两帧电路板点云元器件的特征点;
S4、为电路板元器件特征点构建带有颜色信息的直方图描述符;
S5、对相邻两帧电路板元器件特征点的直方图描述符进行匹配,并计算粗配准变换矩阵;
S6、对粗配准的电路板元器件点云进行精配准,得到精配准变换矩阵;
S7、根据粗配准变换矩阵和精配准变换矩阵依次对电路板点云进行拼接得到完整的电路板点云数据。
接上述技术方案,步骤S1中,数字光栅投影***包括彩色相机、数字投影仪、计算机和远心镜头;其中,电路板放置在数字投影仪和彩色相机的下方,数字投影仪沿着S型路径逐行投射结构光图案到电路板表面,并由彩色相机捕获被调制的条纹图像;在每次投射时,相邻两帧图像之间有一定的重叠区域;通过计算机对图像进行相位解包裹和高度映射,得到电路板表面带有颜色信息的点云数据。
接上述技术方案,步骤S2具体为:根据电路板元器件的高度与底板高度不同,删除与底板高度相同的点;如果部分元器件与底板高度相同,则利用颜色信息保留与底板颜色不同的点,从而删除掉底板点云的点,只保留元器件的点云信息。
接上述技术方案,步骤S3具体包括以下步骤:
对于每一帧图像对应的带有颜色信息的电路板点云,电路板点云中的任一点∈/>;
对任一点定义一个球形领域/>,其半径为/>,计算球形领域内点的空间质心/>和颜色质心/>,并计算球形领域内任一点/>与几何质心/>和颜色质心/>之间的几何距离/>和颜色距离/>;
对于每个点,根据其几何距离/>和颜色距离/>与预设的几何距离阈值和颜色距离阈值来判断其是否是特征点,并合并不同距离中的局部最大值,从而得到一组特征点。
接上述技术方案,步骤S4具体包括以下步骤:
建立局部坐标系,以特征点点为中心,/>点邻域内质心方向作为/>轴方向,用向量/>表示,/>点的法向量方向作为/>轴方向,用向量/>表示,/>与/>的叉积作为/>轴方向,用向量/>表示;
计算每一邻域点对的角度特征和颜色特征;
将角度平均分为多个区间,将颜色差异值也平均分为多个区间,对于得到的每个邻域点对的角度特征和颜色特征,统计落在每个角度区间的频数和落在颜色差异区间的频数,然后将区间进行拼接得到一个点特征直方图描述符,描述符是多维的特征向量,由多个角度区间和多个颜色差异区间组成。
接上述技术方案,步骤S5具体为:根据相邻两帧电路板元器件特征点直方图描述符进行匹配,首先进行暴力匹配,然后使用MSAC算法对匹配点对进行优化,得到正确匹配特征点对,并使用SVD分解计算粗配准变换矩阵t。
接上述技术方案,步骤S6具体为:
对经过粗匹配的相邻两帧电路板元器件点云提取其颜色信息,其中第一帧电路板元器件点云记为源点云,第二帧电路板元器件点云记为目标点云/>,并将颜色信息转换为HSV空间中的色调值,可用/>分别表示源点云/>和/>中点的色调值,/>表示点云/>中第/>个点的色调值,/>同理。
计算源点云和目标点云/>之间的双距离即欧氏距离和色调距离,并根据该双距离建立源点云/>和目标点云/>之间的距离度量,定义为:
其中表示两点在欧氏空间和HSV空间中的双距离,/>表示两点的欧氏距离,/>表示两点的色调距离,/>是一个平衡因子,用于调节色调信息和几何信息的权重,使用该度量在欧式空间和HSV空间中来搜索最近邻点对,即对于源点云/>中的点/>,找到目标点云/>中双距离最小的点/>,这里的/>表示对应点的索引,同时使用最邻近点对的法向量夹角的余弦值作为约束,如果法向量夹角的余弦值大于阈值就排除这一点对;
根据最近邻点对,计算源点云和目标点云/>之间的刚体变换矩阵,使用奇异值分解法求解得到旋转平移矩阵;将源点云/>根据刚体变换矩阵进行变换,并更新最近邻点对,重复执行更新,直至满足收敛条件或达到最大迭代次数,得到最终的精配准变换矩阵T作为输出。
本发明还提供一种基于数字光栅投影***三维重建的电路板点云大范围拼接***,包括:
电路板点云数据采集模块,用于使用数字光栅投影***依次采集电路板点云数据;
分离模块,用于利用电路板点云高度和颜色信息将电路板元器件与底板分离;
特征点提取模块,用于提取相邻两帧电路板点云元器件的特征点;
特征描述模块,用于为电路板元器件特征点构建带有颜色信息的直方图描述符;
粗配准模块,用于对相邻两帧电路板元器件特征点的直方图描述符进行粗匹配,并计算粗配准变换矩阵;
精配准模块,用于对粗配准的电路板元器件点云进行精配准,得到精配准变换矩阵;
拼接模块,用于根据粗配准变换矩阵和精配准变换矩阵依次对电路板点云进行拼接得到完整的电路板点云数据。
本发明还提供一种计算机存储介质,其内存储有可被处理器执行的计算机程序,该计算机程序执行上述技术方案所述的基于数字光栅投影***三维重建的电路板点云大范围拼接方法。
本发明产生的有益效果是:本发明能够有效分离电路板元器件与底板,从而去除电路板底板背景给配准带来的影响;利用了电路板点云中的几何和颜色信息,综合考虑了特征点的局部形状和颜色分布,提取电路板点云中具有代表性和区分性的特征点,从而提高点云配准的精度和效率;并通过构建一种带有颜色信息的直方图描述符使得匹配更加准确;此外通过相邻两帧点云的粗配准和精配准后再进行进一步拼接,去除变换后两帧点云的重叠部分,融合成新的点云。
进一步地,通过使用双距离搜索的迭代最近点算法完成精配准,最终实现大范围的电路板点云数据高精度、高效率的拼接,得到完整的电路板点云数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例基于数字光栅投影***三维重建的电路板点云大范围拼接方法的流程图;
图2(a)是本发明数字光栅投影***采集的图片数据;
图2(b)是本发明数字光栅投影***采集的点云数据;
图2(c)是本发明数字光栅投影***采集的带原始颜色的点云数据;
图3是本发明电路板分离底板保留的元器件点云;
图4是本发明提取电路板元器件点云的特征点;
图5是本发明设计的特征点直方图描述符示意图;
图6(a)是本发明相邻两帧电路板点云示意图;
图6(b)是本发明电路板点云根据描述符粗配准的结果;
图7是本发明双距离搜索的迭代最近点精配准结果;
图8是本发明根据粗配准和精配准拼接的完整电路板点云。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明实施例基于数字光栅投影***三维重建的电路板点云大范围拼接方法包括以下步骤:
S1、使用数字光栅投影***依次采集电路板点云数据;
S2、利用电路板点云高度和颜色信息将电路板元器件与底板分离;
S3、提取相邻两帧电路板点云元器件的特征点;
S4、为电路板元器件特征点构建带有颜色信息的直方图描述符;
S5、对相邻两帧电路板元器件特征点的直方图描述符进行匹配,并计算粗配准变换矩阵;
S6、对粗配准的电路板元器件点云进行精配准,得到精配准变换矩阵;
S7、根据粗配准变换矩阵和精配准变换矩阵依次对电路板点云进行拼接得到完整的电路板点云数据。
进一步地,本发明的步骤使用数字光栅投影***依次采集电路板点云数据,数字光栅投影三维重建***包括彩色相机、数字投影仪、计算机,其中彩色相机搭配远心镜头,从而能够实现高分辨率的图像采集。该***能够同时获取电路板的点云信息和颜色信息。首先,将电路板放置在数字投影仪和相机的下方,由彩色相机拍摄一张电路板图像,如图2(a)所示,数字投影仪沿着S型路径逐行投射结构光图案到电路板表面,并由相机捕获被调制的条纹图像。在每次投射时,保证相邻两帧图像之间有一定的重叠区域,以便于后续的数据拼接。通过计算机对带条纹的多幅图像进行相位解包裹和高度映射,得到只包含坐标信息的点云数据,如图2(b)所示,然后将图2(a)的电路板图像和图2(b)的点云数据融合得到带有原始颜色的电路板点云数据,如图2(c)所示。
进一步地,本发明的步骤利用电路板点云高度和颜色信息将电路板元器件与底板分离,由于电路板元器件的高度与底板高度不同,删除与底板高度相同的点,如果部分元器件与底板高度相同,利用颜色信息保留与底板颜色不同的点,从而删除掉底板点云的点,只保留元器件的点云信息,如图3所示。
进一步地,本发明的步骤提取电路板点云元器件的特征点,为了实现相邻两帧点云板点云元器件的特征点提取,本发明采用了一种基于颜色信息和结构信息的方法,该方法主要包括以下步骤:
对于每一帧图像对应的带有颜色信息的电路板点云,其中。
对每一个点定义一个球形领域/>,其半径为/>。计算球形领域内点的空间质心/>和颜色质心/>,即:
这里的是集合/>的基数,/>是球形领域内所有点,/>是第/>个点的颜色分量,并计算该点/>与几何质心/>和颜色质心/>之间的几何距离和颜色距离,即:
其中,表示点/>到几何质心/>的L2范数,也叫欧氏距离,表示点/>到邻域/>内的最大距离。
对于电路板点云中的每个点,根据其几何距离/>和颜色距离/>来判断是否是特征点,并根据一个交并比/>的规则来合并不同距离中的局部最大值,从而得到一组特征点/>。具体来说:
对于每个点,如果/>或者/>,就认为它是特征点,其中/>和/>是几何距离和颜色距离的阈值。
对于每一个特征点,在其邻域中寻找其他更大的值。如果存在使得/>,就说明/>比/>更显著,所以/>不是一个局部最大值。 如果不存在就说明/>是一个局部最大值,并把它加入到候选特征点集合/>中。
对于中的每个几何关键点/>,找到与它最近的颜色距离最大的特征点/>,然后计算它们的邻域的交并比/>,即:
如果,就认为/>和/>是相同的,并保留其中一个;如果,就认为/>和/>是不同的,并保留两个。其中/>是交并比的阈值。
最后,返回电路板元器件特征点集合作为输出,检测到的特征点如图4所示。
进一步地,本发明的步骤计算每个特征点带有颜色信息的点特征直方图描述符,首先建立局部坐标系,以特征点/>点为中心,/>点邻域内质心方向作为/>轴方向,用向量/>表示,/>点的法向量方向作为/>轴方向,用向量/>表示,/>与/>的叉积作为/>轴方向,用向量/>表示。
然后对于每一邻域点对计算角度特征和颜色特征,对于领域每个点在局部坐标系中用向量/>表示,计算领域内每个点与局部坐标系/>轴的夹角/>,与/>轴的夹角/>,与/>轴的夹角/>。
对于每一邻域点对中的颜色特征用一个颜色差异值来表示
其中,表示点的颜色信息,/>表示/>和/>的一阶范数;
可将角度平均分为12个区间,将颜色差异值平均分为10个区间,然后对于得到的每个邻域点对的角度特征和颜色特征,统计落在每个角度区间的频数,和落在颜色差异区间的频数,最后将区间进行拼接得到一个点特征直方图描述符如图5所示,描述符是46维的特征向量,是由3×12个角度区间和10个颜色差异区间组成。
进一步地,本发明的步骤相邻两帧电路板元器件点云特征点匹配并计算粗配准变化矩阵,根据相邻两帧电路板元器件特征点直方图描述符进行匹配,首先进行暴力匹配,然后使用MSAC算法(M-Estimate Sample Consensus最大似然估计抽样一致算法)对匹配点对进行优化,得到正确匹配点对。并根据正确匹配特征点对使用SVD分解计算粗配准变换矩阵t,粗配准变换之前的点云如图6(a)所示,粗配准变换之后的点云如图6(b)所示。
进一步地,本发明的步骤使用结合颜色信息的迭代最近点算法对粗配准的电路板元器件点云进行精确配准的具体步骤为:
对经过粗匹配的相邻两帧电路板元器件点云(作为源点云)和/>(作为目标点云),提取其颜色信息,并将颜色信息转换为HSV空间中的色调值,用分别表示/>和/>中点的色调值,/>表示点云中第/>个点的色调值,/>同理。
根据双距离即欧氏距离和色调距离,建立和/>之间的距离度量,定义为
其中,表示两点在欧氏空间和HSV空间中的双距离,/>表示源点云/>中第/>个点的坐标,/>表示源点云/>中第/>个点与目标点云/>中第/>个点的欧氏距离,表示两点的色调距离,/>是一个平衡因子,用于调节色调信息和几何信息的权重,使用该度量在欧式空间和HSV空间中来搜索最近邻点对,即对于/>中的点/>,找到/>中双距离最小的点/>,这里的/>表示对应点的索引。
同时使用最邻近点对的法向量夹角的余弦值作为约束,如果法向量夹角的余弦值大于阈值就排除这一点对,法向量夹角的余弦值计算公式为:
其中,表示点/>的法向量,/>表示点/>的法向量,/>表示法向量/>的模,/>表示法向量/>的模。
根据双距离搜索且法向量夹角约束得到的最近邻点对,计算和/>之间的刚体变换矩阵,使用奇异值分解法求解得到旋转平移矩阵。
将根据刚体变换矩阵进行变换,并更新最近邻点对;
重复上述两个步骤,直至满足收敛条件或达到最大迭代次数;
返回最终的精配准变换矩阵T作为输出,精配准变换后的结果,如图7所示。
进一步地,本发明的步骤对上述得到的每相邻两帧点云之间的粗配准变换矩阵/>和精配准变换矩阵/>,从第一帧电路板点云开始,对其应用/>和/>变换矩阵,去除变换后两帧点云的重叠部分,融合成新的点云。然后将新的点云与下一帧点云应用变换矩阵/>,,去除重叠部分,融合成新的点云,直到最后一帧点云合并完成,得到完整的电路板点云,如图8所示。
本发明实施例基于数字光栅投影***三维重建的电路板点云大范围拼接***主要用于实现上述方法实施例,该***包括:
电路板点云数据采集模块,用于使用数字光栅投影***依次采集电路板点云数据;
分离模块,用于利用电路板点云高度和颜色信息将电路板元器件与底板分离;
特征点提取模块,用于提取相邻两帧电路板点云元器件的特征点;
特征描述模块,用于为电路板元器件特征点构建带有颜色信息的直方图描述符;
粗配准模块,用于对相邻两帧电路板元器件特征点的直方图描述符进行匹配,并计算粗配准变换矩阵;
精配准模块,用于对粗配准的电路板元器件点云进行精配准,得到精配准变换矩阵;
拼接模块,用于根据粗配准变换矩阵和精配准变换矩阵依次对电路板点云进行拼接得到完整的电路板点云数据。
各个模块主要用于实现方法实施例的各个步骤,在此不赘述。
本申请还提供一种计算机可读存储介质,如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等,其上存储有计算机程序,程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质被处理器执行时实现方法实施例的基于数字光栅投影***三维重建的电路板点云大范围拼接方法。
综上,本发明能够有效地提取电路板点云中具有代表性和区分性的特征点,并利用颜色信息辅助建立点对应关系,从而完成精确的拼接电路板数据,提高拼接的精度和效率。
需要指出,根据实施的需要,可将本申请中描述的各个步骤/部件拆分为更多步骤/部件,也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件,以实现本发明的目的。
上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (9)
1.一种基于数字光栅投影***三维重建的电路板点云大范围拼接方法,其特征在于,包括以下步骤:
S1、使用数字光栅投影***依次采集电路板点云数据;
S2、利用电路板点云高度和颜色信息将电路板元器件与底板分离;
S3、提取相邻两帧电路板点云元器件的特征点;
S4、为电路板元器件特征点构建带有颜色信息的直方图描述符;
S5、对相邻两帧电路板元器件特征点的直方图描述符进行匹配,并计算粗配准变换矩阵;
S6、对粗配准的电路板元器件点云进行精配准,得到精配准变换矩阵;
S7、根据粗配准变换矩阵和精配准变换矩阵依次对电路板点云进行拼接得到完整的电路板点云数据。
2.根据权利要求1所述的基于数字光栅投影***三维重建的电路板点云大范围拼接方法,其特征在于,步骤S1中,数字光栅投影***包括彩色相机、数字投影仪和计算机;其中,电路板放置在数字投影仪和彩色相机的下方,数字投影仪沿着S型路径逐行投射结构光图案到电路板表面,并由彩色相机捕获被调制的条纹图像;在每次投射时,相邻两帧图像之间有一定的重叠区域;通过计算机对多幅条纹图像进行相位解包裹和高度映射,得到电路板表面带有颜色信息的点云数据。
3.根据权利要求1所述的基于数字光栅投影***三维重建的电路板点云大范围拼接方法,其特征在于,步骤S2具体为:根据电路板元器件的高度与底板高度不同,删除与底板高度相同的点;如果部分元器件与底板高度相同,则利用颜色信息保留与底板颜色不同的点,从而删除掉底板点云的点,只保留元器件的点云信息。
4.根据权利要求1所述的基于数字光栅投影***三维重建的电路板点云大范围拼接方法,其特征在于,步骤S3具体包括以下步骤:
对于每一帧图像对应的带有颜色信息的电路板点云,电路板点云中的任一点/>∈/>;
对任一点定义一个球形领域/>,其半径为/>,计算球形领域内点的空间质心和颜色质心/>,并计算球形领域内任一点/>与几何质心/>和颜色质心/>之间的几何距离/>和颜色距离/>;对于每个点/>,根据其几何距离/>和颜色距离/>与预设的几何距离阈值和颜色距离阈值来判断其是否是特征点,并合并不同距离中的局部最大值,从而得到一组特征点/>。
5.根据权利要求1所述的基于数字光栅投影***三维重建的电路板点云大范围拼接方法,其特征在于,步骤S4具体包括以下步骤:
建立局部坐标系,以特征点点为中心,/>点邻域内质心方向作为/>轴方向,用向量/>表示,/>点的法向量方向作为/>轴方向,用向量/>表示,/>与/>的叉积作为/>轴方向,用向量/>表示;
计算每一邻域点对的角度特征和颜色特征;
将角度平均分为多个区间,将颜色差异值也平均分为多个区间,对于得到的每个邻域点对的角度特征和颜色特征,统计落在每个角度区间的频数和落在颜色差异区间的频数,然后将区间进行拼接得到一个点特征直方图描述符,描述符是多维的特征向量,由多个角度区间和多个颜色差异区间组成。
6.根据权利要求1所述的基于数字光栅投影***三维重建的电路板点云大范围拼接方法,其特征在于,步骤S5具体为:根据相邻两帧电路板元器件特征点直方图描述符进行匹配,首先进行暴力匹配,然后使用MSAC算法对匹配点对进行优化,得到正确匹配特征点对,并使用SVD分解计算粗配准变换矩阵t。
7.根据权利要求1所述的基于数字光栅投影***三维重建的电路板点云大范围拼接方法,其特征在于,步骤S6具体为:
对经过粗匹配的相邻两帧电路板元器件点云提取颜色信息,其中第一帧电路板元器件点云记为源点云,第二帧电路板元器件点云记为目标点云/>,并将颜色信息转换为HSV空间中的色调值;
计算源点云和目标点云/>间的欧氏距离和色调距离,并根据其建立源点云/>和目标点云/>之间的距离度量;
使用该距离度量在欧式空间和HSV空间中来搜索最近邻点对,对于源点云中的点/>,找到目标点云/>中与其欧氏距离和色调距离最小的点/>,/>表示对应点的索引;同时使用最邻近点对的法向量夹角的余弦值作为约束,如果法向量夹角的余弦值大于阈值就排除这一点对;
根据最近邻点对,计算源点云和目标点云/>之间的刚体变换矩阵,使用奇异值分解法求解得到旋转平移矩阵;将源点云/>根据刚体变换矩阵进行变换,并更新最近邻点对,重复执行更新,直至满足收敛条件或达到最大迭代次数,得到最终的精配准变换矩阵T作为输出。
8.一种基于数字光栅投影***三维重建的电路板点云大范围拼接***,其特征在于,包括:
电路板点云数据采集模块,用于使用数字光栅投影***依次采集电路板点云数据;
分离模块,用于利用电路板点云高度和颜色信息将电路板元器件与底板分离;
特征点提取模块,用于提取相邻两帧电路板点云元器件的特征点;
特征描述模块,用于为电路板元器件特征点构建带有颜色信息的直方图描述符;
粗配准模块,用于对相邻两帧电路板元器件特征点的直方图描述符进行匹配,并计算粗配准变换矩阵;
精配准模块,用于对粗配准的电路板元器件点云进行精配准,得到精配准变换矩阵;
拼接模块,用于根据粗配准变换矩阵和精配准变换矩阵依次对电路板点云进行拼接得到完整的电路板点云数据。
9.一种计算机存储介质,其特征在于,其内存储有可被处理器执行的计算机程序,该计算机程序执行权利要求1-7中任一项所述的基于数字光栅投影***三维重建的电路板点云大范围拼接方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311186175.1A CN116935013B (zh) | 2023-09-14 | 2023-09-14 | 基于三维重建的电路板点云大范围拼接方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311186175.1A CN116935013B (zh) | 2023-09-14 | 2023-09-14 | 基于三维重建的电路板点云大范围拼接方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116935013A true CN116935013A (zh) | 2023-10-24 |
CN116935013B CN116935013B (zh) | 2023-11-28 |
Family
ID=88386366
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311186175.1A Active CN116935013B (zh) | 2023-09-14 | 2023-09-14 | 基于三维重建的电路板点云大范围拼接方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116935013B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117257333A (zh) * | 2023-11-17 | 2023-12-22 | 深圳翱翔锐影科技有限公司 | 基于半导体探测器的真双能x射线骨密度仪 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109242774A (zh) * | 2018-08-29 | 2019-01-18 | 浙江大学 | 一种基于多维空间不变特征的平板类零件点云拼接方法 |
CN110070598A (zh) * | 2018-01-22 | 2019-07-30 | 宁波盈芯信息科技有限公司 | 用于3d扫描重建的移动终端及其进行3d扫描重建方法 |
CN110415342A (zh) * | 2019-08-02 | 2019-11-05 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的三维点云重建装置与方法 |
US20220182593A1 (en) * | 2022-01-28 | 2022-06-09 | University Of Electronic Science And Technology Of China | Method for high-precision true color three-dimensional reconstruction of a mechanical component |
CN115861397A (zh) * | 2022-11-25 | 2023-03-28 | 福州大学 | 一种基于改进fpfh-icp的点云配准方法 |
US20230103385A1 (en) * | 2021-09-28 | 2023-04-06 | The 38Th Research Institute Of China Electronics Technology Group Corporation | 3d reconstruction method and apparatus |
-
2023
- 2023-09-14 CN CN202311186175.1A patent/CN116935013B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110070598A (zh) * | 2018-01-22 | 2019-07-30 | 宁波盈芯信息科技有限公司 | 用于3d扫描重建的移动终端及其进行3d扫描重建方法 |
CN109242774A (zh) * | 2018-08-29 | 2019-01-18 | 浙江大学 | 一种基于多维空间不变特征的平板类零件点云拼接方法 |
CN110415342A (zh) * | 2019-08-02 | 2019-11-05 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的三维点云重建装置与方法 |
US20230103385A1 (en) * | 2021-09-28 | 2023-04-06 | The 38Th Research Institute Of China Electronics Technology Group Corporation | 3d reconstruction method and apparatus |
US20220182593A1 (en) * | 2022-01-28 | 2022-06-09 | University Of Electronic Science And Technology Of China | Method for high-precision true color three-dimensional reconstruction of a mechanical component |
CN115861397A (zh) * | 2022-11-25 | 2023-03-28 | 福州大学 | 一种基于改进fpfh-icp的点云配准方法 |
Non-Patent Citations (1)
Title |
---|
管士勇等: "基于点对匹配的印刷电路板CT图像配准方法", 计算机辅助设计与图形学学报, no. 01 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117257333A (zh) * | 2023-11-17 | 2023-12-22 | 深圳翱翔锐影科技有限公司 | 基于半导体探测器的真双能x射线骨密度仪 |
CN117257333B (zh) * | 2023-11-17 | 2024-02-20 | 深圳翱翔锐影科技有限公司 | 基于半导体探测器的真双能x射线骨密度仪 |
Also Published As
Publication number | Publication date |
---|---|
CN116935013B (zh) | 2023-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108648240B (zh) | 基于点云特征地图配准的无重叠视场相机姿态标定方法 | |
EP3382644B1 (en) | Method for 3d modelling based on structure from motion processing of sparse 2d images | |
CN110135455B (zh) | 影像匹配方法、装置及计算机可读存储介质 | |
CN107833181B (zh) | 一种基于变焦立体视觉的三维全景图像生成方法 | |
JP6216508B2 (ja) | 3dシーンにおける3d物体の認識および姿勢決定のための方法 | |
CN106408609B (zh) | 一种基于双目视觉的并联机构末端运动位姿检测方法 | |
CN104574347B (zh) | 基于多源遥感数据的在轨卫星图像几何定位精度评价方法 | |
JP5677798B2 (ja) | 3次元シーンにおける3次元物体の認識及び位置姿勢決定方法 | |
CN105701827A (zh) | 可见光相机与红外相机的参数联合标定方法及装置 | |
CN108921895B (zh) | 一种传感器相对位姿估计方法 | |
CN109544599B (zh) | 一种基于相机位姿估计的三维点云配准方法 | |
CN107767456A (zh) | 一种基于rgb‑d相机的物体三维重建方法 | |
CN101383899A (zh) | 一种空基平台悬停视频稳像方法 | |
Urban et al. | Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds | |
CN116935013B (zh) | 基于三维重建的电路板点云大范围拼接方法及*** | |
AliAkbarpour et al. | Fast structure from motion for sequential and wide area motion imagery | |
CN111612731B (zh) | 基于双目显微视觉的测量方法、装置、***及介质 | |
CN113393439A (zh) | 一种基于深度学习的锻件缺陷检测方法 | |
CN108447092B (zh) | 视觉定位标识物的方法及装置 | |
CN110120013A (zh) | 一种点云拼接方法及装置 | |
CN117870659A (zh) | 基于点线特征的视觉惯性组合导航算法 | |
CN117765039A (zh) | 点云粗配准方法、装置及设备 | |
CN115205558B (zh) | 一种具有旋转和尺度不变性的多模态影像匹配方法及装置 | |
Albouy et al. | Accurate 3D structure measurements from two uncalibrated views | |
Lian et al. | 3D-SIFT Point Cloud Registration Method Integrating Curvature Information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |