CN104573635B - 一种基于三维重建的微小高度识别方法 - Google Patents
一种基于三维重建的微小高度识别方法 Download PDFInfo
- Publication number
- CN104573635B CN104573635B CN201410787959.4A CN201410787959A CN104573635B CN 104573635 B CN104573635 B CN 104573635B CN 201410787959 A CN201410787959 A CN 201410787959A CN 104573635 B CN104573635 B CN 104573635B
- Authority
- CN
- China
- Prior art keywords
- image
- stripe
- height
- edge
- quaternion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000001914 filtration Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 230000007547 defect Effects 0.000 claims abstract description 7
- 230000011218 segmentation Effects 0.000 claims abstract description 6
- 238000003708 edge detection Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 239000003086 colorant Substances 0.000 claims description 4
- 238000001514 detection method Methods 0.000 abstract description 11
- 238000013480 data collection Methods 0.000 abstract 1
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- NTSBMKIZRSBFTA-AIDOXSFESA-N Digoxigenin bisdigitoxoside Chemical compound C1[C@H](O)[C@H](O)[C@@H](C)O[C@H]1O[C@@H]1[C@@H](C)O[C@@H](O[C@@H]2C[C@@H]3[C@]([C@@H]4[C@H]([C@]5(CC[C@@H]([C@@]5(C)[C@H](O)C4)C=4COC(=O)C=4)O)CC3)(C)CC2)C[C@@H]1O NTSBMKIZRSBFTA-AIDOXSFESA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于三维重建的微小高度识别方法，包括二维图像数据采集、彩色图像分割算法、彩色图像四元数混合滤波算法、彩色图像四元数‑矢量混合边缘检测、彩色图像四元数亚像素条纹中心定位算法，利用亚像素边缘条纹中心定位算法取得的条纹中心变化差值，代入高度计算公式，求得特征点的高度值，识别出缺陷类型。
Description
技术领域
本发明涉及图像识别及缺陷检测领域，特别涉及一种基于三维重建的微小高度识别方法。
背景技术
目前工业应用中的检测大都是采用二维检测，采用的光源大多为点激光或者线激光光源。三维检测现在也开始进入初步应用阶段，在光源上大都采用高精度投影仪投射黑白光栅或者彩色光栅实现，大多数相关***在三维彩色图像的重构，以及图像的边缘检测，特征匹配算法上，大都是按RGB三种颜色单独处理，对图像颜色信息之间的关联进行人为剥离，影响了检测的可靠性，而且，基本上所有的算法都是采用解相位的PMP方法来获得被测物体最终的三维高度，其精度很难提高。
发明内容
为了克服现有技术存在的缺点与不足，本发明提供一种基于三维重建的微小高度识别方法。
本发明采用如下技术方案：
一种基于三维重建的微小高度识别方法，包括如下步骤：
S1二维图像数据采集：具体为获得被测芯片的RGB结构光照射条纹图像；
S2图像快速分割算法：具体为对被测芯片图像的所有管脚的角点进行定位，并作为分割的基准；
S3彩色图像滤波，具体为利用四元数-矢量混合滤波算法，对含有高度信息的条纹边缘进行噪声滤除和局部增强；
S4彩色图像边缘检测，具体为采用四元数-矢量的边缘检测算法，通过设计颜色相似度函数，对相邻像素从水平和竖直两个方向进行逐个比较，得出条纹边缘和待测芯片边缘，由交叉点确定高度特征点的精确坐标，并由水平边缘确认高度信息特征边缘的计算坐标点集；
S5彩色图像亚像素边缘条纹中心定位：具体为采用基于归一化四元数的亚像素边缘条纹中心定位算法，对高度特征点的高度条纹中心进行分别定位，得出高度引起的条纹中心变化差值；
S6利用亚像素边缘条纹中心定位算法取得的条纹中心变化差值，代入高度计算公式，求得高度特征点的高度值，识别出缺陷类型。
所述S5中所述亚像素条纹中心定位算法具体为根据归一化四元数颜色相似度函数，采用插值方法计算出条纹中心坐标。
所述S2具体为：
根据0等高线参考平面的条纹参考图像模板与放入待测芯片后采集到的条纹图的差别将待测物体的图像与背景基本分离，然后对分离后的图像进行阈值二值化处理，再通过组合运算得到待测物体的基本轮廓线，并用角点求解算法求出基本轮廓线的所有角点，并根据所获得角点作为图像区域分割的参考坐标。
所述S3所述四元数-矢量混合滤波算法具体为基于所设计的颜色相似度函数，对条纹内部及边界区域采用不同的滤波方法，在消除噪声的同时，对含有高度信息的条纹边缘进行局部增强，所述颜色相似度函数是基于四元数-矢量设计的。
所述颜色相似度函数，具体为：
其中，fsimilarity(x1,y1,x2,y2)是像素(x1,y1)和(x2,y2)的相似度函数，fQ(x1,y1,x2,y2)是颜色的四元数相似度函数，T为预设的比较阀值，当fQ>T时，使用fQ(x1,y1,x2,y2)作为相似度函数的最终取值；当fQ<T时，使用fV(x1,y1,x2,y2)作为相似度函数的最终取值。
本发明的有益效果：
本发明将每个彩色像素R、G、B三通道的内在关联性作为一个整体进行处理，对结构光***采集到的图像进行有效的保边去噪处理，并采用亚像素方法对高度进行精度修正，大大提高了高度三维重建过程的准确度和精确度，使得结构光测量***能应用于精密电子制造中的缺陷检测领域。
附图说明
图1是本发明一种基于三维重建的微小高度识别方法的工作流程图。
图2是本发明S3步骤的彩色图像滤波流程图；
图3是本发明S4步骤的彩色图像边缘检测流程图；
图4是本发明S5步骤的基于归一化四元数的亚像素彩色条纹中心定位算法的工作流程图；
图5是本发明基于四元数-矢量的颜色相似度函数流程图；
图6是本发明基于四元数归一化颜色相似度函数算法流程图；
图7是本发明三维高度计算原理图。
具体实施方式
下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例
如图1所示，一种基于三维重建的微小高度识别方法，适用于在线检测和离线检测两种模式，具体实施主要包括以下几个步骤：相机标定、采集经结构光照射的待测物体条纹图、快速图像分割算法、彩色图四元数-矢量混合像滤波算法、彩色图像四元数-矢量边缘检测算法、彩色图像四元数归一化亚像素条纹中心定位算法和三维高度计算。
相机的标定可直接利用matlab的相机标定工具箱预先标定好，然后导出文件直接加载就可以。
采集经结构光照射的被测芯片的条纹图像。
首先由快速图像分割算法缩小运算范围：根据0等高线参考平面的条纹参考图像模板与放入待测物体后采集到的条纹图的差别将待测物体的图像与背景基本分离，然后对分离后的图像进行阈值二值化处理，再通过组合运算得到待测物体的基本轮廓线，并用角点求解算法求出基本轮廓线的所有角点，并根据所获得角点作为图像区域分割的参考坐标；文中所述角点是指芯片物理形态的直角区域，比如说每个管脚。
先建立图像的彩色四元数矢量模型，对于彩色图像拍摄模块获得的二维彩色图像的每个像素用实部为0的纯四元数Ri+Gj+Bk表示，在之后的处理过程中，把彩色图像RGB三分量作为一个整体进行统一处理。
在进行相关处理算法之前，还需设计相关的颜色相似度函数如图5所示：
其中，fsimilarity(x1,y1,x2,y2)是像素(x1,y1)和(x2,y2)的相似度函数。fQ(x1,y1,x2,y2)是颜色的四元数相似度函数，T为预设的比较阀值，一般取10以内的数值，数值太大时，难以区分不同颜色，数值太小时，区分度太高，容易产生误判。当fQ>T时，使用fQ(x1,y1,x2,y2)作为相似度函数的最终取值；当fQ<T时，使用fV(x1,y1,x2,y2)作为相似度函数的最终取值。fQ(x1,y1,x2,y2)设计描述如下：
此处设定另一个函数fV(x1,y1,x2,y2)描述如下：
fV(x1,y1,x2,y2)＝||f(x1,y1)-f(x2,y2)||2
其中，fq(x1,y1)带有下标“q”为彩色像素(x1,y1)的四元数表示，f(x1,y1)不带下标“q”的为相应的矢量表示，对于其他的彩色像素也用类似统一表示。fq12gray(x,y)表示距离彩色像素fq12(x,y)最接近的灰度线取值。||·||2彩色像素间的欧几里得距离。
如图2所示彩色图像的滤波增强算法既要滤除噪声，同时又要增强高度边缘信息。利用之前设计的颜色相似度函数，对待滤波的像素进行分类，分别采用直接跳过、基于四元数-矢量的中值滤波和基于四元数-矢量的双边滤波算法降噪，并增强高度边缘信息。相关公式描述如下：
其中，fq,new(x,y)为滤波后的中心像素取值，fq(x,y)为滤波前的中心像素取值，fQVBF(x,y)是四元数滤波函数，主要对边界点进行滤波处理；fQVMF(x,y)是四元数中值滤波算法，主要处理噪声孤点；T为相似度预设阀值。四元数-矢量中值滤波算法公式描述如下：
其中，(xc,yc)是滤波邻域内的某个像素点坐标。四元数-矢量双边滤波算法公式描述如下：
其中，w(x,y,xk,yk)为权重系数，rq(x,y,xk,yk)为值域核,d(x,y,xk,yk)，为定义域核，△dk 2为滤波邻域内像素fq(xk,yk)到邻域中心像素fq(x,y)的欧氏距离平方。应用时，可根据待处理对象的分布特点，选取合适的σrq和σd参数，就可以对边界点进行相关的滤波处理。
然后，如图3所示，在滤波过的区域内执行相关的彩色图像边缘检测算法。同样要用到之前设计的颜色相似度函数，从水平和垂直两个方向，对每个像素进行识别，分别得到垂直边缘点集和V-Array水平边缘点集H-Array。再由两个点集的交集，就可以得到高度变化特征点的精确坐标点集C-Array。
相关垂直边缘检测算法描述如下：
相关水平边缘检测算法描述如下：
其中，Tvertical是垂直检测阀值，Thorizontal是水平检测阀值。
如图4所示，根据得到的点集V-Array、H-Array和C-Array，进行相关的亚像素条纹中心定位算法。设计基于四元数的归一化颜色相似度函数，如图6所示，得到彩色像素点与单位灰度线的归一化四元数距离。相关算法描述如下：
其中，fnorm-simi(x1,y1)为彩色像素点的归一化四元数距离，fQ(x1,y1,gray)为彩色像素点与单位灰度线的实际四元数距离，fQ-max为彩色像素点与单位灰度线的最大四元数距离。
将归一化颜色相似度函数的计算结果代入到亚像素条纹中心定位公式中
其中，为高度变化特征点左右两边水平边界线各列ycol的条纹中心坐标值，再求加权平均，获得左高度特征条纹中心rowcenter,left和左高度特征条纹中心rowcenter,right
△row＝rowcenter,left-rowcenter,right
其中，△row为高度条纹中心的变化差值。
计算得出高度条纹偏移的像素个数△row，进而转换成偏移的实际距离AC(由于***的硬件参数是预先设置好的，所以一毫米在图像中0等高线处占多少个像素是可以预先测量出来的)。
由图7所示高度计算公式，对于红色光，其高度计算如下：
其中，L是摄像头到参考平面的垂直距离，dr是对应摄像机镜头中心点到结构光中心点的距离，是对应高度条纹偏移的距离。
同理，对于绿色光和蓝色光，高度计算分别如下：
其中，dg、db是摄像机镜头中心点到对应颜色结构光中心点的距离， 是对应高度条纹偏移的距离。
最后，由计算得到的高度信息，对比标准参数，就可以识别出对应的缺陷。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (3)
1.一种基于三维重建的微小高度识别方法，其特征在于，包括如下步骤：
S1二维图像数据采集：获得被测芯片的RGB结构光照射条纹图像；
S2图像快速分割算法：对被测芯片图像的所有管脚的角点进行定位，并作为分割的基准；
S3彩色图像滤波：具体利用四元数-矢量混合滤波算法，对含有高度信息的条纹边缘进行噪声滤除和局部增强；
S4彩色图像边缘检测，具体采用四元数-矢量的边缘检测算法，通过设计颜色相似度函数，对相邻像素从水平和竖直两个方向进行逐个比较，得出条纹边缘和待测芯片边缘，由交叉点确定特征点的精确坐标，并由水平边缘确认高度信息特征边缘的计算坐标点集；
S5彩色图像亚像素边缘条纹中心定位：具体为采用基于归一化四元数的亚像素边缘条纹中心定位算法，对特征点高度条纹中心进行分别定位，得出高度引起的条纹中心变化差值；
所述S5中所述亚像素边缘条纹中心定位算法具体为根据归一化四元数颜色相似度函数，采用插值方法计算出条纹中心坐标；
所述颜色相似度函数为：
其中，fsimilarity(x1,y1,x2,y2)是像素(x1,y1)和(x2,y2)的相似度函数，fQ(x1,y1,x2,y2)是颜色的四元数相似度函数，T为预设的比较阀值，当fQ>T时，使用fQ(x1,y1,x2,y2)作为相似度函数的最终取值；当fQ<T时，使用fV(x1,y1,x2,y2)作为相似度函数的最终取值；
所述亚像素条纹中心坐标公式为：
其中，为高度变化特征点左右两边水平边界线各列ycol的条纹中心坐标值；fsimi-norm(xk,ycol)为彩色像素点的归一化四元数距离；
S6利用亚像素边缘条纹中心定位算法取得的条纹中心变化差值，代入高度计算公式，求得特征点的高度值，识别出缺陷类型。
2.根据权利要求1所述的识别方法，其特征在于，所述S2具体为：
根据0等高线参考平面的条纹参考图像模板与放入待测芯片后采集到的条纹图的差别将待测物体的图像与背景基本分离，然后对分离后的图像进行阈值二值化处理，再通过组合运算得到待测物体的基本轮廓线，并用角点求解算法求出基本轮廓线的所有角点，并根据所获得角点作为图像区域分割的参考坐标。
3.根据权利要求1所述的识别方法，其特征在于，所述S3所述四元数-矢量混合滤波算法具体为基于所设计的颜色相似度函数，对条纹内部及边界区域采用不同的滤波方法，在消除噪声的同时，对含有高度信息的条纹边缘进行局部增强，所述颜色相似度函数是基于四元数-矢量设计的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410787959.4A CN104573635B (zh) | 2014-12-17 | 2014-12-17 | 一种基于三维重建的微小高度识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410787959.4A CN104573635B (zh) | 2014-12-17 | 2014-12-17 | 一种基于三维重建的微小高度识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104573635A CN104573635A (zh) | 2015-04-29 |
| CN104573635B true CN104573635B (zh) | 2018-04-13 |
Family
ID=53089658
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410787959.4A Active CN104573635B (zh) | 2014-12-17 | 2014-12-17 | 一种基于三维重建的微小高度识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104573635B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107271445B (zh) * | 2017-05-16 | 2020-10-16 | 广州视源电子科技股份有限公司 | 一种缺陷检测方法及装置 |
| CN112701060B (zh) * | 2021-03-24 | 2021-08-06 | 高视科技(苏州)有限公司 | 半导体芯片焊线的检测方法及装置 |
| CN113240636B (zh) * | 2021-05-08 | 2022-06-21 | 苏州天准科技股份有限公司 | 表面waviness智能检测方法、***、存储介质和终端设备 |
| CN116309589B (zh) * | 2023-05-22 | 2023-08-01 | 季华实验室 | 钣金件表面缺陷检测方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103543167A (zh) * | 2013-10-08 | 2014-01-29 | 华南理工大学 | 一种基于知识库的三维x射线断层扫描检测***及方法 |
| CN103559499A (zh) * | 2013-10-09 | 2014-02-05 | 华南理工大学 | 一种rgb矢量匹配快速识别***及方法 |
| CN104075659A (zh) * | 2014-06-24 | 2014-10-01 | 华南理工大学 | 一种基于rgb结构光源的三维成像识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4902735B2 (ja) * | 2007-04-24 | 2012-03-21 | オリンパスメディカルシステムズ株式会社 | 医療用画像処理装置及び医療用画像処理方法 |
-
2014
- 2014-12-17 CN CN201410787959.4A patent/CN104573635B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103543167A (zh) * | 2013-10-08 | 2014-01-29 | 华南理工大学 | 一种基于知识库的三维x射线断层扫描检测***及方法 |
| CN103559499A (zh) * | 2013-10-09 | 2014-02-05 | 华南理工大学 | 一种rgb矢量匹配快速识别***及方法 |
| CN104075659A (zh) * | 2014-06-24 | 2014-10-01 | 华南理工大学 | 一种基于rgb结构光源的三维成像识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104573635A (zh) | 2015-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111028213B (zh) | 图像缺陷检测方法、装置、电子设备及存储介质 | |
| CN110866924B (zh) | 一种线结构光中心线提取方法及存储介质 | |
| CN108921176B (zh) | 一种基于机器视觉的指针式仪表定位与识别方法 | |
| CN107578418B (zh) | 一种融合色彩和深度信息的室内场景轮廓检测方法 | |
| CN105956582B (zh) | 一种基于三维数据的人脸识别*** | |
| US10192313B2 (en) | Networked capture and 3D display of localized, segmented images | |
| CN106709950B (zh) | 一种基于双目视觉的巡线机器人跨越障碍导线定位方法 | |
| CN108369650B (zh) | 标识校准图案的可能特征点的方法 | |
| US20240135583A1 (en) | System and method for efficiently scoring probes in an image with a vision system | |
| KR102073468B1 (ko) | 비전 시스템에서 컬러 이미지에 대해 컬러 후보 포즈들의 점수화를 위한 시스템 및 방법 | |
| CN104573635B (zh) | 一种基于三维重建的微小高度识别方法 | |
| CN111415376B (zh) | 汽车玻璃亚像素轮廓提取方法及汽车玻璃检测方法 | |
| CN107545247B (zh) | 基于双目识别的立体认知方法 | |
| TW201516969A (zh) | 視訊物件追蹤方法 | |
| CN108090492B (zh) | 基于尺度线索抑制的轮廓检测方法 | |
| CN115937203A (zh) | 一种基于模板匹配的视觉检测方法、装置、设备及介质 | |
| CN108764343B (zh) | 一种跟踪算法中的跟踪目标框的定位方法 | |
| CN116883945B (zh) | 一种融合目标边缘检测和尺度不变特征变换的人员识别定位方法 | |
| CN113781413A (zh) | 一种基于Hough梯度法的电解电容定位方法 | |
| CN117893550A (zh) | 一种基于场景仿真的复杂背景下运动目标分割方法 | |
| CN117292076A (zh) | 工程机械局部作业场景动态三维重构方法及*** | |
| CN106934846B (zh) | 一种布料图像处理方法及*** | |
| Zhang et al. | Research on chips’ defect extraction based on image-matching | |
| Cheng et al. | Power pole detection based on graph cut | |
| CN116596987A (zh) | 一种基于双目视觉的工件三维尺寸高精度测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |