CN112465809B - 一种基于图像识别的模具缺陷检测方法、计算机可读存储介质及装置 - Google Patents
一种基于图像识别的模具缺陷检测方法、计算机可读存储介质及装置 Download PDFInfo
- Publication number
- CN112465809B CN112465809B CN202011475659.4A CN202011475659A CN112465809B CN 112465809 B CN112465809 B CN 112465809B CN 202011475659 A CN202011475659 A CN 202011475659A CN 112465809 B CN112465809 B CN 112465809B
- Authority
- CN
- China
- Prior art keywords
- image
- mold
- detected
- sub
- pole
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 115
- 238000001514 detection method Methods 0.000 title claims abstract description 84
- 238000003860 storage Methods 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 131
- 238000012797 qualification Methods 0.000 claims abstract description 9
- 238000004590 computer program Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 66
- 239000011159 matrix material Substances 0.000 claims description 52
- 238000005520 cutting process Methods 0.000 claims description 32
- 239000013598 vector Substances 0.000 claims description 31
- 238000012937 correction Methods 0.000 claims description 30
- 238000003702 image correction Methods 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 6
- 238000007689 inspection Methods 0.000 abstract description 30
- 238000005265 energy consumption Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000011160 research Methods 0.000 description 11
- 238000004519 manufacturing process Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 238000011835 investigation Methods 0.000 description 6
- 230000001788 irregular Effects 0.000 description 5
- 230000002950 deficient Effects 0.000 description 4
- 238000013178 mathematical model Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
- G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于图像识别的模具缺陷检测方法,包括:标准样本图像信息的获取、待检测模具图像信息的获取以及对比匹配,判断待检测模具是否符合合格标准;如果符合,则待检测模具为合格模具;如果不符合,则重复上述过程,如果仍不符合第二预设标准,则认定待检测模具为不合格模具。本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述方法的步骤。本发明还提供了一种缺陷检测装置,包括标准样本图像信息获取模块、待检测模具图像信息获取模块以及对比匹配模块,能够提高工作效率的同时且满足质检精度需求,解决了质检工作繁琐、耗费精力,企业面临质检工人工资高、对工人的技术要求高的难题。
Description
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种基于图像识别的模具缺陷检测方法、计算机可读存储介质及装置。
背景技术
在模具加工和生产领域,对于模具的质检要求很高,如果模具出现缺陷,发生漏检或者误检的问题,生产车间以缺陷模具为基准进行批量生产,会造成大批量元件的浪费、成本的大大增加、也会耽误工期,产生的后果难以想象。
目前的模具加工和生产领域,基本以人工质检、人工排查为主,质检工人对于模具的尺寸等指标的检测,往往用卡尺来进行人工检测,耗费时间长、工作效率低。另外,很多的模具形状各异、结构复杂,涉及图案检测、形状检测、数字检测、同轴度等,需要核对排查的技术指标比较多,而且由于模具的图案是镜像结构,因此,质检工作相当繁琐、耗费精力,对于质检工人的要求极高,企业面临质检工人工资高、工人难招、对工人的技术要求高的难题,而且容易发生误检,不够准确,造成重大损失,因此,亟待研究一种效率更高、精准度更高的模具缺陷检测方法,能够在有限的时间片段里,尽可能越多且越准确地进行模具缺陷检测,来满足模具厂的需求。
应该注意,上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明,并方便本领域技术人员的理解而阐述的。不能仅仅因为这些技术方案在本发明的技术背景部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
本发明的目的在于提供一种效率更高、精准度更高的模具缺陷检测方法、计算机可读存储介质及装置,能够大大提高工作效率的同时且能够满足质检精度需求,能够让用户在有限的时间片段里,尽可能越多且越准确地进行模具缺陷检测,解决了质检工作相当繁琐、耗费精力,对于质检工人的要求极高,企业面临质检工人工资高、工人难招、对工人的技术要求高的难题以及容易发生误检、准确率不高容易造成重大损失的弊端,具有重要的研究意义和使用价值。
为实现上述目的,本发明提供了以下技术方案:
本发明提供了一种基于图像识别的模具缺陷检测方法,包括:
步骤S1,标准样本图像信息的获取;根据第一预设合格标准、挑选出合格模具作为标准样本,对所述标准样本进行图像处理,获取所述标准样本的图像信息;
步骤S2,待检测模具图像信息的获取;分别对待检测模具进行图像处理,获取经过所述图像处理后的待检测模具图像信息;
步骤S3,对比匹配;根据第二预设合格标准,对所述步骤S2中获取的所述待检测模具图像信息分别与所述步骤S1中获取的所述标准样本的图像信息进行对比匹配;判断所述待检测模具是否符合所述第二预设合格标准;
如果符合,则所述待检测模具为合格模具;
如果不符合,则重复所述步骤S2和所述步骤S3的过程,如果仍不符合所述第二预设标准,则认定所述待检测模具为不合格模具。
可选地,所述步骤S2中的所述图像处理包括:
步骤S21,图像采集;对待检测模具进行图像采集,获得待检测模具的初步图像;
步骤S22,图像矫正;对所述待检测模具的所述初步图像进行图像矫正。
可选地,所述步骤S22图像矫正为基于任意外接四边形的图像透视矫正,包括:
步骤S220:获取所述待检测模具的所述初步图像的最小外接矩形;
最小外接矩形的获取过程包括:
步骤S2201:灰度化处理;对所述初步图像进行灰度化处理,得到灰度图像;
步骤S2202:二值化处理;对所述步骤S2201得到的灰度图像进行图像二值化处理;
步骤S2203:获取所述待检测模具的边缘轮廓;
步骤S2204:外接矩形的获取;获得能够将步骤S2203获得的所述待检测模具的边缘轮廓包围起来的若干个外接矩形;
步骤S2205:面积计算;计算所述步骤S2204获得的各外接矩形的面积;
步骤S2206:面积大小比较;对比各外接矩形的面积大小,面积最小的外接矩形为最小外接矩形;
步骤S221:基于所述最小外接矩形的四个顶点坐标对所述最小外接矩形进行透视矫正;
步骤S222:对经过所述步骤S221透视矫正后的图像进行边界扩展;
所述边界扩展过程包括:
边界扩展前的图像数据矩阵用Fm×n表示,边界扩展后的图像数据矩阵用F′m′×n′表示,边界扩展层数为p,
矩阵
将矩阵Fm×n中的数值,从Fpp开始,依次赋值到F′m′×n′中,边界扩展后图像数据矩阵尺寸满足:m′=m+2p,n′=n+2p,F'i+p,j+p=Fi,j;
赋值后得到边界扩展后的图像矩阵F″m′×n′,
其中,矩阵E表示的是所有元素都为255的矩阵,
其中,
步骤S223:极点坐标的获取,极点坐标的获取过程包括:
步骤S2231:对经过所述步骤S222边界扩展后的图像进行灰度化处理;
步骤S2232:对经过步骤S2231灰度化处理后的图像分别进行上、下、左、右各方向的遍历,获得各像素点的灰度值;
步骤S2233:分别比较上、下、左、右各方向中各自灰度值的大小,上、下、左、右各方向对应的灰度值最小的点分别为第一极点、第二极点、第三极点和第四极点;
步骤S224:获取模具图像的外接四边形,所述外接四边形的四条边分别过所述第一极点、第二极点、第三极点和第四极点,所述外接四边形能够将所述待检测模具的边缘轮廓包围起来;
步骤S225:获取所述步骤S224的外接四边形的顶点坐标;
步骤S226:利用所述外接四边形的顶点坐标,进行图像透视矫正。
可选地,所述步骤S224获取模具图像的外接四边形,包括:
步骤S2241:根据笛卡尔坐标,获取所述第一极点的坐标,所述第一极点的坐标为(t0,t1),所述第一极点位于所述待检测模具图像的上方,所述待检测模具图像的宽度为xmax,将所述待检测模具图像以x=0.5xmax为对称轴均分为第一区域图像和第二区域图像,所述第二区域图像上点的横坐标大于所述第一区域图像上点的横坐标;
步骤S2242:判断t0与0.5xmax的大小;
如果,t0<0.5xmax,
则所述第一极点位于所述第一区域图像上;
获得所述第二区域图像边缘上的点(xmax,n);
基于两点式直线方程获得直线方程:
将所述第二区域图像点的横坐标带入所述直线方程得到纵坐标:(x,y);
依次遍历x=0.5xmax到x=xmax之间的点,获得所述待检测模具图像在点(x,y)的灰度值:g(x,y);
判断g(x,y)与255的大小;
如果,g(x,y)≠255,则,所述点(x,y)为所述待检测模具图像背景区域上的点,
如果,g(x,y)=255,则,所述点(x,y)为所述模具图像上的点,此时,对应的点的坐标为(xmax,nend),过所述第一极点的外接四边形的一条边的直线方程为:
可选地,所述步骤S3还包括:
对所述不合格模具的缺陷位置进行标记处理。
可选地,所述标记处理为采用N分法匹配图像算法确定缺陷位
置,包括:
步骤S31:分别对所述步骤S2中获取的所述待检测模具图像与所述步骤S1中获取的所述标准样本图像进行切割,得到所述待检测模具图像的子图像与所述标准样本图像的子图像;
步骤S32:根据图像相似度定义,分别计算所述待检测模具图像的子图像与对应的所述标准样本图像的子图像的余弦匹配值cosθ;
将在R、G、B三个通道上的三个矩阵整理成一个向量,求出所述向量的模,每个所述子图像有3m个特征,每个所述子图像看成一个3m×1的列向量,记为A与B,
步骤S33:分别比较余弦匹配值cosθ的大小,找到余弦匹配值 cosθ的最小值对应的子图像位置,重复步骤S31和步骤S32,直至达到子图像预设切割尺寸;
步骤S34:对余弦匹配值cosθ的最小值对应的子图像进行标记处理,所述标记处理位置为不合格模具的缺陷位置;
其中,xlt与ylt是不合格模具的缺陷位置标记处理图形的第一顶点的横坐标和纵坐标;H(k)和W(k)是第k次切割后切割矩形的高度和宽度;N是2以上的正整数;K是总的切割次数;Cmin(k)是第k次切割并将所述待检测模具图像的子图像与所述标准样本图像的子图像匹配后余弦值最小的子图像的索引值;所述不合格模具的缺陷位置标记处理图形的第二、第三、第四三个顶点的横纵坐标为:
xlb=xlt,ylb=ylt+H(K)
xrt=xlt+W(K),yrt=ylt
xrb=xlt+W(K),yrb=ylt+H(K)。
可选地,所述标记处理为采用二分法匹配图像算法确定缺陷位置, N=2,Cmin(k)从C2子图像索引向量中取值:
C2=[0,1,2,3]T
I与J为横坐标索引向量与纵坐标索引向量,N=2,
I2=[0,0,1,1]T,J2=[0,1,0,1]T。
可选地,所述标记处理为采用三分法匹配图像算法确定缺陷位置, N=3,Cmin(k)从C3子图像索引向量中取值:
C3=[0,1,2,3,4,5,6,7,8]T
I与J为横坐标索引向量与纵坐标索引向量,N=3,
I3=[0,0,0,1,1,1,2,2,2]T,J3=[0,1,2,0,1,2,0,1,2]T。
可选地,所述标记处理为采用五分法匹配图像算法确定缺陷位置, N=5,Cmin(k)从C5子图像索引向量中取值:
C5=[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24]T
I与J为横坐标索引向量与纵坐标索引向量,N=5,
I5=[0,0,0,0,0,1,1,1,1,1,2,2,2,2,2,3,3,3,3,3,4,4,4,4,4]T
J5=[0,1,2,3,4,0,1,2,3,4,0,1,2,3,4,0,1,2,3,4,0,1,2,3,4]T。
可选地,所述缺陷检测方法还包括对背景图像进行采集,对采集到的所述背景图像进行预处理。
可选地,所述预处理包括滤波和均衡化。
本发明提供了一种基于图像识别的模具缺陷检测装置,所述模具缺陷检测装置包括标准样本图像信息获取模块、待检测模具图像信息获取模块以及分别与所述标准样本图像信息获取模块、所述待检测模具图像信息获取模块连接的对比匹配模块;
所述标准样本图像信息获取模块用于根据第一预设合格标准、挑选出合格模具作为标准样本,对所述标准样本进行图像处理,获取所述标准样本的图像信息;
所述待检测模具图像信息获取模块用于对待检测模具进行图像处理,获取经过所述图像处理后的待检测模具图像信息;
所述对比匹配模块用于根据第二预设合格标准,对所述标准样本图像信息获取模块获取的所述待检测模具图像信息分别与所述待检测模具图像信息获取模块获取的所述标准样本的图像信息进行对比匹配;判断所述待检测模具是否符合所述第二预设合格标准;
如果符合,则所述对比匹配模块判定所述待检测模具为合格模具;
如果不符合,则所述待检测模具图像信息获取模块再次对待检测模具进行图像处理,获取经过所述图像处理后的待检测模具图像信息,如果仍不符合所述第二预设标准,则所述对比匹配模块判定所述待检测模具为不合格模具。
可选地,所述待检测模具图像信息获取模块还包括用于对待检测模具进行图像处理的图像处理模块,所述图像处理模块包括相互连接的图像采集模块和图像矫正模块;
所述图像采集模块用于对待检测模具进行图像采集,获得待检测模具的初步图像;
所述图像矫正模块用于对所述图像采集模块采集获得的所述待检测模具的所述初步图像进行图像矫正。
本发明提供的技术方案中,通过以下三个步骤来进行模具缺陷检测,包括:步骤S1,标准样本图像信息的获取;根据第一预设合格标准、挑选出合格模具作为标准样本,对所述标准样本进行图像处理,获取所述标准样本的图像信息;步骤S2,待检测模具图像信息的获取;分别对待检测模具进行图像处理,获取经过所述图像处理后的待检测模具图像信息;步骤S3,对比匹配;根据第二预设合格标准,对所述步骤S2中获取的所述待检测模具图像信息分别与所述步骤S1 中获取的所述标准样本的图像信息进行对比匹配;判断所述待检测模具是否符合所述第二预设合格标准;如果符合,则所述待检测模具为合格模具;
如果不符合,则重复所述步骤S2和所述步骤S3的过程,如果仍不符合所述第二预设标准,则认定所述待检测模具为不合格模具。该方法效率更高、精准度更高。然而,目前的模具加工和生产领域,基本以人工质检、人工排查为主,质检工人对于模具的尺寸等指标的检测,往往用卡尺来进行人工检测,耗费时间长、工作效率低。另外,很多的模具形状各异、结构复杂,涉及图案检测、形状检测、数字检测、同轴度等,需要核对排查的技术指标比较多,而且由于模具的图案是镜像结构,因此,质检工作相当繁琐、耗费精力,对于质检工人的要求极高,企业面临质检工人工资高、工人难招、对工人的技术要求高的难题,而且容易发生误检,不够准确,造成重大损失,本发明提供的基于图像识别的模具缺陷检测方法,基于图像识别技术,能够根据预设合格标准,对获取的待检测模具图像信息分别与获取的标准样本的图像信息进行对比匹配;判断待检测模具是否符合预设合格标准,从而来进行模具缺陷检测,是一种新兴的、效率更高、精准度更高的模具缺陷检测方法,能够在有限的时间片段里,尽可能越多且越准确地进行模具缺陷检测,来满足模具厂的需求,使得企业不再受质检工人工资高、工人难招、对工人的技术要求高的困扰,也大大提高了质检效率,有效降低了企业的成本。
为了提高准确率和精确度,在本发明的优选方案中,步骤S2中的图像处理包括以下两个步骤:步骤S21,图像采集;对待检测模具进行图像采集,获得待检测模具的初步图像;步骤S22,图像矫正;对待检测模具的所述初步图像进行图像矫正。图像矫正过程即为对失真图像进行的复原性处理,在实际处理过程中,引起图像失真的原因有很多种:成象***的象差、畸变、带宽有限等造成的图像失真,由于成象器件拍摄姿态和扫描非线性引起的图像几何失真,由于运动模糊、辐射失真、引入噪声等造成的图像失真,本发明基于图像识别技术,能够根据图像识别技术进行模具缺陷检测,为了提高准确度,本发明能够根据图像识别技术进行模具缺陷检测过程中,能够根据图像失真原因,建立相应的数学模型,从被污染或畸变的图像信号中提取所需要的信息,沿着使图像失真的逆过程恢复图像本来面貌。大大提高了图像的准确度,有效提高了获取的待检测模具图像信息分别与获取的标准样本的图像信息进行对比匹配的过程中的准确程度和精确程度,误差小、效率高、准确度高。
为了获得更加清晰的图像数据,从而提高准确率和精确度,在本发明的优选方案中,步骤S22图像矫正为基于任意外接四边形的图像透视矫正,该方法包括以下几个步骤:步骤S220:获取待检测模具的所述初步图像的最小外接矩形;步骤S221:基于最小外接矩形的四个顶点坐标对最小外接矩形进行透视矫正;步骤S222:对经过步骤S221透视矫正后的图像进行边界扩展;步骤S223:极点坐标的获取,极点坐标的获取过程包括:步骤S224:获取模具图像的外接四边形,外接四边形的四条边分别过第一极点、第二极点、第三极点和第四极点,外接四边形能够将待检测模具的边缘轮廓包围起来;步骤 S225:获取步骤S224的外接四边形的顶点坐标;步骤S226:利用外接四边形的顶点坐标,进行图像透视矫正。现有的模具缺陷检测过程一般都是人工进行质检,虽然有一些企业也在应用一些智能检测方法和手段,但是并没有图像矫正环节,如此一来,得到的待检测模具的初步图像并不够精确,也就造成了后续的图像对比过程精确度和准确度的降低,此外,目前针对类矩形或者近似矩形的几何形状或几何物体进行矫正的方法更是在市面上没有见过,更没有在模具缺陷检测方面进行过相应的应用和尝试,本发明基于图像识别的模具缺陷检测方法过程中,增加了图像矫正过程,且采用基于任意外接四边形的图像透视矫正方法,方法简单、精度高、效率高。本发明基于图像识别的模具缺陷检测方法,就类矩形或者近似矩形的几何形状或几何物体进行透视矫正提供了新的方法,也就是说,对于不太规则的物体或者几何图形的畸变进行了矫正,相对于传统的规整矩形的透视矫正来说,本发明的技术方案对不规整的图形进行了透视矫正。这种方法对与不规整图形的畸变的透视矫正开辟了一种新的思路,具有重要的研究意义和使用价值。
在本发明的优选方案中,最小外接矩形的获取过程包括:步骤 S2201:灰度化处理;对初步图像进行灰度化处理,得到灰度图像;步骤S2202:二值化处理;对步骤S2201得到的灰度图像进行图像二值化处理;步骤S2203:获取待检测模具的边缘轮廓;步骤S2204:外接矩形的获取;获得能够将步骤S2203获得的待检测模具的边缘轮廓包围起来的若干个外接矩形;步骤S2205:面积计算;计算步骤 S2204获得的各外接矩形的面积;步骤S2206:面积大小比较;对比各外接矩形的面积大小,面积最小的外接矩形为最小外接矩形;本发明基于图像识别的模具缺陷检测方法过程中,增加了最小外接矩形的获取过程,方法简单、精度高、效率高,具有重要的研究意义和使用价值。
在实际应用过程中,通过对模具图片的矫正时发现通过最小外接矩形矫正之后,被矫正的图形往往不能充满整个图像,往往会有一些边界不能与图像的边界重合,造成数据的误差,提高了对比过程中的失误率,这就需要进一步矫正,因此本发明的模具缺陷检测中,针对不规则的类矩形物体,在基于最小外接矩形透视矫正的基础上,用基于任意外接四边形的方法再透视矫正一次,如此一来,被矫正图像的边界就基本与图像重合,有助于图像的进一步分析,本发明的模具缺陷检测中“基于任意外接四边形”透视矫正类矩形或者近似矩形的几何图形,扩大了透视矫正方法的使用范围方法简单、精度高、效率高,具有重要的研究意义和使用价值。
在本发明的优选方案中,对经过步骤S221透视矫正后的图像进行边界扩展;边界扩展过程包括:
边界扩展前的图像数据矩阵用Fm×n表示,边界扩展后的图像数据矩阵用F′m′×n′表示,边界扩展层数为p,
矩阵
将矩阵Fm×n中的数值,从Fpp开始,依次赋值到F′m′×n′中,边界扩展后图像数据矩阵尺寸满足:m′=m+2p,n′=n+2p,F'i+p,j+p=Fi,j;
赋值后得到边界扩展后的图像矩阵F″m′×n′,
其中,矩阵E表示的是所有元素都为255的矩阵,
其中,
针对边界扩展过程,其实相当于对数据进行的操作过程,将nxn 的矩阵变成(n+m)x(n+m)的矩阵,比如说将一个5x5的矩阵变成10x10的矩阵,如果想要计算图像中的模具的最上、最下、最左、最右侧的点的坐标,然后基于这些点的坐标做模具四个方向的边的切线,再获得四个边的交点坐标,如果不进行边界扩展的话,四个边的交点很有可能落在图像的外侧,因此扩展边界,让点落在图像里面,有助于进一步操作。但是就扩展边界来说,目前大家一般的思路会是在图的上边加n行,图的下边加n行,左边加n列,右边加n列,而本发明的边界扩展的方法是逆着来操作,先准备好一个空的大矩阵,然后把原来的小矩阵放到这个大矩阵中间,即,将矩阵Fm×n中的数值,从Fpp开始,依次赋值到F′m′×n′中,边界扩展后图像数据矩阵尺寸满足一定的条件,从而赋值后得到边界扩展后的图像矩阵F′m′×n′,该方法相对于传统的思路来说,计算效率更高。
在本发明的优选方案中,步骤S223:极点坐标的获取过程包括:步骤S2231:对经过步骤S222边界扩展后的图像进行灰度化处理;步骤S2232:对经过步骤S2231灰度化处理后的图像分别进行上、下、左、右各方向的遍历,获得各像素点的灰度值;步骤S2233:分别比较上、下、左、右各方向中各自灰度值的大小,上、下、左、右各方向对应的灰度值最小的点分别为第一极点、第二极点、第三极点和第四极点;本发明基于图像识别的模具缺陷检测方法过程中,增加了极点坐标的获取过程,方法简单、精度高、效率高,具有重要的研究意义和使用价值。
在本发明的优选方案中,步骤S224获取模具图像的外接四边形,包括:步骤S2241:根据笛卡尔坐标,获取第一极点的坐标,第一极点的坐标为(t0,t1),第一极点位于待检测模具图像的上方,待检测模具图像的宽度为xmax,将待检测模具图像以x=0.5xmax为对称轴均分为第一区域图像和第二区域图像,第二区域图像上点的横坐标大于第一区域图像上点的横坐标,还包括步骤S2242。
步骤S2242为:
判断t0与0.5xmax的大小;
如果,t0<0.5xmax,
则第一极点位于第一区域图像上;
获得第二区域图像边缘上的点(xmax,n);
基于两点式直线方程获得直线方程:
将第二区域图像点的横坐标带入直线方程得到纵坐标:(x,y);
依次遍历x=0.5xmax到x=xmax之间的点,获得待检测模具图像在点(x,y)的灰度值:g(x,y);
判断g(x,y)与255的大小;
如果,g(x,y)≠255,则,点(x,y)为待检测模具图像背景区域上的点,
如果,g(x,y)=255,则,点(x,y)为模具图像上的点,此时,对应的点的坐标为(xmax,nend),过第一极点的外接四边形的一条边的直线方程为:
如此一来,可以得到过第一极点的外接四边形的一条边,重复上边的方法,从而能够相应的得到分别过第二极点、第三极点、第四极点的外接四边形的一条边的直线方程,也就能够分别获得外接四边形的四条边,四条边即可组成步骤S224中获取到的模具图像的外接四边形。本发明基于图像识别的模具缺陷检测方法过程中,增加了获取模具图像的外接四边形的过程,方法简单、精度高、效率高,具有重要的研究意义和使用价值。
在本发明的优选方案中,为了明显的给操作工人以提示,本发明步骤S3还包括:对不合格模具的缺陷位置进行标记处理,标记处理可以为画圈、划线、打钩等各种标记方式,能够准确的指出待检测模具和标准模具之间存在差异的地方,供技术工人参考,简单方便、清晰简明。
在本发明的优选方案中,标记处理为采用N分法匹配图像算法确定缺陷位置,包括:步骤S31:分别对步骤S2中获取的待检测模具图像与对步骤S1中获取的标准样本图像进行切割,得到待检测模具图像的子图像与标准样本图像的子图像;步骤S32:根据图像相似度定义,分别计算待检测模具图像的子图像与对应的标准样本图像的子图像的余弦匹配值cosθ;将在R、G、B三个通道上的三个矩阵整理成一个向量,求出向量的模,每个子图像有3m个特征,每个子图像看成一个3m×1的列向量,记为A与B,
步骤S33:分别比较余弦匹配值cosθ的大小,找到余弦匹配值 cosθ的最小值对应的子图像位置,重复步骤S31和步骤S32,直至达到子图像预设切割尺寸;步骤S34:对余弦匹配值cosθ的最小值对应的子图像进行标记处理,所述标记处理位置为不合格模具的缺陷位置;
其中,xlt与ylt是不合格模具的缺陷位置标记处理图形的第一顶点的横坐标和纵坐标;H(k)和W(k)是第k次切割后切割矩形的高度和宽度;N是2以上的正整数;K是总的切割次数;Cmin(k)是第k次切割并将待检测模具图像的子图像与标准样本图像的子图像匹配后余弦值最小的子图像的索引值;不合格模具的缺陷位置标记处理图形的第二、第三、第四,三个顶点的横纵坐标为:
xlb=xlt,ylb=ylt+H(K)
xrt=xlt+W(K),yrt=ylt
xrb=xlt+W(K),yrb=ylt+H(K)。
本发明基于图像识别的模具缺陷检测方法过程中,通过采用N 分法匹配图像算法确定缺陷位置,可以自适应改变图像切割份数。根据不同场合的需求可以改变程序运算时间。比如说,对精度要求高的,就切割的细一些;对时间要求高的,就切割的粗一些。很方便地可以通过调整一两个参数值来调整切割大小。比如切割的份数,是二分法、三分法还是四分法都随意确定。具体切割次数也可以随意确定,比如说切一次、二次还是10次都可以随意改变。这样的话,根据不同场合对计算效率或计算时间的需求,来自适应地改变这两个参数值,以满足不同场合的需求,方法简单、精度高、效率高,具有重要的研究意义和使用价值。
在本发明的优选方案中,缺陷检测方法还包括对背景图像进行采集,对采集到的背景图像进行预处理。图像预处理的主要目的是消除图像中无关的信息,恢复有用的真实信息,增强有关信息的可检测性和最大限度地简化数据,从而改进特征抽取、图像分割、匹配和识别的可靠性,因此,本发明的模具缺陷检测方法中,对背景图像进行预处理,能够有效消除背景图像中的无关信息,增加背景图像与实体图像之间的差别,对比性更加明显,从而使得获取的数据更加准确。
在本发明的优选方案中,预处理包括滤波和均衡化。滤波过程不仅能够消除噪声,还能够在消除噪声的基础上,更多地保留图像灰度分布特征,总体均衡化过程能够将原始图像的直方图变换成均匀分布的形式,从而提高图像的对比度。
本发明提供的一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述权利要求任一项所述方法的步骤。
本发明提供的一种基于图像识别的模具缺陷检测装置的技术方案中,包括以下几个模块:标准样本图像信息获取模块、待检测模具图像信息获取模块以及分别与所述标准样本图像信息获取模块、所述待检测模具图像信息获取模块连接的对比匹配模块;所述标准样本图像信息获取模块用于根据第一预设合格标准、挑选出合格模具作为标准样本,对所述标准样本进行图像处理,获取所述标准样本的图像信息;所述待检测模具图像信息获取模块用于对待检测模具进行图像处理,获取经过所述图像处理后的待检测模具图像信息;所述对比匹配模块用于根据第二预设合格标准,对所述标准样本图像信息获取模块获取的所述待检测模具图像信息分别与所述待检测模具图像信息获取模块获取的所述标准样本的图像信息进行对比匹配;判断所述待检测模具是否符合所述第二预设合格标准;如果符合,则所述对比匹配模块判定所述待检测模具为合格模具;如果不符合,则所述待检测模具图像信息获取模块再次对待检测模具进行图像处理,获取经过所述图像处理后的待检测模具图像信息,如果仍不符合所述第二预设标准,则所述对比匹配模块判定所述待检测模具为不合格模具。该缺陷检测装置能够效率更高、精准度更高的进行模具缺陷检测。然而,目前的模具加工和生产领域,基本以人工质检、人工排查为主,质检工人对于模具的尺寸等指标的检测,往往用卡尺来进行人工检测,耗费时间长、工作效率低。另外,很多的模具形状各异、结构复杂,涉及图案检测、形状检测、数字检测、同轴度等,需要核对排查的技术指标比较多,而且由于模具的图案是镜像结构,因此,质检工作相当繁琐、耗费精力,对于质检工人的要求极高,企业面临质检工人工资高、工人难招、对工人的技术要求高的难题,而且容易发生误检,不够准确,造成重大损失,本发明提供的基于图像识别的模具缺陷检测装置,包括以下几个模块:标准样本图像信息获取模块、待检测模具图像信息获取模块以及分别与所述标准样本图像信息获取模块、所述待检测模具图像信息获取模块连接的对比匹配模块,基于图像识别技术,能够根据预设合格标准,对获取的待检测模具图像信息分别与获取的标准样本的图像信息进行对比匹配;判断待检测模具是否符合预设合格标准,从而来进行模具缺陷检测,是一种新兴的、效率更高、精准度更高的模具缺陷检测方法,能够在有限的时间片段里,尽可能越多且越准确地进行模具缺陷检测,来满足模具厂的需求,使得企业不再受质检工人工资高、工人难招、对工人的技术要求高的困扰,也大大提高了质检效率,有效降低了企业的成本。
在本发明的优选方案中,待检测模具图像信息获取模块还包括用于对待检测模具进行图像处理的图像处理模块,所述图像处理模块包括相互连接的图像采集模块和图像矫正模块;所述图像采集模块用于对待检测模具进行图像采集,获得待检测模具的初步图像;所述图像矫正模块用于对所述图像采集模块采集获得的所述待检测模具的所述初步图像进行图像矫正。图像矫正模块的矫正过程即为对失真图像进行的复原性处理,在实际处理过程中,引起图像失真的原因有很多种:成象***的象差、畸变、带宽有限等造成的图像失真,由于成象器件拍摄姿态和扫描非线性引起的图像几何失真,由于运动模糊、辐射失真、引入噪声等造成的图像失真,本发明基于图像识别技术,能够根据图像识别技术进行模具缺陷检测,为了提高准确度,本发明能够根据图像识别技术进行模具缺陷检测过程中,能够根据图像失真原因,建立相应的数学模型,从被污染或畸变的图像信号中提取所需要的信息,沿着使图像失真的逆过程恢复图像本来面貌。大大提高了图像的准确度,有效提高了获取的待检测模具图像信息分别与获取的标准样本的图像信息进行对比匹配的过程中的准确程度和精确程度,误差小、效率高、准确度高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中缺陷检测方法流程图;
图2是本发明实施例中缺陷检测方法中图像处理流程图;
图3是本发明实施例中基于任意外接四边形的图像透视矫正流程图;
图4是本发明实施例中最小外接矩形的获取流程图;
图5是本发明实施例中极点坐标的获取流程图;
图6是本发明实施例中采用N分法匹配图像算法确定缺陷位置的标记处理流程图;
图7是本发明实施例中缺陷检测装置结构示意图;
图8是本发明实施例中缺陷检测装置中图像处理模块结构示意图;
图9是本发明实施例中获取模具图像的外接四边形第一极点获取第一种情况示意图;
图10是本发明实施例中获取模具图像的外接四边形第一极点获取第二种情况示意图;
图11是本发明实施例中获取模具图像的外接四边形第二极点获取第一种情况示意图;
图12是本发明实施例中获取模具图像的外接四边形第二极点获取第二种情况示意图;
图13是本发明实施例中获取模具图像的外接四边形第三极点获取第一种情况示意图;
图14是本发明实施例中获取模具图像的外接四边形第三极点获取第二种情况示意图;
图15是本发明实施例中获取模具图像的外接四边形第四极点获取第一种情况示意图;
图16是本发明实施例中获取模具图像的外接四边形第四极点获取第二种情况示意图;
图17是本发明实施例中基于任意外接四边形的图像透视矫正示意图一;
图18是本发明实施例中基于任意外接四边形的图像透视矫正示意图二;
图19是本发明实施例中N分法匹配图像算法确定缺陷位置切割示意图;
图20是本发明实施例中对不合格模具的缺陷位置进行标记处理示意图;
图21是本发明实施例中二分法匹配图像算法确定缺陷位置索引值引用示意图;
图22是本发明实施例中二分法匹配图像算法确定缺陷位置切割示意图。
101、标准样本图像信息获取模块;201、待检测模具图像信息获取模块;2001、图像处理模块;301、对比匹配模块;20010、图像采集模块;20011、图像矫正模块。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将对本发明的技术方案进行详细的描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式,都属于本发明所保护的范围。
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或者类似的元件或者具有相同或者类似功能的元件,下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。相反,本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
目前的模具加工和生产领域,基本以人工质检、人工排查为主,质检工人对于模具的尺寸等指标的检测,往往用卡尺来进行人工检测,耗费时间长、工作效率低。另外,很多的模具形状各异、结构复杂,涉及图案检测、形状检测、数字检测、同轴度等,需要核对排查的技术指标比较多,而且由于模具的图案是镜像结构,因此,质检工作相当繁琐、耗费精力,对于质检工人的要求极高,企业面临质检工人工资高、工人难招、对工人的技术要求高的难题,而且容易发生误检,不够准确,造成重大损失,因此,亟待研究一种效率更高、精准度更高的模具缺陷检测方法,能够在有限的时间片段里,尽可能越多且越准确地进行模具缺陷检测,来满足模具厂的需求。
本发明提供一种基于图像识别的模具缺陷检测方法,如图1-图 20所示,包括以下几个步骤:
步骤S1,标准样本图像信息的获取;根据第一预设合格标准、挑选出合格模具作为标准样本,对标准样本进行图像处理,获取标准样本的图像信息;
步骤S2,待检测模具图像信息的获取;分别对待检测模具进行图像处理,获取经过图像处理后的待检测模具图像信息;
步骤S3,对比匹配;根据第二预设合格标准,对步骤S2中获取的待检测模具图像信息分别与步骤S1中获取的标准样本的图像信息进行对比匹配;判断待检测模具是否符合第二预设合格标准;
如果符合,则待检测模具为合格模具;
如果不符合,则重复步骤S2和步骤S3的过程,如果仍不符合第二预设标准,则认定待检测模具为不合格模具。该方法效率更高、精准度更高。然而,目前的模具加工和生产领域,基本以人工质检、人工排查为主,质检工人对于模具的尺寸等指标的检测,往往用卡尺来进行人工检测,耗费时间长、工作效率低。另外,很多的模具形状各异、结构复杂,涉及图案检测、形状检测、数字检测、同轴度等,需要核对排查的技术指标比较多,而且由于模具的图案是镜像结构,因此,质检工作相当繁琐、耗费精力,对于质检工人的要求极高,企业面临质检工人工资高、工人难招、对工人的技术要求高的难题,而且容易发生误检,不够准确,造成重大损失,本发明提供的基于图像识别的模具缺陷检测方法,基于图像识别技术,能够根据预设合格标准,对获取的待检测模具图像信息分别与获取的标准样本的图像信息进行对比匹配;判断待检测模具是否符合预设合格标准,从而来进行模具缺陷检测,是一种新兴的、效率更高、精准度更高的模具缺陷检测方法,能够在有限的时间片段里,尽可能越多且越准确地进行模具缺陷检测,来满足模具厂的需求,使得企业不再受质检工人工资高、工人难招、对工人的技术要求高的困扰,也大大提高了质检效率,有效降低了企业的成本。
需要说明的是,第二预设合格标准为根据客户的需求自行设定的标准规范,可以根据自己的使用需求和对产品质检的严格程度来自行调整,在对比匹配过程中,根据客户自行设定的第二预设合格标准,对步骤S2中获取的待检测模具图像信息分别与步骤S1中获取的标准样本的图像信息进行对比匹配,判断待检测模具是否符合第二预设合格标准;如果符合,则待检测模具为合格模具;如果不符合,我们为了提高精确程度,并不会由此来判断待检测模具为不合格模具,以免造成失误,而是增加了二次确认甚至三次确认的过程,即如果不符合,则重复步骤S2和步骤S3的过程,如果仍不符合第二预设标准,则认定待检测模具为不合格模具。如此一来,大大提高了模具缺陷过程的精准程度。
为了提高准确率和精确度,于本发明的具体实施例中,如图2所示,步骤S2中的图像处理包括以下几个步骤:步骤S21,图像采集;对待检测模具进行图像采集,获得待检测模具的初步图像;步骤S22,图像矫正;对待检测模具的初步图像进行图像矫正。图像矫正过程即为对失真图像进行的复原性处理,在实际处理过程中,引起图像失真的原因有很多种:成象***的象差、畸变、带宽有限等造成的图像失真,由于成象器件拍摄姿态和扫描非线性引起的图像几何失真,由于运动模糊、辐射失真、引入噪声等造成的图像失真,本发明基于图像识别技术,能够根据图像识别技术进行模具缺陷检测,为了提高准确度,本发明能够根据图像识别技术进行模具缺陷检测过程中,能够根据图像失真原因,建立相应的数学模型,从被污染或畸变的图像信号中提取所需要的信息,沿着使图像失真的逆过程恢复图像本来面貌。大大提高了图像的准确度,有效提高了获取的待检测模具图像信息分别与获取的标准样本的图像信息进行对比匹配的过程中的准确程度和精确程度,误差小、效率高、准确度高。
为了获得更加清晰的图像数据,从而提高准确率和精确度,于本发明的具体实施例中,步骤S22图像矫正为基于任意外接四边形的图像透视矫正,如图3、图17和图18所示,该方法包括以下几个步骤:步骤S220:获取待检测模具的初步图像的最小外接矩形;步骤S221:基于最小外接矩形的四个顶点坐标对最小外接矩形进行透视矫正;步骤S222:对经过步骤S221透视矫正后的图像进行边界扩展;步骤 S223:极点坐标的获取,极点坐标的获取过程包括:步骤S224:获取模具图像的外接四边形,外接四边形的四条边分别过第一极点、第二极点、第三极点和第四极点,外接四边形能够将待检测模具的边缘轮廓包围起来;步骤S225:获取步骤S224的外接四边形的顶点坐标;步骤S226:利用外接四边形的顶点坐标,进行图像透视矫正。现有的模具缺陷检测过程一般都是人工进行质检,虽然有一些企业也在应用一些智能检测方法和手段,但是并没有图像矫正环节,如此一来,得到的待检测模具的初步图像并不够精确,也就造成了后续的图像对比过程精确度和准确度的降低,此外,目前针对类矩形或者近似矩形的几何形状或几何物体进行矫正的方法更是在市面上没有见过,更没有在模具缺陷检测方面进行过相应的应用和尝试,本发明具体实施例基于图像识别的模具缺陷检测方法过程中,增加了图像矫正过程,且采用基于任意外接四边形的图像透视矫正方法,方法简单、精度高、效率高。且本发明基于图像识别的模具缺陷检测方法,就类矩形或者近似矩形的几何形状或几何物体进行透视矫正提供了新的方法,也就是说,对于不太规则的物体或者几何图形的畸变进行了矫正,相对于传统的规整矩形的透视矫正来说,本发明的技术方案对不规整的图形进行了透视矫正,这种方法对与不规整图形的畸变的透视矫正开辟了一种新的思路,具有重要的研究意义和使用价值。
为了提高精确度和准确度,于本发明的具体实施例中,如图4所示,最小外接矩形的获取过程包括以下几个过程:步骤S2201:灰度化处理;对初步图像进行灰度化处理,得到灰度图像;步骤S2202:二值化处理;对步骤S2201得到的灰度图像进行图像二值化处理;步骤S2203:获取待检测模具的边缘轮廓;步骤S2204:外接矩形的获取;获得能够将步骤S2203获得的待检测模具的边缘轮廓包围起来的若干个外接矩形;步骤S2205:面积计算;计算步骤S2204获得的各外接矩形的面积;步骤S2206:面积大小比较;对比各外接矩形的面积大小,面积最小的外接矩形为最小外接矩形;本发明具体实施中的基于图像识别的模具缺陷检测方法过程,增加了最小外接矩形的获取过程,方法简单、精度高、效率高,具有重要的研究意义和使用价值。在实际应用过程中,通过对模具图片的矫正时发现通过最小外接矩形矫正之后,被矫正的图形往往不能充满整个图像,往往会有一些边界不能与图像的边界重合,造成数据的误差,提高了对比过程中的失误率,这就需要进一步矫正,因此本发明具体实施例中的模具缺陷检测过程中,针对不规则的类矩形物体,在基于最小外接矩形透视矫正的基础上,用基于任意外接四边形的方法再透视矫正一次,如此一来,被矫正图像的边界就基本与图像重合,有助于图像的进一步分析,本发明具体实施例中的模具缺陷检测中“基于任意外接四边形”透视矫正类矩形或者近似矩形的几何图形,扩大了透视矫正方法的使用范围方法简单、精度高、效率高,具有重要的研究意义和使用价值。
于本发明的具体实施例中,对经过步骤S221透视矫正后的图像进行边界扩展;边界扩展过程包括:
边界扩展前的图像数据矩阵用Fm×n表示,边界扩展后的图像数据矩阵用F′m′×n′表示,边界扩展层数为p,
矩阵
将矩阵Fm×n中的数值,从Fpp开始,依次赋值到F′m′×n′中,边界扩展后图像数据矩阵尺寸满足:m′=m+2p,n′=n+2p,F'i+p,j+p=Fi,j;
赋值后得到边界扩展后的图像矩阵F″m′×n′,
其中,矩阵E表示的是所有元素都为255的矩阵,
其中,
针对边界扩展过程,其实相当于对数据进行的操作过程,将nxn 的矩阵变成(n+m)x(n+m)的矩阵,比如说将一个5x5的矩阵变成10x10的矩阵,如果想要计算图像中的模具的最上、最下、最左、最右侧的点的坐标,然后基于这些点的坐标做模具四个方向的边的切线,再获得四个边的交点坐标,如果不进行边界扩展的话,四个边的交点很有可能落在图像的外侧,因此扩展边界,让点落在图像里面,有助于进一步操作。但是就扩展边界来说,目前大家一般的思路会是在图的上边加n行,图的下边加n行,左边加n列,右边加n列,而本发明具体实施例中边界扩展的方法是逆着来操作,先准备好一个空的大矩阵,然后把原来的小矩阵放到这个大矩阵中间,即,将矩阵 Fm×n中的数值,从Fpp开始,依次赋值到F′m′×n′中,边界扩展后图像数据矩阵尺寸满足一定的条件,从而赋值后得到边界扩展后的图像矩阵F″m'×n',该方法相对于传统的思路来说,计算效率更高。
于本发明的具体实施例中,如图5所示,步骤S223:极点坐标的获取过程包括:步骤S2231:对经过步骤S222边界扩展后的图像进行灰度化处理;步骤S2232:对经过步骤S2231灰度化处理后的图像分别进行上、下、左、右各方向的遍历,获得各像素点的灰度值;步骤S2233:分别比较上、下、左、右各方向中各自灰度值的大小,上、下、左、右各方向对应的灰度值最小的点分别为第一极点、第二极点、第三极点和第四极点;本发明基于图像识别的模具缺陷检测方法过程中,增加了极点坐标的获取过程,方法简单、精度高、效率高,具有重要的研究意义和使用价值。
需要说明的是,上、下、左、右各方向对应的灰度值最小的点分别为第一极点、第二极点、第三极点和第四极点,说明示出并描述了本申请的若干优选实施例,但如前所述,应当理解本申请并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述申请构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围,则都应在本申请所附权利要求的保护范围内。
于本发明的具体实施例中,根据笛卡尔坐标,获取极点坐标,会有多种情况,具体实施例:
如图9所示,步骤S224获取模具图像的外接四边形,包括:步骤S2241:根据笛卡尔坐标,获取第一极点的坐标,第一极点的坐标为(t0,t1),第一极点位于待检测模具图像的上方,待检测模具图像的宽度为xmax,将待检测模具图像以x=0.5xmax为对称轴均分为第一区域图像和第二区域图像,第二区域图像上点的横坐标大于第一区域图像上点的横坐标,还包括步骤S2242。
步骤S2242为:
判断t0与0.5xmax的大小;
如果,t0<0.5xmax,
则第一极点位于第一区域图像上;
获得第二区域图像边缘上的点(xmax,n);
基于两点式直线方程获得直线方程:
将第二区域图像点的横坐标带入直线方程得到纵坐标:(x,y);
依次遍历x=0.5xmax到x=xmax之间的点,其中,图中虚线为x=0.5xmax,获得待检测模具图像在点(x,y)的灰度值:g(x,y);
判断g(x,y)与255的大小;
如果,g(x,y)≠255,则,点(x,y)为待检测模具图像背景区域上的点,
如果,g(x,y)=255,则,点(x,y)为模具图像上的点,此时,对应的点的坐标为(xmax,nend),过第一极点的外接四边形的一条边的直线方程为:
如此一来,可以得到过第一极点的外接四边形的一条边,重复上边的方法,从而能够相应的得到分别过第二极点、第三极点、第四极点的外接四边形的一条边的直线方程,也就能够分别获得外接四边形的四条边,四条边即可组成步骤S224中获取到的模具图像的外接四边形。本发明基于图像识别的模具缺陷检测方法过程中,增加了获取模具图像的外接四边形的过程,方法简单、精度高、效率高,具有重要的研究意义和使用价值。
如图10所示,
步骤S2241:根据笛卡尔坐标,获取第一极点的坐标,第一极点的坐标为(t0,t1),第一极点位于所述待检测模具图像的上方,待检测模具图像的宽度为xmax,将待检测模具图像以x=0.5xmax为对称轴均分为第一区域图像和第二区域图像,第二区域图像上点的横坐标大于第一区域图像上点的横坐标;
步骤S2242:判断t0与0.5xmax的大小;
如果,t0>0.5xmax,
则第一极点位于第二区域图像上;
获得第一区域图像边缘上的点(0,n);
基于两点式直线方程获得直线方程:
将第一区域图像点的横坐标带入直线方程得到纵坐标:(x,y);
依次遍历x=0.5xmax到x=0之间的点,获得待检测模具图像在点(x,y)的灰度值:g(x,y);
判断g(x,y)与255的大小;
如果,g(x,y)≠255,则,所述点(x,y)为待检测模具图像背景区域上的点,
如果,g(x,y)=255,则,点(x,y)为所述模具图像上的点,此时,对应的点的坐标为(0,nend),过第一极点的外接四边形的一条边的直线方程为
如图11所示,
步骤S2241:根据笛卡尔坐标,获取第二极点的坐标,第二极点的坐标为(r0,r1),第二极点位于待检测模具图像的右方,待检测模具图像的高度为ymax,将待检测模具图像以y=0.5ymax为对称轴均分为第三区域图像和第四区域图像,第四区域图像上点的纵坐标大于所述第三区域图像上点的纵坐标;
步骤S2242:判断r1与0.5ymax的大小;
如果,r1<0.5ymax,
则第二极点位于第三区域图像上;
获得第四区域图像边缘上的点(n,ymax);
基于两点式直线方程获得直线方程:
将第四区域图像点的横坐标带入直线方程得到纵坐标:(x,y);
依次遍历y=ymax到y=0.5ymax之间的点,获得待检测模具图像在点(x,y)的灰度值:g(x,y);
判断g(x,y)与255的大小;
如果,g(x,y)≠255,则,点(x,y)为所述待检测模具图像背景区域上的点,
如果,g(x,y)=255,则,点(x,y)为所述模具图像上的点,此时,对应的点的坐标为(nend,ymax),过第二极点的外接四边形的一条边的直线方程为
如图12所示,
步骤S2241:根据笛卡尔坐标,获取第二极点的坐标,第二极点的坐标为(r0,r1),第二极点位于所述待检测模具图像的右方,待检测模具图像的高度为ymax,将待检测模具图像以y=0.5ymax为对称轴均分为第三区域图像和第四区域图像,第四区域图像上点的纵坐标大于第三区域图像上点的纵坐标;
步骤S2242:判断r1与0.5ymax的大小;
如果,r1>0.5ymax,
则第二极点位于所述第四区域图像上;
获得第三区域图像边缘上的点(n,0);
基于两点式直线方程获得直线方程:
将第三区域图像点的横坐标带入直线方程得到纵坐标:(x,y);
依次遍历y=0到y=0.5ymax之间的点,获得待检测模具图像在点(x,y)的灰度值:g(x,y);
判断g(x,y)与255的大小;
如果,g(x,y)≠255,则,点(x,y)为待检测模具图像背景区域上的点,
如果,g(x,y)=255,则,点(x,y)为所述模具图像上的点,此时,对应的点的坐标为(nend,0),过第二极点的外接四边形的一条边的直线方程为
如图13所示,
步骤S2241:根据笛卡尔坐标,获取第三极点的坐标,第三极点的坐标为(b0,b1),第三极点位于所述待检测模具图像的下方,待检测模具图像的宽度为xmax,将待检测模具图像以x=0.5xmax为对称轴均分为第一区域图像和第二区域图像,第二区域图像上点的横坐标大于第一区域图像上点的横坐标;
步骤S2242:判断b0与0.5xmax的大小;
如果,b0<0.5xmax,
则第三极点位于第一区域图像上;
获得第二区域图像边缘上的点(xmax,n);
基于两点式直线方程获得直线方程:
将第二区域图像点的横坐标带入直线方程得到纵坐标:(x,y);
依次遍历x=0.5xmax到x=xmax之间的点,获得待检测模具图像在点(x,y)的灰度值:g(x,y);
判断g(x,y)与255的大小;
如果,g(x,y)≠255,则,点(x,y)为待检测模具图像背景区域上的点,
如果,g(x,y)=255,则,点(x,y)为模具图像上的点,此时,对应的点的坐标为(xmax,nend),过第三极点的外接四边形的一条边的直线方程为
如图14所示,
步骤S2241:根据笛卡尔坐标,获取第三极点的坐标,第三极点的坐标为(b0,b1),第三极点位于待检测模具图像的下方,待检测模具图像的宽度为xmax,将待检测模具图像以x=0.5xmax为对称轴均分为第一区域图像和第二区域图像,第二区域图像上点的横坐标大于第一区域图像上点的横坐标;
步骤S2242:判断b0与0.5xmax的大小;
如果,b0>0.5xmax,
则第三极点位于第二区域图像上;
获得第一区域图像边缘上的点(0,n);
基于两点式直线方程获得直线方程:
将第一区域图像点的横坐标带入直线方程得到纵坐标:(x,y);
依次遍历x=0到x=0.5xmax之间的点,获得待检测模具图像在点(x,y)的灰度值:g(x,y);
判断g(x,y)与255的大小;
如果,g(x,y)≠255,则,点(x,y)为待检测模具图像背景区域上的点,
如果,g(x,y)=255,则,点(x,y)为模具图像上的点,此时,对应的点的坐标为(0,nend),过第三极点的外接四边形的一条边的直线方程为
如图15所示,
步骤S2241:根据笛卡尔坐标,获取第四极点的坐标,第四极点的坐标为(l0,l1),第四极点位于待检测模具图像的左方,待检测模具图像的高度为ymax,将待检测模具图像以y=0.5ymax为对称轴均分为第三区域图像和第四区域图像,第四区域图像上点的纵坐标大于第三区域图像上点的纵坐标;
步骤S2242:判断l1与0.5ymax的大小;
如果,l1<0.5ymax,
则第四极点位于第三区域图像上;
获得第四区域图像边缘上的点(n,ymax);
基于两点式直线方程获得直线方程:
将第四区域图像点的纵坐标带入直线方程得到横坐标:(x,y);
依次遍历y=0.5ymax到y=ymax之间的点,获得待检测模具图像在点(x,y)的灰度值:g(x,y);
判断g(x,y)与255的大小;
如果,g(x,y)≠255,则,点(x,y)为待检测模具图像背景区域上的点,
如果,g(x,y)=255,则,点(x,y)为模具图像上的点,此时,对应的点的坐标为(nend,ymax),过第四极点的外接四边形的一条边的直线方程为
如图16所示,
步骤S2241:根据笛卡尔坐标,获取第四极点的坐标,第四极点的坐标为(l0,l1),第四极点位于待检测模具图像的左方,待检测模具图像的高度为ymax,将待检测模具图像以y=0.5ymax为对称轴均分为第三区域图像和第四区域图像,第四区域图像上点的纵坐标大于第三区域图像上点的纵坐标;
步骤S2242:判断l1与0.5ymax的大小;
如果,l1>0.5ymax,
则第四极点位于第四区域图像上;
获得第三区域图像边缘上的点(n,0);
基于两点式直线方程获得直线方程:
将第四区域图像点的纵坐标带入直线方程得到横坐标:(x,y);
依次遍历y=0到y=0.5ymax之间的点,获得待检测模具图像在点(x,y)的灰度值:g(x,y);
判断g(x,y)与255的大小;
如果,g(x,y)≠255,则,点(x,y)为待检测模具图像背景区域上的点,
如果,g(x,y)=255,则,所述点(x,y)为模具图像上的点,此时,对应的点的坐标为(nend,0),过第四极点的外接四边形的一条边的直线方程为
为了明显的给操作工人以提示,于本发明的具体实施例中,本发明步骤S3还包括:对不合格模具的缺陷位置进行标记处理,标记处理可以为画圈、划线、打钩等各种标记方式,能够准确的指出待检测模具和标准模具之间存在差异的地方,供技术工人参考,简单方便、清晰简明。
需要说明的是,画圈、划线、打钩的标记方式只是本发明的一些具体实施例,还可以为其他标记处理方式,只要是能够指出缺陷位置并且能够清晰地向技术工人展现缺陷位置的标记处理方式,都在本发明的保护范围之内。
于本发明的具体实施例中,如图6所示,标记处理为采用N分法匹配图像算法确定缺陷位置,包括:步骤S31:分别对步骤S2中获取的待检测模具图像与对步骤S1中获取的标准样本图像进行切割,得到待检测模具图像的子图像与标准样本图像的子图像;步骤S32:根据图像相似度定义,分别计算待检测模具图像的子图像与对应的标准样本图像的子图像的余弦匹配值cosθ;将在R、G、B三个通道上的三个矩阵整理成一个向量,求出向量的模,每个子图像有3m个特征,每个子图像看成一个3m×1的列向量,记为A与B,
步骤S33:分别比较余弦匹配值cosθ的大小,找到余弦匹配值 cosθ的最小值对应的子图像位置,重复步骤S31和步骤S32,直至达到子图像预设切割尺寸;步骤S34:对余弦匹配值cosθ的最小值对应的子图像进行标记处理,所述标记处理位置为不合格模具的缺陷位置;
其中,xlt与ylt是不合格模具的缺陷位置标记处理图形的第一顶点的横坐标和纵坐标;H(k)和W(k)是第k次切割后切割矩形的高度和宽度;N是2以上的正整数;K是总的切割次数;Cmin(k)是第k次切割并将待检测模具图像的子图像与标准样本图像的子图像匹配后余弦值最小的子图像的索引值;不合格模具的缺陷位置标记处理图形的第二、第三、第四,三个顶点的横纵坐标为:
xlb=xlt,ylb=ylt+H(K)
xrt=xlt+W(K),yrt=ylt
xrb=xlt+W(K),yrb=ylt+H(K)。
实施方式一:
如图21和图22所示,对于标记处理为采用二分法匹配图像算法确定缺陷位置,N=2,Cmin(k)从C2子图像索引向量中取值:
C2=[0,1,2,3]T
I与J为横坐标索引向量与纵坐标索引向量,N=2,
I2=[0,0,1,1]T,J2=[0,1,0,1]T。
如图21和图22所示,为采用二分法匹配图像算法确定缺陷位置:
第一步:分别对步骤S2中获取的待检测模具图像与步骤S1中获取的标准样本图像进行切割,得到待检测模具图像的四个子图像与标准样本图像的四个子图像,左上角、右上角、左下角、右下角依次命名为:第一待检测模具子图像、第二待检测模具子图像、第三待检测模具子图像、第四待检测模具子图像,第一标准样本子图像、第二标准样本子图像、第三标准样本子图像、第四标准样本子图像,根据图像相似度定义,分别计算各待检测模具图像的子图像与对应的各标准样本图像的子图像的余弦匹配值cosθ;即,第一待检测模具子图像与第一标准样本子图像的余弦匹配值cosθ1,第二待检测模具子图像与第二标准样本子图像的余弦匹配值cosθ2,第三待检测模具子图像与第三标准样本子图像的余弦匹配值cosθ3,第四待检测模具子图像与第四标准样本子图像的余弦匹配值cosθ4,分别比较cosθ1,cosθ2,cosθ3,cosθ4的大小,发现cosθ1最小,Cmin(k)从C2子图像索引向量中取值:
C2=[0,1,2,3]T
取值为0,于是第一次切割匹配对比后发现的缺陷位置为左上角位置,即第一待检测模具子图像。
第二步:分别对第一待检测模具子图像与第一标准样本子图像进行切割,得到第一待检测模具子图像的四个子图像与第一标准样本子图像的四个子图像,左上角、右上角、左下角、右下角依次命名为:第五待检测模具子图像、第六待检测模具子图像、第七待检测模具子图像、第八待检测模具子图像,第五标准样本子图像、第六标准样本子图像、第七标准样本子图像、第八标准样本子图像,根据图像相似度定义,分别计算第五待检测模具子图像与第五标准样本子图像的余弦匹配值cosθ5,第六待检测模具子图像与第六标准样本子图像的余弦匹配值cosθ6,第七待检测模具子图像与第七标准样本子图像的余弦匹配值cosθ7,第八待检测模具子图像与第八标准样本子图像的余弦匹配值cosθ8,分别比较cosθ5,cosθ6,cosθ7,cosθ8的大小,发现cosθ8最小,Cmin(k)从C2子图像索引向量中取值:
C2=[0,1,2,3]T
取值为3,于是第二次切割匹配对比后发现的缺陷位置为右下角位置,即第八待检测模具子图像。
第三步:分别对第八待检测模具子图像与第八标准样本子图像进行切割,得到第八待检测模具子图像的四个子图像与第八标准样本子图像的四个子图像,左上角、右上角、左下角、右下角依次命名为:第九待检测模具子图像、第十待检测模具子图像、第十一待检测模具子图像、第十二待检测模具子图像,第九标准样本子图像、第十标准样本子图像、第十一标准样本子图像、第十二标准样本子图像,根据图像相似度定义,分别计算第九待检测模具子图像与第九标准样本子图像的余弦匹配值cosθ9,第十待检测模具子图像与第十标准样本子图像的余弦匹配值cosθ10,第十一待检测模具子图像与第十一标准样本子图像的余弦匹配值cosθ11,第十二待检测模具子图像与第十二标准样本子图像的余弦匹配值cosθ12,分别比较cosθ9,cosθ10, cosθ11,cosθ12的大小,发现cosθ12最小,Cmin(k)从C2子图像索引向量中取值:
C2=[0,1,2,3]T
取值为3,于是第三次切割匹配对比后发现的缺陷位置为右下角位置,即第十二待检测模具子图像。
第四步:分别对第十二待检测模具子图像与第十二标准样本子图像进行切割,得到第十二待检测模具子图像的四个子图像与第十二标准样本子图像的四个子图像,左上角、右上角、左下角、右下角依次命名为:第十三待检测模具子图像、第十四待检测模具子图像、第十五待检测模具子图像、第十六待检测模具子图像,第十三标准样本子图像、第十四标准样本子图像、第十五标准样本子图像、第十六标准样本子图像,根据图像相似度定义,分别计算第十三待检测模具子图像与第十三标准样本子图像的余弦匹配值cosθ13,第十四待检测模具子图像与第十四标准样本子图像的余弦匹配值cosθ14,第十五待检测模具子图像与第十五标准样本子图像的余弦匹配值cosθ15,第十六待检测模具子图像与第十六标准样本子图像的余弦匹配值 cosθ16,分别比较cosθ13,cosθ14,cosθ15,cosθ16的大小,发现cosθ13最小,Cmin(k)从C2子图像索引向量中取值:
C2=[0,1,2,3]T
取值为0,于是第四次切割匹配对比后发现的缺陷位置为左上角位置,即第十三待检测模具子图像。
第五步:分别对第十三待检测模具子图像与第十三标准样本子图像进行切割,得到第十三待检测模具子图像的四个子图像与第十三标准样本子图像的四个子图像,左上角、右上角、左下角、右下角依次命名为:第十七待检测模具子图像、第十八待检测模具子图像、第十九待检测模具子图像、第二十待检测模具子图像,第十七标准样本子图像、第十八标准样本子图像、第十九标准样本子图像、第二十标准样本子图像,根据图像相似度定义,分别计算第十七待检测模具子图像与第十七标准样本子图像的余弦匹配值cosθ17,第十八待检测模具子图像与第十八标准样本子图像的余弦匹配值cosθ18,第十九待检测模具子图像与第十九标准样本子图像的余弦匹配值cosθ19,第二十待检测模具子图像与第二十标准样本子图像的余弦匹配值 cosθ20,分别比较cosθ17,cosθ18,cosθ19,cosθ20的大小,发现cosθ20最小,Cmin(k)从C2子图像索引向量中取值:
C2=[0,1,2,3]T
取值为3,于是第五次切割匹配对比后发现的缺陷位置为右下角位置,即第二十待检测模具子图像,由于初步设置切割次数为5,达到了子图像预设切割尺寸;此时对余弦匹配值cosθ的最小值对应的子图像进行标记处理,即对第二十待检测模具子图像进行标记处理。
实施方式二:
对于标记处理为采用三分法匹配图像算法确定缺陷位置,N=3, Cmin(k)从C3子图像索引向量中取值:
C3=[0,1,2,3,4,5,6,7,8]T
I与J为横坐标索引向量与纵坐标索引向量,N=3,
I3=[0,0,0,1,1,1,2,2,2]T,J3=[0,1,2,0,1,2,0,1,2]T。
实施方式三:
对于标记处理为采用五分法匹配图像算法确定缺陷位置,N=5, Cmin(k)从C5子图像索引向量中取值:
C5=[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24]T
I与J为横坐标索引向量与纵坐标索引向量,N=5,
I5=[0,0,0,0,0,1,1,1,1,1,2,2,2,2,2,3,3,3,3,3,4,4,4,4,4]T
J5=[0,1,2,3,4,0,1,2,3,4,0,1,2,3,4,0,1,2,3,4,0,1,2,3,4]T。
需要说明的是,采用二分法匹配图像算法确定缺陷位置并不局限于这一种方法,这仅仅是本发明的一种具体实施例,还可以为三分法、五分法等。
本发明基于图像识别的模具缺陷检测方法过程中,通过采用N 分法匹配图像算法确定缺陷位置,可以自适应改变图像切割份数。根据不同场合的需求可以改变程序运算时间。比如说,对精度要求高的,就切割的细一些;对时间要求高的,就切割的粗一些。很方便地可以通过调整一两个参数值来调整切割大小。比如切割的份数,是二分法、三分法还是四分法都随意确定。具体切割次数也可以随意确定,比如说切一次、二次还是10次都可以随意改变。这样的话,根据不同场合对计算效率或计算时间的需求,来自适应地改变这两个参数值,以满足不同场合的需求,方法简单、精度高、效率高,具有重要的研究意义和使用价值。
于本发明的具体实施例中,缺陷检测方法还包括对背景图像进行采集,对采集到的背景图像进行预处理。图像预处理的主要目的是消除图像中无关的信息,恢复有用的真实信息,增强有关信息的可检测性和最大限度地简化数据,从而改进特征抽取、图像分割、匹配和识别的可靠性,因此,本发明具体实施例中的模具缺陷检测方法,能够对背景图像进行预处理,有效消除背景图像中的无关信息,增加背景图像与实体图像之间的差别,对比性更加明显,从而使得获取的数据更加准确。
于本发明的具体实施例中,预处理包括滤波和均衡化。滤波过程不仅能够消除噪声,还能够在消除噪声的基础上,更多地保留图像灰度分布特征,总体均衡化过程能够将原始图像的直方图变换成均匀分布的形式,从而提高图像的对比度。
本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现任一项基于图像识别的模具缺陷检测方法的步骤。
本发明还提供的一种基于图像识别的模具缺陷检测装置,如图7 所示,包括以下几个模块:模具缺陷检测装置包括标准样本图像信息获取模块101、待检测模具图像信息获取模块201以及分别与标准样本图像信息获取模块101、待检测模具图像信息获取模块201连接的对比匹配模块301;
标准样本图像信息获取模块101用于根据第一预设合格标准、挑选出合格模具作为标准样本,对标准样本进行图像处理,获取标准样本的图像信息;
待检测模具图像信息获取模块201用于对待检测模具进行图像处理,获取经过图像处理后的待检测模具图像信息;
对比匹配模块301用于根据第二预设合格标准,对标准样本图像信息获取模块101获取的待检测模具图像信息分别与对待检测模具图像信息获取模块201获取的标准样本的图像信息进行对比匹配;判断待检测模具是否符合第二预设合格标准;
如果符合,则对比匹配模块301判定待检测模具为合格模具;
如果不符合,则待检测模具图像信息获取模块201再次对待检测模具进行图像处理,获取经过图像处理后的待检测模具图像信息,如果仍不符合第二预设标准,则对比匹配模块301判定待检测模具为不合格模具。该缺陷检测装置能够效率更高、精准度更高的进行模具缺陷检测。然而,目前的模具加工和生产领域,基本以人工质检、人工排查为主,质检工人对于模具的尺寸等指标的检测,往往用卡尺来进行人工检测,耗费时间长、工作效率低。另外,很多的模具形状各异、结构复杂,涉及图案检测、形状检测、数字检测、同轴度等,需要核对排查的技术指标比较多,而且由于模具的图案是镜像结构,因此,质检工作相当繁琐、耗费精力,对于质检工人的要求极高,企业面临质检工人工资高、工人难招、对工人的技术要求高的难题,而且容易发生误检,不够准确,造成重大损失,本发明具体实施例提供的基于图像识别的模具缺陷检测装置,包括以下几个模块:标准样本图像信息获取模块、待检测模具图像信息获取模块以及分别与标准样本图像信息获取模块、待检测模具图像信息获取模块连接的对比匹配模块,基于图像识别技术,能够根据预设合格标准,对获取的待检测模具图像信息分别与获取的标准样本的图像信息进行对比匹配;判断待检测模具是否符合预设合格标准,从而来进行模具缺陷检测,是一种新兴的、效率更高、精准度更高的模具缺陷检测方法,能够在有限的时间片段里,尽可能越多且越准确地进行模具缺陷检测,来满足模具厂的需求,使得企业不再受质检工人工资高、工人难招、对工人的技术要求高的困扰,也大大提高了质检效率,有效降低了企业的成本。
于本发明的具体实施例中,如图8所示,待检测模具图像信息获取模块201还包括用于对待检测模具进行图像处理的图像处理模块 2001,图像处理模块2001包括相互连接的图像采集模块20010和图像矫正模块20011;
图像采集模块20010用于对待检测模具进行图像采集,获得待检测模具的初步图像;
图像矫正模块20011用于对图像采集模块20010采集获得的待检测模具的初步图像进行图像矫正。图像矫正模块的矫正过程即为对失真图像进行的复原性处理,在实际处理过程中,引起图像失真的原因有很多种:成象***的象差、畸变、带宽有限等造成的图像失真,由于成象器件拍摄姿态和扫描非线性引起的图像几何失真,由于运动模糊、辐射失真、引入噪声等造成的图像失真,本发明基于图像识别技术,能够根据图像识别技术进行模具缺陷检测,为了提高准确度,本发明能够根据图像识别技术进行模具缺陷检测过程中,能够根据图像失真原因,建立相应的数学模型,从被污染或畸变的图像信号中提取所需要的信息,沿着使图像失真的逆过程恢复图像本来面貌。大大提高了图像的准确度,有效提高了获取的待检测模具图像信息分别与获取的标准样本的图像信息进行对比匹配的过程中的准确程度和精确程度,误差小、效率高、准确度高。
需要说明的是,基于图像识别的模具缺陷检测装置并不局限于标准样本图像信息获取模块、待检测模具图像信息获取模块以及对比匹配模块三个模块,以上举例只是以包含标准样本图像信息获取模块、待检测模具图像信息获取模块以及对比匹配模块为具体范例。
需要说明的是,在本申请实施例中使用的术语是仅仅处于描述特定实施例的目的,而非旨在限制本申请,在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“一个”、“所述”和“该”也旨在包括多种形式,除非上下文清楚地表示其他含义,还应当理解,本文中使用的术语“和/或”是指包含一个或多个绑定的列出项目的任何或所有可能组合。表达“第一”、“第二”、“所述第一”和“所述第二”是用于修饰相应元件而不考虑顺序或者重要性,仅仅被用于区分一种元件和另一元件,而不限制相应元件。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (3)
1.一种基于图像识别的模具缺陷检测方法,其特征在于,所述缺陷检测方法包括:
步骤S1,标准样本图像信息的获取;根据第一预设合格标准、挑选出合格模具作为标准样本,对所述标准样本进行图像处理,获取所述标准样本的图像信息;
步骤S2,待检测模具图像信息的获取;分别对待检测模具进行图像处理,获取经过所述图像处理后的待检测模具图像信息;
步骤S3,对比匹配;根据第二预设合格标准,对所述步骤S2中获取的所述待检测模具图像信息分别与所述步骤S1中获取的所述标准样本的图像信息进行对比匹配;判断所述待检测模具是否符合所述第二预设合格标准;
如果符合,则所述待检测模具为合格模具;
如果不符合,则重复所述步骤S2和所述步骤S3的过程,如果仍不符合所述第二预设合格标准,则认定所述待检测模具为不合格模具;
所述步骤S2中的所述图像处理包括:
步骤S21,图像采集;对待检测模具进行图像采集,获得待检测模具的初步图像;
步骤S22,图像矫正;对所述待检测模具的所述初步图像进行图像矫正;
所述步骤S22图像矫正为基于任意外接四边形的图像透视矫正,包括:
步骤S220:获取所述待检测模具的所述初步图像的最小外接矩形;
最小外接矩形的获取过程包括:
步骤S2201:灰度化处理;对所述初步图像进行灰度化处理,得到灰度图像;
步骤S2202:二值化处理;对所述步骤S2201得到的灰度图像进行图像二值化处理;
步骤S2203:获取所述待检测模具的边缘轮廓;
步骤S2204:外接矩形的获取;获得能够将步骤S2203获得的所述待检测模具的边缘轮廓包围起来的若干个外接矩形;
步骤S2205:面积计算;计算所述步骤S2204获得的各外接矩形的面积;
步骤S2206:面积大小比较;对比各外接矩形的面积大小,面积最小的外接矩形为最小外接矩形;
步骤S221:基于所述最小外接矩形的四个顶点坐标对所述最小外接矩形进行透视矫正;
步骤S222:对经过所述步骤S221透视矫正后的图像进行边界扩展;
所述边界扩展过程包括:
边界扩展前的图像数据矩阵用Fm×n表示,边界扩展后的图像数据矩阵用F′m'×n'表示,边界扩展层数为p,
将矩阵Fm×n中的数值,从Fpp开始,依次赋值到F′m′×n'中,边界扩展后图像数据矩阵尺寸满足:m′=m+2p,n′=n+2p,F'i+p,j+p=Fi,j;
赋值后得到边界扩展后的图像矩阵F″m″×n″,
其中,矩阵E表示的是所有元素都为255的矩阵,
步骤S223:极点坐标的获取,极点坐标的获取过程包括:
步骤S2231:对经过所述步骤S222边界扩展后的图像进行灰度化处理;
步骤S2232:对经过步骤S2231灰度化处理后的图像分别进行上、下、左、右各方向的遍历,获得各像素点的灰度值;
步骤S2233:分别比较上、下、左、右各方向中各自灰度值的大小,上、下、左、右各方向对应的灰度值最小的点分别为第一极点、第二极点、第三极点和第四极点;
步骤S224:获取模具图像的外接四边形,所述外接四边形的四条边分别过所述第一极点、第二极点、第三极点和第四极点,所述外接四边形能够将所述待检测模具的边缘轮廓包围起来;
步骤S225:获取所述步骤S224的外接四边形的顶点坐标;
步骤S226:利用所述外接四边形的顶点坐标,进行图像透视矫正;
所述步骤S224获取模具图像的外接四边形,包括:
步骤S2241:根据笛卡尔坐标,获取所述第一极点的坐标,所述第一极点的坐标为(t0,t1),所述第一极点位于所述待检测模具图像的上方,所述待检测模具图像的宽度为xmax,将所述待检测模具图像以x=0.5xmax为对称轴均分为第一区域图像和第二区域图像,所述第二区域图像上点的横坐标大于所述第一区域图像上点的横坐标;
步骤S2242:判断t0与0.5xmax的大小;
如果,t0<0.5xmax,
则所述第一极点位于所述第一区域图像上;
获得所述第二区域图像边缘上的点(xmax,n);
基于两点式直线方程获得直线方程:
将所述第二区域图像点的横坐标带入所述直线方程得到纵坐标:(x,y);
依次遍历x=0.5xmax到x=xmax之间的点,获得所述待检测模具图像在点(x,y)的灰度值:g(x,y);
判断g(x,y)与255的大小;
如果,g(x,y)≠255,则,所述点(x,y)为所述待检测模具图像背景区域上的点,
如果,g(x,y)=255,则,所述点(x,y)为所述模具图像上的点,此时,对应的点的坐标为(xmax,nend),过所述第一极点的外接四边形的一条边的直线方程为:
所述步骤S3还包括:
对所述不合格模具的缺陷位置进行标记处理;
所述标记处理为采用N分法匹配图像算法确定缺陷位置,包括:
步骤S31:分别对所述步骤S2中获取的所述待检测模具图像与所述步骤S1中获取的所述标准样本图像进行切割,得到所述待检测模具图像的子图像与所述标准样本图像的子图像;
步骤S32:根据图像相似度定义,分别计算所述待检测模具图像的子图像与对应的所述标准样本图像的子图像的余弦匹配值cosθ;
将在R、G、B三个通道上的三个矩阵整理成一个向量,求出所述向量的模,每个所述子图像有3m个特征,每个所述子图像看成一个3m×1的列向量,记为A与B,
步骤S33:分别比较余弦匹配值cosθ的大小,找到余弦匹配值cosθ的最小值对应的子图像位置,重复步骤S31和步骤S32,直至达到子图像预设切割尺寸;
步骤S34:对余弦匹配值cosθ的最小值对应的子图像进行标记处理,所述标记处理位置为不合格模具的缺陷位置;
其中,xlt与ylt是不合格模具的缺陷位置标记处理图形的第一顶点的横坐标和纵坐标;H(k)和W(k)是第k次切割后切割矩形的高度和宽度;N是2以上的正整数;K是总的切割次数;Cmin(k)是第k次切割并将所述待检测模具图像的子图像与所述标准样本图像的子图像匹配后余弦值最小的子图像的索引值;所述不合格模具的缺陷位置标记处理图形的第二、第三、第四三个顶点的横纵坐标为:
xlb=xlt,ylb=ylt+H(K)
xrt=xlt+W(K),yrt=ylt
xrb=xlt+W(K),yrb=ylt+H(K);
所述标记处理为采用五分法匹配图像算法确定缺陷位置,N=5,Cmin(k)从C5子图像索引向量中取值:
C5=[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24]T
I与J为横坐标索引向量与纵坐标索引向量,N=5,
I5=[0,0,0,0,0,1,1,1,1,1,2,2,2,2,2,3,3,3,3,3,4,4,4,4,4]T
J5=[0,1,2,3,4,0,1,2,3,4,0,1,2,3,4,0,1,2,3,4,0,1,2,3,4]T;
所述缺陷检测方法还包括对背景图像进行采集,对采集到的所述背景图像进行预处理;
预处理包括滤波和均衡化。
2.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,该程序被处理器执行时实现权利要求1所述方法的步骤。
3.一种模具缺陷检测装置,其特征在于,所述模具缺陷检测装置应用权利要求1所述的基于图像识别的模具缺陷检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011475659.4A CN112465809B (zh) | 2020-12-15 | 2020-12-15 | 一种基于图像识别的模具缺陷检测方法、计算机可读存储介质及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011475659.4A CN112465809B (zh) | 2020-12-15 | 2020-12-15 | 一种基于图像识别的模具缺陷检测方法、计算机可读存储介质及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112465809A CN112465809A (zh) | 2021-03-09 |
CN112465809B true CN112465809B (zh) | 2023-05-05 |
Family
ID=74804204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011475659.4A Active CN112465809B (zh) | 2020-12-15 | 2020-12-15 | 一种基于图像识别的模具缺陷检测方法、计算机可读存储介质及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112465809B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113522583B (zh) * | 2021-06-10 | 2022-03-11 | 深圳远荣智能制造股份有限公司 | 一种物品的喷涂方法、装置、终端和存储介质 |
CN114043151A (zh) * | 2021-11-29 | 2022-02-15 | 国网四川省电力公司映秀湾水力发电总厂 | 一种焊接轨迹自动快速生成***、方法及焊接机器人 |
CN114359173A (zh) * | 2021-12-16 | 2022-04-15 | 苏州镁伽科技有限公司 | 面板检测方法、面板检测装置、电子设备及存储介质 |
CN114219799A (zh) * | 2021-12-22 | 2022-03-22 | 葛伟杰 | 一种智能制造用次品分析方法及*** |
CN116416268B (zh) * | 2023-06-09 | 2023-08-18 | 浙江双元科技股份有限公司 | 基于递归二分法的锂电池极片边缘位置检测方法及装置 |
CN118010759A (zh) * | 2024-04-08 | 2024-05-10 | 青岛天仁微纳科技有限责任公司 | 一种纳米压印图像的检测方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102866160B (zh) * | 2012-08-29 | 2014-10-08 | 上海造币有限公司 | 硬币模具表面质量检测的***及方法 |
CN106290394B (zh) * | 2016-09-30 | 2023-04-07 | 华南理工大学 | 一种cpu散热器铝挤成型缺陷检测***及检测方法 |
CN106529472B (zh) * | 2016-10-24 | 2019-08-02 | 深圳大学 | 基于大尺度高分辨率高光谱图像的目标探测方法及装置 |
CN110598832B (zh) * | 2019-08-22 | 2022-05-03 | 北京青藤文化股份有限公司 | 一种基于遗传优化算法的文字透视矫正方法 |
CN111650220B (zh) * | 2020-07-15 | 2022-08-09 | 博科视(苏州)技术有限公司 | 一种基于视觉的图文缺陷检测方法 |
-
2020
- 2020-12-15 CN CN202011475659.4A patent/CN112465809B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112465809A (zh) | 2021-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112465809B (zh) | 一种基于图像识别的模具缺陷检测方法、计算机可读存储介质及装置 | |
CN107798326B (zh) | 一种轮廓视觉检测方法 | |
CN110163853B (zh) | 一种边缘缺陷的检测方法 | |
CN108918536B (zh) | 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质 | |
CN111062915A (zh) | 一种基于改进YOLOv3模型的实时钢管缺陷检测方法 | |
CN107633192B (zh) | 一种基于机器视觉的复杂背景下条形码分割与识读方法 | |
CN108764229B (zh) | 一种基于计算机视觉技术的水尺图像自动识别方法 | |
CN113724231B (zh) | 一种基于语义分割和目标检测融合模型的工业缺陷检测方法 | |
CN111383209A (zh) | 一种基于全卷积自编码器网络的无监督瑕疵检测方法 | |
CN111879241A (zh) | 基于机器视觉的手机电池尺寸测量方法 | |
CN109215009B (zh) | 基于深度卷积神经网络的连铸坯表面图像缺陷检测方法 | |
CN110751604A (zh) | 一种基于机器视觉的钢管焊缝缺陷在线检测方法 | |
CN111127417B (zh) | 一种基于sift特征匹配和改进ssd算法的印刷缺陷检测方法 | |
CN114549981A (zh) | 一种基于深度学习的智能巡检指针式仪表识别及读数方法 | |
CN115496746A (zh) | 基于图像和点云数据融合的板材表面缺陷检测方法和*** | |
CN111754538B (zh) | Usb表面缺陷检测的阈值分割方法 | |
CN117635609B (zh) | 一种塑胶产品生产质量视觉检测方法 | |
CN115601355A (zh) | 一种产品表面缺陷检测与分类方法、装置及存储介质 | |
CN113393438B (zh) | 一种基于卷积神经网络的树脂镜片缺陷检测方法 | |
CN115597494B (zh) | 一种基于点云的预制构件预留孔的精度检测方法、*** | |
CN116309577B (zh) | 一种高强传送带物料智能检测方法及*** | |
CN113240623A (zh) | 一种路面病害检测方法及装置 | |
CN107316287A (zh) | 一种矩形铁氧体磁片表面的缺陷识别方法 | |
CN114612444A (zh) | 一种基于渐进式分割网络的细微缺陷分析方法 | |
CN113538603A (zh) | 一种基于阵列产品的光学检测方法、***和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 249 Dongsi South Street, Dongcheng District, Beijing 100094 Applicant after: Beijing Computing Center Co.,Ltd. Applicant after: HEBEI RONGTAI DIE TECHNOLOGY Co.,Ltd. Address before: 249 Dongsi South Street, Dongcheng District, Beijing 100094 Applicant before: BEIJING COMPUTING CENTER Applicant before: HEBEI RONGTAI DIE TECHNOLOGY Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |