CN109035219B - 基于bp神经网络的fics金手指缺陷检测***及检测方法 - Google Patents
基于bp神经网络的fics金手指缺陷检测***及检测方法 Download PDFInfo
- Publication number
- CN109035219B CN109035219B CN201810749665.0A CN201810749665A CN109035219B CN 109035219 B CN109035219 B CN 109035219B CN 201810749665 A CN201810749665 A CN 201810749665A CN 109035219 B CN109035219 B CN 109035219B
- Authority
- CN
- China
- Prior art keywords
- golden finger
- defect
- area
- image
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 146
- 238000001514 detection method Methods 0.000 title claims abstract description 81
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 41
- 239000000758 substrate Substances 0.000 claims abstract description 45
- 239000013598 vector Substances 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000003384 imaging method Methods 0.000 claims abstract description 11
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 230000000877 morphologic effect Effects 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000007405 data analysis Methods 0.000 claims description 10
- 238000007373 indentation Methods 0.000 claims description 8
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 claims description 7
- 229910052802 copper Inorganic materials 0.000 claims description 7
- 239000010949 copper Substances 0.000 claims description 7
- 230000009191 jumping Effects 0.000 claims description 5
- 235000002566 Capsicum Nutrition 0.000 claims description 3
- 239000006002 Pepper Substances 0.000 claims description 3
- 235000016761 Piper aduncum Nutrition 0.000 claims description 3
- 235000017804 Piper guineense Nutrition 0.000 claims description 3
- 235000008184 Piper nigrum Nutrition 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 150000003839 salts Chemical class 0.000 claims description 3
- 230000011664 signaling Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 244000203593 Piper nigrum Species 0.000 claims 1
- 238000005286 illumination Methods 0.000 abstract description 5
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 abstract description 2
- 229910052737 gold Inorganic materials 0.000 abstract description 2
- 239000010931 gold Substances 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 241000722363 Piper Species 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种基于BP神经网络的FICS金手指缺陷检测***及检测方法，该***包括图像采集子***、缺陷检测模块以及数据分析模块。方法包括：1)图像采集子***控制显微镜对柔性基板进行定位拍照，目标位置为金手指所在区域位置；2)通过“输入图像保护机制”，确保缺陷检测方法的输入图像是金手指图样；3)通过形态学处理提取金手指区域；4)对每一条金手指进行单独分析，分析其中是否存在缺陷存疑区域；5)对确定含有缺陷的图片计算九类特征数值；6)以输出向量中最大项对应的类别作为最终判定的金手指缺陷类别返回。本发明及***能较好地避免不同光照强度下金手指成像检测的缺陷误报，对金手指多类缺陷的同时检测具有较高的准确率。
Description
技术领域
本发明属于缺陷检测的技术领域，涉及一种基于BP神经网络的FICS金手指缺陷检测***及方法。
背景技术
无贴膜FICS的研究主要集中在两种，一种是不需要贴膜的柔性基板成品，也叫光板，另一种则是在覆膜柔性基板成品上不需要被贴膜的部位，即焊接元器件用的金手指。金手指是线路密度最高的关键部位，对FICS与IC及***器件的连接可靠性起着决定性作用。随着FICS使用率的加大和质量要求的提高，人们越来越多关注地FICS的外观质量检测。目前，针对金手指的压痕、划痕、露铜几类缺陷的检测***或方法寥寥无几，即便是针对其他类型缺陷的检测***，通常也是基于单线程的多任务处理，工作效率不高。本***及方法不仅实现多类缺陷的同时检测，能较好地避免不同光照强度下金手指成像检测的缺陷误报，并且在准确率和工作效率上都能适应工厂的现场要求。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于BP神经网络的FICS金手指缺陷检测***及方法，本发明能较好地避免不同光照强度下金手指成像检测的缺陷误报，并且在准确率和工作效率上都能适应工厂的现场要求。
为了达到上述目的，本发明采用以下技术方案：
本发明一种基于BP神经网络的FICS金手指缺陷检测***，包括图像采集子***、缺陷检测模块以及数据分析模块；
所述图像采集子***，用于控制显微镜对载物平台上放置的柔性基板进行定位拍照，目标位置为金手指所在区域位置；
缺陷检测模块，用于提取柔性基板输入图样的灰度图和二值图，并对确定存在缺陷的金手指局部区域进行图像的分割，针对分割后的图像进行九类特征数据的计算，所述九类特征数据包括缺陷区域面积、缺陷区域个数、矩形度、圆形度、最小外接矩形的长宽比以及灰度共生矩阵的熵值、能量、对比度、一致性；
数据分析模块，用于判断该柔性基板金手指部位的缺陷类别，并对缺陷区域进行标注，所述数据分析模块中包括BP神经网络分类器，并以九类特征数据组成输入向量传入BP神经网络分类器，计算输出向量，并以输出向量中最大项对应的类别作为最终判定的金手指缺陷类别返回。
作为优选的技术方案，所述图像采集子***包括运动控制模块和图像采集模块；
所述运动控制模块，用脉冲信号控制载物平台移动到目标位置供相机拍照；
所述图像检测模块，用于判断该柔性基板金手指部位的缺陷类别，并对缺陷区域进行标注，其中使用到了BP神经网络分类器，以九类特征数据组成输入向量计算输出向量。
本发明还提供了一种基于BP神经网络的FICS金手指缺陷检测***的检测方法，包括下述步骤：
S1、图像采集子***控制显微镜对载物平台上放置的柔性基板进行定位拍照，目标位置为金手指所在区域位置；
S2、通过“输入图像保护机制”，确保输入图像是金手指图样，否则弹窗警报并退出检测流程；
所述“输入图像保护机制”目标是为了防止非金手指区域图样的输入导致算法奔溃，对***乃至硬件机台造成不必要的影响；
S3、通过形态学处理提取金手指区域，即将二值图中代表金手指的地方置1，其余非金手指的地方置0；
S4、对每一条金手指进行单独分析，分析其中是否存在缺陷存疑区域，若有，则对该区域进行分割并保存到待计算图片缓冲区里，否则跳出程序进行下一张图片的分析；
S5、对缓冲区里的图片按缺陷检测模块要求，先判断其存在缺陷的确定性，再对确定含有缺陷的图片计算九类特征数值；
S6、以九类特征数值组成的向量作为输入向量，传入数据分析模块中的BP神经网络，计算输出向量，并以输出向量中最大项对应的类别作为最终判定的金手指缺陷类别返回。
作为优选的技术方案，所述步骤S1包括下述步骤：
S1.1、针对柔性基板的金手指部位进行缺陷的精密检测，因此目标采集图样集中在金手指部位，非金手指部位不作采图操作处理；
S1.2、现场批量生产的柔性基板，其模板数据信息都有存档，通过划分每一类柔性基板中金手指所在区域并将所有定位坐标信息存入本***数据库，即可建立本文所需柔性基板金手指部位模板数据库；
S1.3、按数据库中对应目标基板的金手指坐标位置换算成脉冲信号，控制载物平台移动到目标位置进行图像采集。
作为优选的技术方案，所述步骤S2包括：
S2.1、输入图像保护机制，用于保证只有输入图像是本缺陷检测***中的金手指才可进行缺陷检测，否则弹窗警报并退出检测流程；
S2.2、统计输入图像的平滑直方图，若直方图中双峰之间的距离较远则视为输入图像合法，继续检测流程，否则停止检测并弹窗警告；
S2.3、在图像一半宽度位置从上往下检索每条金手指的中心点位置，以每个中心点为中心，从0°开始，以10°为间隔画直线作线性检测；
S2.4、线性检测是指落在直线上的目标区域长度占比，若线性检测得到的占比值大于本***设定阈值，则视为输入图像合法，继续检测流程，否则停止检测并弹窗警告。
作为优选的技术方案，所述步骤S3包括：
S3.2、以输入图像的平滑直方图中波谷值为阈值对图像进行二值化，这里采用基于插值法的直方图平滑，设步长step，对直方图f上某点x，按下述公式计算其平滑后的值temp：
S3.2针对二值图像采用3*3模板大小的中值滤波器，保证基板输入图样细节的同时，尽可能消除二值图中类似椒盐噪声的干扰点；
S3.3再进行闭操作，及先膨胀后腐蚀，弥合较窄的间断和细长的沟壑，消除小空洞，填补轮廓线中的断裂。
作为优选的技术方案，步骤S3.3中，采用的“十”字型结构元能较好的对滤波后二值图进行目标区域当中细小空洞的填补。
作为优选的技术方案，所述步骤S4包括：
S4.1、通过自定义直线拟合算法检测并拟合出每条金手指的直线边缘，每两条直线确定一条金手指，确定其在图像中所占区域位置，然后对每条金手指分别检测其是否存在缺陷；
S4.2按二值图的宽度w，将每条金手指均分为N等份，其中N为自定义数值，并统计每一份金手指区域内黑色像素的占空比，所述黑色像素即灰度值为0的区域，若占空比大于某一设定阈值，则视为该金手指局部区域存在缺陷的可能，将其切割保存为新图层放到缓冲区等待后续进一步分析，否则视为不存在缺陷；
S4.3对同一条金手指的缺陷存疑检测过程中，若相邻两局部区域都判定为缺陷存疑区域，则将两局部区域进行合并，将合并后的金手指局部区域图作为后续特征计算用的实际输入图像存到缓冲区中；
S4.4当前步骤结束后，若缓冲区中有图层数据，则继续执行步骤S5，否则表示该待检基板的金手指部位质量良好，跳出检测流程，进行下一待检柔性基板的质量检测。
作为优选的技术方案，所述步骤S5包括：
S5.1、从缺陷存疑图片缓冲区内依次读取图片进行轮廓提取，计算每一轮廓所包含的面积，若小于某一设定阈值，则视为干扰而非缺陷处理，不作后面的特征计算处理；
S5.2、对确定存在缺陷的图片，计算其九类特征的数值，包括缺陷区域面积、缺陷区域个数、矩形度、圆形度、最小外接矩形的长宽比以及灰度共生矩阵的熵值、能量、对比度、一致性；
S5.3、矩形度体现的是二维物体占其最小外接矩形的面积比例大小，定义为R＝S0/SMER，其中S0是该物体的面积，SMER是其最小外接矩形的面积；
S5.4、圆形度是从二维空间的不规则度出发，指和标准圆形的近似程度，其计算公式如下，其中A表示物体在其二值图中的成像区域面积，C表示物体在图像中的成像区域周长，R表示圆度：
S5.5灰度共生矩阵是一个矩阵函数，通过计算图像中一定距离和一定方向的两点的灰度值之间的相关性，来反映图像在方向、间隔、变化幅度及快慢上的综合信息，其包含了熵值、能量、对比度、一致性在内的四个特征。
作为优选的技术方案，所述步骤S6包括：
S6.1将步骤S5中计算得到的九类特征数据组成输入向量，传入BP神经网络分类器中计算输出向量；
S6.2针对金手指的压痕、划痕及露铜三类缺陷进行缺陷分类识别，故输出向量的维数为三；
S6.3、输出向量中数值最大的那一项对应的类别作为识别出来的类别，关于该金手指缺陷从属的类别，记录到***数据库中；
S6.4在识别出该柔性基板金手指部位缺陷类别后，在输入原图上对缺陷部位进行标注，以供工程师或现场操作人员察看。
本发明与现有技术相比，具有如下优点和有益效果：
本发明的FICS(柔性IC基板)金手指缺陷检测***及方法基于BP神经网络，对现场工作平台上的FICS进行压痕、划痕、露铜三类缺陷的同时检测，着重利用规则进行检测，能较好地避免不同光照强度下金手指成像检测的缺陷误报，并且在准确率和工作效率上都能适应工厂的现场要求。
附图说明
图1为本发明实施例的一种基于BP神经网络的FICS金手指缺陷检测方法的流程示意图。
图2为本发明实施例的一种基于BP神经网络的FICS金手指缺陷检测***的结构框图。
图3为本发明实施例的FICS金手指部位压痕缺陷识别效果示意图。
图4为本发明实施例的FICS金手指部位划痕缺陷识别效果示意图。
图5为本发明实施例的FICS金手指部位露铜缺陷识别效果示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1所示，本实施例的一种基于BP神经网络的FICS金手指缺陷检测方法包括以下步骤：
S1、图像采集子***控制显微镜对载物平台上放置的柔性基板进行定位拍照，目标位置为金手指所在区域位置；
S2、通过“输入图像保护机制”，确保缺陷检测算法的输入图像是金手指图样，否则弹窗警报并退出算法流程；
S3、通过形态学处理提取金手指区域，即将二值图中代表金手指的地方置1，其余非金手指的地方置0；
S4、对每一条金手指进行单独分析，分析其中是否存在缺陷存疑区域，若有，则对该区域进行分割并保存到待计算图片缓冲区里，否则跳出程序进行下一张图片的分析；
S5、对缓冲区里的图片按缺陷检测模块要求，先判断其存在缺陷的确定性，再对确定含有缺陷的图片计算九类特征数值；
S6、以九类特征数值组成的向量作为输入向量，传入数据分析模块中的BP神经网络，计算输出向量，并以输出向量中最大项对应的类别作为最终判定的金手指缺陷类别返回。
步骤S2所述“输入图像保护机制”目标是为了防止非金手指区域图样的输入导致算法奔溃，对***乃至硬件机台造成不必要的影响。
步骤S1所述图像采集过程可理解为：
1)本***及方法针对柔性基板的金手指部位进行缺陷的精密检测，因此目标采集图样集中在金手指部位，非金手指部位不作采图操作处理；
2)现场批量生产的柔性基板，其模板数据信息都有存档，通过划分每一类柔性基板中金手指所在区域并将所有定位坐标信息存入本***数据库，即可建立本文所需柔性基板金手指部位模板数据库；
3)按数据库中对应目标基板的金手指坐标位置换算成脉冲信号，控制载物平台移动到目标位置进行图像采集。
步骤S2所述“输入图像保护机制”可理解为：
1)输入图像保护机制，用于保证只有输入图像是本***算法针对对象(金手指)才可进行算法检测，否则弹窗警报并退出算法程序；
2)统计输入图像的平滑直方图，若直方图中双峰之间的距离较远则视为输入图像合法，继续算法流程，否则停止检测并弹窗警告；
3)在图像一半宽度位置从上往下检索每条金手指的中心点位置，以每个中心点为中心，从0°开始，以10°为间隔画直线作线性检测；
4)线性检测是指落在直线上的目标区域长度占比，若线性检测得到的占比值大于本***设定阈值，则视为输入图像合法，继续算法流程，否则停止检测并弹窗警告。
步骤S3所述对金手指区域的提取可理解为：
1)以输入图像的平滑直方图中波谷值为阈值对图像进行二值化，这里采用基于插值法的直方图平滑，设步长step，对直方图f上某点x，按下面公式计算其平滑后的值temp：
2)针对二值图像采用3*3模板大小的中值滤波器，保证基板输入图样细节的同时，尽可能消除二值图中类似椒盐噪声的干扰点；
3)再进行闭操作，及先膨胀后腐蚀，弥合较窄的间断和细长的沟壑，消除小空洞，填补轮廓线中的断裂，本***采用的“十”字型结构元能较好的对滤波后二值图进行目标区域当中细小空洞的填补。
步骤S4对每一条金手指进行单独分析，分析其中是否存在缺陷存疑区域，若有，则对该区域进行分割并保存到待计算图片缓冲区里，具体为：
1)通过自定义直线拟合算法检测并拟合出每条金手指的直线边缘，每两条直线确定一条金手指，确定其在图像中所占区域位置，然后对每条金手指分别检测其是否存在缺陷；
2)按二值图的宽度w，将每条金手指均分为N等份(N为自定义数值，本***设其为8)，并统计每一份金手指区域内黑色像素(灰度值为0)的占空比，若占空比大于某一设定阈值(如0.04)，则视为该金手指局部区域存在缺陷的可能，将其切割保存为新图层放到缓冲区等待后续进一步分析，否则视为不存在缺陷；
3)对同一条金手指的缺陷存疑检测过程中，若相邻两局部区域都判定为缺陷存疑区域，则将两局部区域进行合并，将合并后的金手指局部区域图作为后续特征计算用的实际输入图像存到缓冲区中；
4)当前步骤结束后，若缓冲区中有图层数据，则继续执行步骤S5，否则表示该待检基板(金手指部位)质量良好，跳出判断算法，进行下一待检柔性基板的质量检测。
步骤S5对确定含有缺陷的图片计算九类特征数值，具体为：
1)从缺陷存疑图片缓冲区内依次读取图片进行轮廓提取，计算每一轮廓所包含的面积，若小于某一设定阈值，则视为干扰而非缺陷处理，不作后面的特征计算处理；
2)对确定存在缺陷的图片，计算其九类特征的数值，包括缺陷区域面积、缺陷区域个数、矩形度、圆形度、最小外接矩形的长宽比以及灰度共生矩阵的熵值、能量、对比度、一致性；
3)矩形度体现的是二维物体占其最小外接矩形的面积比例大小，定义为R＝S0/SMER，其中S0是该物体的面积，SMER是其最小外接矩形的面积；
4)圆形度是从二维空间的不规则度出发，指和标准圆形的近似程度，其计算公式如下，其中A表示物体在其二值图中的成像区域面积，C表示物体在图像中的成像区域周长，R表示圆度：
5)灰度共生矩阵是一个矩阵函数，通过计算图像中一定距离和一定方向的两点的灰度值之间的相关性，来反映图像在方向、间隔、变化幅度及快慢上的综合信息，其包含了熵值、能量、对比度、一致性在内的四个特征。
步骤S6以九类特征数值组成的向量作为输入向量，传入数据分析模块中的BP神经网络，计算输出向量，从而分析缺陷类型，具体为：
1)将步骤S5中计算得到的九类特征数据组成输入向量，传入本***算法所用BP神经网络分类器中计算输出向量；
2)本***针对金手指的压痕、划痕及露铜三类缺陷进行缺陷分类识别，故输出向量的维数为三；
3)输出向量中数值最大的那一项对应的类别作为本***算法识别出来的，关于该金手指缺陷从属的类别，记录到***数据库中；
4)除了计算分析出该柔性基板金手指部位缺陷类别以外，本***会在输入原图上对缺陷部位进行标注，以供工程师或现场操作人员察看。
如图2所示，本实施例的一种基于BP神经网络的FICS金手指缺陷检测***包括图像采集子***(包括运动控制模块和图像采集模块)、缺陷检测模块以及数据分析模块，其中：
图像采集子***，用于控制显微镜对载物平台上放置的柔性基板进行定位拍照，目标位置为金手指所在区域位置，包括：
1)运动控制模块，用脉冲信号控制载物平台移动到目标位置供相机拍照；
2)图像采集模块，控制显微镜对载物平台上放置的FICS进行拍照。
缺陷检测模块，用于提取柔性基板输入图样的灰度图和二值图，并对确定存在缺陷的金手指局部区域进行图像的分割，针对分割后的图像进行九类特征数据的计算；
数据分析模块，用于判断该柔性基板金手指部位的缺陷类别，并对缺陷区域进行标注，其中使用到了BP神经网络分类器，以九类特征数据组成输入向量计算输出向量。
如图3所示，本实施例的一种基于BP神经网络的FICS金手指缺陷检测***对检测到的压痕缺陷存在区域进行成功的识别并圈画出来。
如图4所示，本实施例的一种基于BP神经网络的FICS金手指缺陷检测***对检测到的划痕缺陷存在区域进行成功的识别并圈画出来。
如图5所示，本实施例的一种基于BP神经网络的FICS金手指缺陷检测***对检测到的露铜缺陷存在区域进行成功的识别并圈画出来。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM、磁盘或光盘等。
综上所述，本发明的一种基于BP神经网络的FICS金手指缺陷检测***及方法基于BP神经网络，对现场工作平台上的FICS进行压痕、划痕、露铜三类缺陷的同时检测，着重利用规则进行检测，能较好地避免不同光照强度下金手指成像检测的缺陷误报，并且在准确率和工作效率上都能适应工厂的现场要求。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (9)
1.一种基于BP神经网络的FICS金手指缺陷检测***的检测方法，其特征在于，所述基于BP神经网络的FICS金手指缺陷检测***包括图像采集子***、缺陷检测模块以及数据分析模块；
所述图像采集子***，用于控制显微镜对载物平台上放置的柔性基板进行定位拍照，目标位置为金手指所在区域位置；
缺陷检测模块，用于提取柔性基板输入图样的灰度图和二值图，并对确定存在缺陷的金手指局部区域进行图像的分割，针对分割后的图像进行九类特征数据的计算，所述九类特征数据包括缺陷区域面积、缺陷区域个数、矩形度、圆形度、最小外接矩形的长宽比以及灰度共生矩阵的熵值、能量、对比度、一致性；
数据分析模块，用于判断该柔性基板金手指部位的缺陷类别，并对缺陷区域进行标注，所述数据分析模块中包括BP神经网络分类器，并以九类特征数据组成输入向量传入BP神经网络分类器，计算输出向量，并以输出向量中最大项对应的类别作为最终判定的金手指缺陷类别返回；
所述检测方法包括下述步骤：
S1、图像采集子***控制显微镜对载物平台上放置的柔性基板进行定位拍照，目标位置为金手指所在区域位置；
S2、通过“输入图像保护机制”，确保输入图像是金手指图样，否则弹窗警报并退出检测流程；
所述“输入图像保护机制”目标是为了防止非金手指区域图样的输入导致算法崩溃，对***乃至硬件机台造成不必要的影响；
S3、通过形态学处理提取金手指区域，即将二值图中代表金手指的地方置1，其余非金手指的地方置0；
S4、对每一条金手指进行单独分析，分析其中是否存在缺陷存疑区域，若有，则对该区域进行分割并保存到待计算图片缓冲区里，否则跳出程序进行下一张图片的分析；
S5、对缓冲区里的图片按缺陷检测模块要求，先判断其存在缺陷的确定性，再对确定含有缺陷的图片计算九类特征数值；
S6、以九类特征数值组成的向量作为输入向量，传入数据分析模块中的BP神经网络，计算输出向量，并以输出向量中最大项对应的类别作为最终判定的金手指缺陷类别返回。
2.根据权利要求1所述基于BP神经网络的FICS金手指缺陷检测***的检测方法，其特征在于，所述图像采集子***包括运动控制模块和图像采集模块；
所述运动控制模块，用脉冲信号控制载物平台移动到目标位置供相机拍照；
所述图像采集模块，用于判断该柔性基板金手指部位的缺陷类别，并对缺陷区域进行标注，其中使用到了BP神经网络分类器，以九类特征数据组成输入向量计算输出向量。
3.根据权利要求1所述基于BP神经网络的FICS金手指缺陷检测***的检测方法，其特征在于，所述步骤S1包括下述步骤：
S1.1、针对柔性基板的金手指部位进行缺陷的精密检测，因此目标采集图样集中在金手指部位，非金手指部位不作采图操作处理；
S1.2、现场批量生产的柔性基板，其模板数据信息都有存档，通过划分每一类柔性基板中金手指所在区域并将所有定位坐标信息存入本***数据库，即可建立本文所需柔性基板金手指部位模板数据库；
S1.3、按数据库中对应目标基板的金手指坐标位置换算成脉冲信号，控制载物平台移动到目标位置进行图像采集。
4.根据权利要求1所述基于BP神经网络的FICS金手指缺陷检测***的检测方法，其特征在于，所述步骤S2包括：
S2.1、输入图像保护机制，用于保证只有输入图像是本缺陷检测***中的金手指才可进行缺陷检测，否则弹窗警报并退出检测流程；
S2.2、统计输入图像的平滑直方图，若直方图中双峰之间的距离较远则视为输入图像合法，继续检测流程，否则停止检测并弹窗警告；
S2.3、在图像一半宽度位置从上往下检索每条金手指的中心点位置，以每个中心点为中心，从0°开始，以10°为间隔画直线作线性检测；
S2.4、线性检测是指落在直线上的目标区域长度占比，若线性检测得到的占比值大于本***设定阈值，则视为输入图像合法，继续检测流程，否则停止检测并弹窗警告。
5.根据权利要求1所述基于BP神经网络的FICS金手指缺陷检测***的检测方法，其特征在于，所述步骤S3包括：
S3.2、以输入图像的平滑直方图中波谷值为阈值对图像进行二值化，这里采用基于插值法的直方图平滑，设步长step，对直方图f上某点x，按下述公式计算其平滑后的值temp：
S3.2针对二值图像采用3*3模板大小的中值滤波器，保证基板输入图样细节的同时，尽可能消除二值图中类似椒盐噪声的干扰点；
S3.3再进行闭操作，及先膨胀后腐蚀，弥合较窄的间断和细长的沟壑，消除小空洞，填补轮廓线中的断裂。
6.根据权利要求5所述基于BP神经网络的FICS金手指缺陷检测***的检测方法，其特征在于，步骤S3.3中，采用的“十”字型结构元能较好的对滤波后二值图进行目标区域当中细小空洞的填补。
7.根据权利要求1所述基于BP神经网络的FICS金手指缺陷检测***的检测方法，其特征在于，所述步骤S4包括：
S4.1、通过自定义直线拟合算法检测并拟合出每条金手指的直线边缘，每两条直线确定一条金手指，确定其在图像中所占区域位置，然后对每条金手指分别检测其是否存在缺陷；
S4.2按二值图的宽度w，将每条金手指均分为N等份，其中N为自定义数值，并统计每一份金手指区域内黑色像素的占空比，所述黑色像素即灰度值为0的区域，若占空比大于某一设定阈值，则视为该金手指局部区域存在缺陷的可能，将其切割保存为新图层放到缓冲区等待后续进一步分析，否则视为不存在缺陷；
S4.3 对同一条金手指的缺陷存疑检测过程中，若相邻两局部区域都判定为缺陷存疑区域，则将两局部区域进行合并，将合并后的金手指局部区域图作为后续特征计算用的实际输入图像存到缓冲区中；
S4.4当前步骤结束后，若缓冲区中有图层数据，则继续执行步骤S5，否则表示柔性基板的金手指部位质量良好，跳出检测流程，进行下一柔性基板的质量检测。
8.根据权利要求1所述基于BP神经网络的FICS金手指缺陷检测***的检测方法，其特征在于，所述步骤S5包括：
S5.1、从缺陷存疑图片缓冲区内依次读取图片进行轮廓提取，计算每一轮廓所包含的面积，若小于某一设定阈值，则视为干扰而非缺陷处理，不作后面的特征计算处理；
S5.2、对确定存在缺陷的图片，计算其九类特征的数值，包括缺陷区域面积、缺陷区域个数、矩形度、圆形度、最小外接矩形的长宽比以及灰度共生矩阵的熵值、能量、对比度、一致性；
S5.3、矩形度体现的是二维物体占其最小外接矩形的面积比例大小，定义为
，其中
是该物体的面积，
是其最小外接矩形的面积；
S5.4、圆形度是从二维空间的不规则度出发，指和标准圆形的近似程度，其计算公式如下，其中A表示物体在其二值图中的成像区域面积，C表示物体在图像中的成像区域周长，R表示圆度：
S5.5灰度共生矩阵是一个矩阵函数，通过计算图像中一定距离和一定方向的两点的灰度值之间的相关性，来反映图像在方向、间隔、变化幅度及快慢上的综合信息，其包含了熵值、能量、对比度、一致性在内的四个特征。
9.根据权利要求8所述基于BP神经网络的FICS金手指缺陷检测***的检测方法，其特征在于，所述步骤S6包括：
S6.1将步骤S5中计算得到的九类特征数据组成输入向量，传入BP神经网络分类器中计算输出向量；
S6.2针对金手指的压痕、划痕及露铜三类缺陷进行缺陷分类识别，故输出向量的维数为三；
S6.3、输出向量中数值最大的那一项对应的类别作为识别出来的类别，关于该金手指缺陷从属的类别，记录到***数据库中；
S6.4 在识别出该柔性基板金手指部位缺陷类别后，在输入原图上对缺陷部位进行标注，以供工程师或现场操作人员察看。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810749665.0A CN109035219B (zh) | 2018-07-10 | 2018-07-10 | 基于bp神经网络的fics金手指缺陷检测***及检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810749665.0A CN109035219B (zh) | 2018-07-10 | 2018-07-10 | 基于bp神经网络的fics金手指缺陷检测***及检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109035219A CN109035219A (zh) | 2018-12-18 |
| CN109035219B true CN109035219B (zh) | 2022-03-29 |
Family
ID=64641787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810749665.0A Active CN109035219B (zh) | 2018-07-10 | 2018-07-10 | 基于bp神经网络的fics金手指缺陷检测***及检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109035219B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112396599B (zh) * | 2020-12-04 | 2021-08-31 | 高视科技(苏州)有限公司 | 一种透明封装ic缺陷的视觉检测方法 |
| CN112991287B (zh) * | 2021-03-08 | 2022-09-16 | 湘潭大学 | 一种基于全卷积神经网络的自动压痕测量方法 |
| CN113362288B (zh) * | 2021-05-24 | 2024-03-08 | 深圳明锐理想科技股份有限公司 | 一种金手指划伤检测方法、装置以及电子设备 |
| CN113533375A (zh) * | 2021-08-26 | 2021-10-22 | 惠州市特创电子科技股份有限公司 | 一种印刷线路板正反向扫描建模检测方法 |
| CN113567455A (zh) * | 2021-08-27 | 2021-10-29 | 惠州市特创电子科技股份有限公司 | 一种印刷线路板前端金手指检测装置与检测方法 |
| CN118115439A (zh) * | 2023-06-16 | 2024-05-31 | 上海感图网络科技有限公司 | 金手指缺陷复核方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6697516B1 (en) * | 1997-03-28 | 2004-02-24 | Sollac | Method for inspecting the surface of a moving strip by prior classification of the detected surface irregularity |
| CN107389701A (zh) * | 2017-08-22 | 2017-11-24 | 西北工业大学 | 一种基于图像的pcb表观缺陷自动检测***及方法 |
| CN107462587A (zh) * | 2017-08-31 | 2017-12-12 | 华南理工大学 | 一种柔性ic基板凹凸痕缺陷的精密视觉检测***及方法 |
| CN107782733A (zh) * | 2017-09-30 | 2018-03-09 | 中国船舶重工集团公司第七〇九研究所 | 金属表面缺陷的图像识别无损检测装置及方法 |
-
2018
- 2018-07-10 CN CN201810749665.0A patent/CN109035219B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6697516B1 (en) * | 1997-03-28 | 2004-02-24 | Sollac | Method for inspecting the surface of a moving strip by prior classification of the detected surface irregularity |
| CN107389701A (zh) * | 2017-08-22 | 2017-11-24 | 西北工业大学 | 一种基于图像的pcb表观缺陷自动检测***及方法 |
| CN107462587A (zh) * | 2017-08-31 | 2017-12-12 | 华南理工大学 | 一种柔性ic基板凹凸痕缺陷的精密视觉检测***及方法 |
| CN107782733A (zh) * | 2017-09-30 | 2018-03-09 | 中国船舶重工集团公司第七〇九研究所 | 金属表面缺陷的图像识别无损检测装置及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于显微视觉的柔性基板检测***及关键技术研究;吕斯俊;《中国优秀硕士学位论文全文数据库（信息科技辑）》;20170228;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109035219A (zh) | 2018-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109035219B (zh) | 基于bp神经网络的fics金手指缺陷检测***及检测方法 | |
| CN107527009B (zh) | 一种基于yolo目标检测的遗留物检测方法 | |
| Gou et al. | Vehicle license plate recognition based on extremal regions and restricted Boltzmann machines | |
| CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
| Chuang et al. | Automatic fish segmentation via double local thresholding for trawl-based underwater camera systems | |
| CN105678213B (zh) | 基于视频特征统计的双模式蒙面人事件自动检测方法 | |
| CN108802051B (zh) | 一种柔性ic基板直线线路气泡及折痕缺陷检测***及方法 | |
| Azad et al. | New method for optimization of license plate recognition system with use of edge detection and connected component | |
| CN113763424B (zh) | 基于嵌入式平台的实时智能目标检测方法及*** | |
| KR20130072073A (ko) | 영상 윤곽선 추출 장치 및 방법 | |
| CN109800755A (zh) | 一种基于多尺度特征的遥感影像小目标检测方法 | |
| CN111369570A (zh) | 一种视频图像的多目标检测跟踪方法 | |
| Hossain et al. | Moving object detection for real time video surveillance: An edge based approach | |
| Ullah et al. | An approach of locating Korean vehicle license plate based on mathematical morphology and geometrical features | |
| CN111476804A (zh) | 托辊图像高效分割方法、装置、设备及存储介质 | |
| Lee et al. | Real-time automatic vehicle management system using vehicle tracking and car plate number identification | |
| CN113177439B (zh) | 一种行人翻越马路护栏检测方法 | |
| Rambabu et al. | Flooding-based watershed algorithm and its prototype hardware architecture | |
| Vargas et al. | A shadow removal algorithm for vehicle detection based on reflectance ratio and edge density | |
| CN116580059B (zh) | 一种基于智能视觉算法的检测水泡方法及装置 | |
| Huang et al. | A back propagation based real-time license plate recognition system | |
| Satish et al. | Edge assisted fast binarization scheme for improved vehicle license plate recognition | |
| CN111027560B (zh) | 文本检测方法以及相关装置 | |
| CN110276260B (zh) | 一种基于深度摄像头的商品检测方法 | |
| CN103971376A (zh) | 应用程序执行方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |