CN117455917A - 一种蚀刻引线框架误报库建立及误报在线判定筛选方法 - Google Patents

一种蚀刻引线框架误报库建立及误报在线判定筛选方法 Download PDF

Info

Publication number
CN117455917A
CN117455917A CN202311788551.4A CN202311788551A CN117455917A CN 117455917 A CN117455917 A CN 117455917A CN 202311788551 A CN202311788551 A CN 202311788551A CN 117455917 A CN117455917 A CN 117455917A
Authority
CN
China
Prior art keywords
image
images
library
false alarm
false positive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311788551.4A
Other languages
English (en)
Other versions
CN117455917B (zh
Inventor
肖波
肖贤军
朱为
王威
吴韬
何礼强
谢昌锋
涂丹
王林泉
文欢梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ruiyang Jingshi Technology Co ltd
Original Assignee
Shenzhen Ruiyang Jingshi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ruiyang Jingshi Technology Co ltd filed Critical Shenzhen Ruiyang Jingshi Technology Co ltd
Priority to CN202311788551.4A priority Critical patent/CN117455917B/zh
Publication of CN117455917A publication Critical patent/CN117455917A/zh
Application granted granted Critical
Publication of CN117455917B publication Critical patent/CN117455917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种蚀刻引线框架误报库建立及误报在线判定筛选方法，包括如下工艺步骤：S1、网络模型预训练；S2、产品建模；S3、建库检测图像采集及其单元图像划分；S4、建库单元图像匹配及提取缺陷图像；S5、筛选误报图像；S6、误报图像缩放；S7、误报图像转换；S8、误报图像归一化运算；S9、建立误报图像特征库；S10、在线待检测图像采集及其单元图像划分；S11、检测单元图像匹配及提取缺陷图像；S12、候选缺陷图像缩放；S13、候选缺陷图像转换；S14、候选缺陷图像归一化运算及提取特征矢量；S15、特征距离计算；S15、误报图像判定筛选；S16、在线误报筛选。本发明实现了在线自动高效高精度的筛选误报图像，提高引线框架检测效率和准确率。

Description

一种蚀刻引线框架误报库建立及误报在线判定筛选方法
技术领域
本发明涉及算法领域，特别指一种蚀刻引线框架误报库建立及误报在线判定筛选方法。
背景技术
引线框架是半导体行业内集成电路芯片的载体，应用非常广泛，质量要求高，品质的高低会直接影响最终半导体产品的性能和寿命；半导体行业属于高精密制造行业，对引线框架的质量要求严格，对引线框架的质量控制通过对引线框架的检测工序完成，通过检测工序将存在脏点、划伤等存在瑕疵缺陷的引线框架筛选排除。
在引线框架检测工序中采用高分辨率相机进行成像，细小缺陷的成像面积只有十几个像素；目前主流的检测方法是模板匹配方法，实时拍摄的产品图像与标准模板图像进行比较检测，由于产品的工艺特点，产品成像的一致性，存在各种干扰造成瑕疵缺陷的误报；如产品尺寸的一致性波动、产品本身复杂的背景纹理波动、成像***波动等，都可能造成实时产品图像与标准模板之间存在差异；因此，在采用图像检测方法筛选瑕疵缺陷产品时，由于产品成像的不一致以及上述因素影响，造成大量的误报，从而将非瑕疵缺陷产品误报为瑕疵缺陷产品，因此需要一种高效精准的处理方法以便滤除自动检测中存在的大量误报。
目前消除误报的方法是通过人工对机检的结果进行复判，通过肉眼将其中的误报挑选出来，这种方式费时费力，效率很低，同时需要复判人员具有一定的技术门槛，需要对真实缺陷和误报区域比较了解，同时在整个复判过程中人工需要长期保持高度的注意力，才有可能得到较好的误报消除效果。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，提供一种首先通过拍摄引线框架图像进行网络模型预训练得到引线框架的特征网络后，再通过拍摄有限张的建库检测图像，并通过单元图像灰度值差异对比筛选候选缺陷图像后，筛选出误报图像，并将误报图像输入引线框架的特征网络将转换为特征矢量并保存建立误报特征库后，待检测的产品图像通过单元图像灰度值差异对比筛选候选缺陷图像后，经特征网络转换为特征矢量后，逐个与误报特征库内的特征矢量进行特征距离计算，根据特征距离判别是否为误报图像，从而实现了在线自动高效高精度的筛选误报图像，提高引线框架检测效率和准确率的蚀刻引线框架误报库建立及误报在线判定筛选方法。
本发明采用的技术方案如下：一种蚀刻引线框架误报库建立及误报在线判定筛选方法，包括如下步骤：
S1、网络模型预训练：采集蚀刻引线框架的缺陷图片和误报图片；对采集的缺陷图片和误报图片进行分类标注后，依据分类标注类别通过特征提取网络进行训练，得到蚀刻引线框架的特征网络；
S2、产品建模：通过光学相机平台，采集一片无缺陷的蚀刻引线框架图片，作为模板图；将所述模板图划分为X张等面积的模板单元图像；
S3、建库检测图像采集及其单元图像划分：拍摄采集至少两张蚀刻引线框架图片作为建库检测图像，同时对采集的建库检测图像以与步骤S2中模板单元图像相同面积的方式划分为X张建库单元图像；
S4、建库单元图像匹配及提取缺陷图像：将步骤S3中的建库单元图像与步骤S2中的模板单元图像逐个分析匹配，以单元图像的像素灰度值作为匹配标准，当建库单元图像与模板单元图像的像素灰度差异值大于差异阈值T1时，标记为异常单元图像；当该建库检测图像匹配后统计的异常单元图像面积大于异常阈值T2时，将该建库检测图像提取为候选缺陷图像；
S5、筛选误报图像：重复上述步骤S3至S4，直至将所有建库检测图像匹配完成后，提取得到所有建库检测图像中的候选缺陷图像后，根据图像中有无缺陷逐张对候选缺陷图像进行筛选，将无缺陷的图像筛选为误报图像；
S6、误报图像缩放：将步骤S5中筛选出的误报图像逐张缩放至128*128像素尺寸的图像；
S7、误报图像转换：将步骤S6中缩放后的误报图像输入所述步骤S1中训练的蚀刻引线框架的特征网络，并输出误报图像高维特征矢量a；所述误报图像高维特征矢量a为包括128维的向量数组；
S8、误报图像归一化运算：将步骤S7中输出的误报图像高维特征矢量a进行归一化运算，得到误报图像特征矢量a^；所述误报图像特征矢量a^为128维的向量数组；所述归一化运算公式为a^=ai/|ai|，其中，所述ai为误报图像高维特征矢量a的128维向量数组中第i个向量数值；所述|ai|为ai的模长，|a|=(向量a各分量二次幂相加结果)的开方；
S9、建立误报图像特征库：将步骤S8中归一化运算得到的误报图像特征矢量a^保存，形成误判图像特征库；
S10、在线待检测图像采集及其单元图像划分：拍摄采集蚀刻引线框架的待检测图像，同时对采集的待检测图像以与步骤S2中模板单元图像相同面积的方式划分为X张检测单元图像：
S11、检测单元图像匹配及提取缺陷图像：将步骤S10中的检测单元图像与步骤S2中的模板单元图像逐个分析匹配，以单元图像的像素灰度值作为匹配标准，当检测单元图像与模板单元图像的像素灰度差异值大于差异阈值T1时，标记为异常单元图像；当该待检测图像匹配后统计的异常单元图像面积大于异常阈值T2时，将该待检测图像提取为候选缺陷图像：
S12、候选缺陷图像缩放：将步骤S11中筛选出的候选缺陷图像缩放至128*128像素尺寸的图像；
S13、候选缺陷图像转换：将步骤S12中缩放后的候选缺陷图像输入所述步骤S1中训练的蚀刻引线框架的特征网络，并输出候选图像高维特征矢量b；所述候选图像高维特征矢量b为包括128维的向量数组；
S14、候选缺陷图像归一化运算及提取特征矢量：将步骤S13中输出的候选图像高维特征矢量b进行归一化运算，得到候选图像特征矢量b^；所述候选图像特征矢量b^为128维的向量数组；所述归一化运算公式为b^=bi/|bi|，其中，所述bi为候选图像高维特征矢量b的128维的向量数组中中第i个向量数值；所述|bi|为bi的模长，|b|=(向量b各分量二次幂相加结果)的开方；
S15、特征距离计算：将步骤S14中归一化运算后得到的候选图像特征矢量b^与步骤S9中建立的误报特征库内的多个误报图像特征矢量a^逐个检索比对，利用L2范式距离公式分别计算候选图像特征矢量b^与多个误报图像特征矢量a^之间的特征距离，取其中最小距离值，作为待检测图像与误报图像库最终的评价值L；L2范式距离公式为，公式中a表示误报图像高维特征矢量，b表示候选图像高维特征矢量，n=128，i表示128维向量数组中第i维，ai、bi分别表示a、b特征中第i维的向量数值；
S15、误报图像判定筛选：将步骤S15中选取的评价值L与误报筛选阈值T3进行比对，当L≤T3时，判定该待检测图像为误报图像，反之则为缺陷图像；
S16、在线误报筛选：重复上述步骤S10至S15，在线将待检测图像逐张通过灰度值对比筛选候选缺陷图像后，通过候选缺陷图像的候选特征矢量b^与误报图像库内的多个误报图像特征矢量a^进行L2范式距离公式计算特征距离后，根据选取的评价值L与阈值T3进行比对，在线筛选判定候选图像是否为误报图像。
优选的，所述步骤S1中缺陷图像种类包括脏污图像、划伤图像；所述误报图像种类包括纹理误报图像、边缘误报图像。
优选的，所述步骤S1中特征提取网络为PPLCNetV2网络；所述网络模型预训练步骤为将采集的图片缩放至分辨率为128*128的像素尺寸的图像后，输入至PPLCNetV2网络，通过PPLCNetV2网络将图像转换为高维特征矢量，高维特征矢量为包括128维特征的向量数据组。
优选的，所述步骤S2、步骤S3及步骤S10中拍摄采集模板图像、建库检测图像以及待检测图像的相机分辨率相同。
优选的，所述步骤S2、步骤S3及步骤S10中将模板图像、建库检测图像以及在线待检测图像划分为单元图像的数量X取值范围为280至360张。
优选的，所述步骤S4中建库单元图像与模板单元图像基于像素灰度值匹配分析时，两者的像素灰度值越接近则说明两者的像素灰度差异值越小，反之则越大，当两者的像素差异值大于设置的差异阈值T1时，则判定该建库单元图像为差异图像；所述步骤S11中检测单元图像与模板单元图像基于像素灰度值匹配分析时，两者的像素灰度值越接近则说明两者的像素灰度差异值越小，反之则越大，当两者的像素差异值大于设置的差异阈值T1时，则判定该检测单元图像为差异图像；所述差异阈值T1为建库单元图像或检测单元图像与模板单元图像的像素灰度差异临界值；所述差异阈值T1的取值范围为15至35。
优选的，所述步骤S4及步骤S11中异常阈值T2为单张的建库检测图像或单张的待检测图像中存在差异图像的数量临界值，当单张的建库检测图像或单张的待检测图像中的建库单元图像或检测单元图像的差异图像面积大于T2时，判定该张建库检测图像或待检测图像为候选缺陷图像；所述异常阈值T2的取值范围为15至25像素面积。
优选的，所述步骤S15中通过候选图像特征矢量b^与误报图像库中的误报图像特征矢量a^通过L2范式距离公式计算得到的候选图像特征矢量b^与多个误报图像特征矢量a^之间的特征距离的范围值为0至1。
优选的，所述步骤S16中的误报筛选阈值T3为候选图像特征矢量b^与误报图像特征矢量a^基于L2范式距离公式的特征距离的临界判定值；当候选图像特征矢量b^与误报图像特征矢量a^基于L2范式距离公式计算得到的特征距离越小，则表示两者越接近，当选定的代表最小特征距离的评价值L小于T3时，则判定候选缺陷图像为误报图像，反之则为缺陷图像。
优选的，所述误报筛选阈值T3的范围值为0.05至0.15。
本发明的有益效果在于：
本发明针对现有技术存在的缺陷和不足自主研发设计了一种首先通过拍摄引线框架图像进行网络模型预训练得到引线框架的特征网络后，再通过拍摄有限张的建库检测图像，并通过单元图像灰度值差异对比筛选候选缺陷图像后，筛选出误报图像，并将误报图像输入引线框架的特征网络将转换为特征矢量并保存建立误报特征库后，待检测的产品图像通过单元图像灰度值差异对比筛选候选缺陷图像后，经特征网络转换为特征矢量后，逐个与误报特征库内的特征矢量进行特征距离计算，根据特征距离判别是否为误报图像，从而实现了在线自动高效高精度的筛选误报图像，提高引线框架检测效率和准确率的蚀刻引线框架误报库建立及误报在线判定筛选方法。
本发明应用于引线框架的瑕疵缺陷检测领域，其作用在于解决引线框架瑕疵缺陷检测过程中出现的误报问题，同时实现了在线自动高精度误报筛选，减少人工复判的工作量，提高检测效率。具体的，本发明整体包括引线框架的特征网络预训练、产品建模、建立误报特征库以及在线误报筛选四大步骤。
特征网络预训练的目的在于通过前期拍摄采集有限张的引线框架图像，并通过将其尺寸缩放至128*128像素尺寸大小后，输入至PPLCNetV2网络，经PPLCNetV2网络将图像信息转换成128维的高维特征矢量（即包括128个向量值的数据组），从而预训练建立适用于引线框架的网络模型。
产品建模的目的在于提供建立误报特征库或在线误报筛选过程中提供像素灰度值比对分析的参考标准，以便初步筛选出候选缺陷图像，候选缺陷图像包括实际的瑕疵缺陷图像及通过像素灰度值对比时误报图像（实际为无瑕疵缺陷的图像），产品建模过程为拍摄采集1张无瑕疵缺陷的引线框架图片作为模板图像，并依据图像像素将该模板图像划分为多张等面积的模板单元图像（基于相机组的拍摄像素为500万像素的前提下，可将模板单元图像的数量设置为40行8列，共计320张，具体划分数量可根据图像像素、检测精度要求及分析匹配工作量综合选择），完成产品建模。
建立误报特征库的目的在于建立覆盖已至存在的误报图像对应的特征矢量误报库，作为特征距离判定过程中的参考对象，将在线检测过程中实时拍摄的产品图像对应的特征矢量与误报特征库中特征矢量逐个代入L2范式距离计算公式中，进行特征距离的计算后，以判定该图像是否为误报图像；具体步骤为，先将可能实际检测过程中已知存在的误报图像（如纹理误报、边缘误报等）拍摄收集后（图像数量为有限张，根据不同检测要求选择数量，如10张），以与产品建模过程中相同的方式进行单元图像划分，并通过将建库单元图像逐个与模板单元图像进行像素灰度值对比匹配，两者的像素灰度值越接近则说明两者的像素灰度差异值越小，反之则越大，当两者的像素差异值大于设置的差异阈值T1（差异阈值T1为根据多次现场实验以及像素匹配经验确定的数值，其取值范围为25至35）时，则判定该建库单元图像为差异图像，当单张建库检测图像中的建库单元图像为差异图像的数量大于设定的异常阈值T2（异常阈值T2为根据多次现场实验、图像像素及单元划分数量等因素确定，其取值范围在15至25像素面积）时，判定该张建库检测图像为候选缺陷图像；再将候选缺陷图像通过人工方式复判的方式从候选缺陷图像中筛选出无瑕疵缺陷的图像，即误报图像（建库检测图像的数量为有限张，因此人工复判的工作量有限）；筛选出的误报图像缩放至128*128的像素尺寸后，输入上述建立的引线框的网络模型，通过网络模型将图像信息转换成输出为128维的高维特征矢量（即包括128个向量值的数据组）；由于高维特征矢量未进行归一化时，在后续通过L2范式特征距离公式计算特征距离得到的结果为0至无限大，得到的特征距离值不可控，无法作为判定标准，因此需要通过归一化运算将高维特征矢量中的向量数值归一化到-1至1范围内的数值后，再将归一化运算得到误报图像特征矢量（即包括128个向量值的数据组，128个向量值的范围为-1至1），然后保存这些误报图像特征矢量，建立包括多个特征矢量的误报特征库。
在线误报筛选为本发明最终所需实现的目标，即实现了待检测引线框架在线实时自动完成误报筛选，无需人工复判，当引线框架的网络模型预训练、产品建模完成以及误报特征库建立后，对于后续需要检测的引线框架产品，通过光学相机平台（如CCD镜头组件）拍摄采集待检测的引线框架，形成在线待检测图像后，将图像按照与模板图像同样方式进行单元划分，形成检测单元图像，与建立误报特征库类似的，通过将检测单元图像与模板单元图像之间基于像素灰度值的匹配对比，当两者的像素差异值大于设置的差异阈值T1时，则判定该检测单元图像为差异图像，反之则为正常图像无需进行下一步，当单张在线待检测图像中的检测单元图像为差异图像的数量大于设定的异常阈值T2时，判定该张在线待检测检测图像为候选缺陷图像，然后对该候选缺陷图像缩放为128*128像素尺寸的图像后，将其输入上述建立的引线框的网络模型，通过网络模型将图像信息转换成输出为128维的高维特征矢量（即包括128个向量值的数据组）；得到高维特征矢量后，同样的对其进行归一化计算，得到向量值取值范围在-1至1内的特征矢量；然后将该特征矢量与误差特征库中的特征矢量逐个匹配，并代入L2范式距离计算公式内，计算得到该特征矢量与误差特征库中不同特征矢量的特征距离后，取其中最小的特征距离作为最终的评价值L，再通过将评价值L与设定的误报筛选阈值T3（误报筛选阈值T3为根据多次现场实验后确定的值，其大小范围在0.05至0.15之间，如取0.1）进行比对，当选取的代表最小特征距离的评价值L小于T3时，则判定候选缺陷图像为误报图像，反之则为缺陷图像，从而实现了在经像素灰度值第一次筛选的候选缺陷图像中第二次筛选误报图像的目的。
附图说明
图1为本发明的算法原理框图。
图2为本发明产品建模的步骤示意图。
图3为本发明建库检测图像或在线待检测图像的提取候选缺陷图像的步骤示意图。
图4为本发明引线框架的特征网络预训练步骤示意图。
图5为本发明PPLCNetV2网络框架示意图。
图6为本发明采集的无缺陷模板图像示意图。
图7为图6中的模板单元图像示意图。
图8为本发明采集的建库检测图像或在线待检测图像示意图。
图9为本发明的建库检测图像筛选误报图像示意图。
图10为图9中筛选的误报单元图像的局部放大示意图。
图11为本发明采集图像的脏污局部放大示意图。
图12为本发明采集图像中的划伤局部放大示意图。
图13为本发明采集图像中的纹理误报的局部放大示意图。
图14为本发明采集图像中的边缘误报的局部放大示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示诸如上、下、左、右、前、后……仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
如图1至图3所示，一种蚀刻引线框架误报库建立及误报在线判定筛选方法，包括如下步骤：
S1、网络模型预训练：采集蚀刻引线框架的缺陷图片和误报图片；对采集的缺陷图片和误报图片进行分类标注后，依据分类标注类别通过特征提取网络进行训练，得到蚀刻引线框架的特征网络；
S2、产品建模：通过光学相机平台，采集一片无缺陷的蚀刻引线框架图片，作为模板图；将所述模板图划分为X张等面积的模板单元图像；
S3、建库检测图像采集及其单元图像划分：拍摄采集至少两张蚀刻引线框架图片作为建库检测图像，同时对采集的建库检测图像以与步骤S2中模板单元图像相同面积的方式划分为X张建库单元图像；
S4、建库单元图像匹配及提取缺陷图像：将步骤S3中的建库单元图像与步骤S2中的模板单元图像逐个分析匹配，以单元图像的像素灰度值作为匹配标准，当建库单元图像与模板单元图像的像素灰度差异值大于差异阈值T1时，标记为异常单元图像；当该建库检测图像匹配后统计的异常单元图像面积大于异常阈值T2时，将该建库检测图像提取为候选缺陷图像；
S5、筛选误报图像：重复上述步骤S3至S4，直至将所有建库检测图像匹配完成后，提取得到所有建库检测图像中的候选缺陷图像后，根据图像中有无缺陷逐张对候选缺陷图像进行筛选，将无缺陷的图像筛选为误报图像；
S6、误报图像缩放：将步骤S5中筛选出的误报图像逐张缩放至128*128像素尺寸的图像；
S7、误报图像转换：将步骤S6中缩放后的误报图像输入所述步骤S1中训练的蚀刻引线框架的特征网络，并输出误报图像高维特征矢量a；所述误报图像高维特征矢量a为包括128维的向量数组；
S8、误报图像归一化运算：将步骤S7中输出的误报图像高维特征矢量a进行归一化运算，得到误报图像特征矢量a^；所述误报图像特征矢量a^为128维的向量数组；所述归一化运算公式为a^=ai/|ai|，其中，所述ai为误报图像高维特征矢量a的128维向量数组中第i个向量数值；所述|ai|为ai的模长，|a|=(向量a各分量二次幂相加结果)的开方；
S9、建立误报图像特征库：将步骤S8中归一化运算得到的误报图像特征矢量a^保存，形成误判图像特征库；
S10、在线待检测图像采集及其单元图像划分：拍摄采集蚀刻引线框架的待检测图像，同时对采集的待检测图像以与步骤S2中模板单元图像相同面积的方式划分为X张检测单元图像：
S11、检测单元图像匹配及提取缺陷图像：将步骤S10中的检测单元图像与步骤S2中的模板单元图像逐个分析匹配，以单元图像的像素灰度值作为匹配标准，当检测单元图像与模板单元图像的像素灰度差异值大于差异阈值T1时，标记为异常单元图像；当该待检测图像匹配后统计的异常单元图像面积大于异常阈值T2时，将该待检测图像提取为候选缺陷图像：
S12、候选缺陷图像缩放：将步骤S11中筛选出的候选缺陷图像缩放至128*128像素尺寸的图像；
S13、候选缺陷图像转换：将步骤S12中缩放后的候选缺陷图像输入所述步骤S1中训练的蚀刻引线框架的特征网络，并输出候选图像高维特征矢量b；所述候选图像高维特征矢量b为包括128维的向量数组；
S14、候选缺陷图像归一化运算及提取特征矢量：将步骤S13中输出的候选图像高维特征矢量b进行归一化运算，得到候选图像特征矢量b^；所述候选图像特征矢量b^为128维的向量数组；所述归一化运算公式为b^=bi/|bi|，其中，所述bi为候选图像高维特征矢量b的128维的向量数组中中第i个向量数值；所述|bi|为bi的模长，|b|=(向量b各分量二次幂相加结果)的开方；
S15、特征距离计算：将步骤S14中归一化运算后得到的候选图像特征矢量b^与步骤S9中建立的误报特征库内的多个误报图像特征矢量a^逐个检索比对，利用L2范式距离公式分别计算候选图像特征矢量b^与多个误报图像特征矢量a^之间的特征距离，取其中最小距离值，作为待检测图像与误报图像库最终的评价值L；L2范式距离公式为，公式中a表示误报图像高维特征矢量，b表示候选图像高维特征矢量，n=128，i表示128维向量数组中第i维，ai、bi分别表示a、b特征中第i维的向量数值；
S15、误报图像判定筛选：将步骤S15中选取的评价值L与误报筛选阈值T3进行比对，当L≤T3时，判定该待检测图像为误报图像，反之则为缺陷图像；
S16、在线误报筛选：重复上述步骤S10至S15，在线将待检测图像逐张通过灰度值对比筛选候选缺陷图像后，通过候选缺陷图像的候选特征矢量b^与误报图像库内的多个误报图像特征矢量a^进行L2范式距离公式计算特征距离后，根据选取的评价值L与阈值T3进行比对，在线筛选判定候选图像是否为误报图像。
如图6所示，为本发明采集的无缺陷模板图像的示意图，采集到无缺陷模板图像后，将该图像划分为多张模板单元图像，并选定一张单元图像作为后续进行像素灰度值匹配时的候选模板单元图像，如图7所示。
如图8所示，为本发明采集的建库检测图像或在线待检测图像示意图，该图像被划分为多张单元图像，同时通过像素灰度匹配将候选缺陷图像筛选出来。
如图9所示，为本发明的建库检测图像筛选误报图像示意图，当建库检测图像经过像素灰度匹配筛选出候选缺陷图像后，通过人工复判的方式在图9中对候选缺陷图像的各张单元图像逐个检查复判，并从中勾选出误报图像，以供后续建立误报特征库。
如图10所示，为本发明图9中筛选的误报单元图像的局部放大示意图，从图中可知，误报图像再通过像素灰度值匹配后被选为候选缺陷图像的原因在于其边缘灰度值变化差异过大，实际上该图像为无瑕疵缺陷图像，因此将其筛选作为建库的误报图像，误报图像经过缩放后输入至引线框架的特征网络将图像信息转换输出成高维矢量特征。
如图10所示，图10中误报图像示意图3对应图像通过特征网络输出的高维矢量特征为：[[0.00254897,-0.0198782,0.0622372,0.00438112,0.0145146,-0.00670561,-0.0349422,-0.0761061,-0.0330957,-0.00865035,-0.0483953,0.0217152,-0.0546154,……]。
如图10所示，图10中误报图像示意图2对应图像通过特征网络输出的高维矢量特征为：[[0.0653486,0.0178405,-0.0237074,-0.0178318,-0.024009,-0.0821383,-0.0145345,-0.0486141,-0.0632687,0.00192454,-0.0225132,0.0817714,-0.0371344,0.0183654,-0.0287645,-0.0605773,0.0211897,0.0270865,0.0375279,0.072306,0.0014263,-0.0325393,0.0624365,-0.0299767,-0.0331617,0.0186456,-0.0790586,0.06878,-0.00176705,0.0435906,0.0043805,0.00493038,0.0047855,0.0426672,0.0568707,0.0441367,0.0211548,0.00891262,-0.0186768,-0.0466011,0.00561119,-0.00211063,0.00331003,-0.0656972,0.0586017,……]。
如图10所示，图10中误报图像示意图1对应图像通过特征网络输出的高维矢量特征为：[-0.0394494,0.0142747,-0.028444,-0.00866088,-0.00438898,-0.0583859,-0.0765748,-0.041415,-0.0530525,0.0157711,0.00267087,-0.00918346,-0.0889935,0.076135,0.0344477,-0.0647142,-0.091354,0.0535637,-0.0474916,0.0225929,-0.0630671,-0.0183488,-0.00315991,-0.00258599,0.000261465,0.0212461,-0.0150233,0.0103629,0.0447965,0.005706,0.0418162,0.00130445,-0.092437,…]。
如图10所示，图10中误报图像示意图4对应图像通过特征网络输出的高维矢量特征为：[,-0.0716673,0.0134239,-0.0457978,-0.00368738,-0.064066,-0.03132,-0.0924681,0.0357773,0.0140021,0.0148327,-0.00190882,-0.0980173,0.0466814,0.0441684,-0.0923377,-0.012295,0.0546425,0.000881547,0.0413368,-0.0358201,-0.0608816,-0.0155415,-0.0366058,-0.03519,-0.0217756,-0.0497719,-0.0294413,-0.109245,-0.0607234,0.00482594,0.0186923,0.00590011,0.0445973,-0.0397616,0.0436038,-0.0641756,0.0466428,0.0546191,0.00206646,-0.0731959,-0.0420972,0.0283895,……]。
上述误报图像信息通过特征网络转换输出为高维特征矢量后，再通过归一化计算，将高维特征矢量转换为特征矢量，以边后续进行特征距离计算时控制其距离范围值在0至1之间。
如图11所示，图11中脏污1对应图像通过特征网络输出的高维矢量特征再通过归一化运算提取的特征矢量为：[[-0.0199702,0.0298826,0.00574119,-0.0413988,-0.0175548,-0.0568687,-0.091874,-0.0173608,0.0412338,-0.0307102,-0.016219,-0.00166185,-0.054901,0.118219,-0.000705321,-0.0568975,-0.0796738,0.0438039,-0.0647409,0.04662,-0.0691875,-0.0243827,-0.00413231,-0.0298326,-0.0327811,0.0170793,-0.0420636,0.00543999,0.0443309,0.030534,0.0616699,0.0314932,-0.0662809,0.0558587,-0.0146055,-0.0201346,-0.00587449,0.088057,0.00853607,-0.0182423,0.0262702,0.0354289,-0.0401268,0.0212121,-0.0161035,0.0214663,-0.0388577,0.0436364,0.0452089,-0.0137521,0.0202017,0.00636449,-0.0492859,0.0536226,-0.0206718,0.00102175,0.0339028,……]
上述图10中，误报图像示意图3对应图像通过特征网络输出的高维矢量特征经过归一化计算后得到的特征矢量为：[-0.0358201,-0.0608816,-0.0155415,-0.0366058,-0.03519,-0.0217756,-0.0497719,-0.0294413,-0.109245,-0.0607234,0.00482594,0.0186923,0.00590011,0.0445973,-0.0397616,0.0436038,-0.0641756,0.0466428,0.0546191,0.00206646,-0.0731959,-0.0420972,0.0283895,-0.0340378,-0.0202859,0.0290878,0.0878383,0.0353065,-0.0106767,0.0577252,-0.033487,-0.051565,0.025638,-0.0479884,-0.115865,0.041643,0.0532406,0.0945049,-0.0547059,-0.0479764,0.00388267,-0.0718287,-0.0155912,0.000541382,0.126608,-0.0270506,-0.0312805,0.0170672,-0.0600545,-0.0112602,-0.00436069,0.00198579,0.00489726,-0.0326198,0.0339323,…… ]。
如此类推分别得到图10中其他三张误差图像的特征矢量后，将图11中脏污1对应图像的特征矢量分别与图10中四张误差图像对应的特征矢量代入L2范式计算公式中计算后得到的距离值中，最小值为0.723，将该最小值判定为评价值L，将误报筛选阈值T3设置为0.1，则L大于T3，与接收的数据的不相似，不能被过滤，即判定该脏污1对应的图像在候选缺陷图像中属于缺陷图像。
同样的，如果将图10中误报图像示意图3对应的特征矢量分别与图10中另外三张误差图像对应的特征矢量代入L2范式计算公式中计算后得到的距离值中，最小值为0.054，将该最小值判定为评价值L，将误报筛选阈值T3设置为0.1，则L小于T3，因此说明该图像与另外三张图相似，判定为误报图像。
本发明设计了一种首先通过拍摄引线框架图像进行网络模型预训练得到引线框架的特征网络后，再通过拍摄有限张的建库检测图像，并通过单元图像灰度值差异对比筛选候选缺陷图像后，筛选出误报图像，并将误报图像输入引线框架的特征网络将转换为特征矢量并保存建立误报特征库后，待检测的产品图像通过单元图像灰度值差异对比筛选候选缺陷图像后，经特征网络转换为特征矢量后，逐个与误报特征库内的特征矢量进行特征距离计算，根据特征距离判别是否为误报图像，从而实现了在线自动高效高精度的筛选误报图像，提高引线框架检测效率和准确率的蚀刻引线框架误报库建立及误报在线判定筛选方法。本发明应用于引线框架的瑕疵缺陷检测领域，其作用在于解决引线框架瑕疵缺陷检测过程中出现的误报问题，同时实现了在线自动高精度误报筛选，减少人工复判的工作量，提高检测效率。具体的，本发明整体包括引线框架的特征网络预训练、产品建模、建立误报特征库以及在线误报筛选四大步骤。
特征网络预训练的目的在于通过前期拍摄采集有限张的引线框架图像，并通过将其尺寸缩放至128*128像素尺寸大小后，输入至PPLCNetV2网络，经PPLCNetV2网络将图像信息转换成128维的高维特征矢量（即包括128个向量值的数据组），从而预训练建立适用于引线框架的网络模型。
产品建模的目的在于提供建立误报特征库或在线误报筛选过程中提供像素灰度值比对分析的参考标准，以便初步筛选出候选缺陷图像，候选缺陷图像包括实际的瑕疵缺陷图像及通过像素灰度值对比时误报图像（实际为无瑕疵缺陷的图像），产品建模过程为拍摄采集1张无瑕疵缺陷的引线框架图片作为模板图像，并依据图像像素将该模板图像划分为多张等面积的模板单元图像（基于相机组的拍摄像素为500万像素的前提下，可将模板单元图像的数量设置为40行8列，共计320张，具体划分数量可根据图像像素、检测精度要求及分析匹配工作量综合选择），完成产品建模。
建立误报特征库的目的在于建立覆盖已至存在的误报图像对应的特征矢量误报库，作为特征距离判定过程中的参考对象，将在线检测过程中实时拍摄的产品图像对应的特征矢量与误报特征库中特征矢量逐个代入L2范式距离计算公式中，进行特征距离的计算后，以判定该图像是否为误报图像；具体步骤为，先将可能实际检测过程中已知存在的误报图像（如纹理误报、边缘误报等）拍摄收集后（图像数量为有限张，根据不同检测要求选择数量，如10张），以与产品建模过程中相同的方式进行单元图像划分，并通过将建库单元图像逐个与模板单元图像进行像素灰度值对比匹配，两者的像素灰度值越接近则说明两者的像素灰度差异值越小，反之则越大，当两者的像素差异值大于设置的差异阈值T1（差异阈值T1为根据多次现场实验以及像素匹配经验确定的数值，其取值范围为为25至35）时，则判定该建库单元图像为差异图像，当单张建库检测图像中的建库单元图像为差异图像的数量大于设定的异常阈值T2（异常阈值T2为根据多次现场实验、图像像素及单元划分数量等因素确定，其取值范围在15至25之间）时，判定该张建库检测图像为候选缺陷图像；再将候选缺陷图像通过人工方式复判的方式从候选缺陷图像中筛选出无瑕疵缺陷的图像，即误报图像（建库检测图像的数量为有限张，因此人工复判的工作量有限）；筛选出的误报图像缩放至128*128的像素尺寸后，输入上述建立的引线框的网络模型，通过网络模型将图像信息转换成输出为128维的高维特征矢量（即包括128个向量值的数据组）；由于高维特征矢量未进行归一化时，在后续通过L2范式特征距离公式计算特征距离得到的结果为0至无限大，得到的特征距离值不可控，无法作为判定标准，因此需要通过归一化运算将高维特征矢量中的向量数值归一化到-1至1范围内的数值后，再将归一化运算得到误报图像特征矢量（即包括128个向量值的数据组，128个向量值的范围为-1至1），然后保存这些误报图像特征矢量，建立包括多个特征矢量的误报特征库。
在线误报筛选为本发明最终所需实现的目标，即实现了待检测引线框架在线实时自动完成误报筛选，无需人工复判，当引线框架的网络模型预训练、产品建模完成以及误报特征库建立后，对于后续需要检测的引线框架产品，通过光学相机平台（如CCD镜头组件）拍摄采集待检测的引线框架，形成在线待检测图像后，将图像按照与模板图像同样方式进行单元划分，形成检测单元图像，与建立误报特征库类似的，通过将检测单元图像与模板单元图像之间基于像素灰度值的匹配对比，当两者的像素差异值大于设置的差异阈值T1时，则判定该检测单元图像为差异图像，反之则为正常图像无需进行下一步，当单张在线待检测图像中的检测单元图像为差异图像的数量大于设定的异常阈值T2时，判定该张在线待检测检测图像为候选缺陷图像，然后对该候选缺陷图像缩放为128*128像素尺寸的图像后，将其输入上述建立的引线框的网络模型，通过网络模型将图像信息转换成输出为128维的高维特征矢量（即包括128个向量值的数据组）；得到高维特征矢量后，同样的对其进行归一化计算，得到向量值取值范围在-1至1内的特征矢量；然后将该特征矢量与误差特征库中的特征矢量逐个匹配，并代入L2范式距离计算公式内，计算得到该特征矢量与误差特征库中不同特征矢量的特征距离后，取其中最小的特征距离作为最终的评价值L，再通过将评价值L与设定的误报筛选阈值T3（误报筛选阈值T3为根据多次现场实验后确定的值，其大小范围在0.05至0.15之间，如取0.1）进行比对，当选取的代表最小特征距离的评价值L小于T3时，则判定候选缺陷图像为误报图像，反之则为缺陷图像，从而实现了在经像素灰度值第一次筛选的候选缺陷图像中第二次筛选误报图像的目的。
实施例1
如图4至图5所示，为引线框架的网络模型预训练步骤及其特征提取网络，作为本发明的一个实施例，本发明的步骤S1中特征提取网络为PPLCNetV2网络；所述网络模型预训练步骤为将采集的图片缩放至分辨率为128*128的像素尺寸的图像后，输入至PPLCNetV2网络，通过PPLCNetV2网络将图像转换为高维特征矢量，高维特征矢量为包括128维特征的向量数据组。
实施例2
如图11至图14所示，作为本发明的一个实施例，本发明的步骤S1中缺陷图像种类包括脏污图像、划伤图像；所述误报图像种类包括纹理误报图像、边缘误报图像。
实施例3
作为本发明的一个实施例，本发明的步骤S2、步骤S3及步骤S10中拍摄采集模板图像、建库检测图像以及待检测图像的相机分辨率相同，均分别采用500万像素的相机拍摄成像。
实施例4
作为本发明的一个实施例，本发明的步骤S2、步骤S3及步骤S10中将模板图像、建库检测图像以及在线待检测图像划分为单元图像的数量X取值为40行8列，共计320张单元图像。
实施例5
作为本发明的一个实施例，本发明的步骤S4中建库单元图像与模板单元图像基于像素灰度值匹配分析时，两者的像素灰度值越接近则说明两者的像素灰度差异值越小，反之则越大，当两者的像素差异值大于设置的差异阈值T1时，则判定该建库单元图像为差异图像；所述步骤S11中检测单元图像与模板单元图像基于像素灰度值匹配分析时，两者的像素灰度值越接近则说明两者的像素灰度差异值越小，反之则越大，当两者的像素差异值大于设置的差异阈值T1时，则判定该检测单元图像为差异图像；所述差异阈值T1为建库单元图像或检测单元图像与模板单元图像的像素灰度差异临界值；所述差异阈值T1的取值为20。
实施例6
作为本发明的一个实施例，本发明的步骤S4及步骤S11中异常阈值T2为单张的建库检测图像或单张的待检测图像中存在差异图像的面积临界值，当单张的建库检测图像或单张的待检测图像中的建库单元图像或检测单元图像的差异图像面积大于T2时，判定该张建库检测图像或待检测图像为候选缺陷图像；所述异常阈值T2的取值为20个像素面积。具体的，本发明的灰度值差异匹配首先将对比的两张单元图像基于图像轮廓对齐后，计算两张单元图片的差异二值图，二值图有2和255两个数组成，二值图的对比原则为，当两张单元图的灰度差异值大于或等于阈值T1时，标记两者的差异二值图为255，反之则标记为0；然后对比对后收集的二值图进行连通域分析，当标记为255的像素块的面积值大于阈值T2时，则将该图选为候选缺陷图像。
实施例7
作为本发明的一个实施例，本发明的步骤S15中通过候选图像特征矢量b^与误报图像库中的误报图像特征矢量a^通过L2范式距离公式计算得到的候选图像特征矢量b^与多个误报图像特征矢量a^之间的特征距离的范围值为0至1。
步骤S16中的误报筛选阈值T3为候选图像特征矢量b^与误报图像特征矢量a^基于L2范式距离公式的特征距离的临界判定值；当候选图像特征矢量b^与误报图像特征矢量a^基于L2范式距离公式计算得到的特征距离越小，则表示两者越接近，当选取的代表最小特征距离的评价值L小于T3时，则判定候选缺陷图像为误报图像，反之则为缺陷图像。
误报筛选阈值T3为0.1。
本发明的实施例只是介绍其具体实施方式，不在于限制其保护范围。本行业的技术人员在本实施例的启发下可以作出某些修改，故凡依照本发明专利范围所做的等效变化或修饰，均属于本发明专利权利要求范围内。

Claims (10)

1.一种蚀刻引线框架误报库建立及误报在线判定筛选方法，其特征在于，包括如下步骤：
S1、网络模型预训练：采集蚀刻引线框架的缺陷图片和误报图片；对采集的缺陷图片和误报图片进行分类标注后，依据分类标注类别通过特征提取网络进行训练，得到蚀刻引线框架的特征网络；
S2、产品建模：通过光学相机平台，采集一片无缺陷的蚀刻引线框架图片，作为模板图；将所述模板图划分为X张等面积的模板单元图像；
S3、建库检测图像采集及其单元图像划分：拍摄采集至少两张蚀刻引线框架图片作为建库检测图像，同时对采集的建库检测图像以与步骤S2中模板单元图像相同面积的方式划分为X张建库单元图像；
S4、建库单元图像匹配及提取缺陷图像：将步骤S3中的建库单元图像与步骤S2中的模板单元图像逐个分析匹配，以单元图像的像素灰度值作为匹配标准，当建库单元图像与模板单元图像的像素灰度差异值大于差异阈值T1时，标记为异常单元图像；当该建库检测图像匹配后统计的异常单元图像面积大于异常阈值T2时，将该建库检测图像提取为候选缺陷图像；
S5、筛选误报图像：重复上述步骤S3至S4，直至将所有建库检测图像匹配完成后，提取得到所有建库检测图像中的候选缺陷图像后，根据图像中有无缺陷逐张对候选缺陷图像进行筛选，将无缺陷的图像筛选为误报图像；
S6、误报图像缩放：将步骤S5中筛选出的误报图像逐张缩放至128*128像素尺寸的图像；
S7、误报图像转换：将步骤S6中缩放后的误报图像输入所述步骤S1中训练的蚀刻引线框架的特征网络，并输出误报图像高维特征矢量a；所述误报图像高维特征矢量a为包括128维的向量数组；
S8、误报图像归一化运算：将步骤S7中输出的误报图像高维特征矢量a进行归一化运算，得到误报图像特征矢量a^；所述误报图像特征矢量a^为128维的向量数组；所述归一化运算公式为a^=ai/|ai|，其中，所述ai为误报图像高维特征矢量a的128维向量数组中第i个向量数值；所述|ai|为ai的模长，|a|=(向量a各分量二次幂相加结果)的开方；
S9、建立误报图像特征库：将步骤S8中归一化运算得到的误报图像特征矢量a^保存，形成误判图像特征库；
S10、在线待检测图像采集及其单元图像划分：拍摄采集蚀刻引线框架的待检测图像，同时对采集的待检测图像以与步骤S2中模板单元图像相同面积的方式划分为X张检测单元图像：
S11、检测单元图像匹配及提取缺陷图像：将步骤S10中的检测单元图像与步骤S2中的模板单元图像逐个分析匹配，以单元图像的像素灰度值作为匹配标准，当检测单元图像与模板单元图像的像素灰度差异值大于差异阈值T1时，标记为异常单元图像；当该待检测图像匹配后统计的异常单元图像面积大于异常阈值T2时，将该待检测图像提取为候选缺陷图像：
S12、候选缺陷图像缩放：将步骤S11中筛选出的候选缺陷图像缩放至128*128像素尺寸的图像；
S13、候选缺陷图像转换：将步骤S12中缩放后的候选缺陷图像输入所述步骤S1中训练的蚀刻引线框架的特征网络，并输出候选图像高维特征矢量b；所述候选图像高维特征矢量b为包括128维的向量数组；
S14、候选缺陷图像归一化运算及提取特征矢量：将步骤S13中输出的候选图像高维特征矢量b进行归一化运算，得到候选图像特征矢量b^；所述候选图像特征矢量b^为128维的向量数组；所述归一化运算公式为b^=bi/|bi|，其中，所述bi为候选图像高维特征矢量b的128维的向量数组中中第i个向量数值；所述|bi|为bi的模长，|b|=(向量b各分量二次幂相加结果)的开方；
S15、特征距离计算：将步骤S14中归一化运算后得到的候选图像特征矢量b^与步骤S9中建立的误报特征库内的多个误报图像特征矢量a^逐个检索比对，利用L2范式距离公式分别计算候选图像特征矢量b^与多个误报图像特征矢量a^之间的特征距离，取其中最小距离值，作为待检测图像与误报图像库最终的评价值L；L2范式距离公式为公式中a表示误报图像高维特征矢量，b表示候选图像高维特征矢量，n=128，i表示128维向量数组中第i维，ai、bi分别表示a、b特征中第i维的向量数值；
S16、误报图像判定筛选：将步骤S15中选取的评价值L与误报筛选阈值T3进行比对，当L≤T3时，判定该待检测图像为误报图像，反之则为缺陷图像；
S17、在线误报筛选：重复上述步骤S10至S15，在线将待检测图像逐张通过灰度值对比筛选候选缺陷图像后，通过候选缺陷图像的候选特征矢量b^与误报图像库内的多个误报图像特征矢量a^进行L2范式距离公式计算特征距离后，根据选取的评价值L与阈值T3进行比对，在线筛选判定候选图像是否为误报图像。
2.根据权利要求1所述的蚀刻引线框架误报库建立及误报在线判定筛选方法，其特征在于：所述步骤S1中缺陷图像种类包括脏污图像、划伤图像；所述误报图像种类包括纹理误报图像、边缘误报图像。
3.根据权利要求1所述的蚀刻引线框架误报库建立及误报在线判定筛选方法，其特征在于：所述步骤S1中特征提取网络为PPLCNetV2网络；所述网络模型预训练步骤为将采集的图片缩放至分辨率为128*128的像素尺寸的图像后，输入至PPLCNetV2网络，通过PPLCNetV2网络将图像转换为高维特征矢量，高维特征矢量为包括128维特征的向量数据组。
4.根据权利要求1所述的蚀刻引线框架误报库建立及误报在线判定筛选方法，其特征在于：所述步骤S2、步骤S3及步骤S10中拍摄采集模板图像、建库检测图像以及待检测图像的相机分辨率相同。
5.根据权利要求1所述的蚀刻引线框架误报库建立及误报在线判定筛选方法，其特征在于：所述步骤S2、步骤S3及步骤S10中将模板图像、建库检测图像以及在线待检测图像划分为单元图像的数量X取值范围为280至360张。
6.根据权利要求1所述的蚀刻引线框架误报库建立及误报在线判定筛选方法，其特征在于：所述步骤S4中建库单元图像与模板单元图像基于像素灰度值匹配分析时，两者的像素灰度值越接近则说明两者的像素灰度差异值越小，反之则越大，当两者的像素差异值大于设置的差异阈值T1时，则判定该建库单元图像为差异图像；
所述步骤S11中检测单元图像与模板单元图像基于像素灰度值匹配分析时，两者的像素灰度值越接近则说明两者的像素灰度差异值越小，反之则越大，当两者的像素差异值大于设置的差异阈值T1时，则判定该检测单元图像为差异图像；
所述差异阈值T1为建库单元图像或检测单元图像与模板单元图像的像素灰度差异临界值；所述差异阈值T1的取值范围为15至35。
7.根据权利要求1所述的蚀刻引线框架误报库建立及误报在线判定筛选方法，其特征在于：所述步骤S4及步骤S11中异常阈值T2为单张的建库检测图像或单张的待检测图像中存在差异图像的面积临界值，当单张的建库检测图像或单张的待检测图像中的建库单元图像或检测单元图像的差异图像面积大于T2时，判定该张建库检测图像或待检测图像为候选缺陷图像；
所述异常阈值T2的取值范围为15至25像素面积。
8.根据权利要求1所述的蚀刻引线框架误报库建立及误报在线判定筛选方法，其特征在于：所述步骤S15中通过候选图像特征矢量b^与误报图像库中的误报图像特征矢量a^通过L2范式距离公式计算得到的候选图像特征矢量b^与多个误报图像特征矢量a^之间的特征距离的范围值为0至1。
9.根据权利要求8所述的蚀刻引线框架误报库建立及误报在线判定筛选方法，其特征在于：所述步骤S16中的误报筛选阈值T3为候选图像特征矢量b^与误报图像特征矢量a^基于L2范式距离公式的特征距离的临界判定值；当候选图像特征矢量b^与误报图像特征矢量a^基于L2范式距离公式计算得到的特征距离越小，则表示两者越接近，当选定的代表最小特征距离的评价值L小于T3时，则判定候选缺陷图像为误报图像，反之则为缺陷图像。
10.根据权利要求9所述的蚀刻引线框架误报库建立及误报在线判定筛选方法，其特征在于：所述误报筛选阈值T3的范围值为0.05至0.15。
CN202311788551.4A 2023-12-25 2023-12-25 一种蚀刻引线框架误报库建立及误报在线判定筛选方法 Active CN117455917B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311788551.4A CN117455917B (zh) 2023-12-25 2023-12-25 一种蚀刻引线框架误报库建立及误报在线判定筛选方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311788551.4A CN117455917B (zh) 2023-12-25 2023-12-25 一种蚀刻引线框架误报库建立及误报在线判定筛选方法

Publications (2)

Publication Number Publication Date
CN117455917A true CN117455917A (zh) 2024-01-26
CN117455917B CN117455917B (zh) 2024-03-26

Family

ID=89595219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311788551.4A Active CN117455917B (zh) 2023-12-25 2023-12-25 一种蚀刻引线框架误报库建立及误报在线判定筛选方法

Country Status (1)

Country Link
CN (1) CN117455917B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117911732A (zh) * 2024-03-19 2024-04-19 中船黄埔文冲船舶有限公司 一种机器人打磨规则模板匹配方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112014409A (zh) * 2020-10-25 2020-12-01 西安邮电大学 一种半导体蚀刻引线框架模具缺陷的检测方法及***
CN113592866A (zh) * 2021-09-29 2021-11-02 西安邮电大学 一种半导体引线框架曝光缺陷检测方法
JP2021180309A (ja) * 2020-05-15 2021-11-18 清華大学Tsinghua University 深層学習に基づく２次元ｐｃｂ外観欠陥のリアルタイム自動検出方法
CN115205209A (zh) * 2022-05-28 2022-10-18 浙江工业大学 一种基于弱监督学习的单色布匹瑕疵检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021180309A (ja) * 2020-05-15 2021-11-18 清華大学Tsinghua University 深層学習に基づく２次元ｐｃｂ外観欠陥のリアルタイム自動検出方法
CN112014409A (zh) * 2020-10-25 2020-12-01 西安邮电大学 一种半导体蚀刻引线框架模具缺陷的检测方法及***
CN113592866A (zh) * 2021-09-29 2021-11-02 西安邮电大学 一种半导体引线框架曝光缺陷检测方法
CN115205209A (zh) * 2022-05-28 2022-10-18 浙江工业大学 一种基于弱监督学习的单色布匹瑕疵检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117911732A (zh) * 2024-03-19 2024-04-19 中船黄埔文冲船舶有限公司 一种机器人打磨规则模板匹配方法及装置

Also Published As

Publication number Publication date
CN117455917B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
CN111325713A (zh) 基于神经网络的木材缺陷检测方法、***及存储介质
CN111652098B (zh) 产品表面缺陷检测方法及装置
CN117455917B (zh) 一种蚀刻引线框架误报库建立及误报在线判定筛选方法
CN111179250B (zh) 一种基于多任务学习的工业品缺陷检测***
CN112053318A (zh) 基于深度学习的二维pcb缺陷实时自动检测与分类装置
CN112233067A (zh) 一种热轧钢卷端面质量检测方法及***
CN110544231A (zh) 基于背景标准化和集中补偿算法的锂电池电极表面缺陷检测方法
CN116563641A (zh) 一种基于小目标检测的表面缺陷识别方法及***
CN112862770A (zh) 一种基于人工智能的缺陷分析诊断***、方法、装置
CN113077416A (zh) 一种基于图像处理的焊点焊接缺陷检测方法与***
CN110837809A (zh) 血液自动分析方法、***、血细胞分析仪及存储介质
CN110728269B (zh) 一种基于c2检测数据的高铁接触网支柱杆号牌识别方法
CN112561875A (zh) 一种基于人工智能的光伏电池板粗栅检测方法
CN116468961A (zh) 一种图像分类方法及注塑产品智能瑕疵检测***
CN115239672A (zh) 缺陷检测方法及装置、设备、存储介质
CN113706496B (zh) 一种基于深度学习模型的飞行器结构裂纹检测方法
CN112750113B (zh) 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置
CN117197682B (zh) 一种长波红外遥感影像进行盲元检测与去除的方法
CN113962929A (zh) 光伏电池组件缺陷检测方法、***及光伏电池组件生产线
CN111582332B (zh) 一种高速铁路接触网吊弦部件的图片识别方法
CN116091506B (zh) 一种基于yolov5的机器视觉缺陷质检方法
CN116843615B (zh) 一种基于柔性光路的引线框架智能全检方法
CN117351472A (zh) 烟叶信息检测方法、装置及电子设备
TW202034421A (zh) 濾色器檢查裝置、檢查裝置、濾色器檢查方法及檢查方法
CN114037682A (zh) 一种光学元件表面疵病二维自动检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant