CN113034492A - 一种印刷质量缺陷检测方法、存储介质 - Google Patents

一种印刷质量缺陷检测方法、存储介质 Download PDF

Info

Publication number
CN113034492A
CN113034492A CN202110417370.5A CN202110417370A CN113034492A CN 113034492 A CN113034492 A CN 113034492A CN 202110417370 A CN202110417370 A CN 202110417370A CN 113034492 A CN113034492 A CN 113034492A
Authority
CN
China
Prior art keywords
feature
image
feature map
map
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110417370.5A
Other languages
English (en)
Inventor
杨洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huahan Weiye Technology Co ltd
Original Assignee
Shenzhen Huahan Weiye Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huahan Weiye Technology Co ltd filed Critical Shenzhen Huahan Weiye Technology Co ltd
Priority to CN202110417370.5A priority Critical patent/CN113034492A/zh
Publication of CN113034492A publication Critical patent/CN113034492A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30144—Printing quality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一种印刷质量缺陷检测方法和可读存储介质，其中的方法包括：通过特征提取网络提取待检测图像和模板图像各自的特征图，对待检测图像特征图和模板图像特征图进行相关运算，得到相关特征图；对相关特征图进行特征提取得到相关语义特征数据、进行多尺度特征融合得到分割语义特征数据，将相关语义特征数据和分割语义特征数据进行融合后输入一全连接网络得到判决向量，根据判决向量判断待检测图像是否存在印刷质量缺陷。由于将图像的相关运算转化为特征的相关运算，能够更好地适应环境变化和位置变化；将相关语义特征数据和分割语义特征数据进行融合用于检测，得到了更具表征能力的特征，从而提高了检测的准确性。

Description

一种印刷质量缺陷检测方法、存储介质
技术领域
本发明涉及机器视觉领域，具体涉及一种印刷质量缺陷检测方法和存储介质。
背景技术
印刷标签被广泛用作产品标识，其可记录产品关键信息，从而成为企业跟踪产品、质量监控和生产管理的有效载体，同时也可作为普通消费者对产品进行核对的有效工具。当前大部分产品标签通过印刷机印刷而成，在现代快速的印刷生产过程中，受生产工艺、环境和设备等诸多不确定因素的影响，各种印刷缺陷与错误难以避免。常见的印刷质量缺陷主要有印刷不良、模糊、丝印偏移与歪斜、肥油、字符缺失、偏暗、偏亮、麻点/白点、毛刺、连墨/堵墨、丝印轻微异色等，如图1～8所示。不合格的印刷标签随产品流入市场势必给生产厂家带来损失，也将给消费者带来麻烦，因此，印刷标签的质量检测也愈加为生产厂商所重视，而基于机器视觉的自动化检测***具有检测速度快、精度高等优点，可有效降低生产厂家的人力成本，已成为行业趋势。
目前基于机器视觉的印刷质量缺陷检测方法大多为基于模板匹配的方法，该方法通过将待检测图像与没有印刷质量缺陷的模板图像进行相似度匹配，当相似度较小时则判定待检测图像存在印刷质量缺陷。基于模板匹配的检测方法是一种全局检测方法，容易受噪声影响，对于内容相对单一的标签检测效果尚可，但对于同时包含如logo类图形、说明性案例图形、条码类图形和字符类图形等复杂图形的标签，标签中的图形的重要性与图形的尺寸大小是不完全具有相关性的，而常用的基于模板匹配的检测方法并未针对不同图形的重要性，对图像中相应的区域设置不同权重或采用不同方法进行检测，因此常常导致误判率过高。
目前行业内主要采用的方法是黄金模板匹配方法，该方法首先确定待检测图像相对于模板图像的移动位置和偏转方向，计算将待检测图像与模板图像对准的刚性变换的变换参数，按照该变换参数对待检测图像进行变换以使其对准于模板图像，然后将待检测图像与模板图像进行逐像素比较，或者对Blob分析后的区域特征进行比较，判断待检测图像是否存在印刷质量缺陷。上述方法存在以下缺陷：(1)对待检测图像进行变换时，需要保证较高的定位精度，若发生位置偏移，则对待检测图像和模板图像进行逐像素点的比较时将大大增加误检的概率；(2)可检测的缺陷种类较少，只能检测上述缺陷中的丝印偏移、歪斜之类的缺陷，对其他类型的缺陷无法达到理想的效果，难以应用到实际的工业生产过程中。
发明内容
本申请提供一种印刷质量缺陷检测方法和计算机可读存储介质，旨在解决现有印刷质量缺陷检测方法检测种类少、难以提高准确率的问题。
根据第一方面，一种实施例中提供一种印刷质量缺陷检测方法，包括：
获取待检测图像和没有印刷质量缺陷的模板图像；
将所述待检测图像和所述模板图像输入各自的特征提取网络中，获得待检测图像特征图和模板图像特征图；
对所述待检测图像特征图和所述模板图像特征图进行相关运算，得到相关运算结果图，将所述相关运算结果图作为相关特征图；
对所述相关特征图进行特征提取得到相关语义特征数据，对所述相关特征图进行多尺度特征融合得到分割语义特征数据；
将所述相关语义特征数据和所述分割语义特征数据进行融合后输入一全连接网络得到判决向量；
根据所述判决向量判断所述待检测图像是否存在印刷质量缺陷。
根据第二方面，一种实施例中提供一种印刷质量缺陷检测方法，包括：
获取待检测图像和没有印刷质量缺陷的模板图像；
将所述待检测图像和所述模板图像输入各自的特征提取网络中，获得待检测图像特征图和模板图像特征图；
对所述待检测图像特征图和所述模板图像特征图进行相关运算，得到相关运算结果图；
对所述模板图像特征图进行卷积和激活处理后与所述相关运算结果图融合，得到相关特征图，对所述相关特征图进行特征提取得到相关语义特征数据，对所述相关特征数据进行多尺度特征融合得到分割语义特征数据；
将所述相关语义特征数据和所述分割语义特征数据进行融合后输入一全连接网络得到判决向量；
根据所述判决向量判断所述待检测图像是否存在印刷质量缺陷。
一种实施例中，所述对所述待检测图像特征图和所述模板图像特征图进行相关运算，得到相关运算结果图，包括：
对于所述模板图像特征图的每一点x1(x1x,x1y)，计算该点处的特征向量与所述待检测图像特征图在范围[x1x-d,x1x+d]×[x1y-d,x1y+d]内各点处的特征向量的余弦相似度，由得到的(2d+1)2个计算结果构成一相关特征向量，由各相关特征向量组成所述相关运算结果图；其中x1x为行坐标，x1y为列坐标，d为预设的范围值。
一种实施例中，所述对所述相关特征图进行多尺度特征融合得到分割语义特征数据，包括：
将所述相关特征图输入预设的第一卷积神经网络中，从所述第一卷积神经网络的隐藏层中获得所述相关特征图不同尺度的特征图，分别对所述相关特征图不同尺度的特征图进行池化处理，得到表征不同尺度特征的特征图，将这些表征不同尺度特征的特征图进行融合，得到所述分割语义特征数据。
一种实施例中，所述对所述相关特征图进行特征提取得到相关语义特征数据，包括：
将所述相关特征图输入预设的第二卷积神经网络中，得到输出特征图，对所述输出特征图进行池化处理，得到所述相关语义特征数据；其中所述第一卷积神经网络相较于所述第二卷积神经网络为一轻量级的神经网络。
一种实施例中，所述对所述相关特征图进行特征提取得到相关语义特征数据，包括：
从所述第一卷积神经网络的隐藏层中获得与所述相关特征图尺度相同的特征图，并与所述相关特征图进行融合，将融合后的图像输入预设的第二卷积神经网络中，得到输出特征图，对所述输出特征图进行池化处理，得到所述相关语义特征数据；其中所述第一卷积神经网络相较于所述第二卷积神经网络为一轻量级的神经网络。
一种实施例中，所述池化处理为通道全局最大池化。
一种实施例中，所述待检测图像的特征提取网络和所述模板图像的特征提取网络共享权重。
一种实施例中，所述判决向量包括两个元素，分别表示存在印刷质量缺陷和不存在印刷质量缺陷的概率。
根据第三方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如上述第一方面或第二方面所述的方法。
依据上述实施例的印刷质量缺陷检测方法和计算机可读存储介质，通过特征提取网络提取待检测图像和模板图像各自的特征图，对待检测图像特征图和模板图像特征图进行相关运算，最终得到相关特征图；对相关特征图进行特征提取得到相关语义特征数据、进行多尺度特征融合得到分割语义特征数据，将相关语义特征数据和分割语义特征数据进行融合后输入一全连接网络得到判决向量，根据判决向量判断待检测图像是否存在印刷质量缺陷。由于通过特征提取网络提取待检测图像和模板图像各自的特征图，实现了对特征的自动提取和选择，减少了对工作人员经验的依赖，有利于降低调试难度，提高检测设备的调试效率；同时将对图像的相关运算转化为对特征的相关运算，利用图像特征的相似性进行比较和判断，使得检测方法能够适应环境变化和位置变化，提高检测的准确性；而将进行特征提取得到的相关语义特征数据和进行多尺度特征融合得到的分割语义特征数据进行融合，用于印刷质量缺陷的检测，使得检测来源信息更为丰富，能够得到更具表征能力的特征，从而提高检测的准确性。
附图说明
图1为模板图像的示意图；
图2为印刷不良图像的示意图；
图3为模糊图像的示意图；
图4为丝印偏移与歪斜图像的示意图；
图5为肥油图像的示意图；
图6为字符缺失图像的示意图；
图7为偏暗图像的示意图；
图8为偏亮图像的示意图；
图9为一种实施例的印刷质量缺陷检测方法的流程图；
图10为本申请的印刷质量缺陷检测方法的原理示意图；
图11为一种实施例的用于印刷质量缺陷检测的完整的网络模型的结构示意图；
图12为另一种实施例的用于印刷质量缺陷检测的完整的网络模型的结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
请参考图9和图10，本申请一种实施例中的印刷质量缺陷检测方法包括步骤110～160，下面具体说明。
步骤110：获取待检测图像和没有印刷质量缺陷的模板图像。待检测图像可以是任意类型的摄像装置拍摄的；模板图像可以是预先收集并存储的没有印刷质量缺陷的图像，在需要对印刷制品进行印刷质量缺陷检测时可以读取这些已存储的模板图像，与待检测图像进行比较。
步骤120：将待检测图像和模板图像输入各自的特征提取网络中，获得待检测图像特征图和模板图像特征图。图像原始的像素灰度信息属于图像较低级的特征，它所包含的语义信息很少，特征表达能力有限，因此首先利用特征提取网络对待检测图像和模板图像进行特征提取，以得到图像更高级的特征，相当于对图像进行进一步的理解，从而有利于后续步骤中对图像更好地进行分析。
待检测图像和模板图像的特征提取网络可以共享权重，这样一来，不仅可以减少权重数量，而且相当于用同一个网络比较两者的异同，在网络的训练阶段，可以使没有印刷质量缺陷的图像和模板图像分别输入网络后得到的输出图像的距离较小，使存在印刷质量缺陷的图像和模板图像分别输入网络后得到的输出图像的距离较大，起到类似于监督学习的作用。
请参考图11和图12，待检测图像和模板图像的特征提取网络可以都是一卷积神经网络，网络的具体结构可以依实际需要而设计。例如，如图11所示，对于通道数为64的输入图像，可以先进行卷积和池化操作得到通道数为128的特征图，再进行一次卷积和池化操作得到通道数为256的特征图，从而得到待检测图像或模板图像的特征图。
步骤130：对待检测图像特征图和模板图像特征图进行相关运算，得到相关运算结果图，将相关运算结果图作为相关特征图。在图11和图12中，相关运算以f来表示。相关运算可以通过计算余弦相似度来实现，为了减少计算量，对于待检测图像特征图和模板图像特征图的相关运算可以限制在一定的范围内进行，具体的，对于模板图像特征图的每一点x1(x1x,x1y)，计算该点处的特征向量与待检测图像特征图在范围[x1x-d,x1x+d]×[x1y-d,x1y+d]内各点处的特征向量的余弦相似度，由得到的(2d+1)2个计算结果构成一相关特征向量，由各相关特征向量组成相关运算结果图，其中x1x为行坐标，x1y为列坐标，d为预设的范围值，例如可以取d＝7。这里图像中某一点处的特征向量是指以该点处各个通道上的像素为元素所构成的向量。若模板图像特征图的大小为W×H×C，其中W为模板图像特征图的宽度，H为模板图像特征图的高度，C为模板图像特征图的通道数，那么可以理解，得到的相关运算结果图的大小为W×H×(2d+1)2。余弦相似度的计算公式如下：
Figure BDA0003026481370000061
其中x1和x2分别代表模板图像特征图和待检测图像特征图上的点，h1(x)代表模板图像特征图上点x处的特征向量，h2(x)代表待检测图像特征图上点x处的特征向量，<>代表计算两个向量间的余弦值，o代表位移量，为减少计算量，可以取k＝0。
请参考图12，一种实施例中，对待检测图像特征图和模板图像特征图进行相关运算，得到相关运算结果图后，还对模板图像特征图进行卷积和激活处理后再与相关运算结果图融合，将融合后的结果作为相关特征图。这样一来，就增加了特征的表征能力和丰富程度，同时也包括了更多的模板图像的信息，有利于比较待检测图像与模板图像的异同。如图12所示，模板图像特征图进行卷积和激活处理后与相关运算结果图融合可以通过通道拼接的方式来实现，如图12所示，对模板图像特征图进行卷积和激活处理后得到的通道数为64的图像，由上述分析可知，当取d＝7时得到的相关运算结果图的通道数为225，将两者进行通道拼接得到通道数为289的相关特征图。
步骤140：对相关特征图进行特征提取得到相关语义特征数据，对相关特征图进行多尺度特征融合得到分割语义特征数据。本步骤中，主要对相关特征图进一步地提取特征得到表征待检测图像和模板图像间相关性的相关语义信息；同时计算得到相关特征图不同尺度的特征图，对这些不同尺度的特征图进行池化处理，以进一步提取特征，得到表征不同尺度特征的特征图，将这些表征不同尺度特征的特征图进行融合，得到具有模板信息且包含不同尺度特征信息的分割语义信息。
请参考图11和图12，对相关特征图的特征提取和多尺度特征融合可以借助卷积神经网络来实现。具体的，对于相关特征图的多尺度特征融合，可以将相关特征图输入预先设置好参数的第一卷积神经网络中，从第一卷积神经网络的隐藏层中能够获得相关特征图不同尺度的特征图，再分别对相关特征图不同尺度的特征图进行池化处理，得到表征不同尺度特征的特征图，将这些表征不同尺度特征的特征图进行融合，从而得到分割语义特征数据，分割语义特征数据就包含了具有模板信息的不同尺度的特征信息。这里的融合可以采用通道拼接的方式。此外，不同尺度的特征图其感受野也是不同的，那么最后得到的分割语义特征数据也必然包含了不同感受野的特征信息。第一卷积神经网络的具体结构可以依实际需要而设计，例如，如图12所示，对于通道数为289的相关特征图，可以先进行一步长为1、卷积核大小为1x1的卷积操作，以对相关特征图进行降维得到通道数为8的特征图，然后进行一次卷积和池化操作得到通道数为16的特征图，最后再进行一次卷积和池化操作得到通道数为32的特征图。对于各特征图的池化可以采用最大池化，有利于保留特征的位置信息。
对于相关特征图的特征提取，可以将相关特征图输入预先设置好参数的第二卷积神经网络中，得到输出特征图，对输出特征图进行池化处理，得到相关语义特征数据，相关语义特征数据就包含了表征待检测图像和模板图像间相关性的相关语义信息。在一种实施例中，还可以先从第一卷积神经网络的隐藏层中获得与相关特征图尺度相同的特征图，并与相关特征图进行融合，将融合后的图像输入第二卷积神经网络中，得到输出特征图，从而增强特征的表征能力和丰富程度。例如，如图12所示，相关特征图在第一卷积神经网络中经过步长为1、卷积核大小为1x1的卷积操作后所得到的通道数为8的特征图，与相关特征图相比仅通道数发生了变化，尺度不变，那么可以将该通道数为8的特征图与相关特征图进行通道拼接，得到通道数为297的特征图，将该通道数为297的特征图输入第二卷积神经网络中，得到输出特征图。第二卷积神经网络的具体结构可以依实际需要而设计，例如，如图12所示，对于通道数为297的特征图，可以先进行一池化操作，得到尺度不同的通道数为297的特征图，然后进行一次卷积和池化操作得到通道数为16的特征图，最后再进行一卷积核大小为1x1的卷积得到通道数为32的输出特征图。对于各特征图的池化可以采用最大池化，有利于保留特征的位置信息。
为了能够提取相关语义信息，第二卷积神经网络需要保留较完整的相关特征图的数据，而第一卷积神经网络是用于提取不同尺度和感受野的特征信息，可以对相关特征图的数据有所削减，为了提高效率，可以设置第一卷积神经网络相较于第二卷积神经网络为一轻量级的神经网络，如图11和12中，第一卷积神经网络相较于第二卷积神经网络即为一轻量级的神经网络。本领域技术人员可以理解，轻量级的神经网络指的是参数量更少、占用存储空间更少或者计算量更小的神经网络。
对从第一卷积神经网络的隐藏层获得的各特征图和对第二卷积神经网络的输出特征图进行的池化处理可以是通道全局池化，对于特征图的每个像素点，该点处的特征向量经过通道全局池化后由1xC的大小转换为1x1的大小，其中C代表特征图的通道数，那么一个大小为W×H×C的特征图，经过通道全局池化后就转换为一个大小为W×H×1的特征图，其中W为特征图的宽度，H为特征图的高度。进一步地，通道全局池化可以是通道全局最大池化时，即取C个通道的像素值中的最大值，从而将特征向量由1xC的大小转换为1x1的大小。通道全局池化保留了图像各点处的特征信息，减少了参数，方便进行融合和后续全连接网络的处理。
步骤150：将相关语义特征数据和分割语义特征数据进行融合后输入一预先设置好参数的全连接网络得到判决向量。
融合可以采用通道拼接的方式。融合后的特征数据中既包括了具有模板信息且包含不同尺度和感受野的特征信息，又包括了表征待检测图像和模板图像间相关性的相关语义信息，使得检测来源信息更为丰富，特征表达能力更强，易于比较待检测图像和模板图像间的异同，从而提高检测的准确性。
将融合后的特征数据映射为一维数据以适应全连接网络的输入，输入全连接网络后得到判决向量。全连接网络的结构可以依具体需求而设计，这里不做限定。在一些实施例中，可以使全连接网络的输出层包括两个神经元，两个神经元的输出分别为存在印刷质量缺陷和不存在印刷质量缺陷的概率，那么全连接网络输出的判决向量就包括两个元素，分别表示存在印刷质量缺陷和不存在印刷质量缺陷的概率。
步骤160：根据判决向量判断待检测图像是否存在印刷质量缺陷。当判决向量包括两个元素，分别表示存在印刷质量缺陷和不存在印刷质量缺陷的概率时，可以依据概率做出判断，当存在印刷质量缺陷的概率较大时那么就判定待检测图像存在印刷质量缺陷，当不存在印刷质量缺陷的概率较大时那么就判定待检测图像不存在印刷质量缺陷，如此就将印刷质量缺陷检测由传统的分割问题转化为分类问题，仅仅需要进行二分类判断即可得到检测结果，降低了检测方法的复杂度。
依据上述实施例的印刷质量缺陷检测方法，通过特征提取网络提取待检测图像和模板图像各自的特征图，实现了对特征的自动提取和选择，减少了对工作人员经验的依赖，有利于降低调试难度，提高检测设备的调试效率，且待检测图像的特征提取网络和所述模板图像的特征提取网络可以共享权重，从而减少了权重数量；将对图像的相关运算转化为对特征的相关运算，利用图像特征的相似性进行比较和判断，使得检测方法能够适应环境变化和位置变化，提高检测的准确性；将进行特征提取得到的相关语义特征数据和进行多尺度特征融合得到的分割语义特征数据进行融合，用于印刷质量缺陷的检测，使得检测来源信息更为丰富，能够得到更具表征能力的特征，从而提高检测的准确性；将相关语义特征数据和分割语义特征数据进行融合后输入全连接网络得到判决向量，全连接网络的输出层可以是包括两个神经元，两个神经元的输出分别为存在印刷质量缺陷和不存在印刷质量缺陷的概率，所得的判决向量就包括两个元素，分别表示存在印刷质量缺陷和不存在印刷质量缺陷的概率，依据概率判断待检测图像是否存在缺陷，从而将印刷质量缺陷检测由传统的分割问题转化为分类问题，仅仅需要进行二分类判断即可得到检测结果，降低了检测方法的复杂度。
本文参照了各种示范实施例进行说明。然而，本领域的技术人员将认识到，在不脱离本文范围的情况下，可以对示范性实施例做出改变和修正。例如，各种操作步骤以及用于执行操作步骤的组件，可以根据特定的应用或考虑与***的操作相关联的任何数量的成本函数以不同的方式实现(例如一个或多个步骤可以被删除、修改或结合到其他步骤中)。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。另外，如本领域技术人员所理解的，本文的原理可以反映在计算机可读存储介质上的计算机程序产品中，该可读存储介质预装有计算机可读程序代码。任何有形的、非暂时性的计算机可读存储介质皆可被使用，包括磁存储设备(硬盘、软盘等)、光学存储设备(CD至ROM、DVD、Blu Ray盘等)、闪存和/或诸如此类。这些计算机程序指令可被加载到通用计算机、专用计算机或其他可编程数据处理设备上以形成机器，使得这些在计算机上或其他可编程数据处理装置上执行的指令可以生成实现指定的功能的装置。这些计算机程序指令也可以存储在计算机可读存储器中，该计算机可读存储器可以指示计算机或其他可编程数据处理设备以特定的方式运行，这样存储在计算机可读存储器中的指令就可以形成一件制造品，包括实现指定功能的实现装置。计算机程序指令也可以加载到计算机或其他可编程数据处理设备上，从而在计算机或其他可编程设备上执行一系列操作步骤以产生一个计算机实现的进程，使得在计算机或其他可编程设备上执行的指令可以提供用于实现指定功能的步骤。
虽然在各种实施例中已经示出了本文的原理，但是许多特别适用于特定环境和操作要求的结构、布置、比例、元件、材料和部件的修改可以在不脱离本披露的原则和范围内使用。以上修改和其他改变或修正将被包含在本文的范围之内。
前述具体说明已参照各种实施例进行了描述。然而，本领域技术人员将认识到，可以在不脱离本披露的范围的情况下进行各种修正和改变。因此，对于本披露的考虑将是说明性的而非限制性的意义上的，并且所有这些修改都将被包含在其范围内。同样，有关于各种实施例的优点、其他优点和问题的解决方案已如上所述。然而，益处、优点、问题的解决方案以及任何能产生这些的要素，或使其变得更明确的解决方案都不应被解释为关键的、必需的或必要的。本文中所用的术语“包括”和其任何其他变体，皆属于非排他性包含，这样包括要素列表的过程、方法、文章或设备不仅包括这些要素，还包括未明确列出的或不属于该过程、方法、***、文章或设备的其他要素。此外，本文中所使用的术语“耦合”和其任何其他变体都是指物理连接、电连接、磁连接、光连接、通信连接、功能连接和/或任何其他连接。
具有本领域技术的人将认识到，在不脱离本发明的基本原理的情况下，可以对上述实施例的细节进行许多改变。因此，本发明的范围应仅由权利要求确定。

Claims (10)

1.一种印刷质量缺陷检测方法，其特征在于，包括：
获取待检测图像和没有印刷质量缺陷的模板图像；
将所述待检测图像和所述模板图像输入各自的特征提取网络中，获得待检测图像特征图和模板图像特征图；
对所述待检测图像特征图和所述模板图像特征图进行相关运算，得到相关运算结果图，将所述相关运算结果图作为相关特征图；
对所述相关特征图进行特征提取得到相关语义特征数据，对所述相关特征图进行多尺度特征融合得到分割语义特征数据；
将所述相关语义特征数据和所述分割语义特征数据进行融合后输入一全连接网络得到判决向量；
根据所述判决向量判断所述待检测图像是否存在印刷质量缺陷。
2.一种印刷质量缺陷检测方法，其特征在于，包括：
获取待检测图像和没有印刷质量缺陷的模板图像；
将所述待检测图像和所述模板图像输入各自的特征提取网络中，获得待检测图像特征图和模板图像特征图；
对所述待检测图像特征图和所述模板图像特征图进行相关运算，得到相关运算结果图；
对所述模板图像特征图进行卷积和激活处理后与所述相关运算结果图融合，得到相关特征图，对所述相关特征图进行特征提取得到相关语义特征数据，对所述相关特征数据进行多尺度特征融合得到分割语义特征数据；
将所述相关语义特征数据和所述分割语义特征数据进行融合后输入一全连接网络得到判决向量；
根据所述判决向量判断所述待检测图像是否存在印刷质量缺陷。
3.如权利要求1或2所述的方法，其特征在于，所述对所述待检测图像特征图和所述模板图像特征图进行相关运算，得到相关运算结果图，包括：
对于所述模板图像特征图的每一点x1(x1x,x1y)，计算该点处的特征向量与所述待检测图像特征图在范围[x1x-d,x1x+d]×[x1y-d,x1y+d]内各点处的特征向量的余弦相似度，由得到的(2d+1)2个计算结果构成一相关特征向量，由各相关特征向量组成所述相关运算结果图；其中x1x为行坐标，x1y为列坐标，d为预设的范围值。
4.如权利要求1或2所述的方法，其特征在于，所述对所述相关特征图进行多尺度特征融合得到分割语义特征数据，包括：
将所述相关特征图输入预设的第一卷积神经网络中，从所述第一卷积神经网络的隐藏层中获得所述相关特征图不同尺度的特征图，分别对所述相关特征图不同尺度的特征图进行池化处理，得到表征不同尺度特征的特征图，将这些表征不同尺度特征的特征图进行融合，得到所述分割语义特征数据。
5.如权利要求4所述的方法，其特征在于，所述对所述相关特征图进行特征提取得到相关语义特征数据，包括：
将所述相关特征图输入预设的第二卷积神经网络中，得到输出特征图，对所述输出特征图进行池化处理，得到所述相关语义特征数据；其中所述第一卷积神经网络相较于所述第二卷积神经网络为一轻量级的神经网络。
6.如权利要求4所述的方法，其特征在于，所述对所述相关特征图进行特征提取得到相关语义特征数据，包括：
从所述第一卷积神经网络的隐藏层中获得与所述相关特征图尺度相同的特征图，并与所述相关特征图进行融合，将融合后的图像输入预设的第二卷积神经网络中，得到输出特征图，对所述输出特征图进行池化处理，得到所述相关语义特征数据；其中所述第一卷积神经网络相较于所述第二卷积神经网络为一轻量级的神经网络。
7.如权利要求5或6所述的方法，其特征在于，所述池化处理为通道全局最大池化。
8.如权利要求1或2所述的方法，其特征在于，所述待检测图像的特征提取网络和所述模板图像的特征提取网络共享权重。
9.如权利要求1或2所述的方法，其特征在于，所述判决向量包括两个元素，分别表示存在印刷质量缺陷和不存在印刷质量缺陷的概率。
10.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1至9中任一项所述的方法。
CN202110417370.5A 2021-04-19 2021-04-19 一种印刷质量缺陷检测方法、存储介质 Pending CN113034492A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110417370.5A CN113034492A (zh) 2021-04-19 2021-04-19 一种印刷质量缺陷检测方法、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110417370.5A CN113034492A (zh) 2021-04-19 2021-04-19 一种印刷质量缺陷检测方法、存储介质

Publications (1)

Publication Number Publication Date
CN113034492A true CN113034492A (zh) 2021-06-25

Family

ID=76457401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110417370.5A Pending CN113034492A (zh) 2021-04-19 2021-04-19 一种印刷质量缺陷检测方法、存储介质

Country Status (1)

Country Link
CN (1) CN113034492A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344915A (zh) * 2021-07-12 2021-09-03 华北电力大学（保定） 一种输电线路关键部件缺陷检测方法及***
CN114281282A (zh) * 2022-03-08 2022-04-05 中体彩印务技术有限公司 一种印刷监控方法及其***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104962A (zh) * 2019-11-05 2020-05-05 北京航空航天大学青岛研究院 图像的语义分割方法、装置、电子设备及可读存储介质
CN111292330A (zh) * 2020-02-07 2020-06-16 北京工业大学 基于编解码器的图像语义分割方法及装置
US20210019560A1 (en) * 2019-07-18 2021-01-21 Beijing Sensetime Technology Development Co., Ltd. Image processing method and device, and storage medium
CN112529904A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 图像语义分割方法、装置、计算机可读存储介质和芯片

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210019560A1 (en) * 2019-07-18 2021-01-21 Beijing Sensetime Technology Development Co., Ltd. Image processing method and device, and storage medium
CN112529904A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 图像语义分割方法、装置、计算机可读存储介质和芯片
CN111104962A (zh) * 2019-11-05 2020-05-05 北京航空航天大学青岛研究院 图像的语义分割方法、装置、电子设备及可读存储介质
CN111292330A (zh) * 2020-02-07 2020-06-16 北京工业大学 基于编解码器的图像语义分割方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344915A (zh) * 2021-07-12 2021-09-03 华北电力大学（保定） 一种输电线路关键部件缺陷检测方法及***
CN114281282A (zh) * 2022-03-08 2022-04-05 中体彩印务技术有限公司 一种印刷监控方法及其***

Similar Documents

Publication Publication Date Title
CN113344857B (zh) 缺陷检测网络的训练方法、缺陷检测方法和存储介质
CN111095296B (zh) 使用机器学习对字符串进行分类
CN111753767B (zh) 一种作业自动批改的方法、装置、电子设备和存储介质
CN109118473B (zh) 基于神经网络的角点检测方法、存储介质与图像处理***
CN110008956B (zh) ***关键信息定位方法、装置、计算机设备及存储介质
JP6143111B2 (ja) 物体識別装置、物体識別方法、及びプログラム
US20070058856A1 (en) Character recoginition in video data
CN109740606B (zh) 一种图像识别方法及装置
Liu et al. Data extraction from charts via single deep neural network
CN109740609B (zh) 一种轨距检测方法及装置
CN113034492A (zh) 一种印刷质量缺陷检测方法、存储介质
Wang et al. License plate recognition system
CN112272838A (zh) 商品确定装置、程序和学习方法
Kalina et al. Application of template matching for optical character recognition
CN113128518B (zh) 基于孪生卷积网络和特征混合的sift误匹配检测方法
Choi et al. Localizing slab identification numbers in factory scene images
CN111680680B (zh) 一种目标码定位方法、装置、电子设备及存储介质
CN113033559A (zh) 一种基于目标检测的文本检测方法及装置、存储介质
US11113522B2 (en) Segment-based pattern matching algorithm
US20230110558A1 (en) Systems and methods for detecting objects
CN116188445A (zh) 一种产品表面缺陷的检测定位方法、装置及终端设备
CN115937095A (zh) 融合图像处理算法和深度学习的印刷缺陷检测方法及***
JP4936250B2 (ja) 書込み抽出方法、書込み抽出装置および書込み抽出プログラム
Araújo et al. Segmenting and recognizing license plate characters
CN114022684A (zh) 人体姿态估计方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination