CN114936997A - 检测方法、装置、电子设备及可读存储介质 - Google Patents

检测方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN114936997A
CN114936997A CN202111601257.9A CN202111601257A CN114936997A CN 114936997 A CN114936997 A CN 114936997A CN 202111601257 A CN202111601257 A CN 202111601257A CN 114936997 A CN114936997 A CN 114936997A
Authority
CN
China
Prior art keywords
image
target
target image
area
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111601257.9A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Lyric Robot Automation Co Ltd
Original Assignee
Guangdong Lyric Robot Intelligent Automation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Lyric Robot Intelligent Automation Co Ltd filed Critical Guangdong Lyric Robot Intelligent Automation Co Ltd
Priority to CN202111601257.9A priority Critical patent/CN114936997A/zh
Publication of CN114936997A publication Critical patent/CN114936997A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种检测方法、装置、电子设备及可读存储介质，包括：根据图像模板对目标图像的第一目标区域进行定位，得到所述目标图像相对所述图像模板的第一坐标系；在所述第一坐标系中根据设定算法对所述第一目标区域中的像素级区域进行定位，得到检测图；根据所述检测图与所述图像模板计算差值图；根据所述差值图，确定所述目标图像是否存在缺陷。本申请实施例通过在图像模板的基础上对目标图像进行粗定位，再进一步对目标图像中的各个像素点进行精定位，并通过两次定位计算得到的差值图判断目标图像是否存在缺陷。由于计算的差值图是基于两次定位得到的，因此，该差值图相对来说较为准确，更加真实，进而计算得到的目标图像的缺陷更加准确、真实。

Description

检测方法、装置、电子设备及可读存储介质
技术领域
本申请涉及图像处理领域，具体而言，涉及一种检测方法、装置、电子设备及可读存储介质。
背景技术
计算机在出机前都需要进行各项的性能检测，其中包括键盘字符检测，键盘字符检测主要是检测键盘是否出现缺键，错键，字符残缺，等问题。目前的键盘字符检测主要是通过人工来进行检测，但是人工检测存在效率低，准确度低等问题。
发明内容
有鉴于此，本申请实施例的目的在于提供一种检测方法、装置、电子设备及可读存储介质。能够通过采集键盘的图像实现自动检测键盘是否存在缺陷，提高了键盘检测的效率及准确率。
第一方面，本申请实施例提供了检测方法，根据图像模板对目标图像的第一目标区域进行定位，得到所述目标图像相对所述图像模板的第一坐标系；在所述第一坐标系中根据设定算法对所述第一目标区域中的像素级区域进行定位，得到检测图；根据所述检测图与所述图像模板计算差值图；根据所述差值图，确定所述目标图像是否存在缺陷。
在上述实现过程中，通过根据模板图像对目标图像的第一目标区域进行定位，得到目标图像相对于图像模板的第一坐标系，由于目标图像相对于图像模块进行定位的，因此可以避免由于目标图像放置不当造成的坐标不准确的问题。进一步，在确定了第一坐标系后再对目标区域中的像素级区域进行定位，保证图像中的每一个像素级都相对于第一坐标系定位，保证能够准确的获得目标图像的信息，最后再根据目标图像与图像模板进行缺陷计算。通过对目标的图像和图像模板进行定位、计算等处理，判断目标图像目标区域是否存在缺陷，实现键盘缺陷检测自动化，同时还能提高缺陷检测的效率和准确性。
结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中：所述根据图像模板对目标图像的第一目标区域进行定位，得到所述目标图像相对所述图像模板的第一坐标系，包括：计算所述第一目标区域与图像模板的第一匹配值；根据所述第一匹配值对所述第一目标区域进行变换，得到变换坐标；将所述变换坐标以所述图像模板的基准坐标进行变换，得到所述目标图像相对所述图像模板的第一坐标系，所述基准坐标为所述第一匹配值对应所述图像模板的坐标。
在上述实现过程中，通过计算将第一目标区域与模板图像计算得到匹配值最高的第一匹配值，再将第一目标区域根据第一匹配值进行坐标变换，得到目标图像的第一坐标系。由于第一匹配值是基于图像模板进行计算得到的匹配度最高的结果值，因此由第一匹配值得到的变换坐标准确较高，提高了第一坐标系的准确性，增强了目标图像检测的准确性。
结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，其中：所述根据所述第一匹配值对所述第一目标区域进行变换，得到变换坐标，包括：根据所述基准坐标与第一原始坐标确定转换数据，所述第一原始坐标为所述第一匹配值对应所述第一目标区域的坐标；根据所述转换数据计算变换矩阵；根据所述变换矩阵对所述第一目标区域进行仿射变换，得到变换坐标。
在上述实现过程中，在得到第一匹配值后，根据第一匹配值对应的坐标和基准坐标确定出坐标转换的转换数据，并根据该转换数据计算变换矩阵，并进行仿射变换，最后得到变换坐标。通过对第一匹配值与基准坐标得到的转换数据能够准确反应目标图像相对于图像模板的位置偏移，因此，通过该种转换数据计算得到的变换矩阵及仿射变换后得到的变换坐标，都是在图像模板的基础上根据转换数据获得的目标图像相对图像模板的变换矩阵及变换坐标，进而提高了缺陷检测的准确性。
结合第一方面的第二种可能的实施方式，本申请实施例提供了第一方面的第三种可能的实施方式，其中，所述计算所述第一目标区域与所述图像模板的第一匹配值，包括：将所述第一目标区域及所述图像模板进行归一化相关性匹配，得到所述目标图像与所述图像模板的差别值；根据所述差别值确定第一匹配值。
在上述实现过程中，通过归一化进行相关性匹配得到目标图像与图像模板的差别值与第一匹配值，由于该差别值与第一匹配值是基于目标图像与图像模板之间的差别得到的，因此通过差别值得到的第一匹配值能够准确确定出目标图像与图像模板之间匹配度最高的匹配值，便于将目标图像以图像模板为基准进行转换，提高坐标转换的准确率。
结合第一方面的第三种可能的实施方式，本申请实施例提供了第一方面的第四种可能的实施方式，其中，所述在所述第一坐标系中根据设定算法对所述目标图像的第二目标区域进行定位，得到检测图，包括：在所述第一坐标系中，基于设定算法计算所述目标图像的第二目标区域的配准参数；根据所述第二目标区域配准参数将所述第二目标区域与图像模板进行配准，得到检测图。
在上述实现过程中，通过进一步根据设定算法计算第二目标区域中的配准参数，并根据该配准参数对第二目标区域进行映射并与图像模板进行配准，得到检测图。进一步对目标图像进行像素级配准，提高了缺陷检测的准确性。
结合第一方面的第四种可能的实施方式，本申请实施例提供了第一方面的第五种可能的实施方式，其中，所述在所述第一坐标系中，基于设定算法计算所述目标图像的第二目标区域的配准参数，包括：在所述第一坐标系中，通过仿射变换基于梯度的对齐方式计算所述第二目标区域的配准参数。
结合第一方面的第五种可能的实施方式，本申请实施例提供了第一方面的第六种可能的实施方式，其中，所述在所述第一坐标系中，基于设定算法计算所述目标图像的第二目标区域的配准参数，还包括：通过投影变换基于梯度的对齐方式计算所述第二目标区域的配准参数。
在上述实现过程中，通过仿射变换或投影变换计算第二目标区域的配准参数，将目标区域的像素级图像进行二次配准，降低运算量并且进一步提高配准的准确率。
结合第一方面的第六种可能的实施方式，本申请实施例提供了第一方面的第七种可能的实施方式，其中，所述根据所述差值图确定所述目标图像是否存在缺陷，包括：对所述差值图进行轮廓寻找，确定出差值图轮廓；根据所述差值图轮廓，确定差值图轮廓的轮廓面积；判断所述轮廓面积是否大于面积阈值；若所述轮廓面积大于所述面积阈值，则所述目标图像存在缺陷。
在上述实现过程中，通过确定差值图轮廓及轮廓面积，判断其轮廓面积与面积阈值之间的差值，根据该差值判断目标图像是否存在缺陷，由于该差值图是通过对目标图像进行两次定位并计算后得到的，因此，该差值图有较高准确率，进而根据该差值图判断的目标图像缺陷，可以提高缺陷检测的准确性。
结合第一方面的第七种可能的实施方式，本申请实施例提供了第一方面的第八种可能的实施方式，其中，所述方法还包括：通过边缘过滤选择所述目标图像感兴趣区域；通过形态学操作对所述目标图像感兴趣区域进行滤波；通过轮廓寻找确定目标图像的第一目标区域。
在上述实现过程中，通过边缘过滤选择目标图像感兴趣区域，并对该目标图像感兴趣区域进行滤波再通过轮廓查找确定目标图像的第一目标区域，通过上述步骤对目标图像进行预处理，消除图像中无关的信息，恢复有用的信息，增强相关信息的可检测性，同时，简化数据，提供检测效率。
第二方面，本申请实施例还提供一种检测装置，包括：第一定位模块：用于根据图像模板对目标图像的第一目标区域进行定位，得到所述目标图像相对所述图像模板的第一坐标系；第二定位模块：用于在所述第一坐标系中根据设定算法对所述第一目标区域中的像素级区域进行定位，得到检测图；计算模块：用于根据所述检测图与所述图像模板计算差值图；确定模块：用于根据所述差值图，确定所述目标图像是否存在缺陷。
第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面的任一种可能的实施方式中的方法的步骤。
第四方面，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面的任一种可能的实施方式中检测方法的步骤。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的方框示意图。
图2为本申请实施例提供的检测方法的流程图。
图3为本申请实施例提供的检测方法步骤201的流程图。
图4为本申请实施例提供的检测方法步骤202的流程图。
图5为本申请实施例提供的检测装置的功能模块示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
为便于对本实施例进行理解，首先对执行本申请实施例所公开的检测方法的电子设备进行详细介绍。
如图1所示，是电子设备的方框示意图。电子设备100可以包括存储器111、处理器113。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对电子设备100的结构造成限定。例如，电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
上述的存储器111及处理器113各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。上述的处理器113用于执行存储器中存储的可执行模块。
其中，存储器111可以是，但不限于，随机存取存储器(Random Access Memory，简称RAM)，只读存储器(Read Only Memory，简称ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，简称EEPROM)等。其中，存储器111用于存储程序，所述处理器113在接收到执行指令后，执行所述程序，本申请实施例任一实施例揭示的过程定义的电子设备100所执行的方法可以应用于处理器113中，或者由处理器113实现。
上述的处理器113可能是一种集成电路芯片，具有信号的处理能力。上述的处理器113可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(digital signalprocessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
可选地，该电子设备可以是检测机器人，该电子设备还可以是计算机，该电子设备还可以是质检仪等。
示例性地，若该电子设备是检测机器人，待检测物为键盘，当需要检测键盘时，该检测机器人的处理器控制前端的采集装置采集键盘的图像，并控制图像处理模块对该图像进行预处理。图像预处理后，该处理器根据预存在检测机器人内部的图像模板对该键盘图像进行定位、对比和判断，最后输出检测结果。该存储器用于存储图像模板、键盘图像、预处理后键盘图像以及检测结果等信息。
本实施例中的电子设备100可以用于执行本申请实施例提供的各个方法中的各个步骤。下面通过几个实施例详细描述检测方法的实现过程。
请参阅图2，是本申请实施例提供的检测方法的流程图。下面将对图2所示的具体流程进行详细阐述。
步骤201，根据图像模板对目标图像的第一目标区域进行定位，得到所述目标图像相对所述图像模板的第一坐标系。
其中，该图像模板可以在首次使用时建立，后续使用不再重新建立；该图像模板也可以在每次检测时建立；该图像模板还可以在对键盘进行更新后建立。
可选地，该第一目标区域可以是键盘上的按键区域，该第一目标区域可以是游戏机手柄上的按键区域，该第一目标区域可以是座机的按键区域，该第一目标区域可以是其他待检测物的待检测区域等，本申请不做具体限制。
其中，该第一坐标系是在图像模板的基础上对目标图像进行定位获得的坐标系，通过该第一坐标系与目标图像的实际坐标系，可以获得目标图像在相对图像模板调整时，其调整参数。
步骤202，在所述第一坐标系中根据设定算法对所述第一目标区域中的像素级区域进行定位，得到检测图。
可选地，该特定算法可以基于OpenCV中的Reg模块确定。其中，OpenCV是一个图像处理、分析、机器视觉方面的开源函数库，该Reg模块是像素级配准的映射器，该Reg模块可以运用多种数学原理基于图片的像素梯度进行计算。该数学原理包括但不限于平移变换、仿射变换、投影变换、欧几里得算法、相似度度量、高斯金字塔分层运动估计等。
步骤203，根据所述检测图与所述图像模板计算差值图。
其中，该差值图为目标图像的缺陷图。
可选地，可以通过对比检测图与图像模板之间的差异，确定出差值图；可以根据特定算法计算检测图与图像模板之间的差值，确定出差值图。
步骤204，根据所述差值图，确定所述目标图像是否存在缺陷。
可选地，当目标图像存在缺陷时，输出目标图像缺陷类型及缺陷位置。当目标图像不存在缺陷时，输出目标图像正常。
上述技术方案中，如图3所示，步骤201包括步骤2011-2013。
步骤2011，计算第一目标区域与图像模板的第一匹配值。
其中，该第一配置值为目标图像的第一目标区域与检测模板差别程度最小的值。
可选地，通过将模板与目标图像重合，选择起始点，从起始点开始逐一检测模板与目标图像的第一目标区域的差别程度，从而确定第一匹配值。该起始点可以是目标区域坐标原点，该起始点可以是目标区域左上角的点，该起始点可以是目标区域右下角的点等。
步骤2012，根据第一匹配值对所述第一目标区域进行变换，得到变换坐标。
具体地，根据第一匹配值对所述第一目标区域进行变换可以是对第一目标区域中所有待检测点进行变换，据第一匹配值对所述第一目标区域进行变换也可以是对第一目标区域中部分待检测点进行变换。
可选地，该变换坐标可以是一个或多个。
步骤2013，将该变换坐标以所述图像模板的基准坐标进行变换，得到该目标图像相对图像模板的第一坐标系。
其中，该基准坐标为第一匹配值对应图像模板的坐标。
具体地，将该变换坐标以所述图像模板的基准坐标进行变换，可以包括：将多个变换坐标分别以图像模板的基准坐标进行变换，形成目标图像相对图像模板的第一坐标系。
可选地，该第一坐标系为目标图像以图像模板为基准转换后形成的坐标系。
上述技术方案中，步骤2012，包括：根据基准坐标与第一原始坐标确定转换数据；根据该转换数据计算仿射矩阵；根据仿射矩阵对第一目标区域进行仿射变换，得到变换坐标。
其中，第一原始坐标为第一匹配值对应第一目标区域的坐标值。该第一原始坐标就是目标图像以图像模板为基准进行仿射变换的中心点位置。
其中，该转换数据可以包括：目标图像旋转中心、旋转角度、缩放系数等。
示例性地，目标图像中定位基准键位“Q”在图像模板的中心点位置为T(x′,y′),目标图像中定位基准键位“Q”在目标图像中最佳匹配位置的中心点位置为I(x,y)，匹配的角度为θ，缩放比例为γ，则可以计算出旋转变换矩阵：
Figure BDA0003433153540000111
以点I(x,y)与点T(x′,y′)之间的矢量差计算出平移向量：
Figure BDA0003433153540000112
进一步，得到仿射矩阵：
Figure BDA0003433153540000113
根据仿射矩阵对第一目标区域进行仿射变换，变换公式如下：
Figure BDA0003433153540000121
即：
Figure BDA0003433153540000122
其中，(x,y)为目标图像中定位基准键位“Q”在目标图像中最佳匹配位置的中心点位置坐标，(u,v)为目标图像中定位基准键位“Q”以图像模板为基准仿射变换后的中心点位置坐标。
可选地，上述的仿射变换仅仅是对目标图像中定位基准键位“Q”的示例，其他键位的仿射变换也可以用同样的方式得到。通过对目标图像上所有的键位进行仿射变换后，得到的每个键位以图像模板为基准仿射变换后的中心点位置坐标。
上述技术方案中，步骤2011，包括：将所述第一目标区域及所述图像模板进行归一化相关性匹配，得到所述目标图像与所述图像模板的差别值；根据所述差别值确定第一匹配值。
其中，该差别值可以为多个差别值，该第一匹配值为多个差别值中差别值最大的值。
可选地，可以将第一目标区域中的每个待检测点与图像模板进行归一化相关性匹配，得到每一个待检测点与图像模板之间的差别值。
具体地，该归一化相关性匹配的计算公式如下：
Figure BDA0003433153540000123
其中，T(t′,w′)为模板矩阵，I(t,w)为目标图像矩阵，Rccorr_normed为差别值。
上述技术方案中，如图4所示，步骤202包括步骤2021-2022。
步骤2021，在该第一坐标系中，基于设定算法计算目标图像的第二目标区域的配准参数。
其中，该第二目标区域为第一目标区域中像素级区域。
可选地，该目标图像的第二目标区域的配准参数可以包括变换矩阵、平移的向量、变换的向量等。
可选地，该配准参数可以通过选择OpenCV中的Reg模块中的算法进行计算得到。该OpenCV中的Reg模块为像素级配准算法。
步骤2022，根据所述第二目标区域配准参数将第二目标区域与图像模板进行配准，得到检测图。
可选地，可以根据所述第二目标区域配准参数对第二目标区域进行映射，实现第二目标区域与图像模板配准。
上述技术方案中，步骤2021包括：在该第一坐标系中，通过仿射变换基于梯度的对齐方式计算第二目标区域的配准参数。
可选地，该仿射变换过程同上述方案中的仿射变换相同，只是改仿射变换是基于像素级的。
示例性地，目标图像中定位基准键位“Q”的第一像素点在图像模板的一像素点位置为T(x′1,y′1),目标图像中定位基准键位“Q”的第一像素点在目标图像中最佳匹配位置的第一像素点位置为I(x1,y1)，匹配的角度为θ1，缩放比例为γ1，则可以计算出旋转变换矩阵：
Figure BDA0003433153540000131
以点I(x1,y1)与点T(x′1,y′1)之间的矢量差计算出平移向量：
Figure BDA0003433153540000141
进一步，得到仿射矩阵：
Figure BDA0003433153540000142
根据仿射矩阵对第一目标区域进行仿射变换，变换公式如下：
Figure BDA0003433153540000143
即：
Figure BDA0003433153540000144
其中，(x1,y1)为目标图像中定位基准键位“Q”在目标图像中最佳匹配位置的像素点位置坐标，(u1,v1)为目标图像中定位基准键位“Q”以图像模板为基准仿射变换后的像素点位置坐标。
可选地，上述的仿射变换仅仅是对目标图像中定位基准键位“Q”的像素点的示例，其他键位的像素点的仿射变换也可以用同样的方式得到。通过对目标图像上所有的像素点进行仿射变换后，得到的每个像素点以图像模板为基准仿射变换后的像素点位置坐标。
上述技术方案中，步骤2021还包括：通过投影变换基于梯度的对齐方式计算第二目标区域的配准参数。
示例性地，该投影变换的公式如下：
Figure BDA0003433153540000145
其中，(m,n)为像素点在目标图像中的坐标，(p,q)为像素点变换后坐标，
Figure BDA0003433153540000146
为投影变换矩阵。
可选地，该投影变换矩阵可以通过图像模板与目标图像点对点的像素梯度和像素值计算得到。
上述技术方案中，步骤204包括：对所述差值图进行轮廓寻找，确定出差值图轮廓；根据所述差值图轮廓，确定差值图轮廓的轮廓面积；判断所述轮廓面积是否大于面积阈值；若所述轮廓面积大于所述面积阈值，则所述目标图像存在缺陷。
可选地，可以通过差值轮廓面积周长判断轮廓面积是否大于面积阈值，可以通过差值轮廓面积的轮廓边缘点判断轮廓面积是否大于面积阈值等。
可选地，在确定出差值图轮廓之前还可以对差值图进行中值滤波，过滤干扰信息。
可选地，该差值图轮廓面积包括多个待检测点轮廓面积，根据多个待检测点轮廓面积分别判断轮廓面积是否大于面积阈值，对于轮廓面积大于面积阈值的，确定为该检测点存在缺陷。
上述技术方案中，该检测方法还包括：通过边缘过滤选择所述目标图像感兴趣区域；通过形态学操作对所述目标图像感兴趣区域进行滤波；通过轮廓寻找确定目标图像的第一目标区域。
其中，通过边缘过滤选择所述目标图像感兴趣区域的具体实施方式可以为：将目标图像与图像模板进行比对，逐步缩小目标图像的区域，直到该区域为包含目标图像中有效信息的最小区域，此包含目标图像中有效信息的最小区域即为感兴趣区域。
其中，通过形态学操作对所述目标图像感兴趣区域进行滤波用于消除目标图像的噪点或目标图像所采集的目标检测设备上的灰尘、污渍等干扰信息。
本申请通过将待检测物进行图像采集，将采集后的图像与图像模板进行预处理、图像级别的定位以及像素级别的定位，将采集到的图像与图像模板进行准确匹配，匹配后对匹配后的图像与模板图进行计算，得到差值，根据差值判断待检测物是否存在缺陷。通过图像识别进行检测，实现了缺陷检测自动化，替代了人力检测，降低了工作人员的工作强度，自动化检测相比于人工检测还提高了检测效率和准确率。另外，本申请的检测方法通过对目标图像进行多次处理，处理区域由大到小，逐渐缩小处理范围，最后基于像素级别的配准和判断，提高了检测的准确性。
基于同一申请构思，本申请实施例中还提供了与检测方法对应的检测装置，由于本申请实施例中的装置解决问题的原理与前述的检测方法实施例相似，因此本实施例中的装置的实施可以参见上述方法的实施例中的描述，重复之处不再赘述。
请参阅图5，是本申请实施例提供的检测装置的功能模块示意图。本实施例中的检测装置中的各个模块用于执行上述方法实施例中的各个步骤。检测装置/***包括第一定位模块301、第二定位模块302、计算模块303、确定模块304；其中，
第一定位模块301用于根据图像模板对目标图像的第一目标区域进行定位，得到所述目标图像相对所述图像模板的第一坐标系。
第二定位模块302用于在所述第一坐标系中根据设定算法对所述第一目标区域中的像素级区域进行定位，得到检测图。
计算模块303用于根据所述检测图与所述图像模板计算差值图。
确定模块304用于根据所述差值图，确定所述目标图像是否存在缺陷。
一种可能的实施方式中，第一定位模块301，还用于：计算所述第一目标区域与图像模板的第一匹配值；根据所述第一匹配值对所述第一目标区域进行变换，得到变换坐标；将所述变换坐标以所述图像模板的基准坐标进行变换，得到所述目标图像相对所述图像模板的第一坐标系，所述基准坐标为所述第一匹配值对应所述图像模板的坐标。
一种可能的实施方式中，第一定位模块301，具体用于：根据所述基准坐标与第一原始坐标确定转换数据，所述第一原始坐标为所述第一匹配值对应所述第一目标区域的坐标；根据所述转换数据计算变换矩阵；根据所述变换矩阵对所述第一目标区域进行仿射变换，得到变换坐标。
一种可能的实施方式中，第一定位模块301，具体用于：将所述第一目标区域及所述图像模板进行归一化相关性匹配，得到所述目标图像与所述图像模板的差别值；根据所述差别值确定第一匹配值。
一种可能的实施方式中，第二定位模块302，还用于：在所述第一坐标系中，基于设定算法计算所述目标图像的第二目标区域的配准参数；根据所述第二目标区域配准参数对所述第二目标区域进行映射；将所述第二目标区域与图像模板进行配准，得到检测图。
一种可能的实施方式中，第二定位模块302，具体用于：在所述第一坐标系中，通过仿射变换基于梯度的对齐方式计算所述第二目标区域的配准参数。
一种可能的实施方式中，第二定位模块302，具体用于：通过投影变换基于梯度的对齐方式计算所述第二目标区域的配准参数。
一种可能的实施方式中，确定模块304，还用于：对所述差值图进行轮廓寻找，确定出差值图轮廓；根据所述差值图轮廓，确定差值图轮廓的轮廓面积；判断所述轮廓面积是否大于面积阈值；若所述轮廓面积大于所述面积阈值，则所述目标图像存在缺陷。
一种可能的实施方式中，所述装置还包括处理模块，该处理模块用于通过边缘过滤选择所述目标图像感兴趣区域；通过形态学操作对所述目标图像感兴趣区域进行滤波；通过轮廓寻找确定目标图像的第一目标区域。
此外，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的检测方法的步骤。
本申请实施例所提供的检测方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种检测方法，其特征在于，包括：
根据图像模板对目标图像的第一目标区域进行定位，得到所述目标图像相对所述图像模板的第一坐标系；
在所述第一坐标系中根据设定算法对所述第一目标区域中的像素级区域进行定位，得到检测图；
根据所述检测图与所述图像模板计算差值图；
根据所述差值图，确定所述目标图像是否存在缺陷。
2.根据权利要求1所述的方法，其特征在于，所述根据图像模板对目标图像的第一目标区域进行定位，得到所述目标图像相对所述图像模板的第一坐标系，包括：
计算所述第一目标区域与图像模板的第一匹配值；
根据所述第一匹配值对所述第一目标区域进行变换，得到变换坐标；
将所述变换坐标以所述图像模板的基准坐标进行变换，得到所述目标图像相对所述图像模板的第一坐标系，所述基准坐标为所述第一匹配值对应所述图像模板的坐标。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一匹配值对所述第一目标区域进行变换，得到变换坐标，包括：
根据所述基准坐标与第一原始坐标确定转换数据，所述第一原始坐标为所述第一匹配值对应所述第一目标区域的坐标；
根据所述转换数据计算仿射矩阵；
根据所述仿射矩阵对所述第一目标区域进行仿射变换，得到变换坐标。
4.根据权利要求2所述的方法，其特征在于，所述计算所述第一目标区域与所述图像模板的第一匹配值，包括：
将所述第一目标区域及所述图像模板进行归一化相关性匹配，得到所述目标图像与所述图像模板的差别值；
根据所述差别值确定第一匹配值。
5.根据权利要求1所述的方法，其特征在于，所述在所述第一坐标系中根据设定算法对所述第一目标区域中的像素级区域进行定位，得到检测图，包括：
在所述第一坐标系中，基于设定算法计算所述目标图像的第二目标区域的配准参数；
根据所述第二目标区域配准参数将所述第二目标区域与图像模板进行配准，得到检测图。
6.根据权利要求5所述的方法，其特征在于，所述在所述第一坐标系中，基于设定算法计算所述目标图像的第二目标区域的配准参数，包括：
在所述第一坐标系中，通过仿射变换基于梯度的对齐方式计算所述第二目标区域的配准参数。
7.根据权利要求5所述的方法，其特征在于，所述在所述第一坐标系中，基于设定算法计算所述目标图像的第二目标区域的配准参数，还包括：
通过投影变换基于梯度的对齐方式计算所述第二目标区域的配准参数。
8.根据权利要求1所述的方法，其特征在于，所述根据所述差值图确定所述目标图像是否存在缺陷，包括：
对所述差值图进行轮廓寻找，确定出差值图轮廓；
根据所述差值图轮廓，确定差值图轮廓的轮廓面积；
判断所述轮廓面积是否大于面积阈值；
若所述轮廓面积大于所述面积阈值，则所述目标图像存在缺陷。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过边缘过滤选择所述目标图像感兴趣区域；
通过形态学操作对所述目标图像感兴趣区域进行滤波；
通过轮廓寻找确定目标图像的第一目标区域。
10.一种检测装置，其特征在于，包括：
第一定位模块：用于根据图像模板对目标图像的第一目标区域进行定位，得到所述目标图像相对所述图像模板的第一坐标系；
第二定位模块：用于在所述第一坐标系中根据设定算法对所述第一目标区域中的像素级区域进行定位，得到检测图；
计算模块：用于根据所述检测图与所述图像模板计算差值图；
确定模块：用于根据所述差值图，确定所述目标图像是否存在缺陷。
11.一种电子设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行时执行如权利要求1至9任一所述的方法的步骤。
12.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至9任一所述的方法的步骤。
CN202111601257.9A 2021-12-24 2021-12-24 检测方法、装置、电子设备及可读存储介质 Pending CN114936997A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111601257.9A CN114936997A (zh) 2021-12-24 2021-12-24 检测方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111601257.9A CN114936997A (zh) 2021-12-24 2021-12-24 检测方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN114936997A true CN114936997A (zh) 2022-08-23

Family

ID=82862845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111601257.9A Pending CN114936997A (zh) 2021-12-24 2021-12-24 检测方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114936997A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116486126A (zh) * 2023-06-25 2023-07-25 合肥联宝信息技术有限公司 一种模版确定方法、装置、设备及存储介质
CN117131831A (zh) * 2023-09-12 2023-11-28 上海世禹精密设备股份有限公司 Pcb电子设计图与实物图的对齐方法、装置、设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116486126A (zh) * 2023-06-25 2023-07-25 合肥联宝信息技术有限公司 一种模版确定方法、装置、设备及存储介质
CN116486126B (zh) * 2023-06-25 2023-10-27 合肥联宝信息技术有限公司 一种模版确定方法、装置、设备及存储介质
CN117131831A (zh) * 2023-09-12 2023-11-28 上海世禹精密设备股份有限公司 Pcb电子设计图与实物图的对齐方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN107543828B (zh) 一种工件表面缺陷检测方法及***
US7133572B2 (en) Fast two dimensional object localization based on oriented edges
JP5699788B2 (ja) スクリーン領域検知方法及びシステム
US7340089B2 (en) Geometric pattern matching using dynamic feature combinations
CN106778737B (zh) 一种车牌矫正方法、装置和一种视频采集装置
US8019164B2 (en) Apparatus, method and program product for matching with a template
CN114936997A (zh) 检测方法、装置、电子设备及可读存储介质
JP2002259994A (ja) 自動イメージパターン検出方法及びイメージ処理装置
CN112598922B (zh) 车位检测方法、装置、设备及存储介质
TWI522934B (zh) 智慧型手機之陀螺儀感測器車牌辨識系統及其方法
US8315457B2 (en) System and method for performing multi-image training for pattern recognition and registration
CN111832659B (zh) 一种基于特征点提取算法检测的激光标刻***及方法
CN105718931B (zh) 用于确定采集图像中的杂斑的***和方法
JP2023134688A (ja) ビジョンシステムで画像内のパターンを検出及び分類するためのシステム及び方法
JP4003465B2 (ja) 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置
CN110288040B (zh) 一种基于拓扑验证的图像相似评判方法及设备
CN110991357A (zh) 一种答案匹配方法、装置和电子设备
Collins et al. Site model acquisition and extension from aerial images
JP2022009474A (ja) ビジョンシステムでラインを検出するためのシステム及び方法
CN116740062B (zh) 基于不规则胶圈的缺陷检测方法及***
CN115546219B (zh) 检测板式生成方法、板卡缺陷检测方法、装置及产品
US20030185432A1 (en) Method and system for image registration based on hierarchical object modeling
JP2007140729A (ja) 物品の位置及び姿勢を検出する方法および装置
CN114913118A (zh) 工业视觉检测方法、装置、电子设备以及存储介质
CN113570539A (zh) 螺丝漏锁检测方法及***、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination