CN112215827A - 电迁移区域检测方法、装置、计算机设备和存储介质 - Google Patents

电迁移区域检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112215827A
CN112215827A CN202011123112.8A CN202011123112A CN112215827A CN 112215827 A CN112215827 A CN 112215827A CN 202011123112 A CN202011123112 A CN 202011123112A CN 112215827 A CN112215827 A CN 112215827A
Authority
CN
China
Prior art keywords
circuit board
board image
image
electromigration
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011123112.8A
Other languages
English (en)
Inventor
吴长雷
李勇
丁俊超
浦黎
董世儒
纪庆泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China General Nuclear Power Corp
CGN Power Co Ltd
China Nuclear Power Operation Co Ltd
Original Assignee
China General Nuclear Power Corp
CGN Power Co Ltd
China Nuclear Power Operation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China General Nuclear Power Corp, CGN Power Co Ltd, China Nuclear Power Operation Co Ltd filed Critical China General Nuclear Power Corp
Priority to CN202011123112.8A priority Critical patent/CN112215827A/zh
Publication of CN112215827A publication Critical patent/CN112215827A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种电迁移区域检测方法、装置、计算机设备和存储介质。所述方法包括：获取电路板图像；对所述电路板图像进行边缘检测，得到所述电路板图像的边缘信息；基于所述边缘信息对所述电路板图像中的干扰物进行识别；将所述干扰物从所述电路板图像中去除，得到无干扰物的目标电路板图像；通过视觉显著性检测算法，提取所述目标电路板图像中的电迁移区域。采用本方法能够提高对电迁移区域检测的效率。

Description

电迁移区域检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种电迁移区域检测方法、装置、计算机设备和存储介质。
背景技术
电迁移作为电子产品的典型失效形式而受到广泛的关注，所谓电迁移是指在高电流密度作用下，电子风力驱动金属原子/离子沿着电子运动的方向迁移。负极处由于物质的迁移形成凹谷，正极处由于物质的堆积形成小丘。凹谷和小丘的形成引发电路的开路或者短路，导致器件失效。
目前对器件上电迁移区域的识别主要依赖于检验员进行人工目检，因此容易出现检错或漏检，需要多次检验，从而导致对电迁移区域检测的效率较低。
发明内容
基于此，有必要针对电迁移区域检测的效率低的技术问题，提供一种电迁移区域检测方法、装置、计算机设备和存储介质。
一种电迁移区域检测方法，所述方法包括：
获取电路板图像；
对所述电路板图像进行边缘检测，得到所述电路板图像的边缘信息；
基于所述边缘信息对所述电路板图像中的干扰物进行识别；
将所述干扰物从所述电路板图像中去除，得到无干扰物的目标电路板图像；
通过视觉显著性检测算法，提取所述目标电路板图像中的电迁移区域。
在一个实施例中，所述方法还包括：
获取预设数量的样本电路板图像；
对所述样本电路板图像进行标注，得到训练样本；
将所述训练样本输入目标检测网络进行训练，得到干扰物识别模型；
所述基于所述边缘信息对所述电路板图像中的干扰物进行识别，包括：
通过所述干扰物识别模型基于所述边缘信息对所述电路板图像中的干扰物进行识别。
在一个实施例中，所述对所述电路板图像进行边缘检测之前，所述方法还包括：
对所述电路板图像进行预处理操作，所述预处理操作包括图像灰度化、形态学处理、中值滤波处理。
在一个实施例中，所述通过视觉显著性检测算法，提取所述目标电路板图像中的电迁移区域，包括：
将所述无干扰物的电路板图像转换到预设颜色空间，得到预设颜色空间的无干扰物的电路板图像；
通过视觉显著性检测算法，提取所述预设颜色空间的无干扰物的电路板图像中的电迁移区域。
在一个实施例中，所述通过视觉显著性检测算法，提取所述目标电路板图像中的电迁移区域之后，所述方法还包括：
计算所述电路板图像中的电迁移区域的面积；
根据所述面积确定所述电路板图像对应电路板的短路风险等级；
生成与所述短路风险等级对应的风险提示信息并进行提示。
一种电迁移区域检测装置，所述装置包括：
图像获取模块，用于获取电路板图像；
边缘检测模块，用于对所述电路板图像进行边缘检测，得到所述电路板图像的边缘信息；
图像识别模块，用于基于所述边缘信息对所述电路板图像中的干扰物进行识别；
干扰物去除模块，用于将所述干扰物从所述电路板图像中去除，得到无干扰物的目标电路板图像；
电迁移区域提取模块，用于通过视觉显著性检测算法，提取所述目标电路板图像中的电迁移区域。
在一个实施例中，所述装置还包括：
样本电路板图像获取模块，用于获取预设数量的样本电路板图像；
标注模块，用于对所述样本电路板图像进行标注，得到训练样本；
模型训练模块，用于将所述训练样本输入目标检测网络进行训练，得到干扰物识别模型；
所述图像识别模块，还用于：
通过所述干扰物识别模型基于所述边缘信息对所述电路板图像中的干扰物进行识别。
在一个实施例中，所述装置还包括：
预处理模块，用于对所述电路板图像进行预处理操作，所述预处理操作包括图像灰度化、形态学处理、中值滤波处理。
在一个实施例中，所述电迁移区域提取模块，还用于：
将所述无干扰物的电路板图像转换到预设颜色空间，得到预设颜色空间的无干扰物的电路板图像；
通过视觉显著性检测算法，提取所述预设颜色空间的无干扰物的电路板图像中的电迁移区域。
在一个实施例中，所述装置还包括：
面积计算模块，用于计算所述电路板图像中的电迁移区域的面积；
短路风险等级确定模块，用于根据所述面积确定所述电路板图像对应电路板的短路风险等级；
提示模块，用于生成与所述短路风险等级对应的风险提示信息并进行提示。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
上述电迁移区域检测方法、装置、计算机设备和存储介质，在获取电路板图像之后，对电路板图像进行边缘检测，得到电路板图像的边缘信息；基于边缘信息对电路板图像中的干扰物进行识别；将干扰物从电路板图像中去除，得到无干扰物的目标电路板图像；通过视觉显著性检测算法，提取目标电路板图像中的电迁移区域，从而无需人工便可对电路板器件上的电迁移区域的检测，提高了对电迁移区域检测的效率和准确率。
附图说明
图1为一个实施例中电迁移区域检测方法的应用环境图；
图2为一个实施例中电迁移区域检测方法的流程示意图；
图3为一个实施例中原始电路板图像；
图4为一个实施例中待检测的电路板图像；
图5为一个实施例中检测结果图像；
图6为另一个实施例中电迁移区域检测方法的流程示意图；
图7为一个实施例中电迁移区域检测装置的结构框图；
图8为另一个实施例中电迁移区域检测装置的结构框图；
图9为一个实施例中计算机设备的内部结构图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的电迁移区域检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。该电迁移区域检测方法可以应用于终端或服务器，还可以通过终端和服务器的交互实现，以该方法应用于终端为例，终端102获取电路板图像；对电路板图像进行边缘检测，得到电路板图像的边缘信息；基于边缘信息对电路板图像中的干扰物进行识别；将干扰物从电路板图像中去除，得到无干扰物的目标电路板图像；通过视觉显著性检测算法，提取目标电路板图像中的电迁移区域。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种电迁移区域检测方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
S202，获取电路板图像。
其中，电路板图像为通过图像采集设备对待检测的电路板、芯片等电子元件进行图像采集而得到的图像。
在一个实施例中，通过图像采集设备对待检测的电路板、芯片等电子元件进行图像采集，得到原始电路板图像，并将所采集的原始电路板图像发送给终端，以使终端对该原始电路板图像进行电迁移区域检测。其中图像采集设备可以是高分辨率的相机。
在一个实施例中，终端在获取到图像采集设备上传的原始电路板图像之后，可以直接将该原始电路板图像作为待检测的电路板图像，也可以从该原始电路板图像中提取出待检测的区域，并将所提取出的待检测区域作为待检测的电路板图像。其中，终端可以采用GrabCut算法对原始电路板图像进行图像分割，在图像分割时，将待检测的区域作为前景，原始电路板图像中待检测的区域之外的区域作为背景，从而将待检测的区域从原始电路板图像中提取出来。
举例说明，图3示出了一个原始电路板图像，在图像分割时矩形框内区域(将待检测区域)作为前景，将矩形框外区域作为背景，从而将待检测的区域从电路板图像中提取出来，提取结果如图4所示。
S204，对电路板图像进行边缘检测，得到电路板图像的边缘信息。
其中，边缘检测是对电路板图像灰度变化的度量、检测和定位。边缘信息是图像的重要的特征，边缘是指周围像素灰度有阶跃变化或屋顶变化的像素的集合。边缘检测算法包括微分算子、拉普拉斯高斯算子和canny算子等。
在一个实施例中，终端在获取电路板图像(即待检测的电路板图像)之后，采用边缘检测算法对该电路板图像进行边缘检测，从而得到电路板图像的边缘信息。具体地，终端采用canny算子对该电路板图像进行边缘检测，其中，canny算子的目标是找到一个最优的边缘检测算法，最优边缘检测的含义是：好的检测-算法能够尽可能多地标识出图像中的实际边缘，好的定位-标识出的边缘要与实际图像中的实际边缘尽可能接近，最小响应-图像中的边缘只能标识一次，并且可能存在的图像噪声不应标识为边缘。
S206，基于边缘信息对电路板图像中的干扰物进行识别。
其中，干扰物为影响电迁移区域确定的干扰区域，具体可以是电路板图像中的字符等影响电迁移区域确定的干扰对象。例如，图4中的字符“103”即为要识别的干扰物。
在一个实施例中，终端在得到电路板图像的边缘信息之后，将该边缘信息作为该电路板图像的图像特征，并基于该图像特征采用预先训练好的干扰物识别模型对电路板图像中的干扰物进行识别。其中，干扰物识别模型可以是基于YOLOv3网络预先训练得到的。其中YOLOv3是基于回归模型的目标检测算法。
S208，将干扰物从电路板图像中去除，得到无干扰物的目标电路板图像。
在一个实施例中，终端在识别出电路板图像中的干扰物之后，将所识到的干扰物从电路板图像中去除，其中，终端可以采用GrabCut算法将所识别到的干扰物从电路板图像中去除。
具体地，采用GrabCut算法对电路板图像进行图像分割，在图像分割时，将所识别到的干扰物作为背景，电路板图像中干扰物之外的区域作为前景，从而将干扰物从电路板图像中去除，得到无干扰物的目标电路板图像。
S210，通过视觉显著性检测算法，提取目标电路板图像中的电迁移区域。
其中，视觉显著性检测算法用于通过模拟人的视觉特点，提取图像中的显著区域(即人类感兴趣的区域)。本申请中的电迁移区域即显著区域。
具体地，终端首先计算目标电路板图像的颜色均值，针对目标电路板图像中各像素点计算其颜色值与颜色均值之间的二范数，基于目标电路板图像中各像素点对应的二范数生成显著图，从显著图提取电迁移区域。其中，基于目标电路板图像中各像素点对应的二范数生成显著图像包括：将目标电路板图像中各像素点对应的二范数确定为所要生成的显著图像的颜色值。
上述实施例中，终端在获取电路板图像之后，对电路板图像进行边缘检测，得到电路板图像的边缘信息；基于边缘信息对电路板图像中的干扰物进行识别；将干扰物从电路板图像中去除，得到无干扰物的目标电路板图像；通过视觉显著性检测算法，提取目标电路板图像中的电迁移区域，从而无需人工便可对电路板器件上的电迁移区域的检测，提高了对电迁移区域检测的效率和准确率。
在一个实施例中，上述电迁移区域检测方法还包括以下步骤：获取预设数量的样本电路板图像；对样本电路板图像进行标注，得到训练样本；将训练样本输入目标检测网络进行训练，得到干扰物识别模型。其中目标检测网络可以是YOLOv3网络。
具体地，终端可以通过高分辨率的相机采集样本电路板图像，或者从网络上下载样本电路板图像，并在获取到样本电路板图像之后，采用矩形包围框对样本电路板图像进行标注，标注的区域为样本电路板图像中的干扰物区域，例如将样本电路板图像中的干扰物区域标注为类别1，将干扰物之外的区域标注为类别2。
上述实施例中，终端通过获取预设数量的样本电路板图像；对样本电路板图像进行标注，得到训练样本，将训练样本输入目标检测网络进行训练，从而得到干扰物识别模型，在通过该干扰物识别模型对电路板图像中的干扰物区域进行识别，进而实现对电迁移区域的提取，从而无需人工便可对电路板器件上的电迁移区域的检测，提高了对电迁移区域检测的效率和准确率。
在一个实施例中，终端对电路板图像进行边缘检测之前，还可以对电路板图像进行预处理操作，预处理操作包括图像灰度化、形态学处理、中值滤波处理。
灰度化是将彩色图片转换成灰度图片，将三维数据变换成一维数据，减少后期运算量，降低运算复杂度。具体地，本申请中采用以下图像灰度化公式对电路板图像进行图像灰度化操作，图像灰度化公式如下：
f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j)
其中，f(i,j)是图像灰度化之后的电路板图像中坐标为(i,j)的像素点的像素值，R(i,j)、G(i,j)和B(i,j)为图像灰度化之前的电路板图像中坐标为(i,j)的像素点在RGB颜色空间中R、G和B三个颜色通道对应的颜色值。
形态学处理是指从图像区域中提取感兴趣的分量来描绘图像中各区域最本质的形状和结构，常常用来增强图像、提取连通分量、填充区域等等。基本的形态学处理包括腐蚀、膨胀、开运算和闭运算。
膨胀可以使图像中的连通区域变大，结构元的形状和大小会影响膨胀的结果，膨胀操作主要用来填补空隙，将断开的连通域连接起来；腐蚀可以缩小图像中的连通域，消融图像结构的边界，同样的，结构元素的形状和大小会影响腐蚀的结果，腐蚀操作主要用来断开连接、消除细小的部分；开运算是对图像先进行一次腐蚀，再进行一次膨胀；闭运算是对图像先进行一次膨胀，再进行一次腐蚀。本申请中对电路板图像所进行的形态学处理可以是闭运算，具体采用的形态学膨胀公式、形态学腐蚀公式和形态学闭运算公式如下：
Figure BDA0002732711900000081
Figure BDA0002732711900000082
Figure BDA0002732711900000083
其中，F为电路板图像，b为用于进行形态学膨胀的结构元素，
Figure BDA0002732711900000084
表示对电路板图像中坐标为(i,j)的像素点进行形态学膨胀，
Figure BDA0002732711900000085
表示对电路板图像中坐标为(i,j)的像素点进行形态学腐蚀，s、t分别为i、j对应的形态学处理偏移量。
中值滤波处理是一种非线性平滑技术，用于消除在进行图像采集、传输的过程当中所引入的噪声。中值滤波所采用的公式如下：
g(i,j)＝med{f(i-k,j-l),(k,l∈W)}
其中，g(i,j)为电路板图像中坐标为(i,j)的像素点中值滤波后对应的像素值，k、l分别为i、j对应的滤波偏移量，W为滤波偏移量集合。
上述实施例中，终端对电路板图像进行边缘检测之前，通过对电路板图像进行预处理操作可以有效去除噪声并保留图像有效信息，从而减少电迁移区域检测过程中的计算量，进而提高了对电迁移区域检测的效率。
在一个实施例中，终端通过视觉显著性检测算法，提取目标电路板图像中的电迁移区域包括：将无干扰物的电路板图像转换到预设颜色空间，得到预设颜色空间的无干扰物的电路板图像；通过视觉显著性检测算法，提取预设颜色空间的无干扰物的电路板图像中的电迁移区域。
具体地，终端所获取的电路板图像为RGB颜色空间的图像，即终端所得到的无干扰物的目标电路板图像也为RGB颜色空间的图像，终端在得到目标电路板图像之后，对目标电路板图像进行图像空间转换，具体是将目标电路板图像从RGB颜色空间转换到LAB颜色空间，也就是说将RGB的目标电路板图像转换为LAB的目标电路板图像，在得到LAB的目标电路板图像之后，终端还可以对LAB的目标图像进行高斯核模糊处理，得到模糊处理后的目标电路板图像，并计算目标电路板图像在LAB颜色空间中的颜色均值，针对模糊处理后的目标电路板图像中各像素点计算其颜色值与颜色均值之间的二范数，基于模糊处理后的目标电路板图像中各像素点对应的二范数生成显著图，从显著图提取电迁移区域。其中，二范数的计算公式如下：
S(i,j)＝||Iu-Iwhc(i,j)||2
上式中，S(i,j)为模糊处理后的目标电路板图像中坐标为(i,j)的像素点对应的二范数，Iu为LAB的目标电路板图像的颜色均值，Iwhc(i,j)模糊处理后的目标电路板图像中(i,j)的像素点对应的颜色值。
上述实施例中，终端通过将无干扰物的电路板图像转换到预设颜色空间，得到预设颜色空间的无干扰物的电路板图像，从而在预设颜色空间中，通过视觉显著性检测算法，更加快速地提取无干扰物的电路板图像，从而提高了对电迁移区域检测的效率。
在一个实施例中，终端在通过视觉显著性检测算法得到显著图之后，还可以对显著图进行二值化和中值滤波处理，得到处理后的显著图，并以处理后的显著图作为掩膜将处理后的显著图和电路板图像进行配准及叠加，得到显著标注电迁移区域的检测结果图像。其中，对显著图进行二值化所采用的公式为：
Figure BDA0002732711900000091
其中，value(i,j)为显著图中坐标为(i,j)的像素点二值化后对应的灰度值(颜色值)，gray(i,j)为显著图中坐标为(i,j)的像素点二值化前对应的灰度值(颜色值)。
上述实施例中，终端通过对显著图进行二值化和中值滤波处理，得到处理后的显著图，并以处理后的显著图作为掩膜将处理后的显著图和电路板图像进行配准及叠加，得到显著标注电迁移区域的检测结果图像，从而可以直观的显示出电迁移区域在电路板图像中的位置。
在一个实施例中，终端在对干扰物识别模型进行训练过程中，回归预测框后，记录预测框的旋转角度和预测框参数，其中预测框参数包括预测框的中心点坐标、宽和高，并在利用干扰物识别模型对电路板图像中的干扰物进行识别之前，对电路板图像所进行的预处理操作还包括基于预测框参数对电路板图像进行第一仿射变换，得到仿射变换后的电路板图像，进而利用干扰物识别模型对仿射变换后的电路板图像中的干扰物进行识别，并进行干扰物去除以及提取电迁移区域等操作，并在得到显著标注电迁移区域的检测结果图像之后，基于预测框参数对该显著标注电迁移区域的检测结果图像进行第二仿射变换，得到与电路板图像一致的显著标注电迁移区域的检测结果图像。其中第二仿射变换为第一仿射变换的逆过程。如图5所示，为一个实施例中所得到的与电路板图像一致的显著标注电迁移区域的检测结果图像。
上述实施例中，终端在对电路板图像进行干扰物识别之前，通过基于预测框参数对电路板图像进行图像仿射变换，从而可以提高对干扰物识别的准确率，进而提高了对电迁移区域检测的准确率。
在一个实施例中，终端通过视觉显著性检测算法，提取目标电路板图像中的电迁移区域之后，还可以计算电路板图像中的电迁移区域的面积，根据面积确定电路板图像对应电路板的短路风险等级，生成与短路风险等级对应的风险提示信息并进行提示。其中，电路板图像中的电迁移区域的面积与电路板图像的面积的比值越大，对应的短路风险等级越高。
上述实施例中，终端通过计算电路板图像中的电迁移区域的面积，根据面积确定电路板图像对应电路板的短路风险等级，生成与短路风险等级对应的风险提示信息并进行提示，从而避免在电路板短路风险较高时，还继续使用该电路板，减少了安全隐患。
在一个实施例中，如图6所示，还提供了一种电迁移区域检测方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
S602，获取电路板图像。
S604，对电路板图像进行预处理操作，得到预处理后电路板图像；预处理操作包括图像灰度化、形态学处理、中值滤波处理。
S606，对预处理后图像进行第一图像仿射变换，得到第一图像仿射变换后电路板图像。
S608，对第一图像仿射变换后电路板图像进行边缘检测，得到电路板图像的边缘信息。
S610，基于边缘信息对电路板图像中的干扰物进行识别。
S612，将干扰物从电路板图像中去除，得到无干扰物的目标电路板图像。
S614，将无干扰物的电路板图像转换到预设颜色空间，得到预设颜色空间的无干扰物的电路板图像。
S616，通过视觉显著性检测算法，提取预设颜色空间的无干扰物的电路板图像中的电迁移区域，并生成对应的显著图。
S618，将显著图和电路板图像进行配准及叠加，得到显著标注电迁移区域的检测结果图像。
S620，对显著标注电迁移区域的检测结果图像进行第二仿射变换，得到与电路板图像一致的显著标注电迁移区域的检测结果图像。
应该理解的是，虽然图2和6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种电迁移区域检测装置，包括：图像获取模块702、边缘检测模块704、图像识别模块706、干扰物去除模块708和电迁移区域提取模块710，其中：
图像获取模块702，用于获取电路板图像；
边缘检测模块704，用于对电路板图像进行边缘检测，得到电路板图像的边缘信息；
图像识别模块706，用于基于边缘信息对电路板图像中的干扰物进行识别；
干扰物去除模块708，用于将干扰物从电路板图像中去除，得到无干扰物的目标电路板图像；
电迁移区域提取模块710，用于通过视觉显著性检测算法，提取目标电路板图像中的电迁移区域。
上述实施例中，终端在获取电路板图像之后，对电路板图像进行边缘检测，得到电路板图像的边缘信息；基于边缘信息对电路板图像中的干扰物进行识别；将干扰物从电路板图像中去除，得到无干扰物的目标电路板图像；通过视觉显著性检测算法，提取目标电路板图像中的电迁移区域，从而无需人工便可对电路板器件上的电迁移区域的检测，提高了对电迁移区域检测的效率和准确率。
在一个实施例中，如图8所示，装置还包括：样本电路板图像获取模块712、标注模块714和模型训练模块716，其中：
样本电路板图像获取模块712，用于获取预设数量的样本电路板图像；
标注模块714，用于对样本电路板图像进行标注，得到训练样本；
模型训练模块716，用于将训练样本输入目标检测网络进行训练，得到干扰物识别模型；
图像识别模块706，还用于：
通过干扰物识别模型基于边缘信息对电路板图像中的干扰物进行识别。
上述实施例中，终端通过获取预设数量的样本电路板图像；对样本电路板图像进行标注，得到训练样本，将训练样本输入目标检测网络进行训练，从而得到干扰物识别模型，在通过该干扰物识别模型对电路板图像中的干扰物区域进行识别，进而实现对电迁移区域的提取，从而无需人工便可对电路板器件上的电迁移区域的检测，提高了对电迁移区域检测的效率和准确率。
在一个实施例中，装置还包括：
预处理模块，用于对电路板图像进行预处理操作，预处理操作包括图像灰度化、形态学处理、中值滤波处理。
上述实施例中，终端对电路板图像进行边缘检测之前，通过对电路板图像进行预处理操作可以有效去除噪声并保留图像有效信息，从而减少电迁移区域检测过程中的计算量，进而提高了对电迁移区域检测的效率。
在一个实施例中，电迁移区域提取模块710，还用于：
将无干扰物的电路板图像转换到预设颜色空间，得到预设颜色空间的无干扰物的电路板图像；
通过视觉显著性检测算法，提取预设颜色空间的无干扰物的电路板图像中的电迁移区域。
上述实施例中，终端通过将无干扰物的电路板图像转换到预设颜色空间，得到预设颜色空间的无干扰物的电路板图像，从而在预设颜色空间中，通过视觉显著性检测算法，更加快速地提取无干扰物的电路板图像，从而提高了对电迁移区域检测的效率。
在一个实施例中，装置还包括：
面积计算模块，用于计算电路板图像中的电迁移区域的面积；
短路风险等级确定模块，用于根据面积确定电路板图像对应电路板的短路风险等级；
提示模块，用于生成与短路风险等级对应的风险提示信息并进行提示。
上述实施例中，终端通过计算电路板图像中的电迁移区域的面积，根据面积确定电路板图像对应电路板的短路风险等级，生成与短路风险等级对应的风险提示信息并进行提示，从而避免在电路板短路风险较高时，还继续使用该电路板，减少了安全隐患。
关于电迁移区域检测装置的具体限定可以参见上文中对于电迁移区域检测方法的限定，在此不再赘述。上述电迁移区域检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储电路板图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种电迁移区域检测方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种电迁移区域检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9或10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下的步骤：获取电路板图像；对电路板图像进行边缘检测，得到电路板图像的边缘信息；基于边缘信息对电路板图像中的干扰物进行识别；将干扰物从电路板图像中去除，得到无干扰物的目标电路板图像；通过视觉显著性检测算法，提取目标电路板图像中的电迁移区域。
在一个实施例中，计算机程序被处理器执行时，使得处理器执行以下的步骤：获取预设数量的样本电路板图像；对样本电路板图像进行标注，得到训练样本；将训练样本输入目标检测网络进行训练，得到干扰物识别模型；计算机程序被处理器执行基于边缘信息对电路板图像中的干扰物进行识别的步骤时，使得处理器还执行以下的步骤：通过干扰物识别模型基于边缘信息对电路板图像中的干扰物进行识别。
在一个实施例中，计算机程序被处理器执行时，使得处理器还执行以下的步骤：对电路板图像进行预处理操作，预处理操作包括图像灰度化、形态学处理、中值滤波处理。
在一个实施例中，计算机程序被处理器执行通过视觉显著性检测算法，提取目标电路板图像中的电迁移区域的步骤时，使得处理器执行以下的步骤：将无干扰物的电路板图像转换到预设颜色空间，得到预设颜色空间的无干扰物的电路板图像；通过视觉显著性检测算法，提取预设颜色空间的无干扰物的电路板图像中的电迁移区域。
在一个实施例中，计算机程序被处理器执行时，使得处理器执行以下的步骤：计算电路板图像中的电迁移区域的面积；根据面积确定电路板图像对应电路板的短路风险等级；生成与短路风险等级对应的风险提示信息并进行提示。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下的步骤：获取电路板图像；对电路板图像进行边缘检测，得到电路板图像的边缘信息；基于边缘信息对电路板图像中的干扰物进行识别；将干扰物从电路板图像中去除，得到无干扰物的目标电路板图像；通过视觉显著性检测算法，提取目标电路板图像中的电迁移区域。
在一个实施例中，计算机程序被处理器执行时，使得处理器执行以下的步骤：获取预设数量的样本电路板图像；对样本电路板图像进行标注，得到训练样本；将训练样本输入目标检测网络进行训练，得到干扰物识别模型；计算机程序被处理器执行基于边缘信息对电路板图像中的干扰物进行识别的步骤时，使得处理器还执行以下的步骤：通过干扰物识别模型基于边缘信息对电路板图像中的干扰物进行识别。
在一个实施例中，计算机程序被处理器执行时，使得处理器还执行以下的步骤：对电路板图像进行预处理操作，预处理操作包括图像灰度化、形态学处理、中值滤波处理。
在一个实施例中，计算机程序被处理器执行通过视觉显著性检测算法，提取目标电路板图像中的电迁移区域的步骤时，使得处理器执行以下的步骤：将无干扰物的电路板图像转换到预设颜色空间，得到预设颜色空间的无干扰物的电路板图像；通过视觉显著性检测算法，提取预设颜色空间的无干扰物的电路板图像中的电迁移区域。
在一个实施例中，计算机程序被处理器执行时，使得处理器执行以下的步骤：计算电路板图像中的电迁移区域的面积；根据面积确定电路板图像对应电路板的短路风险等级；生成与短路风险等级对应的风险提示信息并进行提示。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种电迁移区域检测方法，其特征在于，所述方法包括：
获取电路板图像；
对所述电路板图像进行边缘检测，得到所述电路板图像的边缘信息；
基于所述边缘信息对所述电路板图像中的干扰物进行识别；
将所述干扰物从所述电路板图像中去除，得到无干扰物的目标电路板图像；
通过视觉显著性检测算法，提取所述目标电路板图像中的电迁移区域。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取预设数量的样本电路板图像；
对所述样本电路板图像进行标注，得到训练样本；
将所述训练样本输入目标检测网络进行训练，得到干扰物识别模型；
所述基于所述边缘信息对所述电路板图像中的干扰物进行识别，包括：
通过所述干扰物识别模型基于所述边缘信息对所述电路板图像中的干扰物进行识别。
3.根据权利要求1所述的方法，其特征在于，所述对所述电路板图像进行边缘检测之前，所述方法还包括：
对所述电路板图像进行预处理操作，所述预处理操作包括图像灰度化、形态学处理、中值滤波处理。
4.根据权利要求1所述的方法，其特征在于，所述通过视觉显著性检测算法，提取所述目标电路板图像中的电迁移区域，包括：
将所述无干扰物的电路板图像转换到预设颜色空间，得到预设颜色空间的无干扰物的电路板图像；
通过视觉显著性检测算法，提取所述预设颜色空间的无干扰物的电路板图像中的电迁移区域。
5.根据权利要求1所述的方法，其特征在于，所述通过视觉显著性检测算法，提取所述目标电路板图像中的电迁移区域之后，所述方法还包括：
计算所述电路板图像中的电迁移区域的面积；
根据所述面积确定所述电路板图像对应电路板的短路风险等级；
生成与所述短路风险等级对应的风险提示信息并进行提示。
6.一种电迁移区域检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取电路板图像；
边缘检测模块，用于对所述电路板图像进行边缘检测，得到所述电路板图像的边缘信息；
图像识别模块，用于基于所述边缘信息对所述电路板图像中的干扰物进行识别；
干扰物去除模块，用于将所述干扰物从所述电路板图像中去除，得到无干扰物的目标电路板图像；
电迁移区域提取模块，用于通过视觉显著性检测算法，提取所述目标电路板图像中的电迁移区域。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
样本电路板图像获取模块，用于获取预设数量的样本电路板图像；
标注模块，用于对所述样本电路板图像进行标注，得到训练样本；
将所述训练样本输入目标检测网络进行训练，得到干扰物识别模型；
所述基于所述边缘信息对所述电路板图像中的干扰物进行识别，包括：
通过所述干扰物识别模型基于所述边缘信息对所述电路板图像中的干扰物进行识别。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
预处理模块，用于对所述电路板图像进行预处理操作，所述预处理操作包括图像灰度化、形态学处理、中值滤波处理。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202011123112.8A 2020-10-20 2020-10-20 电迁移区域检测方法、装置、计算机设备和存储介质 Pending CN112215827A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011123112.8A CN112215827A (zh) 2020-10-20 2020-10-20 电迁移区域检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011123112.8A CN112215827A (zh) 2020-10-20 2020-10-20 电迁移区域检测方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN112215827A true CN112215827A (zh) 2021-01-12

Family

ID=74055963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011123112.8A Pending CN112215827A (zh) 2020-10-20 2020-10-20 电迁移区域检测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112215827A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034389A (zh) * 2021-03-17 2021-06-25 武汉联影智融医疗科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN114004757A (zh) * 2021-10-14 2022-02-01 大族激光科技产业集团股份有限公司 去除工业图像中干扰的方法、***、设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318556A (zh) * 2014-10-16 2015-01-28 东北大学 一种油污干扰下的硅钢板表面缺陷图像检测方法
WO2017032308A1 (zh) * 2015-08-25 2017-03-02 广州视源电子科技股份有限公司 一种pcb板检测方法及装置
CN108663382A (zh) * 2018-05-10 2018-10-16 苏州大学 基于视觉显著性的纸张表面缺陷检测的方法及装置
CN109544583A (zh) * 2018-11-23 2019-03-29 广东工业大学 一种提取皮革图像感兴趣区域的方法、装置及设备
CN109559310A (zh) * 2018-11-30 2019-04-02 国网山东省电力公司电力科学研究院 基于显著性检测的输变电巡检图像质量评价方法及***
CN109872300A (zh) * 2018-12-17 2019-06-11 南京工大数控科技有限公司 一种摩擦片外观缺陷的视觉显著性检测方法
CN109886950A (zh) * 2019-02-22 2019-06-14 北京百度网讯科技有限公司 电路板的缺陷检测方法和装置
CN110672617A (zh) * 2019-09-14 2020-01-10 华南理工大学 基于机器视觉的智能手机玻璃盖板丝印区缺陷检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318556A (zh) * 2014-10-16 2015-01-28 东北大学 一种油污干扰下的硅钢板表面缺陷图像检测方法
WO2017032308A1 (zh) * 2015-08-25 2017-03-02 广州视源电子科技股份有限公司 一种pcb板检测方法及装置
CN108663382A (zh) * 2018-05-10 2018-10-16 苏州大学 基于视觉显著性的纸张表面缺陷检测的方法及装置
CN109544583A (zh) * 2018-11-23 2019-03-29 广东工业大学 一种提取皮革图像感兴趣区域的方法、装置及设备
CN109559310A (zh) * 2018-11-30 2019-04-02 国网山东省电力公司电力科学研究院 基于显著性检测的输变电巡检图像质量评价方法及***
CN109872300A (zh) * 2018-12-17 2019-06-11 南京工大数控科技有限公司 一种摩擦片外观缺陷的视觉显著性检测方法
CN109886950A (zh) * 2019-02-22 2019-06-14 北京百度网讯科技有限公司 电路板的缺陷检测方法和装置
CN110672617A (zh) * 2019-09-14 2020-01-10 华南理工大学 基于机器视觉的智能手机玻璃盖板丝印区缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王栋;解则晓;: "基于形态学的PCB缺陷快速检测技术", 计算机科学, vol. 43, no. 6, pages 184 - 187 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034389A (zh) * 2021-03-17 2021-06-25 武汉联影智融医疗科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN113034389B (zh) * 2021-03-17 2023-07-25 武汉联影智融医疗科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN114004757A (zh) * 2021-10-14 2022-02-01 大族激光科技产业集团股份有限公司 去除工业图像中干扰的方法、***、设备和存储介质
CN114004757B (zh) * 2021-10-14 2024-04-05 大族激光科技产业集团股份有限公司 去除工业图像中干扰的方法、***、设备和存储介质

Similar Documents

Publication Publication Date Title
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
CN108229475B (zh) 车辆跟踪方法、***、计算机设备及可读存储介质
CN111797821B (zh) 文本检测方法、装置、电子设备及计算机存储介质
CN110363774B (zh) 图像分割方法、装置、计算机设备和存储介质
CN115205223B (zh) 透明物体的视觉检测方法、装置、计算机设备及介质
CN112101386B (zh) 文本检测方法、装置、计算机设备和存储介质
CN112215827A (zh) 电迁移区域检测方法、装置、计算机设备和存储介质
CN116168351B (zh) 电力设备巡检方法及装置
CN104615972B (zh) 指针式仪表智能识别方法及其装置
CN106156691B (zh) 复杂背景图像的处理方法及其装置
US10395090B2 (en) Symbol detection for desired image reconstruction
CN112991374A (zh) 基于Canny算法的边缘增强方法、装置、设备及存储介质
CN114549603B (zh) 细胞病理图像的标注坐标转换方法、***、设备及介质
CN111209908A (zh) 更新标注框的方法、装置、存储介质和计算机设备
CN114972209A (zh) 宫颈病理图像处理方法和装置
CN117611642A (zh) 一种地图图像配准方法、设备和介质
CN116486126B (zh) 一种模版确定方法、装置、设备及存储介质
CN116030472A (zh) 文字坐标确定方法及装置
CN108280815B (zh) 一种面向监控场景结构的几何校正方法
CN112052859A (zh) 一种自由场景下的车牌精准定位方法及装置
CN113496223A (zh) 文本区域检测模型的建立方法以及装置
CN111160358A (zh) 一种图像二值化方法、装置、设备、介质
Mohana et al. Era identification and recognition of Ganga and Hoysala phase Kannada stone inscriptions characters using advance recognition algorithm
CN115984316B (zh) 一种复杂环境的工业图像边缘提取方法及装置
CN117115834A (zh) 一种通用的电表标准模板生成方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination