CN111986170A - 一种基于深度神经网络Mask R-CNN的缺陷检测算法 - Google Patents

一种基于深度神经网络Mask R-CNN的缺陷检测算法 Download PDF

Info

Publication number
CN111986170A
CN111986170A CN202010821216.XA CN202010821216A CN111986170A CN 111986170 A CN111986170 A CN 111986170A CN 202010821216 A CN202010821216 A CN 202010821216A CN 111986170 A CN111986170 A CN 111986170A
Authority
CN
China
Prior art keywords
cnn
defect detection
neural network
detection algorithm
deep neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010821216.XA
Other languages
English (en)
Inventor
郭龙源
段厚裕
周武威
欧先锋
张国云
吴健辉
鲁敏
滕书华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Visualtouring Information Technology Co ltd
Hunan Institute of Science and Technology
Original Assignee
Hunan Visualtouring Information Technology Co ltd
Hunan Institute of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Visualtouring Information Technology Co ltd, Hunan Institute of Science and Technology filed Critical Hunan Visualtouring Information Technology Co ltd
Priority to CN202010821216.XA priority Critical patent/CN111986170A/zh
Publication of CN111986170A publication Critical patent/CN111986170A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度神经网络Mask R‑CNN的缺陷检测算法，属于缺陷检测技术领域，算法的具体步骤为：利用基于ResNet50的特征金字塔网络(FPN)提取特征，利用区域建议网络(RPN)提取缺陷区域的感兴趣区域(ROI)从而得到相应的锚框，利用全卷积神经网络(FCN)对ROI内部的像素类别进行预测以实现缺陷分割，最后通过网络的全连接层实现每个ROI所属类别和相应锚框坐标的预测，针对磁瓦表面缺陷检测场景，该算法对MaskR‑CNN中的特征金字塔网络(FPN)做了两点改进：在FPN中增加了C1模块，并取消C1模块特征提取层内的池化层；将CLAHE预处理模块加在FPN的特征提取层之前。实验结果表明，本发明的算法具有较强的泛化能力和鲁棒性，可以对磁瓦图像进行精确的缺陷分割。

Description

一种基于深度神经网络Mask R-CNN的缺陷检测算法
技术领域
本发明涉及缺陷检测技术领域，更具体地说，涉及一种基于深度神经网络Mask R-CNN的缺陷检测算法。
背景技术
随着“中国制造2025”战略和“工业4.0”的提出，中国的传统制造业正面临产业转型和产业升级的巨大挑战，这推动了工业机器人、高精度数控机床和新能源汽车等产品的发展和广泛应用，对电机也提出了更高的性能指标，而磁瓦的表面质量直接影响着电机的使用性能。磁瓦表面缺陷检测技术具有检测效率高，成本低，可靠性较高等优点，对电机的生产具有十分重要的意义，对于企业的生存和发展也有促进作用。
Mask R-CNN是何凯明在之前的Faster R-CNN的基础上提出的新的卷积神经网络，Mask R-CNN实现了实例分割。该方法不仅能有效地检测目标，还能对目标完成高质量的语义分割。其主要思路就是在原始Faster R-CNN基础上添加一个分支，以此来实现对目标的语义分割。Mask R-CNN应用特征金字塔网络(FPN)来改进特征提取网络，较好地解决了特征提取层语义信息丢失严重的问题，大幅度提升了小目标缺陷的分割精度。对于缺陷轮廓分割不清晰的情况，Mask R-CNN将兴趣区域池化层替换成了兴趣区域对齐层，即通过双线性插值进一步利用特征图上的空间信息，从而更准确地预测出缺陷轮廓。
磁瓦图像具有光照不均、表面纹理复杂、对比度低等特点，传统的缺陷检测算法往往难以准确分割其中的缺陷。
发明内容
1.要解决的技术问题
针对现有技术中存在的问题，本发明的目的在于提供一种基于深度神经网络MaskR-CNN的缺陷检测算法，它可以实现针对磁瓦表面缺陷检测场景，该算法对Mask R-CNN中的特征金字塔网络(FPN)做了两点改进：一方面在FPN中增加了C1模块，并取消C1模块特征提取层内的池化层；另一方面将CLAHE预处理模块加在FPN的特征提取层之前，结果表明，本发明的算法具有较强的泛化能力和鲁棒性，可以对磁瓦图像进行精确的缺陷分割。
2.技术方案
为解决上述问题，本发明采用如下的技术方案。
一种基于深度神经网络Mask R-CNN的缺陷检测算法，包括以下步骤：
S1、利用基于ResNet50的特征金字塔网络(FPN)提取特征；
S2、利用区域建议网络(RPN)提取缺陷区域的感兴趣区域(ROI)从而得到相应的锚框；
S3、利用全卷积神经网络(FCN)对ROI内部的像素类别进行预测以实现缺陷分割；
S4、最后通过网络的全连接层实现每个ROI所属类别和相应锚框坐标的预测。
进一步的，所述不同ROI的方法定义为如下公式：
Figure BDA0002634456840000021
进一步的，所述k0是标准值，设置为4。
进一步的，所述Mask R-CNN的特征提取层前加入有限制对比度自适应直方图均衡化的CLAHE预处理模块。
进一步的，所述CLAHE预处理模块在预处理中，必须对每个小区域进行对比度限幅，同时CLAHE通过限制AHE算法的对比改善程度，克服AHE的过度放大噪声问题。
进一步的，所述CLAHE预处理模块通过变换函数的斜度来放大给定像素周围的对比度，且斜度和其累积直方图斜度成正比，具体操作为先用预定的阈值用来裁剪直方图，然后其限制放大幅度通过计算CDF来达到，最后通过邻域的大小和直方图的分布来决定直方图的裁剪限幅。
进一步的，所述裁剪限幅的部分平均放到直方图的空余部分，并采用计算公式如下：
Figure BDA0002634456840000031
进一步的，Mask R-CNN的损失函数Loss由三部分组成，
Loss＝Lcls+Lbox+Lmask#(1)。
进一步的，所述FPN中增加有C1模块，并取消了C1模块中的池化层，所述C1模块的特征提取层结构包括down-top、top-down和lateral conn，所述down-top对应于Resnet50中的Residual Block结构，每层的Scale缩小2倍，所述top-down通过将高层低分辨率的特征图进行2倍上采样，所述lateral conn通过1x1卷积来减少C1的特征层个数的同时，保证特征层尺寸大小不变，然后和C2经过top-down上采样的特征图直接相加后输出，通过上述操作一直迭代到生成最后分辨率的特征图。
进一步的，所述缺陷检测算法应用于磁瓦缺陷检测中。
3.有益效果
相比于现有技术，本发明的优点在于：
本方案可以实现针对磁瓦表面缺陷检测场景，该算法对Mask R-CNN中的特征金字塔网络(FPN)做了两点改进：一方面在FPN中增加了C1模块，并取消C1模块特征提取层内的池化层；另一方面将CLAHE预处理模块加在FPN的特征提取层之前，结果表明，本发明的算法具有较强的泛化能力和鲁棒性，可以对磁瓦图像进行精确的缺陷分割。
附图说明
图1为本发明的算法流程图；
图2为本发明改进后的FPN结构图；
图3为本发明C1模块的特征提取层结构图；
图4为本发明CLAHE直接裁剪再分配的过程示意图；
图5为本发明CLAHE预处理模块后效果图；
图6为不同算法的检测效果对比图；
图7为Mask R-CNN和本发明改进算法结果对比表；
图8为本发明与常用检测算法的对比表。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”、“顶/底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“套设/接”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1：
请参阅图1-2，一种基于深度神经网络Mask R-CNN的缺陷检测算法，包括以下步骤：
S1、利用基于ResNet50的特征金字塔网络(FPN)提取特征；
S2、利用区域建议网络(RPN)提取缺陷区域的感兴趣区域(ROI)从而得到相应的锚框；
S3、利用全卷积神经网络(FCN)对ROI内部的像素类别进行预测以实现缺陷分割；
S4、最后通过网络的全连接层实现每个ROI所属类别和相应锚框坐标的预测。
Mask R-CNN的损失函数Loss由三部分组成，
Loss＝Lcls+Lbox+Lmask#(1)。
其中，Lcls为分类损失，Lbox为bounding box回归误差，Lmask为分支FCN的分割损失。
FPN是将Resnet50网络中不改变feature map大小的层归为一个stage，即将ResNet50结构中的Conv2，Conv3，Conv4和Conv5对应FPN中的stage2，stage3，stage4和stage5。低层的stage与上一层的stage进行图像融合形成对应的P2-P5的结构。把融合后的结构进行的卷积以消除图像融合的混叠效应，并单独将P5进行0.5倍下采样形成P6结构。对于整个FPN结构而言一共有P2-P5五个输出，不同输出的特征图上对应的目标大小也不同，所以P2-P6这五个输出的特征图上对应的目标大小不同，因此使用P2-P6作为RPN的输入，我们需要确定不同的ROI对应的不同特征层，大尺寸ROI就使用高层特征层，比如P4，小尺寸ROI就用低层的特征层，比如P3。不同ROI的方法定义为如下公式：
Figure BDA0002634456840000061
式(2)中244是ImageNet图像分类的标准输入，k0是标准值，设置为4，代表P4层的输出(原图大小就用P4层)，w和h是ROI区域的长和宽，假设ROI是112×112的大小，则k＝k0-1＝4-1＝3，意味着该ROI应该使用P3的特征层，k值做取整处理。
请参阅图1，尽管FPN通过融合低层和高层特征图的特征来达到更好预测的效果，但是对于磁瓦来说本身纹理特征比较复杂，而且缺陷成像对比度较低，Mask R-CNN的特征提取层前加入有限制对比度自适应直方图均衡化的CLAHE预处理模块。
CLAHE预处理模块是通过对自适应直方图均衡的对比度限幅来实现的。此特点可以在全局直方图均衡化中应用，并在该基础上构成限制对比度直方图均衡，CLAHE预处理模块在预处理中，必须对每个小区域进行对比度限幅，同时CLAHE通过限制AHE算法的对比改善程度，克服AHE的过度放大噪声问题。
请参阅图4，CLAHE预处理模块通过变换函数的斜度来放大给定像素周围的对比度，且斜度和其累积直方图斜度成正比，具体操作为先用预定的阈值用来裁剪直方图，然后其限制放大幅度通过计算CDF来达到，最后通过邻域的大小和直方图的分布来决定直方图的裁剪限幅。
裁剪限幅的部分平均放到直方图的空余部分，并采用计算公式如下：
Figure BDA0002634456840000071
式(3)中N为像素总数(各子块)，L为灰度级级数(各子块)，α为截断系数，在本发明中α＝75，式(8)中u为灰度均值(每个子块)，q为均方差(每个子块)，Smax为被允许的最大斜率，β值得大小由Smax和α的取值共同决定，β为剪切上限(每个子直方图)。
磁瓦图像经过预处理模块后的效果图如图5所示，图5中右图可以很明显看到磁瓦背景亮度增强了很多，相对而言缺陷特征也得到了增强，这样进一步提高了Mask R-CNN特征提取层的提取能力。
卷积神经网络在提取特征的过程中，特征图的尺寸逐渐减小，导致一些小目标缺陷信息的丢失，因此，预测图像中对小缺陷检测不理想。为了提高对小目标缺陷的检测率，必须利用有较强的语义信息的低层高分辩的特征图，FPN利用卷积层已经计算过的不同尺度的特征作为输出，把高层的低分辨的特征图与低层的高分辨率的特征图进行融合，可以在原有模型计算量不增加的情况下，大幅度提升了小目标缺陷检测的性能。
本发明由于采用的数据集图片尺寸较小，所以在FPN中增加了C1模块，这样可以获得低层高分辨率图中的更多细节特征。同时，因为图片尺寸小，不需要太多池化层，所以取消了C1模块中的池化层，C1模块的特征提取层结构包括down-top、top-down和lateralconn，down-top对应于Resnet50中的Residual Block结构，每层的Scale缩小2倍，top-down通过将高层低分辨率的特征图进行2倍上采样，lateral conn通过1x1卷积来减少C1的特征层个数的同时，保证特征层尺寸大小不变，然后和C2经过top-down上采样的特征图直接相加后输出，通过上述操作一直迭代到生成最后分辨率的特征图作。
为了训练Mask R-CNN网络，采用Labelme为每张磁瓦图像制作对应标签，原图像中的磁瓦缺口缺陷标签为gap，裂缝缺陷标签为crack。为了保证数据集的完整性，还需要标注缺陷的面积、边界框坐标等信息。实验过程采用现场采集的1200个磁瓦样本，其中缺陷样本600个、良品样本600个，这600个缺陷样本包括磁瓦的缺口、裂缝等缺陷，而且缺陷分布均匀。首先本发明将其随机分成400个缺陷样本和400良品样本组成的训练集，剩下的组成本文的测试集。同时本发明由于数据量较少，必须对数据集进行扩充。由分析可知，对数据集进行上下、左右、对角镜像以及90°、180°、270°旋转等6种数据增广，将训练集数据扩充为2400个缺陷样本，2400个良品样本，测试集扩充为1200个缺陷样本和1200个良品样本组成的混合样本作为新测试集。
我们做以下定义：缺陷磁瓦检测为正常称为漏检，正常磁瓦检测为缺陷称为过检。为了定量评估磁瓦缺陷检测算法的性能，我们采用正确率、误检率以及漏检率三个指标来评价。设RCD表示磁瓦检测正确率，RFA表示磁瓦误检率，RBA表示磁瓦漏检率，NC表示磁瓦实际漏检样本个数，NA表示合格磁瓦个数，NB表示缺陷磁瓦个数，ND表示磁瓦实际误检个数。则RCD、RFA、RBA可由式(5)、(6)、(7)计算。
Figure BDA0002634456840000081
Figure BDA0002634456840000082
Figure BDA0002634456840000083
从表1可知，本发明针对磁瓦表面缺陷场景改进的Mask R-CNN相比原来的Mask R-CNN，降低了磁瓦缺陷检测的漏检率和误检率，即提高了正确率。
在磁瓦表面缺陷检测方面，本发明的算法与常用的几种检测算法的对比如图6-7所示，与常用检测算法相比，本发明的算法的检测性能有明显提升。
请参阅图8，傅里叶变换法的检测精度相对较高，但由于傅里叶变换计算复杂，且针对不同的缺陷类型需要设计不同的滤波器模板来提高检测效果，对于工业检测来说比较繁琐，不适合多种缺陷类型的表面缺陷检测；对于FCN由于少数磁瓦缺陷较小，经过FCN的卷积层后会出现目标丢失，所以导致其各种评价指标都较低；PspNet虽然在FCN的基础上改进了特征提取的结构，但是相对比本发明的FPN融合不同尺度的特征层，其误检率和漏检率都低于Mask R-CNN，是因为在小缺陷目标的特征提取上不如FPN；Deeplabv3将输入图像进行不同尺度的特征提取得到不同分辨率input，然后将不同尺度的图像放入CNN中得到不同分辨率的分割结果，最后将不同分辨率的分割结果，通过图像融合得到原图分辨率的分割结果，Deeplabv3使用不同尺度图片进行特征提取虽然较好的解决了小目标、低对比度缺陷特征提取，但是相比较Mask R-CNN先使用RPN进行目标区域候选，然后再在候选区域上分割来说，无论是误检率还是漏检率都要低。
不同算法的检测效果图对比如图6所示，其中对于高对比度缺陷，傅里叶变换法有较好的检测效果，但是对于不同的缺陷类型需要使用不同的滤波器，由于其算法泛化能力的局限限制了其在磁瓦检测中的应用；FCN在缺陷检测中，对于小目标缺陷以及低对比度缺陷检测效果较差；PspNet对低对比度缺陷检测效果良好，但是对于边界模糊的裂纹缺陷无法有效检测出缺陷掩模图；Deeplabv3对于小目标有一定的改善，但是无法有效得到缺陷的轮廓；本发明的算法能有效的解决缺陷边缘轮廓模糊且对比度较低的缺陷的同时，也能提升对小目标缺陷的检测效果，具有较好泛化能力，这些特点使其能够较好的解决磁瓦表面缺陷检测。
实验结果表明，本发明的算法具有较强的泛化能力和鲁棒性，可以对磁瓦图像进行精确的缺陷分割。
本发明可以实现针对磁瓦表面缺陷检测场景，该算法对Mask R-CNN中的特征金字塔网络(FPN)做了两点改进：一方面在FPN中增加了C1模块，并取消C1模块特征提取层内的池化层；另一方面将CLAHE预处理模块加在FPN的特征提取层之前，结果表明，本发明的算法具有较强的泛化能力和鲁棒性，可以对磁瓦图像进行精确的缺陷分割。
以上，仅为本发明较佳的具体实施方式；但本发明的保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围内。

Claims (10)

1.一种基于深度神经网络Mask R-CNN的缺陷检测算法，其特征在于：包括以下步骤：
S1、利用基于ResNet50的特征金字塔网络(FPN)提取特征；
S2、利用区域建议网络(RPN)提取缺陷区域的感兴趣区域(ROI)从而得到相应的锚框；
S3、利用全卷积神经网络(FCN)对ROI内部的像素类别进行预测以实现缺陷分割；
S4、最后通过网络的全连接层实现每个ROI所属类别和相应锚框坐标的预测。
2.根据权利要求1所述的一种基于深度神经网络MaskR-CNN的缺陷检测算法，其特征在于：所述不同ROI的方法定义为如下公式：
Figure FDA0002634456830000011
3.根据权利要求2所述的一种基于深度神经网络MaskR-CNN的缺陷检测算法，其特征在于：所述k0是标准值，设置为4。
4.根据权利要求1所述的一种基于深度神经网络MaskR-CNN的缺陷检测算法，其特征在于：所述Mask R-CNN的特征提取层前加入有限制对比度自适应直方图均衡化的CLAHE预处理模块。
5.根据权利要求4所述的一种基于深度神经网络MaskR-CNN的缺陷检测算法，其特征在于：所述CLAHE预处理模块在预处理中，必须对每个小区域进行对比度限幅，同时CLAHE通过限制AHE算法的对比改善程度，克服AHE的过度放大噪声问题。
6.根据权利要求5所述的一种基于深度神经网络MaskR-CNN的缺陷检测算法，其特征在于：所述CLAHE预处理模块通过变换函数的斜度来放大给定像素周围的对比度，且斜度和其累积直方图斜度成正比，具体操作为先用预定的阈值用来裁剪直方图，然后其限制放大幅度通过计算CDF来达到，最后通过邻域的大小和直方图的分布来决定直方图的裁剪限幅。
7.根据权利要求6所述的一种基于深度神经网络MaskR-CNN的缺陷检测算法，其特征在于：所述裁剪限幅的部分平均放到直方图的空余部分，并采用计算公式如下：
Figure FDA0002634456830000021
8.根据权利要求1所述的一种基于深度神经网络MaskR-CNN的缺陷检测算法，其特征在于：Mask R-CNN的损失函数Loss由三部分组成，
Loss＝Lcls+Lbox+Lmask#(1)。
9.根据权利要求1所述的一种基于深度神经网络MaskR-CNN的缺陷检测算法，其特征在于：所述FPN中增加有C1模块，并取消了C1模块中的池化层，所述C1模块的特征提取层结构包括down-top、top-down和lateral conn，所述down-top对应于Resnet50中的ResidualBlock结构，每层的Scale缩小2倍，所述top-down通过将高层低分辨率的特征图进行2倍上采样，所述lateral conn通过1x1卷积来减少C1的特征层个数的同时，保证特征层尺寸大小不变，然后和C2经过top-down上采样的特征图直接相加后输出，通过上述操作一直迭代到生成最后分辨率的特征图。
10.根据权利要求1-9所述的一种基于深度神经网络Mask R-CNN的缺陷检测算法，其特征在于：所述缺陷检测算法应用于磁瓦缺陷检测中。
CN202010821216.XA 2020-08-14 2020-08-14 一种基于深度神经网络Mask R-CNN的缺陷检测算法 Pending CN111986170A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010821216.XA CN111986170A (zh) 2020-08-14 2020-08-14 一种基于深度神经网络Mask R-CNN的缺陷检测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010821216.XA CN111986170A (zh) 2020-08-14 2020-08-14 一种基于深度神经网络Mask R-CNN的缺陷检测算法

Publications (1)

Publication Number Publication Date
CN111986170A true CN111986170A (zh) 2020-11-24

Family

ID=73435056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010821216.XA Pending CN111986170A (zh) 2020-08-14 2020-08-14 一种基于深度神经网络Mask R-CNN的缺陷检测算法

Country Status (1)

Country Link
CN (1) CN111986170A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837308A (zh) * 2021-02-25 2021-05-25 中冶建筑研究总院（深圳）有限公司 一种建筑裂缝检测方法、装置、设备及存储介质
CN112907564A (zh) * 2021-03-18 2021-06-04 中科海拓(无锡)科技有限公司 一种基于MaskRCNN的螺母表面缺陷分割方法
CN113160139A (zh) * 2021-03-24 2021-07-23 华南理工大学 基于注意力的Faster R-CNN网络的钢板表面缺陷检测方法
CN113160141A (zh) * 2021-03-24 2021-07-23 华南理工大学 一种钢板表面缺陷检测***
CN113239786A (zh) * 2021-05-11 2021-08-10 重庆市地理信息和遥感应用中心 基于增强学习与特征变换的遥感图像乡村别墅识别方法
CN114511503A (zh) * 2021-12-30 2022-05-17 广西慧云信息技术有限公司 一种自适应板材厚度的刨花板表面缺陷检测方法
CN114863211A (zh) * 2022-04-27 2022-08-05 四川大学 一种基于深度学习的磁瓦缺陷检测及分割方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
CN110175993A (zh) * 2019-05-27 2019-08-27 西安交通大学医学院第一附属医院 一种基于FPN的Faster R-CNN肺结核征象检测***及方法
CN110807422A (zh) * 2019-10-31 2020-02-18 华南理工大学 一种基于深度学习的自然场景文本检测方法
CN111062884A (zh) * 2019-12-05 2020-04-24 Oppo广东移动通信有限公司 一种图像增强方法、装置、存储介质和终端设备
CN111415353A (zh) * 2020-04-10 2020-07-14 沈石禹 基于ResNet58网络的紧固件毛刺缺陷的检测结构及其检测方法
CN111489364A (zh) * 2020-04-08 2020-08-04 重庆邮电大学 基于轻量级全卷积神经网络的医学图像分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
CN110175993A (zh) * 2019-05-27 2019-08-27 西安交通大学医学院第一附属医院 一种基于FPN的Faster R-CNN肺结核征象检测***及方法
CN110807422A (zh) * 2019-10-31 2020-02-18 华南理工大学 一种基于深度学习的自然场景文本检测方法
CN111062884A (zh) * 2019-12-05 2020-04-24 Oppo广东移动通信有限公司 一种图像增强方法、装置、存储介质和终端设备
CN111489364A (zh) * 2020-04-08 2020-08-04 重庆邮电大学 基于轻量级全卷积神经网络的医学图像分割方法
CN111415353A (zh) * 2020-04-10 2020-07-14 沈石禹 基于ResNet58网络的紧固件毛刺缺陷的检测结构及其检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李井元: "基于X射线图像的BGA焊球气泡缺陷检测技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 135 - 431 *
蔡彪: "基于MaskＲ-CNN的铸件X射线DＲ图像缺陷检测研究", 《仪器仪表学报》, vol. 41, no. 3, pages 61 - 69 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837308A (zh) * 2021-02-25 2021-05-25 中冶建筑研究总院（深圳）有限公司 一种建筑裂缝检测方法、装置、设备及存储介质
CN112907564A (zh) * 2021-03-18 2021-06-04 中科海拓(无锡)科技有限公司 一种基于MaskRCNN的螺母表面缺陷分割方法
CN113160139A (zh) * 2021-03-24 2021-07-23 华南理工大学 基于注意力的Faster R-CNN网络的钢板表面缺陷检测方法
CN113160141A (zh) * 2021-03-24 2021-07-23 华南理工大学 一种钢板表面缺陷检测***
CN113160139B (zh) * 2021-03-24 2022-12-16 华南理工大学 基于注意力的Faster R-CNN网络的钢板表面缺陷检测方法
CN113239786A (zh) * 2021-05-11 2021-08-10 重庆市地理信息和遥感应用中心 基于增强学习与特征变换的遥感图像乡村别墅识别方法
CN114511503A (zh) * 2021-12-30 2022-05-17 广西慧云信息技术有限公司 一种自适应板材厚度的刨花板表面缺陷检测方法
CN114511503B (zh) * 2021-12-30 2024-05-17 广西慧云信息技术有限公司 一种自适应板材厚度的刨花板表面缺陷检测方法
CN114863211A (zh) * 2022-04-27 2022-08-05 四川大学 一种基于深度学习的磁瓦缺陷检测及分割方法

Similar Documents

Publication Publication Date Title
CN111986170A (zh) 一种基于深度神经网络Mask R-CNN的缺陷检测算法
CN111814867B (zh) 缺陷检测模型的训练方法、缺陷检测方法及相关装置
CN113450307B (zh) 一种产品边缘缺陷检测方法
CN111310558B (zh) 一种基于深度学习和图像处理法的路面病害智能提取方法
CN109978839B (zh) 晶圆低纹理缺陷的检测方法
CN109580630B (zh) 一种机械零部件缺陷的视觉检测方法
CN112308832B (zh) 一种基于机器视觉的轴承质量检测方法
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN108460764B (zh) 基于自动上下文和数据增强的超声图像智能分割方法
CN113240626B (zh) 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法
CN113298757A (zh) 一种基于u-net卷积神经网络的金属表面缺陷检测方法
CN114550021B (zh) 基于特征融合的表面缺陷检测方法及设备
CN117094914B (zh) 基于计算机视觉的智慧城市道路监控***
CN113177924A (zh) 一种工业流水线产品瑕疵检测方法
CN113706464A (zh) 一种印刷品外观质量检测方法及***
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
CN111598845A (zh) 基于深度学习与neo-6m定位模块的路面裂缝检测与定位的方法
CN114842201A (zh) 基于改进Mask_Rcnn的砂石骨料图像分割方法
CN112183325A (zh) 基于图像对比的公路车辆检测方法
CN114792310A (zh) 一种LCD屏幕中边缘模糊的Mura缺陷检测方法
CN116797602A (zh) 一种用于工业产品检测的表面缺陷鉴定方法和装置
CN111325724A (zh) 隧道裂纹区域检测方法和装置
CN113808140B (zh) 一种间隙区域感知的铝硅合金显微图像分割方法
CN113034410A (zh) 一种耦合传统方法和卷积自编码的道路病害图片增强方法
Sarı et al. Deep learning application in detecting glass defects with color space conversion and adaptive histogram equalization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination