CN111680689A - 一种基于深度学习的目标检测方法、***及存储介质 - Google Patents

一种基于深度学习的目标检测方法、***及存储介质 Download PDF

Info

Publication number
CN111680689A
CN111680689A CN202010798762.6A CN202010798762A CN111680689A CN 111680689 A CN111680689 A CN 111680689A CN 202010798762 A CN202010798762 A CN 202010798762A CN 111680689 A CN111680689 A CN 111680689A
Authority
CN
China
Prior art keywords
target
rectangular roi
threshold value
characteristic image
positive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010798762.6A
Other languages
English (en)
Other versions
CN111680689B (zh
Inventor
马卫飞
袁飞杨
张胜森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Jingce Electronic Group Co Ltd
Wuhan Jingli Electronic Technology Co Ltd
Wuhan Jingce Electronic Technology Co Ltd
Original Assignee
Wuhan Jingce Electronic Group Co Ltd
Wuhan Jingli Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Jingce Electronic Group Co Ltd, Wuhan Jingli Electronic Technology Co Ltd filed Critical Wuhan Jingce Electronic Group Co Ltd
Priority to CN202010798762.6A priority Critical patent/CN111680689B/zh
Publication of CN111680689A publication Critical patent/CN111680689A/zh
Application granted granted Critical
Publication of CN111680689B publication Critical patent/CN111680689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的目标检测方法、***及存储介质。该方法中的训练包括步骤：提取训练样本的特征映射图；对所述特征映射图进行ROI区域提取，获得正矩形ROI区域的特征图像；对所述正矩形ROI区域进行坐标变换，获得对应的斜矩形ROI区域的特征图像；计算所述斜矩形ROI区域的特征图像与真实标记框的IOU值，将所述IOU值与阈值进行比较确定正样本和负样本，所述阈值为动态调整的值；将所述正样本的所述斜矩形ROI区域的特征图像转换为对应的正矩形ROI区域的特征图像；根据转换后的正矩形ROI区域的特征图像输出检测结果。本发明能够提高目标检测准确率，适用于倾斜目标的检测，尤其适用于面板缺陷检测领域。

Description

一种基于深度学习的目标检测方法、***及存储介质
技术领域
本发明属于目标检测技术领域，更具体地，涉及一种基于深度学习的目标检测方法、***及存储介质。
背景技术
在AOI缺陷检测中，检测出来的边界框（bounding box）是否贴合目标缺陷十分重要。检测结果越贴合目标缺陷，人工对缺陷进行复判就越容易，检测精度就越高。另外针对二阶段的深度学习检测框架，越贴合目标的边界框，对于缺陷部分的特征提取也就越具有针对性。
如图1所示，以目前缺陷检测使用的二阶段检测网络代表Faster R-CNN为例来说明现有技术中的深度学习检测方法。Faster R-CNN检测网络主要分为用来特征提取的骨干网络、区域候选网络（RPN）和回归分类网络3个部分。RPN用来在从特征提取层得到的特征图上截取形如(x, y, w, h)的建议区域，送入最后的回归分类层，回归分类在该建议区域上进一步得到最后的目标坐标和类别。
这种检测方法中，输出的边界框坐标形式也是为(x, y, w, h)，边界框是正矩形。这种方法在检测一般缺陷时，输出的边界框能够贴合目标缺陷。但是，在检测一些长条或倾斜的缺陷例如划伤、脏污等时，输出的边界框不能够很好地贴合目标缺陷。此外RPN中得到的坐标框也为正矩形，所以送入最后的回归和分类网络的建议区域除了缺陷之外还带有大量的背景特征，这对于回归和分类是十分不利的。
发明内容
针对现有技术的至少一个缺陷或改进需求，本发明提供了一种基于深度学习的目标检测方法、***及存储介质，可以能够提高目标检测准确率，适用于倾斜目标的检测，尤其适用于面板缺陷检测领域。
为实现上述目的，按照本发明的第一方面，提供了一种基于深度学习的目标检测方法，包括将训练样本输入到卷积神经网络进行训练的步骤以及利用训练好的所述卷积神经网络进行倾斜目标检测的步骤，所述训练包括步骤：
对训练样本进行特征提取，获得所述训练样本的特征映射图，所述训练样本被预先标记有目标标记框；
对所述特征映射图进行ROI区域提取，获得正矩形ROI区域的特征图像；
对所述正矩形ROI区域进行坐标变换，获得对应的斜矩形ROI区域的特征图像；
计算所述斜矩形ROI区域的特征图像与所述目标标记框的IOU值，将所述IOU值与阈值T进行比较确定正样本和负样本，所述阈值T被预先定义有一个预设阈值，动态调整所述阈值T，使得所述阈值T随着所述目标标记框的长宽差距的增大而减小，随着所述目标标记框的长宽差距的减小而增大；
将所述正样本的所述斜矩形ROI区域的特征图像转换为对应的正矩形ROI区域的特征图像；
根据转换后的正矩形ROI区域的特征图像输出检测结果。
优选地，所述阈值T满足
Figure 741853DEST_PATH_IMAGE001
，所述T0为预设阈值，w为所述目标标记框的长，h为所述目标标记框的宽。
优选地，所述预设阈值T0为0.5。
优选地，预先定义统一的标记方式，按照所述标记方式对所述训练样本进行标记。
优选地，所述标记方式为：选取预设方位的一点作为初始点，按照预设方向依次标记所述目标标记框的余下三个顶点。
优选地，基于深度学习的目标检测方法应用于面板缺陷检测领域，检测目标为倾斜缺陷。
按照本发明的第二方面，提供了一种基于深度学习的目标检测***，包括用于将训练样本输入到卷积神经网络进行训练模块以及利用训练好的所述卷积神经网络进行倾斜目标检测的检测模块，所述训练模块包括：
特征提取模块，用于对训练样本进行特征提取，获得所述训练样本的特征映射图，所述训练样本被预先标记有目标标记框；
ROI区域提取模块，用于对所述特征映射图进行ROI区域提取，获得正矩形ROI区域的特征图像；
区域变换模块，用于对所述正矩形ROI区域进行坐标变换，获得对应的斜矩形ROI区域的特征图像；还用于计算所述斜矩形ROI区域的特征图像与所述目标标记框的IOU值，将所述IOU值与阈值T进行比较确定正样本和负样本，所述阈值T被预先定义有一个预设阈值，动态调整所述阈值T，使得所述阈值T随着所述目标标记框的长宽差距的增大而减小，随着所述目标标记框的长宽差距的减小而增大；还用于将所述正样本的所述斜矩形ROI区域的特征图像转换为对应的正矩形ROI区域的特征图像；
分类模块，用于接收转换后的正矩形ROI区域的特征图像，输出检测结果。
按照本发明的第三方面，提供了一种应用于目标检测的卷积神经网络数据处理***，包括：
骨干网络，用于对训练样本进行特征提取，获得所述训练样本的特征映射图，所述训练样本被预先标记有目标标记框；
区域选取网络，用于对所述特征映射图进行ROI区域提取，获得正矩形ROI区域的特征图像；
区域变换网络，用于对所述正矩形ROI区域进行坐标变换，获得对应的斜矩形ROI区域的特征图像；还用于匹配模块计算所述斜矩形ROI区域的特征图像与所述斜矩形目标标记框的IOU值，将所述IOU值与阈值T进行比较确定正样本和负样本，所述阈值T被预先定义有一个预设阈值，动态调整所述阈值T，使得所述阈值T随着所述目标标记框的长宽差距的增大而减小，随着所述目标标记框的长宽差距的减小而增大；还用于将所述正样本的所述斜矩形ROI区域的特征图像转换为对应的正矩形ROI区域的特征图像；
回归分类网络，用于接收转换后的正矩形ROI区域的特征图像，输出检测结果。
按照本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一项方法。
总体而言，本发明与现有技术相比，具有有益效果：
（1）将正矩形ROI变换为斜矩形ROI的模型应用在目标检测中，并且针对固定阈值导致正样本过多或过少的问题，提出一种动态自适应调整阈值的方法，能够提高目标检测准确率，适用于倾斜目标的检测，尤其适用于面板缺陷检测领域，使得检测结果更加贴合缺陷形状。
（2）针对倾斜缺陷的检测算法，提出了一种拟合任意四边形的标记方法，该标记方法更加有利于倾斜缺陷检测算法的训练过程。
附图说明
图1是现有技术中的卷积神经网络示意图；
图2、3是本发明实施例的将标记框与斜矩形ROI区域进行比对的示意图；
图4是本发明实施例的标记方法示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明实施例的一种基于深度学习的目标检测方法，包括将训练样本输入到卷积神经网络进行训练的步骤以及利用训练好的所述卷积神经网络进行倾斜目标检测的步骤，其中，训练包括步骤S1至S6。
S1：对训练样本进行特征提取，获得训练样本的特征映射图，该训练样本被预先标记有目标标记框。
本发明实施例所采用的卷积神经网络包括骨干网络、区域选取网络（RPN网络）、区域变换网络（Roi Transformer）和回归分类网络。Roi Transformer包括RroILearner模块和ROI Align模块，后文会具体说明Roi Transformer的详细实现和原理。
将训练样本送入骨干网络，得到所需特征映射图。
S2：对上一步骤获取的特征映射图进行ROI区域提取，获得正矩形ROI区域的特征图像。
将步骤S1中得到的特征映射图送入RPN网络，获得不带有旋转的正矩形的ROI区域的坐标，并在步骤S2输出的特征映射图中按照正矩形ROI区域的坐标，截取正矩形ROI区域对应的特征图像。
S3：对上一步骤的正矩形ROI区域进行坐标变换，获得对应的斜矩形ROI区域的特征图像。
将步骤S2中获得的正矩形ROI坐标值送入Roi Transformer的RroILearner模块，得到倾斜带有角度的斜矩形ROI区域坐标值；并且按照这个斜矩形ROI区域坐标值在步骤S1输出的特征映射图上截图获得相应的图像。
S4：计算上一步骤的斜矩形ROI区域的特征图像与S1步骤的目标标记框的IOU值，将计算得到的IOU值与阈值进行比较确定正样本和负样本，并且该阈值可以动态调整。
IOU(Intersection over union)值是比较两个图像重合度的一个测量值。
将这个斜矩形ROI区域的特征图像与预先标记的目标标记框的特征图像行匹配，计算斜矩形ROI与手动标记的目标标记框的IOU值。如果计算的IOU值大于阈值，则为正样本，否则，则为负样本。
其中，与之比较的阈值是可以动态调整，并非现有技术中常用的固定阈值。后文会具体介绍动态阈值的详细实现和原理。
S5：将正样本的斜矩形ROI区域的特征图像转换为对应的正矩形ROI区域的特征图像。
由于回归分类网络适用于处理正矩形的特征图像，因此将保留下来的正样本的斜矩形ROI区域的特征图像输入到Roi Transformer的ROI Align模块，转换为对应的正矩形ROI区域的特征图像。
S6：根据上一步骤转换后的正矩形ROI区域的特征图像，输入到回归分类网络，以输出检测结果。
卷积神经网络可以通过以下方式具体实现。
本发明实施例的卷积神经网络与传统的二阶段检测网络的主要区别在于，在RPN与回归分类层之间增加了Roi Transformer这个模块，解决了从正矩形坐标到斜矩形坐标的转换过程。
Roi Transformer主要由RRoI Learner和RoI Align两个部分组成。在RPN及RoiAlign之后得到形式为(x,y,w,h)的水平ROI区域（HRoi，Horizontal region ofinterest）。在步骤S3中，将HRoi送入维度为5的全连接层，其回归的目标是标记框覆盖的图像区域旋转的标记真值（RGT，Rotated ground truth）相对于HRoi的偏移量（
Figure 113535DEST_PATH_IMAGE003
，
Figure 320525DEST_PATH_IMAGE005
，
Figure 902816DEST_PATH_IMAGE007
，
Figure 562468DEST_PATH_IMAGE009
，
Figure 255617DEST_PATH_IMAGE011
），公式如下：
Figure 300802DEST_PATH_IMAGE012
其中，
Figure 53995DEST_PATH_IMAGE013
表示经过变化之后的斜矩形ROI的坐标和长、宽堆叠形成的矢量，
Figure 200942DEST_PATH_IMAGE014
表示标记框形式的真实坐标。至此完成了RRoI Learner的工作。将得到的5维坐标映射到步骤S1的特征图中，提取斜矩形ROI的特征图像。
在步骤S5中，为了提取网络中的旋转不变特征，使用对旋转位置敏感的ROI Align模块，该模块可将旋转的矩阵转变为正矩形方便最后的回归分类层使用。对于斜矩形ROI中的每个像素，可通过如下变换公式计算：
Figure 697783DEST_PATH_IMAGE015
其中，x，，y，为变换后的正矩形每个顶点坐标。x，y为标记框每个顶点的坐标。
变换好的正矩形ROI送入最后的回归分类层，则可以得到最终的旋转框坐标。
然而，将ROI Transformer模块直接应用在目标缺陷中，存在两个问题：
（1）现有技术中一般是使用固定IOU阈值，设置统一阈值，比如0.5，会导致的正样本匹配过少或者过多问题，从而影响检测的准确度。在某些应用场景中，如面板缺陷检测场景中，会存在大量长宽比较大的样本，使用固定IOU阈值来筛选正样本，会导致正样本数量不够，模型召回率较低的问题。因此，本发明实施例采用动态阈值的方法来筛选正样本。
（2）目前Roi Transformer的标注方法没有形成一个统一的规则，这样标注的样本不能很好的训练网络，所以需要针对面板缺陷检测的特点设计对应标注方法。因此，本发明实施例中，可预先定义统一的标记方式，按照该统一的标记规则对所述训练样本进行标记。
自适应动态阈值可通过下面方式实现。
在目标检测中，将真实标记框与ROI区域进行匹配是一个必须的过程，决定了正负样本的分配。匹配的标准就是IOU值，当IOU大于某一个阈值时才能匹配成功，被认为是正样本，否则被认为是负样本。进行匹配时，标记框的长宽比对匹配有很大影响。
如图2所示，GT表示真实的目标标记框，当标记框和斜矩形ROI区域的长宽差距较小时，IOU较大。如图3所示，当角度和图2一样，但长宽差距较大时，IOU较小。若采用现有技术中的固定阈值方法，则图3中斜矩形ROI区域的特征图像不满足匹配的条件。
因此，本发明实施例采用自适用调整IOU阈值的方法。
优选地，预先定义有一个预设阈值，在预设阈值的基础上动态调整IOU阈值，使得该阈值会随着标记框的长宽差距的增大而减小，随着标记框的长宽差距的减小而增大。
优选地，将阈值记为T，阈值T满足
Figure 613786DEST_PATH_IMAGE001
，T0为预设阈值，w为标记框的长，h为标记框的宽。当w=h时，阈值为预设阈值T0；但是如果w和h的比值越来越大时，那么阈值T就会变小，因为长和宽比值变大时，真实检测框GT和ROI的重叠部分就变小了；当w和h的比值变小时，那么阈值就会趋向0.5。
优选地，选取T0为0.5，阈值T满足公式：
Figure 537880DEST_PATH_IMAGE016
。
目标标记框的标记方法可通过下面方式实现。
为了简化标记过程，真实坐标框标签设置为形如
Figure 922856DEST_PATH_IMAGE017
的四个坐标点的形式，在训练过程中会自动转换为
Figure 957808DEST_PATH_IMAGE018
的形式。为了使坐标框角度的学习统一，采用统一的标记方式对4个点进行标记。优选地，选取预设方位的一点作为初始点，按照预设方向依次标记所述目标标记框的余下三个顶点。如图4所示，选取目标缺陷的左上角点作为初始点，以顺时针方向按1、2、3、4标记。尽量使坐标框呈旋转的矩形状态，而不是任意的四边形形状，目的是更方便转换成带有角度的坐标形式。
本发明实施例的一种基于深度学习的目标检测***，包括用于将训练样本输入到卷积神经网络进行训练模块以及利用训练好的卷积神经网络进行倾斜目标检测的分类模块，该训练模块包括特征提取模块、ROI区域提取模块、区域变换模块和检测模块：
特征提取模块，用于对训练样本进行特征提取，获得训练样本的特征映射图，训练样本被预先标记有目标标记框；
ROI区域提取模块，用于对特征映射图进行ROI区域提取，获得正矩形ROI区域的特征图像；
区域变换模块，用于对正矩形ROI区域进行坐标变换，获得对应的斜矩形ROI区域的特征图像；还用于计算斜矩形ROI区域的特征图像与目标标记框的IOU值，将IOU值与阈值进行比较确定正样本和负样本，该阈值被预先定义有一个预设阈值，动态调整该阈值，使得该阈值随着目标标记框的长宽差距的增大而减小，随着目标标记框的长宽差距的减小而增大；还用于将正样本的斜矩形ROI区域的特征图像转换为对应的正矩形ROI区域的特征图像；
分类模块，用于接收转换后的正矩形ROI区域的特征图像，输出检测结果。
基于深度学习的目标检测***装置的实现原理、技术效果与上述目标检测方法类似，此处不再赘述。
本发明实施例的基于深度学习的目标检测方法和***可以应用于面板缺陷检测领域，检测目标为倾斜缺陷。也可以应用于其它目标对象的检测领域，例如行人检测、其它场景的缺陷检测等。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现上述任一目标检测方法实施例的技术方案。其实现原理、技术效果与上述方法类似，此处不再赘述。
必须说明的是，上述任一实施例中，方法并不必然按照序号顺序依次执行，只要从执行逻辑中不能推定必然按某一顺序执行，则意味着可以以其他任何可能的顺序执行。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的目标检测方法，其特征在于，包括将训练样本输入到卷积神经网络进行训练的步骤以及利用训练好的所述卷积神经网络进行倾斜目标检测的步骤，所述训练包括步骤：
对训练样本进行特征提取，获得所述训练样本的特征映射图，所述训练样本被预先标记有目标标记框；
对所述特征映射图进行ROI区域提取，获得正矩形ROI区域的特征图像；
对所述正矩形ROI区域进行坐标变换，获得对应的斜矩形ROI区域的特征图像；
计算所述斜矩形ROI区域的特征图像与所述目标标记框的IOU值，将所述IOU值与阈值T进行比较确定正样本和负样本，所述阈值T被预先定义有一个预设阈值，动态调整所述阈值T，使得所述阈值T随着所述目标标记框的长宽差距的增大而减小，随着所述目标标记框的长宽差距的减小而增大；
将所述正样本的所述斜矩形ROI区域的特征图像转换为对应的正矩形ROI区域的特征图像；
根据转换后的正矩形ROI区域的特征图像输出检测结果。
2.如权利要求1所述的一种基于深度学习的目标检测方法，其特征在于，所述阈值T满 足
Figure 35645DEST_PATH_IMAGE002
，所述T0为预设阈值，w为所述目标标记框的长，h为所述目标标记框的宽。
3.如权利要求2所述的一种基于深度学习的目标检测方法，其特征在于，所述预设阈值T0为0.5。
4.如权利要求1、2或3任一项所述的一种基于深度学习的目标检测方法，其特征在于，预先定义统一的标记方式，按照所述标记方式对所述训练样本进行标记。
5.如权利要求4所述的一种基于深度学习的目标检测方法，其特征在于，所述标记方式为：选取预设方位的一点作为初始点，按照预设方向依次标记所述目标标记框的余下三个顶点。
6.如权利要求1、2或3任一项所述的一种基于深度学习的目标检测方法，其特征在于，该方法应用于面板缺陷检测领域，检测目标为倾斜缺陷。
7.一种基于深度学习的目标检测***，其特征在于，包括用于将训练样本输入到卷积神经网络进行训练模块以及利用训练好的所述卷积神经网络进行倾斜目标检测的检测模块，所述训练模块包括：
特征提取模块，用于对训练样本进行特征提取，获得所述训练样本的特征映射图，所述训练样本被预先标记有目标标记框；
ROI区域提取模块，用于对所述特征映射图进行ROI区域提取，获得正矩形ROI区域的特征图像；
区域变换模块，用于对所述正矩形ROI区域进行坐标变换，获得对应的斜矩形ROI区域的特征图像；还用于计算所述斜矩形ROI区域的特征图像与所述目标标记框的IOU值，将所述IOU值与阈值T进行比较确定正样本和负样本，所述阈值T被预先定义有一个预设阈值，动态调整所述阈值T，使得所述阈值T随着所述目标标记框的长宽差距的增大而减小，随着所述目标标记框的长宽差距的减小而增大；还用于将所述正样本的所述斜矩形ROI区域的特征图像转换为对应的正矩形ROI区域的特征图像；
分类模块，用于接收转换后的正矩形ROI区域的特征图像，输出检测结果。
8.如权利要求7所述的一种基于深度学习的目标检测***，其特征在于，所述阈值T满 足
Figure 192957DEST_PATH_IMAGE002
，所述T0为预设阈值，w为所述目标标记框的长，h为所述目标标记框的宽。
9.一种应用于目标检测的卷积神经网络数据处理***，其特征在于，包括：
骨干网络，用于对训练样本进行特征提取，获得所述训练样本的特征映射图，所述训练样本被预先标记有目标标记框；
区域选取网络，用于对所述特征映射图进行ROI区域提取，获得正矩形ROI区域的特征图像；
区域变换网络，用于对所述正矩形ROI区域进行坐标变换，获得对应的斜矩形ROI区域的特征图像；还用于匹配模块计算所述斜矩形ROI区域的特征图像与所述斜矩形目标标记框的IOU值，将所述IOU值与阈值T进行比较确定正样本和负样本，所述阈值T被预先定义有一个预设阈值，动态调整所述阈值T，使得所述阈值T随着所述目标标记框的长宽差距的增大而减小，随着所述目标标记框的长宽差距的减小而增大；还用于将所述正样本的所述斜矩形ROI区域的特征图像转换为对应的正矩形ROI区域的特征图像；
回归分类网络，用于接收转换后的正矩形ROI区域的特征图像，输出检测结果。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法。
CN202010798762.6A 2020-08-11 2020-08-11 一种基于深度学习的目标检测方法、***及存储介质 Active CN111680689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010798762.6A CN111680689B (zh) 2020-08-11 2020-08-11 一种基于深度学习的目标检测方法、***及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010798762.6A CN111680689B (zh) 2020-08-11 2020-08-11 一种基于深度学习的目标检测方法、***及存储介质

Publications (2)

Publication Number Publication Date
CN111680689A true CN111680689A (zh) 2020-09-18
CN111680689B CN111680689B (zh) 2021-03-23

Family

ID=72458212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010798762.6A Active CN111680689B (zh) 2020-08-11 2020-08-11 一种基于深度学习的目标检测方法、***及存储介质

Country Status (1)

Country Link
CN (1) CN111680689B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112171668A (zh) * 2020-09-21 2021-01-05 河南颂达信息技术有限公司 一种基于人工智能的轨道式机器人防卡死检测方法及装置
CN112418263A (zh) * 2020-10-10 2021-02-26 上海鹰瞳医疗科技有限公司 一种医学图像病灶分割标注方法及***
CN112505049A (zh) * 2020-10-14 2021-03-16 上海互觉科技有限公司 基于蒙版抑制的精密零组件表面缺陷检测方法和***
CN112949614A (zh) * 2021-04-29 2021-06-11 成都市威虎科技有限公司 一种自动分配候选区域的人脸检测方法及装置和电子设备
CN113408342A (zh) * 2021-05-11 2021-09-17 深圳大学 一种基于特征确定交并比阈值的目标检测方法
CN114608801A (zh) * 2020-12-08 2022-06-10 重庆云石高科技有限公司 一种机车轴温探头连接线脱落自动检测算法
US20220318559A1 (en) * 2021-03-31 2022-10-06 Nvidia Corporation Generation of bounding boxes
CN116342607A (zh) * 2023-05-30 2023-06-27 尚特杰电力科技有限公司 输电线缺陷的识别方法、装置、电子设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170124415A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Subcategory-aware convolutional neural networks for object detection
CN108088422A (zh) * 2018-01-24 2018-05-29 成都纵横自动化技术有限公司 一种确定真实重叠率的方法
CN108985186A (zh) * 2018-06-27 2018-12-11 武汉理工大学 一种基于改进YOLOv2的无人驾驶中行人检测方法
CN109344772A (zh) * 2018-09-30 2019-02-15 中国人民解放军战略支援部队信息工程大学 基于谱图和深度卷积网络的超短波特定信号侦察方法
CN110020651A (zh) * 2019-04-19 2019-07-16 福州大学 基于深度学习网络的车牌检测定位方法
CN110084831A (zh) * 2019-04-23 2019-08-02 江南大学 基于YOLOv3多伯努利视频多目标检测跟踪方法
CN110288017A (zh) * 2019-06-21 2019-09-27 河北数云堂智能科技有限公司 基于动态结构优化的高精度级联目标检测方法与装置
KR20190125702A (ko) * 2018-04-30 2019-11-07 전자부품연구원 딥러닝 기반의 추적 모듈에서 코사인 거리와 교차 영역을 활용한 추적 최적화 방법
CN110991523A (zh) * 2019-11-29 2020-04-10 西安交通大学 一种面向无人驾驶车辆检测算法性能的可解释性评估方法
US20200134837A1 (en) * 2019-12-19 2020-04-30 Intel Corporation Methods and apparatus to improve efficiency of object tracking in video frames
CN111401290A (zh) * 2020-03-24 2020-07-10 杭州博雅鸿图视频技术有限公司 一种人脸检测方法及***、计算机可读存储介质
CN111507391A (zh) * 2020-04-13 2020-08-07 武汉理工大学 一种基于机器视觉的有色金属破碎料智能识别方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170124415A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Subcategory-aware convolutional neural networks for object detection
CN108088422A (zh) * 2018-01-24 2018-05-29 成都纵横自动化技术有限公司 一种确定真实重叠率的方法
KR20190125702A (ko) * 2018-04-30 2019-11-07 전자부품연구원 딥러닝 기반의 추적 모듈에서 코사인 거리와 교차 영역을 활용한 추적 최적화 방법
CN108985186A (zh) * 2018-06-27 2018-12-11 武汉理工大学 一种基于改进YOLOv2的无人驾驶中行人检测方法
CN109344772A (zh) * 2018-09-30 2019-02-15 中国人民解放军战略支援部队信息工程大学 基于谱图和深度卷积网络的超短波特定信号侦察方法
CN110020651A (zh) * 2019-04-19 2019-07-16 福州大学 基于深度学习网络的车牌检测定位方法
CN110084831A (zh) * 2019-04-23 2019-08-02 江南大学 基于YOLOv3多伯努利视频多目标检测跟踪方法
CN110288017A (zh) * 2019-06-21 2019-09-27 河北数云堂智能科技有限公司 基于动态结构优化的高精度级联目标检测方法与装置
CN110991523A (zh) * 2019-11-29 2020-04-10 西安交通大学 一种面向无人驾驶车辆检测算法性能的可解释性评估方法
US20200134837A1 (en) * 2019-12-19 2020-04-30 Intel Corporation Methods and apparatus to improve efficiency of object tracking in video frames
CN111401290A (zh) * 2020-03-24 2020-07-10 杭州博雅鸿图视频技术有限公司 一种人脸检测方法及***、计算机可读存储介质
CN111507391A (zh) * 2020-04-13 2020-08-07 武汉理工大学 一种基于机器视觉的有色金属破碎料智能识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KHIN LAY MON ET AL；: "《AUTOMATIC IMAGE SEGMENTATION USING MARKER CONTROLLED WATERSHED AND OVERLAP RATIO BASED REGION MERGING》", 《2018 IEEE 7TH GLOBAL CONFERENCE ON CONSUMER ELECTRONICS》 *
李良福 等；: "《基于深度学习的桥梁裂缝检测算法研究》", 《自动化学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112171668A (zh) * 2020-09-21 2021-01-05 河南颂达信息技术有限公司 一种基于人工智能的轨道式机器人防卡死检测方法及装置
CN112418263A (zh) * 2020-10-10 2021-02-26 上海鹰瞳医疗科技有限公司 一种医学图像病灶分割标注方法及***
CN112505049A (zh) * 2020-10-14 2021-03-16 上海互觉科技有限公司 基于蒙版抑制的精密零组件表面缺陷检测方法和***
CN114608801A (zh) * 2020-12-08 2022-06-10 重庆云石高科技有限公司 一种机车轴温探头连接线脱落自动检测算法
CN114608801B (zh) * 2020-12-08 2024-04-19 重庆云石高科技有限公司 一种机车轴温探头连接线脱落自动检测算法
US20220318559A1 (en) * 2021-03-31 2022-10-06 Nvidia Corporation Generation of bounding boxes
CN112949614A (zh) * 2021-04-29 2021-06-11 成都市威虎科技有限公司 一种自动分配候选区域的人脸检测方法及装置和电子设备
CN113408342A (zh) * 2021-05-11 2021-09-17 深圳大学 一种基于特征确定交并比阈值的目标检测方法
CN116342607A (zh) * 2023-05-30 2023-06-27 尚特杰电力科技有限公司 输电线缺陷的识别方法、装置、电子设备及存储介质
CN116342607B (zh) * 2023-05-30 2023-08-08 尚特杰电力科技有限公司 输电线缺陷的识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111680689B (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
CN111680689B (zh) 一种基于深度学习的目标检测方法、***及存储介质
CN112348815B (zh) 图像处理方法、图像处理装置以及非瞬时性存储介质
WO2022057607A1 (zh) 识别对象边缘的方法、***及计算机可读存储介质
US11636604B2 (en) Edge detection method and device, electronic equipment, and computer-readable storage medium
US20200074665A1 (en) Object detection method, device, apparatus and computer-readable storage medium
CN111179243A (zh) 一种基于计算机视觉的小尺寸芯片裂纹检测方法及***
CN111325717B (zh) 手机缺陷位置识别方法及设备
WO2020151299A1 (zh) 黄色禁停线识别方法、装置、计算机设备及存储介质
CN109409356B (zh) 一种基于swt的多方向中文印刷体文字检测方法
US20200293811A1 (en) Method and device for obtaining image of form sheet
CN111325728B (zh) 产品缺陷检测方法、装置、设备及存储介质
CN111027538A (zh) 一种基于实例分割模型的集装箱检测方法
CN111369570B (zh) 一种视频图像的多目标检测跟踪方法
CN110443235B (zh) 一种智能纸质试卷总分识别方法及***
CN112465766A (zh) 扁平、微小息肉图像识别方法
CN111311556A (zh) 手机缺陷位置识别方法及设备
CN112396050B (zh) 图像的处理方法、设备以及存储介质
WO2024130857A1 (zh) 一种物品陈列检测方法、装置、设备及可读存储介质
CN115273115A (zh) 一种文档元素标注方法、装置、电子设备和存储介质
CN112419207A (zh) 一种图像矫正方法及装置、***
CN110909772B (zh) 一种高精度实时多尺度表盘指针检测方法和***
CN108992033B (zh) 一种视觉测试的评分装置、设备和存储介质
CN113506288A (zh) 基于transform注意力机制的肺结节检测方法及装置
CN113326734A (zh) 一种基于YOLOv5的旋转目标检测方法
CN115546219B (zh) 检测板式生成方法、板卡缺陷检测方法、装置及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant