CN110826476A - 识别目标物体的图像检测方法、装置、电子设备和存储介质 - Google Patents

识别目标物体的图像检测方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN110826476A
CN110826476A CN201911062463.XA CN201911062463A CN110826476A CN 110826476 A CN110826476 A CN 110826476A CN 201911062463 A CN201911062463 A CN 201911062463A CN 110826476 A CN110826476 A CN 110826476A
Authority
CN
China
Prior art keywords
image
image detection
sample
library
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911062463.XA
Other languages
English (en)
Inventor
陈胜科
沈达
钮伟樑
刘炯
薛阳
孙伟
徐云炯
苏毅方
马振宇
陆华
胡岩峰
焦建立
肖溢鹏
李衡
谭程凯
韩一鸣
方强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Zhejiang Electric Power Co Ltd
Shanghai University of Electric Power
Hangzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Shaoxing Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
University of Shanghai for Science and Technology
Original Assignee
State Grid Zhejiang Electric Power Co Ltd
Shanghai University of Electric Power
Hangzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Shaoxing Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Zhejiang Electric Power Co Ltd, Shanghai University of Electric Power, Hangzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd, Shaoxing Power Supply Co of State Grid Zhejiang Electric Power Co Ltd filed Critical State Grid Zhejiang Electric Power Co Ltd
Priority to CN201911062463.XA priority Critical patent/CN110826476A/zh
Publication of CN110826476A publication Critical patent/CN110826476A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种识别目标物体的图像检测方法、装置、电子设备和存储介质,包括:采集多个样本图像以生成样本图像库,样本图像包含目标物体;搭建初始图像检测模型,初始图像检测模型包括特征提取层、区域候选层和位置预测层;采用深度学习算法并利用样本图像库训练初始图像检测模型,获得智能图像检测模型;将待测图像输入智能图像检测模型进行检测,以获得目标物体在待测图像中的位置。本发明利用深度学习目标检测网络Faster R‑CNN检测图像以识别目标物体,无需进行人工特征提取,有效提升了复杂背景下目标物体检测的准确率和速度,具有很高的实用价值。

Description

识别目标物体的图像检测方法、装置、电子设备和存储介质
技术领域
本发明涉及图像检测领域,特别是涉及一种识别目标物体的图像检测方法、装置、电子设备和存储介质。
背景技术
随着电力技术的不断发展以及社会需求对供电安全和稳定的要求不断提高,安全作业在各电力技术行业越来越重要。传统高压输电线上使用绝缘杆作业法,使绝缘穿刺线夹固定引线和母线,作业人员戴绝缘手套、穿绝缘靴,使用绝缘工具进行作业,该方法存在劳动强度大,效率低,自动化水平低等问题。使用目标识别和检测技术以及机器人技术,在代替人工作业显得极其重要,其中目标检测技术可用于对绝缘穿刺线夹进行识别和检测,为后续操作提供准确定位,因此研究目标识别技术对替代人工作业的工作具有重要意义。
目前,目标检测技术在电力方面的应用主要是高压输电线的巡检,搭载摄像头的无人机巡线通过摄像头采集电气设备图像的方式操作灵活、成本低。数字图像处理技术、机器学习和深度学习方法是使用三种常用检测和识别的电气设备方法。对于数字图像处理方法作为传统图像处理方法,提取绝缘子的图像边缘方法进而来识别绝缘子,提取绝缘子的纹理特征来进行绝缘子的定位,虽然在一定范围内能识别出绝缘子,但受外部环境、背景等影响下采集到的图像容易受噪声的干扰,泛化能力不强。对于机器学习方法,采用AdaBoost算法,通过提取图像中目标的几何特征与形状特征,能够建立较好的模型,但是参数的设置以及特征点的选择都依赖于设计者的经验,从而泛化性以及识别精度均有待提高。
近年来,由于深度学习不需要进行人工特征提取,算法自动学习获得目标特征,适用性强、目标检测效率更高,能够对不同分辨率和不同位置角度的穿刺线夹更好的检测,具有较高的工程实用价值。
发明内容
本发明公开了一种识别目标物体的图像检测方法,包括:采集多个样本图像以生成样本图像库,样本图像包含目标物体;搭建初始图像检测模型,初始图像检测模型包括特征提取层、区域候选层和位置预测层;采用深度学习算法并利用样本图像库训练初始图像检测模型,获得智能图像检测模型;将待测图像输入智能图像检测模型进行检测,以获得目标物体在待测图像中的位置。
优选地,采集多个样本图像以生成样本图像库,具体为:对多个样本图像进行预处理,得到多个预处理样本图像,以生成预处理样本图像库;获取多个预处理样本图像的图像标签,以生成图像标签库;将预处理样本图像库和图像标签库合成为样本图像库,其中样本图像库中包括多个预处理样本图像和与之一一对应的多个图像标签。
进一步地,在获取多个预处理样本图像的图像标签,以生成图像标签库之前,还包括步骤:利用图像增强技术对预处理样本图像库进行扩充。
优选地,预处理为对样本图像进行去噪防抖预处理。
进一步地,初始图像检测模型是采用Faster R-CNN神经网络搭建的;以及初始图像检测模型包括特征提取层、区域候选层和位置预测层,具体为:特征提取层采用特征提取网络对输入图像进行特征图提取;区域候选层采用RPN网络和第一分类回归算法,以根据特征图得到候选区域特征图;位置预测层采用RoI pooling网络和第二分类回归算法,以识别候选区域特征图在输入图像中的位置。
优选地,区域候选层采用RPN网络和第一分类回归算法,以根据特征图得到候选区域特征图,具体为:采用RPN网络,使用N×N卷积核对特征图处理得到优化特征图,优化特征图与处理前特征图具有相同的尺寸和深度,其中,N为正整数;采用第一分类算法筛选出优化特征图中具有目标物体的目标优化特征图;采用第一回归算法框选目标优化特征图中包含目标物体的候选区域特征图。
进一步地,采用第一回归算法选取目标优化特征图中包含目标物体的候选区域特征图,具体为:采用非极大值抑制算法来去除目标优化特征图中的分值大于预设阈值的多余候选框,以获得候选区域特征图。
优选地,位置预测层采用RoI pooling网络和第二分类回归算法,以识别候选区域特征图在输入图像中的位置,具体为:采用RoI pooling网络将不同大小的候选区域特征图转换为固定长度的候选区域特征图;采用第二分类算法根据目标物体的类别对候选区域特征图进行分类;采用第二回归算法确定分类后的候选区域特征图在输入图像中的位置。
优选地,利用样本图像库训练初始图像检测模型,具体为:利用样本图像库对初始图像检测模型进行训练,保存具有较高召回率的模型和模型参数。
进一步地,初始图像检测模型为在COCO数据库上训练所得的模型。
本发明实施方式还公开了一种识别目标物体的图像检测装置,包括:图像采集模块,采集多个样本图像以生成样本图像库,样本图像中包含目标物体;模型搭建模块,搭建初始图像检测模型,初始图像检测模型包括特征提取层、区域候选层和位置预测层;模型训练模块,采用深度学习算法并利用样本图像库训练初始图像检测模型,获得智能图像检测模型;目标识别模块,将待测图像输入智能图像检测模型进行检测,以获得目标物体在待测图像中的位置。
优选地,图像采集模块包括:预处理模块,对多个样本图像进行预处理,得到多个预处理样本图像,以生成预处理样本图像库;标签获取模块,获取多个预处理样本图像的图像标签,以生成图像标签库;合成模块,将预处理样本图像库和图像标签库合成为样本图像库,其中样本图像库中包括多个预处理样本图像和与之一一对应的多个图像标签。
进一步地,模型搭建模块采用Faster R-CNN神经网络搭建;以及初始图像检测模型包括特征提取层、区域候选层和位置预测层,具体为:特征提取层采用VGG16网络对输入图像进行特征图提取;区域候选层采用RPN网络和第一分类回归算法,以根据特征图得到候选区域特征图;位置预测层采用RoI pooling网络和第二分类回归算法,以识别候选区域特征图在输入图像中的位置。
本发明实施方式还公开了一种电子设备,包括至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行以实现:采集多个样本图像以生成样本图像库,样本图像中包含目标物体;搭建初始图像检测模型,初始图像检测模型包括特征提取层、区域候选层和位置预测层;采用深度学习算法并利用样本图像库训练初始图像检测模型,获得智能图像检测模型;将待测图像输入智能图像检测模型进行检测,以获得目标物体在待测图像中的位置。
本发明实施方式还提供了一种非易失性存储介质,用于存储计算机可读程序,计算机可读程序用于供计算机执行如上所述的识别目标物体的图像检测方法。
综上所述,本发明涉及的识别目标物体的图像检测方法、装置、电子设备和存储介质,利用深度学习目标检测网络Faster R-CNN,通过特征提取网络、区域候选网络、RoIPooling层、以及两组分类和回归层进行预测,最终得到检测结果,无需进行人工特征提取,有效提升了复杂背景下目标物体检测的准确率和速度,具有很高的实用价值。
为让本发明的上述内容能更明显易懂,下文特举优选实施例,并结合附图,作详细说明如下。
附图说明
下面将结合附图介绍本发明。
图1为本发明第一实施方式公开的一种识别目标物体的图像检测方法流程图;
图2为本发明第一实施方式公开的生成样本图像库的方法流程图;
图3为本发明第二实施方式公开的一种识别目标物体的图像检测方法流程图;
图4为本发明第二实施方式公开的Faster R-CNN模型的区域候选网络结构示意图;
图5-1和图5-2为第二实施方式公开的消除多余候选框的图例;
图6为本发明第二实施方式公开的RoI pooling层固定统一特征原理图;
图7为本发明第二实施方式公开的穿刺线夹检测效果示意图;
图8为本发明第二实施方式公开的穿刺线夹图像检测方法流程图;
图9为本发明第三实施方式公开的识别目标物体的图像检测装置结构示意图;
图10为本发明第三实施方式公开的电子设备的结构示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式,本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。
现在参考附图介绍本发明的示例性实施方式,然而,本发明可以用许多不同的形式来实施,并且不局限于此处描述的实施例,提供这些实施例是为了详尽地且完全地公开本发明,并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中,相同的单元/元件使用相同的附图标记。
除非另有说明,此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外,可以理解的是,以通常使用的词典限定的术语,应当被理解为与其相关领域的语境具有一致的含义,而不应该被理解为理想化的或过于正式的意义。
第一实施例
如图1所示,本发明第一实施例公开了一种识别目标物体的图像检测方法,包括:
步骤S101,采集多个样本图像以生成样本图像库,样本图像包含目标物体。本步骤中,可以通过摄像头拍摄、截图等方式获得样本图像,采集具备一定数量规模的样本图像以生成样本图像库,这里的样本图像可能有些包含目标物体,有些不包含目标物体,或者可能所有的样本图像中都包含目标物体。
步骤S102,搭建初始图像检测模型,初始图像检测模型包括特征提取层、区域候选层和位置预测层。这里的初始检测模型,可以是在COCO数据库上训练而得的模型,其中,COCO数据库是一个大型图像数据集,专为对象检测、分割、人体关键点检测、语义分割和字幕生成而设计。
步骤S103,采用深度学习算法并利用样本图像库训练初始图像检测模型,获得智能图像检测模型。本步骤采用深度学习算法对初始图像检测模型进行训练,具体而言,即采用深度学习算法、利用样本图像库中大量的样本图像对初始图像检测模型不断进行训练,保存具有较高的召回率的模型及其参数,经过大量学习训练之后的模型具有很好的分析能力,能够精确识别出输入图像中的目标物体。其中,深度学习是学习样本数据(例如样本图像库中的样本图像)的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。它的最终目标是让计算机能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。
步骤S104,将待测图像输入智能图像检测模型进行检测,以获得目标物体在待测图像中的位置。
其中,如图2所示,步骤S101中,采集多个样本图像以生成样本图像库,具体包括以下步骤:
步骤S201,对多个样本图像进行预处理,得到多个预处理样本图像,以生成预处理样本图像库。这里对多个样本图像进行预处理,主要目的是消除图像中无关的信息,恢复有用的真实信息,增强有关信息的可检测性和最大限度地简化数据,从而增加图像检测的可靠性。例如可以是对样本图像进行去噪、防抖处理。
步骤S203,获取多个预处理样本图像的图像标签,以生成图像标签库。对预处理样本图像库中的所有预处理样本图像建立相应的符合标准PASCAL VOC格式的xml标签文件;该xml标签文件中包括图像的ID号,图像的像素高度、宽度,图像存放路径,图像包含目标种类,以及目标物体(例如穿刺线夹)所在区域的矩形边界框左上顶点坐标和右下顶点坐标。
步骤S204,将预处理样本图像库和图像标签库合成为样本图像库,其中样本图像库中包括多个预处理样本图像和与之一一对应的多个图像标签。即将步骤S201和步骤S203中的两个数据库合成一个用于训练的、可以进行高效读取的文件。
更进一步地,如图2所示,本发明第一实施方式中在步骤S203的获取多个预处理样本图像的图像标签,以生成图像标签库之前,还可以包括步骤S202:
利用图像增强技术对预处理样本图像库进行扩充,图像增强技术包括对预处理样本图像进行翻转、平移、角度旋转等增强操作以生成新的图像,从而使得原本的图像库得到扩充,增加用于训练模型的样本数量。
综上,本发明第一实施方式的图像检测方法,相对于现有的采用机器学习的图像检测方法而言,适用性更强、目标检测效率更高,具备很好的实用价值。
第二实施方式
如图3所示,本发明第二实施例公开了一种识别目标物体的图像检测方法,包括:
步骤S301,采集多个样本图像以生成样本图像库,样本图像包含目标物体;
步骤S302,采用Faster R-CNN神经网络搭建初始图像检测模型,初始图像检测模型包括特征提取层、区域候选层和位置预测层;其中,特征提取层采用特征提取网络对输入图像进行特征图提取;区域候选层采用RPN网络和第一分类回归算法,以根据特征图得到候选区域特征图;位置预测层采用RoI pooling网络和第二分类回归算法,以识别候选区域特征图在输入图像中的位置。
步骤S303,采用深度学习算法并利用样本图像库训练初始图像检测模型,获得智能图像检测模型;
步骤S304,将待测图像输入智能图像检测模型进行检测,以获得目标物体在待测图像中的位置。
具体来讲,步骤S301中的采集多个样本图像以生成样本图像库的详细方法,与本发明第一实施方式中的方案相同,在此不再赘述。
步骤S302中,采用Faster R-CNN神经网络搭建初始图像检测模型,其中,FasterR-CNN神经网络是通过已知的深度学习算法进行目标监测,具体包括特征提取层、区域候选层和位置预测层。
特征提取层采用特征提取网络对输入图像进行特征图提取,特征提取网络可以选用VGG16网络,实现对输入图像的特征图的自动提取,VGG16是基于大量真实图像的ImageNet图像库预训练的网络,无需人为进行特征输入和提取。另外,特征提取网络还可以选用ResNet网络,在本实施方式中的VGG16网络速度优于ResNet网络,因此优先选用VGG16网络。本领域技术人员应当理解,特征提取网络还可以选用其他能起到相同作用的卷积神经网络,而不仅限于本实施方式中所列举的实施例。
区域候选层利用RPN网络和第一分类回归算法来实现,具体地,RPN网络使用N×N卷积核对特征图处理得到优化特征图,所述优化特征图与处理前特征图具有相同的尺寸和深度,其中,N为正整数;本实施方式中,N×N卷积核优选为3×3卷积核。RPN网络在特征图的基础上使用3×3卷积核,生成尺寸与深度相同的优化特征图;接着采用第一分类算法筛选出优化特征图中具有目标物体的目标优化特征图;最后采用第一回归算法框选目标优化特征图中包含目标物体的候选区域特征图。其中,采用第一回归算法选取目标优化特征图中包含目标物体的候选区域特征图,具体为采用非极大值抑制算法来去除目标优化特征图中的分值大于预设阈值的多余候选框,以获得候选区域特征图。
以穿刺线夹图像监测为例,首先利用特征提取网络VGG16网络,实现对待监测的输入图像的特征图提取;接着如图4所示,利用RPN网络,在特征图的基础上使用3×3卷积核,生成尺寸与深度相同的优化特征图;之后利用第一分类回归算法对优化特征图进一步处理,分类的目的是检测是否有物体,回归的目的是实现候选区域的初步选取,本实施方式中使用非极大值抑制方法,丢弃IoU值大于某个预定义阈值的建议,并提出一个具有更高分数的建议,来消除多余候选框,如图5-1和图5-2所示,包含穿刺线夹的多个候选框在经过非极大值抑制抑制后,去掉了重叠比例高的候选框,其中clamp 97%的候选框被去掉,clamp99%的候选框得到保留。
位置预测层采用RoI pooling网络和第二分类回归算法,以识别候选区域特征图在输入图像中的位置。首先采用RoI pooling网络将不同大小的候选区域特征图转换为固定长度的候选区域特征图;其次采用第二分类回归算法来识别出候选区域特征图在输入图像中的位置,其中,第二分类算法根据目标物体的类别对候选区域特征图进行分类;采用第二回归算法确定分类后的候选区域特征图在输入图像中的位置。以穿刺线夹的检测为例,如图6所示,候选区域特征图大小经过池化层,最终统一成固定长度的候选区域特征图。将RoI pooling层输出的固定长度的候选区域特征图传给全连接层神经网络,通过Soft Max层进行目标的分类和检测框回归,最终识别出穿刺线夹的位置。
步骤S303,采用深度学习算法并利用样本图像库训练初始图像检测模型,获得智能图像检测模型。本步骤采用深度学习算法对初始图像检测模型进行训练,具体而言,即采用深度学习算法、利用样本图像库中大量的样本图像对初始图像检测模型不断进行训练,保存具有较高的召回率的模型及其参数,经过大量学习训练之后的模型具有很好的分析能力,能够精确识别出输入图像中的目标物体。其中,深度学习是学习样本数据(例如样本图像库中的样本图像)的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。它的最终目标是让计算机能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。
步骤S304,将待测图像输入智能图像检测模型进行检测,以获得目标物体在待测图像中的位置。
如图7所示,以下以穿刺线夹的检测为例来对本实施方式的识别目标物体的图像检测方法进行详细说明:
步骤S701:采集多个包含或部分包含穿刺线夹的样本图像,对样本图像进行图像预处理,并建立穿刺线夹图像库;
步骤S702:利用数据增强技术扩充步骤S701的穿刺线夹图像库,例如将图像库中的图像通过翻转、平移、角度旋转等增强操作生成新的图像,扩充样本数据库,每一张图像可能同时使用多种数据增强操作;
步骤S703:建立与步骤S702的穿刺线夹图像库对应的标签库;即穿刺线夹图像库中的所有图像建立相应的符合标准PASCAL VOC格式的xml标签文件;该xml标签文件中包括各个样本图像的ID号,样本图像的像素高度、宽度,图像存放路径,样本图像包含目标种类,以及穿刺线夹所在区域的矩形边界框左上顶点坐标和右下顶点坐标;
步骤S704:将步骤S702的穿刺线夹图像库的所有样本图像与其对应的步骤S703的标签库合成一个用于训练的、可以进行高效读取的样本图像库;
步骤S705:使用Faster R-CNN神经网络搭建初始穿刺线夹检测模型,初始穿刺线夹检测模型主要包括特征提取层、区域候选层和位置预测层。其中,特征提取层的特征提取网络选用VGG16网络,实现对输入图像特征图的提取;区域候选层采用RPN网络和第一分类回归算法,RPN网络在特征图的基础上使用3×3卷积核,生成尺寸与深度相同的特征图;第一分类回归算法在RPN网络处,分类目的检测是否有物体,回归实现候选区域的初步选取,使用非极大值抑制方法,丢弃IoU值大于某个预定义阈值的建议,并提出一个具有更高分数的建议,来消除多余候选框。位置预测层采用RoI pooling层和第二分类回归算法,RoIpooling层将不同大小的输入特征转换为固定长度的输出特征;第二分类回归算法在RoIpooling层之后的预测网络,分类实现对目标物体的分类,回归确定候选区域在图像中的精确位置;
步骤S706:使用步骤S704中的用于训练的、可以进行高效读取的样本图像库训练步骤S705的初始穿刺线夹检测模型,将训练时具有较高召回率模型和模型参数保存;
步骤S707:用训练好的步骤S706的初始穿刺线夹检测模型对穿刺线夹检测,框出穿刺线夹的位置识别出穿刺线夹,如图8所示,在不同的背景下,线夹4种不同姿态下识别的情况,四种姿态分别是线夹螺母向上,线夹螺母向下,线夹螺母向右,线夹侧面向上,由图8可以看出模型均能准确的检测出输电线上的穿刺线夹。
本发明第二实施方式的图像检测方法,利用深度学习目标检测网络Faster R-CNN,通过特征提取网络、区域候选网络、RoI Pooling层、以及两组分类和回归层进行预测,最终得到检测结果,无需进行人工特征提取,有效提升了复杂背景下目标物体检测的准确率和速度,具有很高的实用价值。
第三实施方式
本发明第三实施方式公开了一种识别目标物体的图像检测装置900,如图9所示,包括:
图像采集模块901,采集多个样本图像以生成样本图像库,样本图像中包含目标物体;
模型搭建模块902,搭建初始图像检测模型,初始图像检测模型包括特征提取层、区域候选层和位置预测层;
模型训练模块903,采用深度学习算法并利用样本图像库训练初始图像检测模型,获得智能图像检测模型;目标识别模块,将待测图像输入智能图像检测模型进行检测,以获得目标物体在待测图像中的位置。
优选地,本实施方式中,可以选用摄像头等图像采集设备来远程采集多个样本图像以生成样本图像库,图像采集模块901包括:
预处理模块901a,对多个样本图像进行预处理,得到多个预处理样本图像,以生成预处理样本图像库;
标签获取模块901b,获取多个预处理样本图像的图像标签,以生成图像标签库;
合成模块901c,将预处理样本图像库和图像标签库合成为样本图像库,其中样本图像库中包括多个预处理样本图像和与之一一对应的多个图像标签。
进一步地,模型搭建模块902采用Faster R-CNN神经网络搭建;以及初始图像检测模型包括特征提取层、区域候选层和位置预测层,具体为:特征提取层采用VGG16网络对输入图像进行特征图提取;区域候选层采用RPN网络和第一分类回归算法,以根据特征图得到候选区域特征图;位置预测层采用RoI pooling网络和第二分类回归算法,以识别候选区域特征图在输入图像中的位置。
第四实施方式
本发明的第四实施方式涉及一种电子设备,本实施方式的电子设备可以说终端侧设备,如手机,平板电脑等终端设备,也可以是网络侧的服务器。
如图10所示,该电子设备:至少包括一个处理器1001;以及,与至少一个处理器1001通信连接的存储器1002;以及,与扫描装置通信连接的通信组件1003,通信组件1003在处理器1001的控制下接收和发送数据;其中,存储器1002存储有可被至少一个处理器1001执行的指令,指令被至少一个处理器1001执行以实现:
采集多个样本图像以生成样本图像库,样本图像包含目标物体;搭建初始图像检测模型,初始图像检测模型包括特征提取层、区域候选层和位置预测层;采用深度学习算法并利用样本图像库训练初始图像检测模型,获得智能图像检测模型;将待测图像输入智能图像检测模型进行检测,以获得目标物体在待测图像中的位置。
具体地,该电子设备包括:一个或多个处理器1001以及存储器1002,图10中以一个处理器1001为例。处理器1001、存储器1002可以通过总线或者其他方式连接,图10中以通过总线连接为例。存储器1002作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器1001通过运行存储在存储器1002中的非易失性软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述订单分配方法。
存储器1002可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储选项列表等。此外,存储器1002可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中,存储器1002可选包括相对于处理器1001远程设置的存储器,这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器1002中,当被一个或者多个处理器1001执行时,执行上述任意方法实施方式中的识别目标物体的图像检测方法。
第五实施方式
涉及一种非易失性存储介质,用于存储计算机可读程序,所述计算机可读程序用于供计算机执行上述部分或全部的方法实施例。
即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述,本发明涉及的识别目标物体的图像检测方法、装置、电子设备和存储介质,利用深度学习目标检测网络Faster R-CNN,通过特征提取网络、区域候选网络、RoIPooling层、以及两组分类和回归层进行预测,最终得到检测结果,无需进行人工特征提取,有效提升了复杂背景下目标物体检测的准确率和速度,具有很高的实用价值。
此外,本发明上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何本领域技术人员皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,本领域技术人员在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (15)

1.一种识别目标物体的图像检测方法,其特征在于,包括:
采集多个样本图像以生成样本图像库,所述样本图像中包含目标物体;
搭建初始图像检测模型,所述初始图像检测模型包括特征提取层、区域候选层和位置预测层;
采用深度学习算法并利用所述样本图像库训练所述初始图像检测模型,获得智能图像检测模型;
将待测图像输入所述智能图像检测模型进行检测,以获得所述目标物体在所述待测图像中的位置。
2.根据权利要求1所述的图像检测方法,其特征在于,所述采集多个样本图像以生成样本图像库,具体为:
对所述多个样本图像进行预处理,得到多个预处理样本图像,以生成预处理样本图像库;
获取多个所述预处理样本图像的图像标签,以生成图像标签库;
将所述预处理样本图像库和所述图像标签库合成为所述样本图像库,其中,所述样本图像库中包括多个所述预处理样本图像和与之一一对应的多个所述图像标签。
3.根据权利要求2所述的图像检测方法,其特征在于,在所述获取多个所述预处理样本图像的图像标签,以生成图像标签库之前,还包括步骤:
利用图像增强技术对所述预处理样本图像库进行扩充。
4.根据权利要求2所述的图像检测方法,其特征在于,所述预处理为对样本图像进行去噪防抖预处理。
5.根据权利要求1所述的图像检测方法,其特征在于,所述初始图像检测模型是采用Faster R-CNN神经网络搭建的;以及
所述初始图像检测模型包括特征提取层、区域候选层和位置预测层,具体为:
所述特征提取层采用特征提取网络对输入图像进行特征图提取;
所述区域候选层采用RPN网络和第一分类回归算法,以根据所述特征图得到候选区域特征图;
所述位置预测层采用RoI pooling网络和第二分类回归算法,以识别所述候选区域特征图在所述输入图像中的位置。
6.根据权利要求5所述的图像检测方法,其特征在于,所述区域候选层采用RPN网络和第一分类回归算法,以根据所述特征图得到候选区域特征图,具体为:
采用所述RPN网络,使用N×N卷积核对所述特征图处理得到优化特征图,所述优化特征图与处理前所述特征图具有相同的尺寸和深度,其中,N为正整数;采用第一分类算法筛选出所述优化特征图中具有所述目标物体的目标优化特征图;
采用第一回归算法框选所述目标优化特征图中包含所述目标物体的所述候选区域特征图。
7.根据权利要求6所述的图像检测方法,其特征在于,所述采用第一回归算法选取所述目标优化特征图中包含所述目标物体的所述候选区域特征图,具体为:
采用非极大值抑制算法来去除所述目标优化特征图中的分值大于预设阈值的多余候选框,以获得所述候选区域特征图。
8.根据权利要求5所述的图像检测方法,其特征在于,所述位置预测层采用RoIpooling网络和第二分类回归算法,以识别所述候选区域特征图在所述输入图像中的位置,具体为:
采用RoI pooling网络将不同大小的所述候选区域特征图转换为固定长度的所述候选区域特征图;
采用第二分类算法根据所述目标物体的类别对所述候选区域特征图进行分类;
采用第二回归算法确定分类后的所述候选区域特征图在所述输入图像中的位置。
9.根据权利要求1所述的图像检测方法,其特征在于,所述利用所述样本图像库训练所述初始图像检测模型,具体为:
利用所述样本图像库对所述初始图像检测模型进行训练,保存具有较高召回率的模型和模型参数。
10.根据权利要求9所述的图像检测方法,其特征在于,所述初始图像检测模型为在COCO数据集上训练所得的模型。
11.一种识别目标物体的图像检测装置,其特征在于,包括:
图像采集模块,采集多个样本图像以生成样本图像库,所述样本图像中包含目标物体;
模型搭建模块,搭建初始图像检测模型,所述初始图像检测模型包括特征提取层、区域候选层和位置预测层;
模型训练模块,采用深度学习算法并利用所述样本图像库训练所述初始图像检测模型,获得智能图像检测模型;
目标识别模块,将待测图像输入所述智能图像检测模型进行检测,以获得所述目标物体在所述待测图像中的位置。
12.根据权利要求11所述的图像检测装置,其特征在于,所述图像采集模块包括:
预处理模块,对所述多个样本图像进行预处理,得到多个预处理样本图像,以生成预处理样本图像库;
标签获取模块,获取多个所述预处理样本图像的图像标签,以生成图像标签库;
合成模块,将所述预处理样本图像库和所述图像标签库合成为所述样本图像库,其中所述样本图像库中包括多个所述预处理样本图像和与之一一对应的多个所述图像标签。
13.根据权利要求1所述的图像检测装置,其特征在于,所述模型搭建模块采用FasterR-CNN神经网络搭建;以及
所述初始图像检测模型包括特征提取层、区域候选层和位置预测层,具体为:
所述特征提取层采用VGG16网络对输入图像进行特征图提取;
所述区域候选层采用RPN网络和第一分类回归算法,以根据所述特征图得到候选区域特征图;
所述位置预测层采用RoI pooling网络和第二分类回归算法,以识别所述候选区域特征图在所述输入图像中的位置。
14.一种电子设备,其特征在于,包括至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行以实现:
采集多个样本图像以生成样本图像库,所述样本图像中包含目标物体;
搭建初始图像检测模型,所述初始图像检测模型包括特征提取层、区域候选层和位置预测层;
采用深度学习算法并利用所述样本图像库训练所述初始图像检测模型,获得智能图像检测模型;
将待测图像输入所述智能图像检测模型进行检测,以获得所述目标物体在所述待测图像中的位置。
15.一种非易失性存储介质,用于存储计算机可读程序,其特征在于,所述计算机可读程序用于供计算机执行如权利要求1至10中任一项所述的识别目标物体的图像检测方法。
CN201911062463.XA 2019-11-02 2019-11-02 识别目标物体的图像检测方法、装置、电子设备和存储介质 Pending CN110826476A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911062463.XA CN110826476A (zh) 2019-11-02 2019-11-02 识别目标物体的图像检测方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911062463.XA CN110826476A (zh) 2019-11-02 2019-11-02 识别目标物体的图像检测方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN110826476A true CN110826476A (zh) 2020-02-21

Family

ID=69552307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911062463.XA Pending CN110826476A (zh) 2019-11-02 2019-11-02 识别目标物体的图像检测方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN110826476A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402335A (zh) * 2020-03-18 2020-07-10 东软睿驰汽车技术(沈阳)有限公司 深度学习模型的评价方法、装置、电子设备及存储介质
CN111401146A (zh) * 2020-02-26 2020-07-10 长江大学 一种无人机电力巡检方法、设备及存储介质
CN111445468A (zh) * 2020-04-13 2020-07-24 广东电网有限责任公司东莞供电局 一种变电器地面油污的检测方法、装置、设备及存储介质
CN111582117A (zh) * 2020-04-29 2020-08-25 长江大学 一种无人机违章建筑物巡检方法、设备及存储介质
CN111680680A (zh) * 2020-06-09 2020-09-18 创新奇智(合肥)科技有限公司 一种目标码定位方法、装置、电子设备及存储介质
CN111783878A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 目标检测方法、装置、电子设备以及可读存储介质
CN112488230A (zh) * 2020-12-07 2021-03-12 中国农业大学 基于机器学习的作物水分胁迫程度判定方法和装置
CN112819885A (zh) * 2021-02-20 2021-05-18 深圳市英威诺科技有限公司 基于深度学习的动物识别方法、装置、设备及存储介质
CN112861849A (zh) * 2020-12-29 2021-05-28 北京航空航天大学 一种脊柱畸形矫正手术术中组织识别方法
CN113012176A (zh) * 2021-03-17 2021-06-22 北京百度网讯科技有限公司 样本图像的处理方法、装置、电子设备及存储介质
CN113270156A (zh) * 2021-04-29 2021-08-17 甘肃路桥建设集团有限公司 基于图像处理的机制砂石粉的检测建模、检测方法及***
CN113450338A (zh) * 2021-07-09 2021-09-28 湖南晟瞳科技有限公司 基于深度学习的白带样本自动化检测方法、***以及存储介质
CN113762229A (zh) * 2021-11-10 2021-12-07 山东天亚达新材料科技有限公司 一种建筑场地内建筑器材的智能识别方法及***
CN113822302A (zh) * 2020-06-18 2021-12-21 北京金山数字娱乐科技有限公司 一种目标检测模型的训练方法及装置
CN114360056A (zh) * 2021-12-21 2022-04-15 东风柳州汽车有限公司 开门预警方法、装置、设备及存储介质
CN115410196A (zh) * 2022-10-31 2022-11-29 南昌理工学院 一种基于复杂背景下的小目标识别***

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009591A (zh) * 2017-12-14 2018-05-08 西南交通大学 一种基于深度学习的接触网关键部件识别方法
CN108596883A (zh) * 2018-04-12 2018-09-28 福州大学 一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法
CN108734719A (zh) * 2017-04-14 2018-11-02 浙江工商大学 一种基于全卷积神经网络的鳞翅目昆虫图像前背景自动分割方法
CN109345529A (zh) * 2018-09-30 2019-02-15 福州大学 基于改进型二次目标检测网络线夹、均压环故障识别方法
CN109613006A (zh) * 2018-12-22 2019-04-12 中原工学院 一种基于端到端神经网络的织物疵点检测方法
CN109936696A (zh) * 2019-02-28 2019-06-25 深圳大学 基于神经网络的光纤端面自动对焦的方法和相关装置
CN109977780A (zh) * 2019-02-26 2019-07-05 广东工业大学 一种基于深度学习算法的硅藻的检测与识别方法
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN110097003A (zh) * 2019-04-29 2019-08-06 中南民族大学 基于神经网络的课堂考勤方法、设备、存储介质及装置
CN110175988A (zh) * 2019-04-25 2019-08-27 南京邮电大学 基于深度学习的布匹缺陷检测方法
CN110310261A (zh) * 2019-06-19 2019-10-08 河南辉煌科技股份有限公司 一种接触网吊弦缺陷检测模型训练方法和缺陷检测方法
CN110321815A (zh) * 2019-06-18 2019-10-11 中国计量大学 一种基于深度学习的道路裂缝识别方法
CN110378221A (zh) * 2019-06-14 2019-10-25 安徽南瑞继远电网技术有限公司 一种电网线夹自动检测与缺陷识别方法及装置
CN110399816A (zh) * 2019-07-15 2019-11-01 广西大学 一种基于Faster R-CNN的高速列车车底异物检测方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734719A (zh) * 2017-04-14 2018-11-02 浙江工商大学 一种基于全卷积神经网络的鳞翅目昆虫图像前背景自动分割方法
CN108009591A (zh) * 2017-12-14 2018-05-08 西南交通大学 一种基于深度学习的接触网关键部件识别方法
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN108596883A (zh) * 2018-04-12 2018-09-28 福州大学 一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法
CN109345529A (zh) * 2018-09-30 2019-02-15 福州大学 基于改进型二次目标检测网络线夹、均压环故障识别方法
CN109613006A (zh) * 2018-12-22 2019-04-12 中原工学院 一种基于端到端神经网络的织物疵点检测方法
CN109977780A (zh) * 2019-02-26 2019-07-05 广东工业大学 一种基于深度学习算法的硅藻的检测与识别方法
CN109936696A (zh) * 2019-02-28 2019-06-25 深圳大学 基于神经网络的光纤端面自动对焦的方法和相关装置
CN110175988A (zh) * 2019-04-25 2019-08-27 南京邮电大学 基于深度学习的布匹缺陷检测方法
CN110097003A (zh) * 2019-04-29 2019-08-06 中南民族大学 基于神经网络的课堂考勤方法、设备、存储介质及装置
CN110378221A (zh) * 2019-06-14 2019-10-25 安徽南瑞继远电网技术有限公司 一种电网线夹自动检测与缺陷识别方法及装置
CN110321815A (zh) * 2019-06-18 2019-10-11 中国计量大学 一种基于深度学习的道路裂缝识别方法
CN110310261A (zh) * 2019-06-19 2019-10-08 河南辉煌科技股份有限公司 一种接触网吊弦缺陷检测模型训练方法和缺陷检测方法
CN110399816A (zh) * 2019-07-15 2019-11-01 广西大学 一种基于Faster R-CNN的高速列车车底异物检测方法

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401146A (zh) * 2020-02-26 2020-07-10 长江大学 一种无人机电力巡检方法、设备及存储介质
CN111402335A (zh) * 2020-03-18 2020-07-10 东软睿驰汽车技术(沈阳)有限公司 深度学习模型的评价方法、装置、电子设备及存储介质
CN111402335B (zh) * 2020-03-18 2023-07-28 东软睿驰汽车技术(沈阳)有限公司 深度学习模型的评价方法、装置、电子设备及存储介质
CN111445468A (zh) * 2020-04-13 2020-07-24 广东电网有限责任公司东莞供电局 一种变电器地面油污的检测方法、装置、设备及存储介质
CN111582117A (zh) * 2020-04-29 2020-08-25 长江大学 一种无人机违章建筑物巡检方法、设备及存储介质
CN111680680A (zh) * 2020-06-09 2020-09-18 创新奇智(合肥)科技有限公司 一种目标码定位方法、装置、电子设备及存储介质
CN111680680B (zh) * 2020-06-09 2023-10-13 创新奇智(合肥)科技有限公司 一种目标码定位方法、装置、电子设备及存储介质
CN113822302A (zh) * 2020-06-18 2021-12-21 北京金山数字娱乐科技有限公司 一种目标检测模型的训练方法及装置
CN111783878B (zh) * 2020-06-29 2023-08-04 北京百度网讯科技有限公司 目标检测方法、装置、电子设备以及可读存储介质
CN111783878A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 目标检测方法、装置、电子设备以及可读存储介质
CN112488230A (zh) * 2020-12-07 2021-03-12 中国农业大学 基于机器学习的作物水分胁迫程度判定方法和装置
CN112861849A (zh) * 2020-12-29 2021-05-28 北京航空航天大学 一种脊柱畸形矫正手术术中组织识别方法
CN112861849B (zh) * 2020-12-29 2023-01-10 北京航空航天大学 一种脊柱畸形矫正手术术中组织识别方法
CN112819885A (zh) * 2021-02-20 2021-05-18 深圳市英威诺科技有限公司 基于深度学习的动物识别方法、装置、设备及存储介质
CN113012176A (zh) * 2021-03-17 2021-06-22 北京百度网讯科技有限公司 样本图像的处理方法、装置、电子设备及存储介质
CN113012176B (zh) * 2021-03-17 2023-12-15 阿波罗智联(北京)科技有限公司 样本图像的处理方法、装置、电子设备及存储介质
CN113270156B (zh) * 2021-04-29 2022-11-15 甘肃路桥建设集团有限公司 基于图像处理的机制砂石粉的检测建模、检测方法及***
CN113270156A (zh) * 2021-04-29 2021-08-17 甘肃路桥建设集团有限公司 基于图像处理的机制砂石粉的检测建模、检测方法及***
CN113450338A (zh) * 2021-07-09 2021-09-28 湖南晟瞳科技有限公司 基于深度学习的白带样本自动化检测方法、***以及存储介质
CN113762229A (zh) * 2021-11-10 2021-12-07 山东天亚达新材料科技有限公司 一种建筑场地内建筑器材的智能识别方法及***
CN114360056A (zh) * 2021-12-21 2022-04-15 东风柳州汽车有限公司 开门预警方法、装置、设备及存储介质
CN114360056B (zh) * 2021-12-21 2024-06-07 东风柳州汽车有限公司 开门预警方法、装置、设备及存储介质
CN115410196B (zh) * 2022-10-31 2023-02-07 南昌理工学院 一种基于复杂背景下的小目标识别***
CN115410196A (zh) * 2022-10-31 2022-11-29 南昌理工学院 一种基于复杂背景下的小目标识别***

Similar Documents

Publication Publication Date Title
CN110826476A (zh) 识别目标物体的图像检测方法、装置、电子设备和存储介质
CN110059558B (zh) 一种基于改进ssd网络的果园障碍物实时检测方法
CN106778835B (zh) 融合场景信息和深度特征的遥感图像机场目标识别方法
JP6926335B2 (ja) 深層学習における回転可変物体検出
JP5775225B2 (ja) マルチレイヤ連結成分をヒストグラムと共に用いるテキスト検出
US20180114071A1 (en) Method for analysing media content
KR20180065856A (ko) 영역 기반 딥 러닝 모델을 이용한 객체 탐지 장치 및 방법, 그리고 이를 이용한 칩셋 제조 방법
CN111179249A (zh) 一种基于深度卷积神经网络的电力设备检测方法和装置
CN111582126B (zh) 基于多尺度行人轮廓分割融合的行人重识别方法
CN110781964A (zh) 一种基于视频图像的人体目标检测方法及***
KR102158799B1 (ko) 심층신경망 모델을 이용한 건물 식별 방법, 컴퓨터 프로그램 및 장치
US10002430B1 (en) Training system for infield training of a vision-based object detector
CN110133443B (zh) 基于平行视觉的输电线路部件检测方法、***、装置
CN111078552A (zh) 页面显示异常的检测方法、装置及存储介质
CN110059539A (zh) 一种基于图像分割的自然场景文本位置检测方法
CN111191535B (zh) 基于深度学习的行人检测模型构建方法及行人检测方法
CN112966088B (zh) 未知意图的识别方法、装置、设备及存储介质
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
Khurana et al. A survey on object recognition and segmentation techniques
CN109325539B (zh) 绝缘子掉串检测方法及装置
CN107886093B (zh) 一种字符检测方法、***、设备及计算机存储介质
CN111091122A (zh) 一种多尺度特征卷积神经网络的训练和检测方法、装置
CN114724246A (zh) 危险行为识别方法及装置
de las Heras et al. Notation-invariant patch-based wall detector in architectural floor plans
CN112686122A (zh) 人体及影子的检测方法、装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200221