CN112001403A - 一种图像轮廓检测方法及*** - Google Patents

一种图像轮廓检测方法及*** Download PDF

Info

Publication number
CN112001403A
CN112001403A CN202010802590.5A CN202010802590A CN112001403A CN 112001403 A CN112001403 A CN 112001403A CN 202010802590 A CN202010802590 A CN 202010802590A CN 112001403 A CN112001403 A CN 112001403A
Authority
CN
China
Prior art keywords
feature
feature maps
contour
image
maps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010802590.5A
Other languages
English (en)
Other versions
CN112001403B (zh
Inventor
李瑞瑞
翟新茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Chemical Technology
Original Assignee
Beijing University of Chemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Chemical Technology filed Critical Beijing University of Chemical Technology
Priority to CN202010802590.5A priority Critical patent/CN112001403B/zh
Publication of CN112001403A publication Critical patent/CN112001403A/zh
Application granted granted Critical
Publication of CN112001403B publication Critical patent/CN112001403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像轮廓检测方法，所述方法包括：S1，对待检测图像进行多尺度特征提取，得到多个第一特征图；S2，对所述多个第一特征图进行多层次特征提取，得到多个第二特征图；S3，对所述多个第二特征图进行特征加权融合，得到轮廓检测图。本发明还公开了一种图像轮廓检测***。本发明对不同尺度的特征图提取了全局特征和边界特征，将不同层次的特征图进行特征加权融合，实现浅层特征和深层特征的相互补充，并通过深监督进行训练，提高了图像轮廓检测的精度。

Description

一种图像轮廓检测方法及***
技术领域
本发明涉及图像检测技术领域，具体而言，涉及一种图像轮廓检测方法及***。
背景技术
图像轮廓检测是从自然图像中提取图像目标边界和感知突出的轮廓。目前，在利用卷积神经网络对图像进行轮廓检测时，大多只考虑了不同层的特征，忽略了全局特征和边界信息，对不同尺度的特征图进行融合时，每个尺度的特征图的权重相同，轮廓检测的精度不高。
发明内容
为解决上述问题，本发明的目的在于提供一种图像轮廓检测方法及***，对不同尺度的特征图提取了全局特征和边界特征，将不同层次的特征图进行特征加权融合，实现浅层特征和深层特征的相互补充，并通过深监督进行训练，提高了图像轮廓检测的精度。
本发明提供了一种图像轮廓检测方法，所述方法包括：
S1，对待检测图像进行多尺度特征提取，得到多个第一特征图；
S2，对所述多个第一特征图进行多层次特征提取，得到多个第二特征图；
S3，对所述多个第二特征图进行特征加权融合，得到轮廓检测图，其中，各第二特征图对应的权重不相同。
作为本发明进一步的改进，所述对待检测图像进行多尺度特征提取，得到多个第一特征图，包括：
对待检测图像进行多尺度特征提取，得到多个特征图；
对提取出的多个特征图分别进行全局特征提取，得到多个全局特征图；
对所述多个全局特征图分别进行边界处理，得到所述多个第一特征图。
作为本发明进一步的改进，所述对所述多个第一特征图进行多层次特征提取，得到多个第二特征图，包括：
将所述多个第一特征图中尺度相同的第一特征图分别进行特征融合，得到多个融合特征图；
将所述多个融合特征图分别进行尺寸变换还原到原图像尺寸，得到所述多个第二特征图。
作为本发明进一步的改进，所述对所述多个第二特征图进行特征加权融合，得到轮廓检测图，包括：
确定各第二特征图对应的权重，其中，各第二特征图对应的权重不相同；
将所述多个第二特征图分别采用对应的权重进行特征加权融合处理，得到所述轮廓检测图。
作为本发明进一步的改进，所述方法通过神经网络实现，所述方法还包括：根据训练集训练所述神经网络，
其中，所述神经网络包括多个第一卷积层、多个全局特征提取模块、多个边界细化模块、多个第二卷积层、多个反卷积层和融合层；
所述多个第一卷积层、所述多个全局特征提取模块和所述多个边界细化模块用于对待检测图像进行多尺度特征提取，得到多个第一特征图；
所述多个第二卷积层和所述多个反卷积层用于对所述多个第一特征图进行多层次特征提取，得到多个第二特征图；
所述融合层用于对所述多个第二特征图进行特征加权融合，得到轮廓检测图。
作为本发明进一步的改进，所述训练集包括多个样本图像，每个样本图像包括多个轮廓标注图，
其中，根据训练集训练所述神经网络，包括：
对每个样本图像，将所述样本图像的多个轮廓标注图的特征向量相加取平均，生成所述样本图像的轮廓概率图，其中，所述轮廓概率图中每个像素点的像素轮廓概率的范围为0-1，其中，0表示像素点在多个轮廓标注图中均没有被标注，1表示像素点在多个轮廓标注图中均被标注。
作为本发明进一步的改进，根据训练集训练所述神经网络，包括：
对每个样本图像，确定所述多个第二特征图和所述轮廓概率图的损失，得到多个第一损失函数；
确定所述轮廓检测图和所述轮廓概率图的损失，得到第二损失函数；
将所述多个第一损失函数和所述第二损失函数相加，得到目标损失函数；
通过所述目标损失函数对所述神经网络进行参数优化；
其中，所述目标损失函数为：
Figure BDA0002627936350000031
式中，
Figure BDA0002627936350000032
表示第二特征图的特征向量，i表示样本图像的序号，I表示样本图像的总数，k表示第二特征图的序号，K表示第二特征图的总数，W表示所述神经网络的参数，
Figure BDA0002627936350000033
表示第一损失函数，
Figure BDA0002627936350000034
表示轮廓检测图的特征向量，
Figure BDA0002627936350000035
表示第二损失函数。
作为本发明进一步的改进，对每个样本图像，确定所述多个第二特征图和所述轮廓概率图的损失，得到多个第一损失函数，包括：
对每个样本图像，确定所述轮廓概率图中的各正样本点和各负样本点，其中，各所述正样本点表示像素轮廓概率大于阈值η的像素点，各所述负样本点表示像素轮廓概率为0的像素点；
对每个第二特征图，计算所述第二特征图中各像素点相对于所述轮廓概率图的损失，得到第一损失函数；
其中，第一损失函数为：
Figure BDA0002627936350000036
Figure BDA0002627936350000037
Figure BDA0002627936350000038
式中，Y+表示正样本点，Y-表示负样本点，λ表示平衡正样本点和负样本点数量的参数，Xi表示第二特征图的特征向量，P表示像素点属于正样本点的预测概率。
作为本发明进一步的改进，所述方法还包括：
S4，将所述待检测图像进行标度处理，获取多个尺度的待检测图像，对每个尺度的待检测图像执行S1-S3，得到多个轮廓检测图，并将所述多个轮廓检测图进行特征加权融合，得到最终的轮廓检测图。
本发明还提供了一种图像轮廓检测***，所述***包括：
多尺度特征提取模块，用于对待检测图像进行多尺度特征提取，得到多个第一特征图；
多层次特征提取模块，用于对所述多个第一特征图进行多层次特征提取，得到多个第二特征图；
轮廓检测模块，用于对所述多个第二特征图进行特征加权融合，得到轮廓检测图，其中，各第二特征图对应的权重不相同。
作为本发明进一步的改进，所述多尺度特征提取模块用于：
对待检测图像进行多尺度特征提取，得到多个特征图；
对提取出的多个特征图分别进行全局特征提取，得到多个全局特征图；
对所述多个全局特征图分别进行边界处理，得到所述多个第一特征图。
作为本发明进一步的改进，所述多层次特征提取模块用于：
将所述多个第一特征图中尺度相同的第一特征图分别进行特征融合，得到多个融合特征图；
将所述多个融合特征图分别进行尺寸变换还原到原图像尺寸，得到所述多个第二特征图。
作为本发明进一步的改进，所述轮廓检测模块用于：
确定各第二特征图对应的权重，其中，各第二特征图对应的权重不相同；
将所述多个第二特征图分别采用对应的权重进行特征加权融合处理，得到所述轮廓检测图。
作为本发明进一步的改进，所述***通过神经网络实现，所述***还包括：根据训练集训练所述神经网络，
其中，所述神经网络包括多个第一卷积层、多个全局特征提取模块、多个边界细化模块、多个第二卷积层、多个反卷积层和融合层；
所述多个第一卷积层、所述多个全局特征提取模块和所述多个边界细化模块用于对待检测图像进行多尺度特征提取，得到多个第一特征图；
所述多个第二卷积层和所述多个反卷积层用于对所述多个第一特征图进行多层次特征提取，得到多个第二特征图；
所述融合层用于对所述多个第二特征图进行特征加权融合，得到轮廓检测图。
作为本发明进一步的改进，所述训练集包括多个样本图像，每个样本图像包括多个轮廓标注图，
其中，根据训练集训练所述神经网络，包括：
对每个样本图像，将所述样本图像的多个轮廓标注图的特征向量相加取平均，生成所述样本图像的轮廓概率图，其中，所述轮廓概率图中每个像素点的像素轮廓概率的范围为0-1，其中，0表示像素点在多个轮廓标注图中均没有被标注，1表示像素点在多个轮廓标注图中均被标注。
作为本发明进一步的改进，根据训练集训练所述神经网络，包括：
对每个样本图像，确定所述多个第二特征图和所述轮廓概率图的损失，得到多个第一损失函数；
确定所述轮廓检测图和所述轮廓概率图的损失，得到第二损失函数；
将所述多个第一损失函数和所述第二损失函数相加，得到目标损失函数；
通过所述目标损失函数对所述神经网络进行参数优化；
其中，所述目标损失函数为：
Figure BDA0002627936350000051
式中，
Figure BDA0002627936350000052
表示第二特征图的特征向量，i表示样本图像的序号，I表示样本图像的总数，k表示第二特征图的序号，K表示第二特征图的总数，W表示所述神经网络的参数，
Figure BDA0002627936350000053
表示第一损失函数，
Figure BDA0002627936350000054
表示轮廓检测图的特征向量，
Figure BDA0002627936350000055
表示第二损失函数。
作为本发明进一步的改进，对每个样本图像，确定所述多个第二特征图和所述轮廓概率图的损失，得到多个第一损失函数，包括：
对每个样本图像，确定所述轮廓概率图中的各正样本点和各负样本点，其中，各所述正样本点表示像素轮廓概率大于阈值η的像素点，各所述负样本点表示像素轮廓概率为0的像素点；
对每个第二特征图，计算所述第二特征图中各像素点相对于所述轮廓概率图的损失，得到第一损失函数；
其中，第一损失函数为：
Figure BDA0002627936350000056
Figure BDA0002627936350000057
Figure BDA0002627936350000061
式中，Y+表示正样本点，Y-表示负样本点，λ表示平衡正样本点和负样本点数量的参数，Xi表示第二特征图的特征向量，P表示像素点属于正样本点的预测概率。
作为本发明进一步的改进，所述***还包括：
轮廓检测融合模块，用于将所述待检测图像进行标度处理，获取多个尺度的待检测图像，通过所述多尺度特征提取模块、所述多层次特征提取模块和所述轮廓检测模块对每个尺度的待检测图像处理，得到多个轮廓检测图，并将所述多个轮廓检测图进行特征加权融合，得到最终的轮廓检测图。
本发明的有益效果为：
对不同尺度的特征图提取了全局特征和边界特征，将不同层次的特征图进行特征加权融合，实现浅层特征和深层特征的相互补充，并通过深监督进行训练，提高了图像轮廓检测的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一示例性实施例所述的一种图像轮廓检测方法的流程示意图；
图2为本发明一示例性实施例所述的神经网络的示意图；
图3为本发明一示例性实施例所述的神经网络的训练测试流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明的描述中，所用术语仅用于说明目的，并非旨在限制本发明的范围。术语“包括”和/或“包含”用于指定所述元件、步骤、操作和/或组件的存在，但并不排除存在或添加一个或多个其他元件、步骤、操作和/或组件的情况。术语“第一”、“第二”等可能用于描述各种元件，不代表顺序，且不对这些元件起限定作用。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个及两个以上。这些术语仅用于区分一个元素和另一个元素。结合以下附图，这些和/或其他方面变得显而易见，并且，本领域普通技术人员更容易理解关于本发明所述实施例的说明。附图仅出于说明的目的用来描绘本发明所述实施例。本领域技术人员将很容易地从以下说明中认识到，在不背离本发明所述原理的情况下，可以采用本发明所示结构和方法的替代实施例。
本发明实施例所述的一种图像轮廓检测方法，如图1所示，所述方法包括：
对待检测图像进行多尺度特征提取，得到多个第一特征图；
对所述多个第一特征图进行多层次特征提取，得到多个第二特征图；
对所述多个第二特征图进行特征加权融合，得到轮廓检测图，其中，各第二特征图对应的权重不相同。
本发明所述的方法先对图像进行多尺度特征提取，再对尺度相同的特征图融合，获取不同层次的特征，再将不同层次的特征加权融合得到最终检测结果。轮廓在不同层次的特征有很大差异，将不同层次的特征进行加权融合可以提高轮廓检测的精度。可以理解的是，本发明在对不同层次的特征进行融合时，对每个层次的特征采用不同的权重(各第二特征图对应的权重不相同)，以将浅层信息和深层信息进行更好的融合，实现浅层特征和深层特征的相互补充，提高检测精度。
一种可选的实施方式，所述对待检测图像进行多尺度特征提取，得到多个第一特征图，包括：
对待检测图像进行多尺度特征提取，得到多个特征图；
对提取出的多个特征图分别进行全局特征提取，得到多个全局特征图；
对所述多个全局特征图分别进行边界处理，得到所述多个第一特征图。
其中，提取出的多个特征图的特征比较粗糙，无法涵盖图像的全局特征和边界信息，使特征图的轮廓不清晰。本发明所述的方法对每个尺度的特征图进行全局特征提取，获取全局信息，并对轮廓的边界进行细化处理，获取边界信息，得到的第一特征图的轮廓更清晰。
一种可选的实施方式，所述对所述多个第一特征图进行多层次特征提取，得到多个第二特征图，包括：
将所述多个第一特征图中尺度相同的第一特征图分别进行特征融合，得到多个融合特征图；
将所述多个融合特征图分别进行尺寸变换还原到原图像尺寸，得到所述多个第二特征图。
其中，每个尺度包含多个第一特征图，每个第一特征图提取的特征不一样，其中浅层特征图中具有更多的细节特征，深层特征图中具有更多的语义特征，将相同尺度的第一特征图进行特征融合，每个尺度得到一个第二特征图，实现浅层特征和深层特征的融合，融合得到的多个第二特征图可以提高不同尺度的检测效果。
一种可选的实施方式，所述对所述多个第二特征图进行特征加权融合，得到轮廓检测图，包括：
确定各第二特征图对应的权重，其中，各第二特征图对应的权重不相同；
将所述多个第二特征图分别采用对应的权重进行特征加权融合处理，得到所述轮廓检测图。
其中，每个尺度对应一个第二特征图，多个第二特征图的特征不一样，浅层特征图与深层特征图表示的信息不一样，对各个第二特征图分别采用不同的权重进行特征加权融合，相互补充，提高图像轮廓检测的精度。
一种可选的实施方式，所述方法通过神经网络实现，所述方法还包括：根据训练集训练所述神经网络。其中，所述神经网络包括多个第一卷积层、多个全局特征提取模块、多个边界细化模块、多个第二卷积层、多个反卷积层和融合层；
所述多个第一卷积层、所述多个全局特征提取模块和所述多个边界细化模块用于对待检测图像进行多尺度特征提取，得到多个第一特征图；
所述多个第二卷积层和所述多个反卷积层用于对所述多个第一特征图进行多层次特征提取，得到多个第二特征图；
所述融合层用于对所述多个第二特征图进行特征加权融合，得到轮廓检测图。
其中，所述多个第一卷积层用于对待检测图像进行多尺度特征提取，得到多个特征图；
每个第一卷积层连接一个全局特征提取模块，所述多个全局特征提取模块用于对提取出的多个特征图分别进行全局特征提取，得到多个全局特征图；
每个全局特征提取模块连接一个边界细化模块，所述多个边界细化模块用于对所述多个全局特征图分别进行边界处理，得到所述多个第一特征图。
全局特征提取模块(GCN)例如可以采用k x k大核卷积，可以使轮廓检测效果更精确。例如也可以采用1 x k+k x 1和k x 1+1 x k的卷积核，可以减少了参数量和计算量，例如，k＝7。边界细化模块(BR)用于细化边界，使特征图的轮廓更清晰。例如可以采用一个3x3的卷积核和一个Relu激活函数构成的残差分支，将全局特征提取模块输出的粗糙的全局特征图S输入至该残差分支中，输出一个特征图S1，该边界细化模块最终输出的第一特征图为S+S1。
其中，所述多个第二卷积层用于将所述多个第一特征图中尺度相同的第一特征图分别进行特征融合，得到多个融合特征图；
所述多个反卷积层用于将所述多个融合特征图分别进行尺寸变换还原到原图像尺寸，得到所述多个第二特征图。
可以理解的是，在利用神经网络进行训练时，对每个第二特征图初始化一个权重(为一个向量)，训练过程中，每个权重是在不断变化的，训练结束后，每个第二特征图对应的权重即可确定，各第二特征图对应的权重不相同。在进行待检测图像的轮廓检测时，即可利用训练好的各权重来对各第二特征图进行特征加权融合处理，以得到轮廓检测图。
举例说明，如图2所示，本发明采用的神经网络共有13个3x3的第一卷积层，从上到下分别为conv1_1，conv1_2，conv2_1，conv2_2，conv3_1，conv3_2，conv3_3，conv4_1，conv4_2，conv4_3，conv5_1，conv5_2，conv5_3。其中，conv1_1、conv1_2对应第一尺度，conv1_2连接一个池化层；conv2_1、conv2_2对应第二尺度，conv2_2连接一个池化层；conv3_1、conv3_2、conv3_3对应第三尺度，conv3_3连接一个池化层；conv4_1、conv4_2、conv4_3对应第四尺度，conv4_3连接一个池化层；conv5_1、conv5_2、conv5_3对应第五尺度。每个第一卷积层输出连接一个全局特征提取模块和一个边界细化模块。图像输入后，经过13个第一卷积层、13个全局特征提取模块和13个边界细化模块后，得到13个第一特征图。每个尺度的第一特征图通过一个1x1的第二卷积层，得到5个尺度分别对应的5个通道为1的特征图，5个通道为1的特征图再分别通过一个反卷积层，被还原到原图尺寸，得到5个通道为1的第二特征图。将5个通道为1的第二特征图采用不同的权重(即5个第二特征图采用训练好的5个不同的权重)进行特征融合，通过concat层融合得到1个具有5个通道的特征图，再通过一个1x1的卷积层将具有5个通道的特征图输出为1个通道的特征图，即为轮廓检测图。其中，各权重可以通过网络训练确定。
本发明所述神经网络相较于传统的VGGNet网络，减少了第五池化层和所有全连接层，并增加了全局特征提取模块和边界细化模块。第五池化层进一步缩小了图像的尺寸，再将特征图放大还原到原图尺寸时，会导致图像过于模糊而降低检测精度。减少第五池化层和全连接层可以显著减少训练和测试的内存和时间，也能避免图像过于模糊而导致的检测不准确。同时，增加的全局特征提取模块和边界细化模块可以获取特征图的全局信息和边界信息，进一步提高轮廓检测精度。
本发明所述的方法对神经网络进行训练，以获取最优的网络参数，可以更好的对待检测图像进行轮廓检测。本发明例如采用BSDS500数据集和NYUD数据集作为原始数据集。其中，BSDS500数据集是一种用来进行图像分割和物体边缘检测的数据集，该数据集包含200个训练图像、100个验证图像和200个测试图像，每个图像有4-9个标记。在使用时，对BSDS500数据集中的每个训练图像进行不同角度的旋转，裁剪出旋转图像中最大的矩形，同时在每个角度翻转图像，得到增广数据集，并将增广数据集中的增广数据与VOC上下文数据集混合作为训练集中的训练数据。NYUD数据集是由1449对密集标记的RGB和从室内场景捕获的深度图像组成，包括381个训练图像、414个验证图像和654个测试图像。在使用时，对NYUD数据集中的每个训练图像通过随机翻转、缩放和旋转等，得到增广数据集，并将该增广数据集扩充至NYUD数据集中作为训练集的训练数据。
一种可选的实施方式，所述训练集包括多个样本图像，每个样本图像包括多个轮廓标注图，
其中，根据训练集训练所述神经网络，包括：
对每个样本图像，将所述样本图像的多个轮廓标注图的特征向量相加取平均，生成所述样本图像的轮廓概率图，其中，所述轮廓概率图中每个像素点的像素轮廓概率的范围为0-1，其中，0表示像素点在多个轮廓标注图中均没有被标注，1表示像素点在多个轮廓标注图中均被标注。
由于数据集中的图像通常是由不同标注人员标记的，对于同一张图像，不同的标注人员会得到不同的标注图片。将同一张图像的所有轮廓标注图进行处理，得到该图像的轮廓概率图，将轮廓概率图作为训练过程中的标注图，可以减少由单一标记图片训练所带来的检测误差，提高轮廓检测准确率。
一种可选的实施方式，根据训练集训练所述神经网络，包括：
对每个样本图像，确定所述多个第二特征图和所述轮廓概率图的损失，得到多个第一损失函数；
确定所述轮廓检测图和所述轮廓概率图的损失，得到第二损失函数；
将所述多个第一损失函数和所述第二损失函数相加，得到目标损失函数；
通过所述目标损失函数对所述神经网络进行参数优化；
其中，所述目标损失函数为：
Figure BDA0002627936350000111
式中，
Figure BDA0002627936350000112
表示第二特征图的特征向量，i表示样本图像的序号，I表示样本图像的总数，k表示第二特征图的序号，K表示第二特征图的总数，W表示所述神经网络的参数，
Figure BDA0002627936350000113
表示第一损失函数，
Figure BDA0002627936350000114
表示轮廓检测图的特征向量，
Figure BDA0002627936350000115
表示第二损失函数。
一种可选的实施方式，对每个样本图像，确定所述多个第二特征图和所述轮廓概率图的损失，得到多个第一损失函数，包括：
对每个样本图像，确定所述轮廓概率图中的各正样本点和各负样本点，其中，各所述正样本点表示像素轮廓概率大于阈值η的像素点，各所述负样本点表示像素轮廓概率为0的像素点；
对每个第二特征图，计算所述第二特征图中各像素点相对于所述轮廓概率图的损失，得到第一损失函数；
其中，第一损失函数为：
Figure BDA0002627936350000121
Figure BDA0002627936350000122
Figure BDA0002627936350000123
式中，Y+表示正样本点，Y-表示负样本点，λ表示平衡正样本点和负样本点数量的参数，Xi表示第二特征图的特征向量，P表示像素点属于正样本点的预测概率。
其中，本发明所述的方法在考虑正样本点和负样本点时，将像素轮廓概率大于0且小于等于阈值η的像素点舍弃，因为这些像素点可能在语义上具有争议，无法确定是否为轮廓点，将这些像素点看作正样本点或负样本点可能会混淆网络，降低网络的检测准确性。阈值η可以在0-1之间选取，例如设置η＝0.5，本发明对阈值的取值不做具体限定。
本发明所述的方法对输出的不同尺度不同层次的特征图计算损失，并对最后输出的轮廓图计算损失。举例说明，如图2所示，对5个反卷积层输出得到5个第二特征图计算损失，并对concat层融合后输出的轮廓检测图计算损失。本发明通过深监督训练法，对每个第二特征图计算了第一损失函数，可以增加神经网络训练的数据量，减少训练梯度消失和收敛速度过慢等问题，防止网络过拟合，提高检测准确率，使获得的各个尺度的轮廓图(第二特征图)更为精细和整体。其中，在确定目标损失函数最小值时，例如可以采用随机梯度下降算法。
一种可选的实施方式，所述方法还包括：
S4，将所述待检测图像进行标度处理，获取多个尺度的待检测图像，对每个尺度的待检测图像执行S1-S3，得到多个轮廓检测图，并将所述多个轮廓检测图进行特征加权融合，得到最终的轮廓检测图。
本发明所述的方法将多个标度的待检测图像输入神经网络进行检测，可以得到多个轮廓检测图。其中多个标度可以理解为将待检测图像进行不同尺度的缩放，例如获取3个不同尺度的待检测图像(1X，1.5X，0.5X)，分别表示1倍图像、放大至1.5倍图像，缩小0.5倍图像。将得到的多个轮廓检测图融合，可以得到最终的轮廓检测图，再一次的多尺度特征加权融合，可以进一步提高轮廓检测的效果。多个轮廓检测图在融合时，可以对每个轮廓检测图的特征向量设置不同的权重系数，也可以对每个轮廓检测图的特征向量设置相同的权重系数，各权重系数根据待检测图像的尺度进行设计，本发明对各权重系数的取值不做具体限定。
举例说明，在网络训练结束后，对于输入图像X，将3个尺度的输入图像(1X，1.5X，0.5X)分别输入网络，对每个尺度的输入图像可以得到5个第二特征图
Figure BDA0002627936350000131
和1个轮廓检测图Yfuse(例如采用如图2所示的网络)，其中，k表示第二特征图的序号，将3个尺度的输入图像对应得到的3个轮廓检测图Yfuse按照1、1和1的权重系数进行特征加权融合，得到最终的轮廓检测图。
本发明所述的方法，在网络的训练过程中，如图3所示，将输入图像输入神经网络，经多个第一卷积层卷积处理后，输出多个特征图；将多个特征图分别输入至全局特征提取模块，提取全局特征，得到多个全局特征图；将多个全局特征图分别输入至边界细化模块，调整边界信息，得到多个第一特征图。再将多个第一特征图通过多个第二卷积层进行卷积处理，多个第一特征图中尺度相同第一特征图分别进行特征融合，得到多个不同层次的特征图；再分别上采样放大至原图尺寸，得到多个第二特征图。将多个第二特征图进行加权融合，输出轮廓检测图。设计目标损失函数，并将多个第二特征图的损失和轮廓检测图的损失相加，对神经网络进行深监督训练。在网络训练过程中，每次将多张图像输入至网络，进行一次迭代，计算损失函数，再输入多张图像进行下一次迭代，每次迭代使损失函数朝着下降方向，直至收敛，训练结束，可以根据损失函数的下降图像来判断迭代次数。每一轮次结束，还可以使用验证集中的数据对网络进行验证，计算损失，观察是否存在过拟合的情况。训练完成后，还可以使用测试集中的数据对网络进行测试。在测试时，将不同尺度的输入图像分别输入训练后的网络，将多个输出的轮廓检测图进行融合，得到最终的轮廓检测图。
本发明实施例所述的一种图像轮廓检测***，所述***包括：
多尺度特征提取模块，用于对待检测图像进行多尺度特征提取，得到多个第一特征图；
多层次特征提取模块，用于对所述多个第一特征图进行多层次特征提取，得到多个第二特征图；
轮廓检测模块，用于对所述多个第二特征图进行特征加权融合，得到轮廓检测图，其中，各第二特征图对应的权重不相同。
本发明所述的***通过多尺度特征提取模块先对图像进行多尺度特征提取，再通过多层次特征提取模块对尺度相同的特征图融合，获取不同层次的特征，再通过轮廓检测模块将不同层次的特征加权融合得到最终检测结果。轮廓在不同层次的特征有很大差异，将不同层次的特征进行融合可以提高轮廓检测的精度。可以理解的是，本发明在对不同层次的特征进行融合时，对每个层次的特征采用不同的权重(各第二特征图对应的权重不相同)，以将浅层信息和深层信息进行更好的融合，实现浅层特征和深层特征的相互补充，提高检测精度。
一种可选的实施方式，其中，所述多尺度特征提取模块用于：
对待检测图像进行多尺度特征提取，得到多个特征图；
对提取出的多个特征图分别进行全局特征提取，得到多个全局特征图；
对所述多个全局特征图分别进行边界处理，得到所述多个第一特征图。
其中，提取出的多个特征图的特征比较粗糙，无法涵盖图像的全局特征和边界信息，使特征图的轮廓不清晰。本发明所述的***对每个尺度的特征图进行全局特征提取，获取全局信息，并对轮廓的边界进行细化处理，获取边界信息，得到的第一特征图的轮廓更清晰。
一种可选的实施方式，所述多层次特征提取模块用于：
将所述多个第一特征图中尺度相同的第一特征图分别进行特征融合，得到多个融合特征图；
将所述多个融合特征图分别进行尺寸变换还原到原图像尺寸，得到所述多个第二特征图。
其中，每个尺度包含多个第一特征图，每个第一特征图提取的特征不一样，其中浅层特征图中具有更多的细节特征，深层特征图中具有更多的语义特征，将相同尺度的第一特征图进行特征融合，每个尺度得到一个第二特征图，实现浅层特征和深层特征的融合，融合得到的多个第二特征图可以提高不同尺度的检测效果。
一种可选的实施方式，所述轮廓检测模块用于：
确定各第二特征图对应的权重，其中，各第二特征图对应的权重不相同；
将所述多个第二特征图分别采用对应的权重进行特征加权融合处理，得到所述轮廓检测图。
其中，每个尺度对应一个第二特征图，多个第二特征图的特征不一样，浅层特征图与深层特征图表示的信息不一样，对各个第二特征图分别采用不同的权重进行特征加权融合，相互补充，提高图像轮廓检测的精度。
一种可选的实施方式，所述***通过神经网络实现，所述***还包括：根据训练集训练所述神经网络。其中，所述神经网络包括多个第一卷积层、多个全局特征提取模块、多个边界细化模块、多个第二卷积层、多个反卷积层和融合层；
所述多个第一卷积层、所述多个全局特征提取模块和所述多个边界细化模块用于对待检测图像进行多尺度特征提取，得到多个第一特征图；
所述多个第二卷积层和所述多个反卷积层用于对所述多个第一特征图进行多层次特征提取，得到多个第二特征图；
所述融合层用于对所述多个第二特征图进行特征加权融合，得到轮廓检测图。
其中，所述多个第一卷积层用于对待检测图像进行多尺度特征提取，得到多个特征图；
每个第一卷积层连接一个全局特征提取模块，所述多个全局特征提取模块用于对提取出的多个特征图分别进行全局特征提取，得到多个全局特征图；
每个全局特征提取模块连接一个边界细化模块，所述多个边界细化模块用于对所述多个全局特征图分别进行边界处理，得到所述多个第一特征图。
全局特征提取模块(GCN)例如可以采用k x k大核卷积，可以使轮廓检测效果更精确。例如也可以采用1 x k+k x 1和k x 1+1 x k的卷积核，可以减少了参数量和计算量，例如，k＝7。边界细化模块(BR)用于细化边界，使特征图的轮廓更清晰。例如可以采用一个3x3的卷积核和一个Relu激活函数构成的残差分支，将全局特征提取模块输出的粗糙的全局特征图S输入至该残差分支中，输出一个特征图S1，该边界细化模块最终输出的第一特征图为S+S1。
其中，所述多个第二卷积层用于将所述多个第一特征图中尺度相同的第一特征图分别进行特征融合，得到多个融合特征图；
所述多个反卷积层用于将所述多个融合特征图分别进行尺寸变换还原到原图像尺寸，得到所述多个第二特征图。
可以理解的是，在利用神经网络进行训练时，对每个第二特征图初始化一个权重(为一个向量)，训练过程中，每个权重是在不断变化的，训练结束后，每个第二特征图对应的权重即可确定，各第二特征图对应的权重不相同。在进行待检测图像的轮廓检测时，即可利用训练好的各权重来对各第二特征图进行特征加权融合处理，以得到轮廓检测图。
举例说明，如图2所示，本发明采用的神经网络共有13个3x3的第一卷积层，从上到下分别为conv1_1，conv1_2，conv2_1，conv2_2，conv3_1，conv3_2，conv3_3，conv4_1，conv4_2，conv4_3，conv5_1，conv5_2，conv5_3)。其中，conv1_1、conv1_2对应第一尺度，conv1_2连接一个池化层；conv2_1、conv2_2对应第二尺度，conv2_2连接一个池化层；conv3_1、conv3_2、conv3_3对应第三尺度，conv3_3连接一个池化层；conv4_1、conv4_2、conv4_3对应第四尺度，conv4_3连接一个池化层；conv5_1、conv5_2、conv5_3对应第五尺度。每个第一卷积层输出连接一个全局特征提取模块和一个边界细化模块。图像输入后，经过13个第一卷积层、13个全局特征提取模块和13个边界细化模块后，得到13个第一特征图。每个尺度的第一特征图通过一个1x1的第二卷积层，得到5个尺度分别对应的5个通道为1的特征图，5个通道为1的特征图再分别通过一个反卷积层，被还原到原图尺寸，得到5个通道为1的第二特征图。将5个通道为1的第二特征图采用不同的权重(即5个第二特征图采用训练好的5个不同的权重)进行特征融合，通过concat层融合得到1个具有5个通道的特征图，再通过一个1x1的卷积层将具有5个通道的特征图输出为1个通道的特征图，即为轮廓检测图。其中，各权重可以通过网络训练确定。
本发明所述神经网络相较于传统的VGGNet网络，减少了第五池化层和所有全连接层，并增加了全局特征提取模块和边界细化模块。第五池化层进一步缩小了图像的尺寸，再将对特征图放大还原到原图尺寸时，会导致图像过于模糊而降低检测精度。减少第五池化层和全连接层可以显著减少训练和测试的内存和时间，也能避免图像过于模糊而导致的检测不准确。同时，增加的全局特征提取模块和边界细化模块可以获取特征图的全局信息和边界信息，进一步提高轮廓检测精度。
本发明所述的***对神经网络进行训练，以获取最优的网络参数，可以更好的对待检测图像进行轮廓检测。本发明例如采用BSDS500数据集和NYUD数据集作为原始数据集。其中，BSDS500数据集是一种用来进行图像分割和物体边缘检测的数据集，该数据集包含200个训练图像、100个验证图像和200个测试图像，每个图像有4-9个标记。在使用时，对BSDS500数据集中的每个训练图像进行不同角度的旋转，裁剪出旋转图像中最大的矩形，同时在每个角度翻转图像，得到增广数据集，并将增广数据集中的增广数据与VOC上下文数据集混合作为训练集中的训练数据。NYUD数据集是由1449对密集标记的RGB和从室内场景捕获的深度图像组成，包括381个训练图像、414个验证图像和654个测试图像。在使用时，对NYUD数据集中的每个训练图像通过随机翻转、缩放和旋转等，得到增广数据集，并将该增广数据集扩充至NYUD数据集中作为训练集的训练数据。
一种可选的实施方式，其中，所述训练集包括多个样本图像，每个样本图像包括多个轮廓标注图，
其中，根据训练集训练所述神经网络，包括：
对每个样本图像，将所述样本图像的多个轮廓标注图的特征向量相加取平均，生成所述样本图像的轮廓概率图，其中，所述轮廓概率图中每个像素点的像素轮廓概率的范围为0-1，其中，0表示像素点在多个轮廓标注图中均没有被标注，1表示像素点在多个轮廓标注图中均被标注。
由于数据集中的图像通常是由不同标注人员标记的，对于同一张图像，不同的标注人员会得到不同的标注图片。将同一张图像的所有轮廓标注图进行处理，得到该图像的轮廓概率图，将轮廓概率图作为训练过程中的标注图，可以减少由单一标记图片训练所带来的检测误差，提高轮廓检测准确率。
一种可选的实施方式，根据训练集训练所述神经网络，包括：
对每个样本图像，确定所述多个第二特征图和所述轮廓概率图的损失，得到多个第一损失函数；
确定所述轮廓检测图和所述轮廓概率图的损失，得到第二损失函数；
将所述多个第一损失函数和所述第二损失函数相加，得到目标损失函数；
通过所述目标损失函数对所述神经网络进行参数优化；
其中，所述目标损失函数为：
Figure BDA0002627936350000181
式中，
Figure BDA0002627936350000182
表示第二特征图的特征向量，i表示样本图像的序号，I表示样本图像的总数，k表示第二特征图的序号，K表示第二特征图的总数，W表示所述神经网络的参数，
Figure BDA0002627936350000183
表示第一损失函数，
Figure BDA0002627936350000184
表示轮廓检测图的特征向量，
Figure BDA0002627936350000185
表示第二损失函数。
一种可选的实施方式，对每个样本图像，确定所述多个第二特征图和所述轮廓概率图的损失，得到多个第一损失函数，包括：
对每个样本图像，确定所述轮廓概率图中的各正样本点和各负样本点，其中，各所述正样本点表示像素轮廓概率大于阈值η的像素点，各所述负样本点表示像素轮廓概率为0的像素点；
对每个第二特征图，计算所述第二特征图中各像素点相对于所述轮廓概率图的损失，得到第一损失函数；
其中，第一损失函数为：
Figure BDA0002627936350000186
Figure BDA0002627936350000187
Figure BDA0002627936350000188
式中，Y+表示正样本点，Y-表示负样本点，λ表示平衡正样本点和负样本点数量的参数，Xi表示第二特征图的特征向量，P表示像素点属于正样本点的预测概率。
其中，本发明所述的方法在考虑正样本点和负样本点时，将像素轮廓概率大于0小于等于阈值η的像素点舍弃，因为这些像素点可能在语义上具有争议，无法确定是否为轮廓点，将这些像素点看作正样本点或负样本点可能会混淆网络，降低网络的检测准确性。阈值η可以在0-1之间选取，例如设置η＝0.5，本发明对阈值的取值不做具体限定。
本发明所述的方法对输出的不同尺度不同层次的特征图计算损失，并对最后输出的轮廓图计算损失。举例说明，如图2所示，对5个反卷积层输出得到5个第二特征图计算损失，并对concat层融合后输出的轮廓检测图计算损失。本发明通过深监督训练法，对每个第二特征图计算了第一损失函数，可以增加神经网络训练的数据量，减少训练梯度消失和收敛速度过慢等问题，防止网络过拟合，提高检测准确率，使获得的各个尺度的轮廓图(第二特征图)更为精细和整体。其中，在确定目标损失函数最小值时，例如可以采用随机梯度下降算法。
一种可选的实施方式，所述***还包括：
轮廓检测融合模块，用于将所述待检测图像进行标度处理，获取多个尺度的待检测图像，通过所述多尺度特征提取模块、所述多层次特征提取模块和所述轮廓检测模块对每个尺度的待检测图像处理，得到多个轮廓检测图，并将所述多个轮廓检测图进行特征加权融合，得到最终的轮廓检测图。
本发明所述的方法将多个标度的待检测图像输入神经网络进行检测，可以得到多个轮廓检测图。其中多个标度可以理解为将待检测图像进行不同尺度的缩放，例如获取3个不同尺度的待检测图像(1X，1.5X，0.5X)，分别表示1倍图像、放大至1.5倍图像，缩小0.5倍图像。将得到的多个轮廓检测图融合，可以得到最终的轮廓检测图，再一次的多尺度特征加权融合，可以进一步提高轮廓检测的效果。多个轮廓检测图在融合时，可以对每个轮廓检测图的特征向量设置不同的权重系数，也可以对每个轮廓检测图的特征向量设置相同的权重系数，各权重系数根据待检测图像的尺度进行设计，本发明对个权重系数的取值不做具体限定。
举例说明，在网络训练结束后，对于输入图像X，将3个尺度的输入图像(1X，1.5X，0.5X)分别输入网络，对每个尺度的输入图像可以得到5个第二特征图
Figure BDA0002627936350000201
和1个轮廓检测图Yfuse(例如采用如图2所示的网络)，其中，k表示第二特征图的序号，将3个尺度的输入图像对应得到的3个轮廓检测图Yfuse按照1、1和1的权重系数进行特征加权融合，得到最终的轮廓检测图。
本发明所述的***，在网络的训练过程中，如图3所示，将输入图像输入神经网络，经多个第一卷积层卷积处理后，输出多个特征图；将多个特征图分别输入至全局特征提取模块，提取全局特征，得到多个全局特征图；将多个全局特征图分别输入至边界细化模块，调整边界信息，得到多个第一特征图。再将多个第一特征图通过多个第二卷积层进行卷积处理，多个第一特征图中尺度相同第一特征图分别进行特征融合，得到多个不同层次的特征图；再分别上采样放大至原图尺寸，得到多个第二特征图。将多个第二特征图进行加权融合，输出轮廓检测图。设计目标损失函数，并将多个第二特征图的损失和轮廓检测图的损失相加，对神经网络进行深监督训练。在网络训练过程中，每次将多张图像输入至网络，进行一次迭代，计算损失函数，再输入多张图像进行下一次迭代，每次迭代使损失函数朝着下降方向，直至收敛，训练结束，可以根据损失函数的下降图像来判断迭代次数。每一轮次结束，还可以使用验证集中的数据对网络进行验证，计算损失，观察是否存在过拟合的情况。训练完成后，还可以使用测试集中的数据对网络进行测试。在测试时，将不同尺度的输入图像分别输入训练后的网络，将多个输出的轮廓检测图进行融合，得到最终的轮廓检测图。
本公开还涉及一种电子设备，包括服务器、终端等。该电子设备包括：至少一个处理器；与至少一个处理器通信连接的存储器；以及与存储介质通信连接的通信组件，所述通信组件在处理器的控制下接收和发送数据；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行以实现上述实施例中的方法。
在一种可选的实施方式中，存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器中，当被一个或者多个处理器执行时，执行上述任意方法实施例中的方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本公开还涉及一种计算机可读存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行上述部分或全部的方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
此外，本领域普通技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本领域技术人员应理解，尽管已经参考示例性实施例描述了本发明，但是在不脱离本发明的范围的情况下，可进行各种改变并可用等同物替换其元件。另外，在不脱离本发明的实质范围的情况下，可进行许多修改以使特定情况或材料适应本发明的教导。因此，本发明不限于所公开的特定实施例，而是本发明将包括落入所附权利要求范围内的所有实施例。

Claims (10)

1.一种图像轮廓检测方法，其特征在于，所述方法包括：
S1，对待检测图像进行多尺度特征提取，得到多个第一特征图；
S2，对所述多个第一特征图进行多层次特征提取，得到多个第二特征图；
S3，对所述多个第二特征图进行特征加权融合，得到轮廓检测图，其中，各第二特征图对应的权重不相同。
2.如权利要求1所述的方法，其中，所述对待检测图像进行多尺度特征提取，得到多个第一特征图，包括：
对待检测图像进行多尺度特征提取，得到多个特征图；
对提取出的多个特征图分别进行全局特征提取，得到多个全局特征图；
对所述多个全局特征图分别进行边界处理，得到所述多个第一特征图。
3.如权利要求1所述的方法，其中，所述对所述多个第一特征图进行多层次特征提取，得到多个第二特征图，包括：
将所述多个第一特征图中尺度相同的第一特征图分别进行特征融合，得到多个融合特征图；
将所述多个融合特征图分别进行尺寸变换还原到原图像尺寸，得到所述多个第二特征图。
4.如权利要求1所述的方法，其中，所述对所述多个第二特征图进行特征加权融合，得到轮廓检测图，包括：
确定各第二特征图对应的权重，其中，各第二特征图对应的权重不相同；
将所述多个第二特征图分别采用对应的权重进行特征加权融合处理，得到所述轮廓检测图。
5.如权利要求1所述的方法，其中，所述方法通过神经网络实现，所述方法还包括：根据训练集训练所述神经网络，
其中，所述神经网络包括多个第一卷积层、多个全局特征提取模块、多个边界细化模块、多个第二卷积层、多个反卷积层和融合层；
所述多个第一卷积层、所述多个全局特征提取模块和所述多个边界细化模块用于对待检测图像进行多尺度特征提取，得到多个第一特征图；
所述多个第二卷积层和所述多个反卷积层用于对所述多个第一特征图进行多层次特征提取，得到多个第二特征图；
所述融合层用于对所述多个第二特征图进行特征加权融合，得到轮廓检测图。
6.如权利要求5所述的方法，其中，所述训练集包括多个样本图像，每个样本图像包括多个轮廓标注图，
其中，根据训练集训练所述神经网络，包括：
对每个样本图像，将所述样本图像的多个轮廓标注图的特征向量相加取平均，生成所述样本图像的轮廓概率图，其中，所述轮廓概率图中每个像素点的像素轮廓概率的范围为0-1，其中，0表示像素点在多个轮廓标注图中均没有被标注，1表示像素点在多个轮廓标注图中均被标注。
7.如权利要求6所述的方法，其中，根据训练集训练所述神经网络，包括：
对每个样本图像，确定所述多个第二特征图和所述轮廓概率图的损失，得到多个第一损失函数；
确定所述轮廓检测图和所述轮廓概率图的损失，得到第二损失函数；
将所述多个第一损失函数和所述第二损失函数相加，得到目标损失函数；
通过所述目标损失函数对所述神经网络进行参数优化；
其中，所述目标损失函数为：
Figure FDA0002627936340000021
式中，
Figure FDA0002627936340000022
表示第二特征图的特征向量，i表示样本图像的序号，I表示样本图像的总数，k表示第二特征图的序号，K表示第二特征图的总数，W表示所述神经网络的参数，
Figure FDA0002627936340000025
表示第一损失函数，
Figure FDA0002627936340000023
表示轮廓检测图的特征向量，
Figure FDA0002627936340000024
表示第二损失函数。
8.如权利要求7所述的方法，其中，对每个样本图像，确定所述多个第二特征图和所述轮廓概率图的损失，得到多个第一损失函数，包括：
对每个样本图像，确定所述轮廓概率图中的各正样本点和各负样本点，其中，各所述正样本点表示像素轮廓概率大于阈值η的像素点，各所述负样本点表示像素轮廓概率为0的像素点；
对每个第二特征图，计算所述第二特征图中各像素点相对于所述轮廓概率图的损失，得到第一损失函数；
其中，第一损失函数为：
Figure FDA0002627936340000031
Figure FDA0002627936340000032
Figure FDA0002627936340000033
式中，Y+表示正样本点，Y-表示负样本点，λ表示平衡正样本点和负样本点数量的参数，Xi表示第二特征图的特征向量，P表示像素点属于正样本点的预测概率。
9.如权利要求1所述的方法，其中，所述方法还包括：
S4，将所述待检测图像进行标度处理，获取多个尺度的待检测图像，对每个尺度的待检测图像执行S1-S3，得到多个轮廓检测图，并将所述多个轮廓检测图进行特征加权融合，得到最终的轮廓检测图。
10.一种图像轮廓检测***，其特征在于，所述***包括：
多尺度特征提取模块，用于对待检测图像进行多尺度特征提取，得到多个第一特征图；
多层次特征提取模块，用于对所述多个第一特征图进行多层次特征提取，得到多个第二特征图；
轮廓检测模块，用于对所述多个第二特征图进行特征加权融合，得到轮廓检测图，其中，各第二特征图对应的权重不相同。
CN202010802590.5A 2020-08-11 2020-08-11 一种图像轮廓检测方法及*** Active CN112001403B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010802590.5A CN112001403B (zh) 2020-08-11 2020-08-11 一种图像轮廓检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010802590.5A CN112001403B (zh) 2020-08-11 2020-08-11 一种图像轮廓检测方法及***

Publications (2)

Publication Number Publication Date
CN112001403A true CN112001403A (zh) 2020-11-27
CN112001403B CN112001403B (zh) 2023-12-15

Family

ID=73463787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010802590.5A Active CN112001403B (zh) 2020-08-11 2020-08-11 一种图像轮廓检测方法及***

Country Status (1)

Country Link
CN (1) CN112001403B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077484A (zh) * 2021-03-30 2021-07-06 中国人民解放军战略支援部队信息工程大学 一种图像实例分割方法
CN113095254A (zh) * 2021-04-20 2021-07-09 清华大学深圳国际研究生院 一种人体部位关键点的定位方法及***
CN113298092A (zh) * 2021-05-28 2021-08-24 有米科技股份有限公司 用于多层次图像轮廓信息提取的神经网络训练方法及装置
CN113674300A (zh) * 2021-08-24 2021-11-19 苏州天准软件有限公司 用于cnc自动测量的模型训练方法、测量方法及***、设备、介质
CN113673578A (zh) * 2021-07-27 2021-11-19 浙江大华技术股份有限公司 图像检测方法、图像检测设备及计算机可读存储介质
CN113963337A (zh) * 2021-12-22 2022-01-21 中国科学院自动化研究所 物体图像轮廓基元提取方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035251A (zh) * 2018-06-06 2018-12-18 杭州电子科技大学 一种基于多尺度特征解码的图像轮廓检测方法
CN109344821A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于特征融合和深度学习的小目标检测方法
CN110119728A (zh) * 2019-05-23 2019-08-13 哈尔滨工业大学 基于多尺度融合语义分割网络的遥感图像云检测方法
CN110263705A (zh) * 2019-06-19 2019-09-20 上海交通大学 面向遥感技术领域两期高分辨率遥感影像变化检测方法
CN111325762A (zh) * 2020-01-21 2020-06-23 广西科技大学 基于密集连接解码网络的轮廓检测方法
US20200242422A1 (en) * 2019-01-29 2020-07-30 Boe Technology Group Co., Ltd. Method and electronic device for retrieving an image and computer readable storage medium

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035251A (zh) * 2018-06-06 2018-12-18 杭州电子科技大学 一种基于多尺度特征解码的图像轮廓检测方法
CN109344821A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于特征融合和深度学习的小目标检测方法
US20200242422A1 (en) * 2019-01-29 2020-07-30 Boe Technology Group Co., Ltd. Method and electronic device for retrieving an image and computer readable storage medium
CN110119728A (zh) * 2019-05-23 2019-08-13 哈尔滨工业大学 基于多尺度融合语义分割网络的遥感图像云检测方法
CN110263705A (zh) * 2019-06-19 2019-09-20 上海交通大学 面向遥感技术领域两期高分辨率遥感影像变化检测方法
CN111325762A (zh) * 2020-01-21 2020-06-23 广西科技大学 基于密集连接解码网络的轮廓检测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077484A (zh) * 2021-03-30 2021-07-06 中国人民解放军战略支援部队信息工程大学 一种图像实例分割方法
CN113095254A (zh) * 2021-04-20 2021-07-09 清华大学深圳国际研究生院 一种人体部位关键点的定位方法及***
CN113095254B (zh) * 2021-04-20 2022-05-24 清华大学深圳国际研究生院 一种人体部位关键点的定位方法及***
CN113298092A (zh) * 2021-05-28 2021-08-24 有米科技股份有限公司 用于多层次图像轮廓信息提取的神经网络训练方法及装置
CN113673578A (zh) * 2021-07-27 2021-11-19 浙江大华技术股份有限公司 图像检测方法、图像检测设备及计算机可读存储介质
CN113674300A (zh) * 2021-08-24 2021-11-19 苏州天准软件有限公司 用于cnc自动测量的模型训练方法、测量方法及***、设备、介质
CN113963337A (zh) * 2021-12-22 2022-01-21 中国科学院自动化研究所 物体图像轮廓基元提取方法和装置

Also Published As

Publication number Publication date
CN112001403B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
CN112001403B (zh) 一种图像轮廓检测方法及***
CN112990432B (zh) 目标识别模型训练方法、装置及电子设备
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
CN107564025B (zh) 一种基于深度神经网络的电力设备红外图像语义分割方法
CN111027493B (zh) 一种基于深度学习多网络软融合的行人检测方法
CN108960211B (zh) 一种多目标人体姿态检测方法以及***
CN111814902A (zh) 目标检测模型训练方法、目标识别方法、装置和介质
CN110969627B (zh) 图像分割模型训练方法、图像处理方法及装置
CN110378837B (zh) 基于鱼眼摄像头的目标检测方法、装置和存储介质
CN109697441B (zh) 一种目标检测方法、装置及计算机设备
CN111783779B (zh) 图像处理方法、装置和计算机可读存储介质
CN110889399B (zh) 基于深度学习的高分辨率遥感影像弱小目标检测方法
CN111738270B (zh) 模型生成方法、装置、设备和可读存储介质
CN112381837A (zh) 一种图像处理方法及电子设备
CN113781164B (zh) 虚拟试衣模型训练方法、虚拟试衣方法和相关装置
CN114861842A (zh) 少样本目标检测方法、装置和电子设备
CN112241736A (zh) 一种文本检测的方法及装置
CN114299358A (zh) 图像质量评估方法、装置、电子设备及机器可读存储介质
CN113744280A (zh) 图像处理方法、装置、设备及介质
CN110472092B (zh) 一种街景图片的地理定位方法及***
CN111860623A (zh) 基于改进ssd神经网络的统计树木数量的方法及***
CN112699809B (zh) 痘痘类别识别方法、装置、计算机设备及存储介质
CN112801045B (zh) 一种文本区域检测方法、电子设备及计算机存储介质
CN111127327B (zh) 一种图片倾斜检测方法及装置
CN113326891A (zh) 小目标对象的检测方法、***及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant