CN108921850B - 一种基于图像分割技术的图像局部特征的提取方法 - Google Patents

一种基于图像分割技术的图像局部特征的提取方法 Download PDF

Info

Publication number
CN108921850B
CN108921850B CN201810336591.8A CN201810336591A CN108921850B CN 108921850 B CN108921850 B CN 108921850B CN 201810336591 A CN201810336591 A CN 201810336591A CN 108921850 B CN108921850 B CN 108921850B
Authority
CN
China
Prior art keywords
image
network
feature extraction
training
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810336591.8A
Other languages
English (en)
Other versions
CN108921850A (zh
Inventor
张雷
陈杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boyun Vision Beijing Technology Co ltd
Original Assignee
Boyun Vision Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boyun Vision Beijing Technology Co ltd filed Critical Boyun Vision Beijing Technology Co ltd
Priority to CN201810336591.8A priority Critical patent/CN108921850B/zh
Publication of CN108921850A publication Critical patent/CN108921850A/zh
Application granted granted Critical
Publication of CN108921850B publication Critical patent/CN108921850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于图像分割技术的图像局部特征的提取方法，包括以下步骤：1、构建图像分割模型；2、图像输入CNN网络，获得多层的特征图，在经过多个卷积层及池化降采样之后，得到了特征图以及对应每张特征图降采样时原本像素所在位置的信息；3、将特征图通过上采样模块向上采样，重新将像素分配到原本的位置；4、对新产生的特征图上每个像素位置计算softmax损失；5、不断迭代上述过程，直到回传的损失值小到接受范围内，完成图像分割模型的构建与训练的过程；6、通过训练特征提取网络完成图像局部特征的提取。本发明可以实现不同程度的精准检索，精准定位目标以及目标部位，从而提取关键部位特征进行细致的特征比对。

Description

一种基于图像分割技术的图像局部特征的提取方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于图像分割技术的图像局部特征的提取方法。
背景技术
图像检索是利用图像搜索相似图像或同一目标图像的过程。精准检索就要求搜索到的图像都是同一目标的图像，而不是相似目标。图像检索的流程包括图像特征的提取，图像特征的入库，特征的对比，按相似度对输出结果进行排序。市面上图像检索的方法很多，其中主要的创新都聚焦在图像特征的提取方式，特征的对比方式以及最后的输出结果的排序方法。本发明的关键是利用图像分割技术，深度模型去对图像或目标进行像素级别的分割，精准定位目标位置(行人，车辆在图像的位置)或目标部分(人的躯干，四肢)的位置，针对这些位置来对应的提取特征，对部分特征的对比可以细致的分辨出是否为同一目标，相比于全局特征，这样的局部特征包含的细节信息更多，更有助于目标的区分。
大部分现有技术的特征提取方案是基于全局特征进行的，细致一点的局部特征也很少有针对像素级别的特征提取，基本都是使用图像梯度或者使用框选的图像块的方法去进行局部特征的提取。在相似图像的图像检索任务中，这样的特征基本可以满足任务的要求，但是细致到检索同一目标的检索任务时，这样的特征也不能很好的满足任务要求。
另外，在进行检索任务时，检索图像一般要求输入图像是只包含目标图像的图像，或者输入全图(包含各种场景和目标的图)后，在做检索前要进行一次检测，才能对目标进行图像检索。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于图像分割技术的图像局部特征的提取方法，以解决现有技术的不足。
为实现上述目的，本发明提供了一种基于图像分割技术的图像局部特征的提取方法，包括以下步骤：
步骤1、构建图像分割模型，分割模型由多个不同功能的网络层组成，包括CNN模型结构、batchnorm层结构、deconv层结构；
步骤2、图像输入CNN网络，获得多层的特征图，在经过多个卷积层及池化降采样之后，得到了特征图以及对应每张特征图降采样时原本像素所在位置的信息；
步骤3、将特征图通过上采样模块向上采样，根据之前每层特征图上像素原本的位置信息，重新将像素分配到原本的位置，使产生的特征图和原始输入图像的特征保持一致；
步骤4、对新产生的特征图上每个像素位置计算softmax损失，对每一个像素点的位置进行分类，通过比较手工标注的图像标签与网络输出的结果，计算出针对每个像素位置的损失，通过回传损失，训练模型中的参数；
步骤5、不断迭代上述过程，直到回传的损失值小到接受范围内，完成图像分割模型的构建与训练的过程；
步骤6、完成图像分割模型的构建与训练的过程后，通过训练特征提取网络，根据上一个分割网络的输出图像，对原始图像提取不同部位的特征，完成图像局部特征的提取。
上述的一种基于图像分割技术的图像局部特征的提取方法，所述步骤6的特征提取网络包括模型构建部分和特征训练部分。
上述的一种基于图像分割技术的图像局部特征的提取方法，所述特征提取网络特征提取的分支部分采用残差设计，通过将图像分割网络模型的输出，输入特征提取网络的残差网络，经过一系列的残差层，最终使用三元组损失函数与softmax损失函数，共同监督这个特征提取网络的训练。
上述的一种基于图像分割技术的图像局部特征的提取方法，所述特征提取网络输入的图像是根据分割网络的输出结果，从原图上提取相应位置的图像，取一块矩形区域，矩形区域的大小根据实际检索需求设定，对于在矩形区域内，需要的类别所属的像素位置上填充原图像相应位置像素，其余位置全部置0。
上述的一种基于图像分割技术的图像局部特征的提取方法，所述特征提取网络在训练时,网络的输入图像为三元组图像,三元组中包含两张同一目标的图像,一张不同目标的图像；训练结束,在用户使用时,特征提取网络的输入一张图像。
上述的一种基于图像分割技术的图像局部特征的提取方法，所述特征提取网络输入图像可以是从整个场景中分割出的目标图像，也可以是目标图像的局部图像。
本发明的有益效果是：
本发明利用图像分割技术，图像特征部分采用图像分割网络和特征提取网络的融合网络方法，将图像分割网络引入了特征提取网络中，根据目标标注等级的不同，可以实现不同程度的精准检索，精准定位目标以及目标部位定位，从而提取关键部位特征进行细致的特征比对，能更加有效的将同一目标的特征与其他特征区分开来。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的框架流程图。
具体实施方式
如图1所示，一种基于图像分割技术的图像局部特征的提取方法，包括以下步骤：
步骤1、构建图像分割模型，分割模型由多个不同功能的网络层组成，包括CNN模型结构、batchnorm层结构、deconv层结构；
步骤2、图像输入CNN网络，获得多层的特征图，在经过多个卷积层及池化降采样之后，得到了特征图以及对应每张特征图降采样时原本像素所在位置的信息；
步骤3、将特征图通过上采样模块向上采样，根据之前每层特征图上像素原本的位置信息，重新将像素分配到原本的位置，使产生的特征图和原始输入图像的特征保持一致；
步骤4、对新产生的特征图上每个像素位置计算softmax损失，对每一个像素点的位置进行分类，通过比较手工标注的图像标签与网络输出的结果，计算出针对每个像素位置的损失，通过回传损失，训练模型中的参数；
步骤5、不断迭代上述过程，直到回传的损失值小到接受范围内，完成图像分割模型的构建与训练的过程；
步骤6、完成图像分割模型的构建与训练的过程后，通过训练特征提取网络，根据上一个分割网络的输出图像，对原始图像提取不同部位的特征，完成图像局部特征的提取。
本实施例中，所述步骤6的特征提取网络包括模型构建部分和特征训练部分。
本实施例中，所述特征提取网络特征提取的分支部分采用残差设计，通过将图像分割网络模型的输出，输入特征提取网络的残差网络，经过一系列的残差层，最终使用三元组损失函数与softmax损失函数，共同监督这个特征提取网络的训练。
本实施例中，所述特征提取网络输入的图像是根据分割网络的输出结果，从原图上提取相应位置的图像，取一块矩形区域，矩形区域的大小根据实际检索需求设定，对于在矩形区域内，需要的类别所属的像素位置上填充原图像相应位置像素，其余位置全部置0。
本实施例中，所述特征提取网络在训练时,网络的输入图像为三元组图像,三元组中包含两张同一目标的图像,一张不同目标的图像；训练结束,在用户使用时,特征提取网络的输入一张图像。
本实施例中，所述特征提取网络输入图像可以是从整个场景中分割出的目标图像，也可以是目标图像的局部图像。
一般的图像检索流程分为图像特征提取、图像入库、检索图像特征比对三个流程，本方法是主要针对图像特征提取做出创新。图像特征部分采用图像分割网络和特征提取网络的融合网络方法，将图像分割网络引入了特征提取网络中，根据目标标注等级的不同，可以实现不同程度的精准检索。当标注只针对目标和背景时，提取的图像特征将局限于目标区域，此时产生一个图像局部用于特征检索的目标特征。当标注是针对目标本身进行了更细粒度的标注(比如，对于人来说，他标注出了人头，人躯干，人的四肢以及携带物品等)，此时得到一个由目标局部特征组合而成的检索特征。两种情况下的检索性能都要优于单独使用单张图像进行检索的效果。
图像目标分割指的是从图像中像素级别的将目标从图像背景中分割出来，根据分割细粒度的不同，也可以将目标的部分从目标中分离出来从而达到将目标的局部特征提取出来的目的。本发明中使用的图像分割方法，是使用深度神经网络CNN的一种图像分割方法，分割网络将原始输入图像根据在训练集上训练的结果，生成输出一张与输入图像尺寸一致的图像，这张图像的像素对应于原始图像中每个像素点的类别信息。当训练数据中的类别只包含目标与背景两个类别时，输出图像的像素将只包含两种像素值，用以区别前景与背景。本发明根据区分出的前后背景，将目标部分的特征取出，放入特征提取分支，产生的特征就是用于图像检索使用的特征。
接下来叙述下图像分割的大致流程。首先，需要构建图像分割模型，分割模型由多个不同功能的网络层组成，除了常用的CNN模型结构外，还加入了batchnorm层，deconv层等不同结构。整体模型框架如图1所示。
图像先通过一个CNN网络，获得多层的特征图，在经过多个卷积层及池化(pooling，降采样)之后，得到了特征图，以及对应每张特征图降采样时原本像素所在位置的信息。
这之后，这些特征图通过向上采样，根据之前每层特征图上像素原本的位置信息，重新将像素分配到原本的位置，使产生的特征图，尽可能和原始输入图像的特征保持一致。
对新产生的特征图上每个像素位置计算softmax loss，对每一个像素点的位置进行分类，通过比较手工标注的图像标签与网络输出的结果，计算出针对每个像素位置的损失(loss)，通过回传损失，达到训练模型中参数的作用。使模型的输出图像中，每个像素都对应一个类别，根据类别的不同，就可以针对需要的类别的位置来提取相应位置的图像。
不断迭代上述过程，直到回传的损失值小到接受范围内，这样就完成了图像分割模型的构建与训练的过程。
但由于本发明是针对图像检索任务，直接提取分割网络的卷积层或池化层的特征不足以达到检索任务的需求，所以这里引入一个特征提取网络。这个网络作为分割网络的一个分支，在分割网络训练完成之后，再单独训练这个分支部分。这个特征提取网络主要是根据上一个分割网络的输出图像，对原始图像提取不同部位的特征。这个特征提取网络也分为模型构建部分和特征训练部分。首先介绍下模型构建部分：
特征提取的分支部分采用残差设计，通过将上述网络产生的特征图以及图像分割网络的输出，输入特征提取的残差网络，经过一系列的残差层，最终使用三元组损失函数与softmax损失函数，共同监督这个特征提取网络的训练。输入特征提取网络的图像是根据分割网络的输出结果，从原图上提取相应位置的图像，取一块矩形区域，矩形区域的大小根据实际检索需求设定，对于在矩形区域内，需要的类别所属的像素位置上填充原图像相应位置像素，其余位置全部置0。三元组损失与softmax特征一个监督特征的分类，一个监督不同目标特征的离散程度，目的是使产生的特征分辨能力更强，对同一目标的特征更敏感。
训练部分，由于需要用到三元组loss，所以在输入图像的组织上需要进行一些处理，将同一目标的2张不同图像与另一不同目标的图像组合在一起，一同输入网络中。在本发明中，输入图像可以是从整个场景中分割出的目标图像，也可以是目标图像的局部图像。其余的训练过程和分割网络的训练流程相似。
在特征提取网络的输出部分，结合之前的图像分割网络的输出结果，就可以对应分割结果提取图像部分及目标部分的特征，进行目标局部细节比对。
在将特征图与分割结果输入特征提取网络后，可以根据实际项目需求，设置好提取特征的形式，可以根据分割结果对目标不同部位获取不同的局部特征，也可以整体提取目标部分特征。当提取整个目标特征时，允许输入图像中存在两个及以上的目标。当选择提取目标部分区域特征时，输入图像只允许存在一个目标。根据用户选择和比对方法的不同，这种局部特征的选择方式也更灵活。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (3)

1.一种基于图像分割技术的图像局部特征的提取方法，其特征在于，包括以下步骤：
步骤1、构建图像分割模型，分割模型由多个不同功能的网络层组成，包括CNN模型结构、batchnorm层结构、deconv层结构；
步骤2、图像输入CNN网络，获得多层的特征图，在经过多个卷积层及池化降采样之后，得到了特征图以及对应每张特征图降采样时原本像素所在位置的信息；
步骤3、将特征图通过上采样模块向上采样，根据之前每层特征图上像素原本的位置信息，重新将像素分配到原本的位置，使产生的特征图和原始输入图像的特征保持一致；
步骤4、对新产生的特征图上每个像素位置计算softmax损失，对每一个像素点的位置进行分类，通过比较手工标注的图像标签与网络输出的结果，计算出针对每个像素位置的损失，通过回传损失，训练模型中的参数；
步骤5、不断迭代上述过程，直到回传的损失值小到接受范围内，完成图像分割模型的构建与训练的过程；
步骤6、完成图像分割模型的构建与训练的过程后，通过训练特征提取网络，根据上一个分割网络的输出图像，对原始图像提取不同部位的特征，完成图像局部特征的提取；
其中，所述特征提取网络输入的图像是根据分割网络的输出结果，从原图上提取相应位置的图像，取一块矩形区域，矩形区域的大小根据实际检索需求设定，对于在矩形区域内，需要的类别所属的像素位置上填充原图像相应位置像素，其余位置全部置0；
所述特征提取网络在训练时,网络的输入图像为三元组图像,三元组中包含两张同一目标的图像,一张不同目标的图像；训练结束,在用户使用时,特征提取网络的输入一张图像；
所述特征提取网络输入图像可以是从整个场景中分割出的目标图像，也可以是目标图像的局部图像。
2.如权利要求1所述的一种基于图像分割技术的图像局部特征的提取方法，其特征在于，所述步骤6的特征提取网络包括模型构建部分和特征训练部分。
3.如权利要求2所述的一种基于图像分割技术的图像局部特征的提取方法，其特征在于：所述特征提取网络特征提取的分支部分采用残差设计，通过将图像分割网络模型的输出，输入特征提取网络的残差网络，经过一系列的残差层，最终使用三元组损失函数与softmax损失函数，共同监督这个特征提取网络的训练。
CN201810336591.8A 2018-04-16 2018-04-16 一种基于图像分割技术的图像局部特征的提取方法 Active CN108921850B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810336591.8A CN108921850B (zh) 2018-04-16 2018-04-16 一种基于图像分割技术的图像局部特征的提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810336591.8A CN108921850B (zh) 2018-04-16 2018-04-16 一种基于图像分割技术的图像局部特征的提取方法

Publications (2)

Publication Number Publication Date
CN108921850A CN108921850A (zh) 2018-11-30
CN108921850B true CN108921850B (zh) 2022-05-17

Family

ID=64402935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810336591.8A Active CN108921850B (zh) 2018-04-16 2018-04-16 一种基于图像分割技术的图像局部特征的提取方法

Country Status (1)

Country Link
CN (1) CN108921850B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685803B (zh) * 2018-12-14 2020-10-23 深圳先进技术研究院 一种左心室图像分割方法、装置、设备及存储介质
CN109960742B (zh) * 2019-02-18 2021-11-05 苏州科达科技股份有限公司 局部信息的搜索方法及装置
CN110458849B (zh) * 2019-07-26 2023-04-25 山东大学 一种基于特征修正的图像分割方法
CN113255760A (zh) * 2021-05-20 2021-08-13 推想医疗科技股份有限公司 训练图像处理模型的方法、图像处理的方法及装置
CN115661449B (zh) * 2022-09-22 2023-11-21 北京百度网讯科技有限公司 图像分割与图像分割模型的训练方法、装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法
CN106384100A (zh) * 2016-09-28 2017-02-08 武汉大学 一种基于部件的精细车型识别方法
CN106980641A (zh) * 2017-02-09 2017-07-25 上海交通大学 基于卷积神经网络的无监督哈希快速图片检索***及方法
CN107016681A (zh) * 2017-03-29 2017-08-04 浙江师范大学 基于全卷积网络的脑部mri肿瘤分割方法
CN107203999A (zh) * 2017-04-28 2017-09-26 北京航空航天大学 一种基于全卷积神经网络的皮肤镜图像自动分割方法
CN107729818A (zh) * 2017-09-21 2018-02-23 北京航空航天大学 一种基于深度学习的多特征融合车辆重识别方法
CN107784282A (zh) * 2017-10-24 2018-03-09 北京旷视科技有限公司 对象属性的识别方法、装置及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106649487B (zh) * 2016-10-09 2020-02-18 苏州大学 基于兴趣目标的图像检索方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法
CN106384100A (zh) * 2016-09-28 2017-02-08 武汉大学 一种基于部件的精细车型识别方法
CN106980641A (zh) * 2017-02-09 2017-07-25 上海交通大学 基于卷积神经网络的无监督哈希快速图片检索***及方法
CN107016681A (zh) * 2017-03-29 2017-08-04 浙江师范大学 基于全卷积网络的脑部mri肿瘤分割方法
CN107203999A (zh) * 2017-04-28 2017-09-26 北京航空航天大学 一种基于全卷积神经网络的皮肤镜图像自动分割方法
CN107729818A (zh) * 2017-09-21 2018-02-23 北京航空航天大学 一种基于深度学习的多特征融合车辆重识别方法
CN107784282A (zh) * 2017-10-24 2018-03-09 北京旷视科技有限公司 对象属性的识别方法、装置及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的图像语义分割;陈鸿翔;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160715(第07期);I138-1091 *
基于深度学习的小面积指纹匹配方法;张永良;《计算机应用》;20171110;第37卷(第11期);第3213-3215页 *

Also Published As

Publication number Publication date
CN108921850A (zh) 2018-11-30

Similar Documents

Publication Publication Date Title
CN108921850B (zh) 一种基于图像分割技术的图像局部特征的提取方法
CN108764065B (zh) 一种行人重识别特征融合辅助学习的方法
Yang et al. Real-time face detection based on YOLO
CN107341517B (zh) 基于深度学习层级间特征融合的多尺度小物体检测方法
CN110084850B (zh) 一种基于图像语义分割的动态场景视觉定位方法
CN107833213B (zh) 一种基于伪真值自适应法的弱监督物体检测方法
CN109741331B (zh) 一种图像前景物体分割方法
US20210264144A1 (en) Human pose analysis system and method
CN109389057B (zh) 一种基于多尺度高级语义融合网络的物体检测方法
CN109784197B (zh) 基于孔洞卷积与注意力学习机制的行人再识别方法
CN106126581A (zh) 基于深度学习的手绘草图图像检索方法
KR102190527B1 (ko) 자동 영상 합성 장치 및 방법
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
Yang et al. Real-time pedestrian and vehicle detection for autonomous driving
CN112560675B (zh) Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法
CN110781882A (zh) 一种基于yolo模型的车牌定位和识别方法
CN112950477A (zh) 一种基于双路径处理的高分辨率显著性目标检测方法
CN113269224A (zh) 一种场景图像分类方法、***及存储介质
Zang et al. Traffic lane detection using fully convolutional neural network
CN104050460B (zh) 多特征融合的行人检测方法
CN116721301B (zh) 目标场景分类模型训练方法、分类方法、设备及存储介质
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及***
CN108717436B (zh) 一种基于显著性检测的商品目标快速检索方法
CN116597267B (zh) 图像识别方法、装置、计算机设备和存储介质
Yang et al. Real-time pedestrian detection for autonomous driving

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant