CN108009279A - 一种基于空间位置关系图匹配的图像区域标签修正方法 - Google Patents

一种基于空间位置关系图匹配的图像区域标签修正方法 Download PDF

Info

Publication number
CN108009279A
CN108009279A CN201711387394.0A CN201711387394A CN108009279A CN 108009279 A CN108009279 A CN 108009279A CN 201711387394 A CN201711387394 A CN 201711387394A CN 108009279 A CN108009279 A CN 108009279A
Authority
CN
China
Prior art keywords
label
region
image
spatial relation
confidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711387394.0A
Other languages
English (en)
Other versions
CN108009279B (zh
Inventor
张静
王振坤
穆亚昆
陈志华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China University of Science and Technology
Original Assignee
East China University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China University of Science and Technology filed Critical East China University of Science and Technology
Priority to CN201711387394.0A priority Critical patent/CN108009279B/zh
Publication of CN108009279A publication Critical patent/CN108009279A/zh
Application granted granted Critical
Publication of CN108009279B publication Critical patent/CN108009279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于空间位置关系图匹配的图像区域标签修正方法。该方法通过构建图像区域标签的空间位置关系图，并在其基础上实现图像区域标签的修正。空间位置关系图以图像区域标签为顶点，并将图像区域标签的语义相关性以及区域标签的空间位置关系设置为边的权重。图像区域标签修正通过利用迭代的随机游走算法在空间位置关系图的基础上生成区域关系图实现图像区域待修正标签的确定。最后通过空间位置关系图计算候选标签的综合匹配度，并将匹配度最高的标签置为待修正区域的标签。实验表明，该方法可以有效地对自动图像区域标注算法产生的错误标签进行修正，提升图像自动区域标注的准确性。

Description

一种基于空间位置关系图匹配的图像区域标签修正方法
技术领域
本发明主要涉及图像语义标注领域，具体涉及一种基于空间位置关系图匹配的图像区域标签修正方法。
背景技术
图像区域标注是对图像的局部区域信息匹配相应语义关键词的过程。由于“语义鸿沟”的存在，严重影响了传统图像区域标注算法的准确性，本发明提出了一种基于图像区域的标签修正方法。
图像区域标签之间具有语义相关性、位置相邻性以及方向位置关联性，这些信息有助于图像区域语义理解与标注，因而本发明提出一种能够有效描述上述关系的空间位置关系图，并以此图为基础实现增量迭代的随机游走算法对图像区域标签进行修正。
发明内容
本发明的目的在于提出一种基于空间位置关系图匹配的图像区域标签修正方法，通过分析图像区域的不同语义标签之间的共现关系以及空间位置关系，构造空间位置关系图，提出增量迭代的随机游走算法对图像区域标签进行修正。
本发明的技术方案如下：
(1)计算图像区域标签语义相关性：语义相关性由不同标签之间的语义共现度表示，语义共现度根据语义标签在图像训练集中共现概率计算；
(2)计算图像区域标签空间位置关系：空间位置关系通过分析图像区域标签的相邻关系以及方向位置关系获取；
(3)待修正图像区域初始置信标签获取：置信标签的初始值将空间位置关系图与待修正图像的区域关系图进行子图匹配，得到关联边权重累积值作为对应顶点的初始置信值；
(4)增量迭代的随机游走：以初始置信标签为种子标签，采用增量的方式产生待修正图像新的区域关系图，并迭代进行随机游走来更新其置信值；
(5)待修正图像的非置信区域的标签重预测：将带有重预测新标签的候选区域关系图与空间位置关系图进行子图匹配，得到其综合匹配度，选取匹配度最高的标签作为待预测区域的置信标签。
附图说明
图1基于空间位置关系图的标签修正流程图
图2空间位置关系示意图
图3区域方向位置关系示意图
图4空间位置关系度量算法
图5非置信标签预测算法
图6非置信标签预测实例图
具体实施方式
下面结合附图对本发明作进一步详细说明。
本发明所述的基于空间位置关系图的标签修正流程图如图1所示，图1包括5个单元。
单元100为计算标签的语义相关性。Ttrain＝{I1,I2,...,IM}表示训练图像集，M代表训练图像集大小；计算两个标签之间的语义关系ω1,ij即计算语义标签li和lj在图像中共现的频率，计算方法为：
其中表示在图像Ik中，标签li和lj是否共现，即同时出现：
单元101为度量标签空间位置关系。区域标签的空间位置可以反映图像区域的布局，隐含着更深层次的标签语义关联。空间位置关系分为相邻关系和方向位置关系来表示。
区域标签li和区域标签lj之间的空间位置的相邻关系ω2,ij计算如下：
其中表示在图像Ik中，标签li和lj所标注的区域是否相邻：
区域ri和区域rj的关系可以定义为“上方”关系μabo(ri,rj)、“下方”关系μbel(ri,rj)和“旁边”关系μbes(ri,rj)，具体区域的方向位置关系如图3所示。
区域标签li和区域标签lj之间空间位置关系中“上方”关系ω3,ij计算如下：
其中表示在图像Ik中，区域ri和区域rj是否满足“上方”关系。
区域标签li和区域标签lj之间空间位置关系中“下方”关系ω3,ji计算如下：
其中表示在图像Ik中，区域ri和区域rj是否满足“下方”关系。
区域标签li和区域标签lj之间空间位置关系中“旁边”关系ω4,ij计算如下：
其中表示在图像Ik中，区域ri和区域rj是否满足“旁边”关系。
单元102为获取置信标签初始值。置信标签的初始值由如下方案获取：将空间位置关系图与待修正图像的区域关系图进行子图匹配，得到关联边权重累积值作为对应顶点的初始置信值；
单元103为基于随机游走的标签修正。在得到初始置信标签后，需要依次加入其他标签进入置信集，标签的顺序是通过将各个标签与置信集标签进行匹配得到的。当在得到新的置信标签后，加入到原置信集。采用随机游走的方式更新置信标签集对应的标签置信值，得到新的标签置信值。
单元104为计算候选标签的综合匹配度。候选标签lτ放在非置信标签位置上与置信标签ln的综合匹配度pmatch(τ,n)计算如下：
其中p表示置信标签的个数，χ(τ,n)表示候选集标签lτ与置信标签ln的关联度，最终选择综合匹配度最高的标签作为标签预测的结果。
单元105为相邻关系表示。空间位置关系图的边的权重由相邻关系和方向位置关系组成，相邻关系由区域标签的共现性表示。
单元106为方向位置。方向位置关系由三部分组成：“上方”、“下方”和“旁边”。区域ri和区域rj的关系可以定义为μabo(ri,rj)、μbel(ri,rj)和μbes(ri,rj)。
单元107为“上方”关系。区域ri和区域rj的“上方”关系μabo(ri,rj)可以定义为：
其中θij表示区域ri和区域rj的质心连线和水平线的夹角。
单元108为“旁边”关系。区域ri和区域rj的“旁边”关系μbes(ri,rj)可以定义为：
单元109为“下方”关系。区域ri和区域rj的“下方”关系μbel(ri,rj)可以定义为：
单元110构成向量。空间位置关系图中边的权重向量由共现性、“上方”关系、“旁边”关系以及“下方”关系构成。
单元111把候选标签放入非置信区域形成新区域关系图。
单元112将新图与空间位置关系图进行子图匹配。Ttest＝{I1,I2,...,IN}表示测试图像集，N代表测试图像集大小,在测试图像Iλ中将新图中每条与标签lτ相连的边匹配空间位置关系图，得到匹配度矩阵，χ(τ,n)表示候选集标签lτ与置信标签ln的关联度：
其中β表示相邻关系的在空间位置关系中的比重，1-β表示方向关系的在空间位置关系中的比重。
单元113为选择最高综合匹配度的候选标签作为最终重预测标签。

Claims (6)

1.一种基于空间位置关系图匹配的图像区域标签修正方法，其特征包括以下步骤：
(1)计算图像区域标签的语义相关性；
(2)分析度量图像区域标签的空间位置关系，包括相邻关系、方向位置关系；
(3)获取置信标签的初始值；
(4)基于空间位置关系图以及增量迭代的随机游走算法的标签修正；
(5)通过空间位置关系图计算候选标签的综合匹配度，将匹配度最高的标签置为置信标签。
2.根据权利要求1所述的方法，其特征在于步骤(1)中，语义相关性是计算不同区域标签在图像中的共现度。
3.根据权利要求1所述的方法，其特征在于步骤(2)中的提取空间位置关系度量，需要分别计算相邻关系和方向位置关系，其具体步骤如下：
(21)区域标签的相邻关系是对标签对应的区域在图像中是否相邻进行描述；
(22)方向位置关系包括：“上方”“下方”“旁边”三种，其定义根据两个区域的质心连线和水平线的夹角进行定义：当夹角在30度到150度之间时，表示为“上方”；当夹角在-30度到-150度之间时，表示为“下方”；否则，表示为“旁边”，若区域方向位置满足某一位置定义，则进行相关描述。
4.根据权利要求1所述的方法，其特征在于步骤(3)中，置信标签的初始值由如下方案获取：将空间位置关系图与待修正图像的区域关系图进行子图匹配，得到关联边权重累积值作为对应顶点的初始置信值。
5.根据权利要求1所述的方法，其特征在于步骤(4)中，通过随机游走的多次迭代更新待修正图像的区域关系图中每个区域标签的置信值，同时减小噪声标签置信值，最终使得所有标签置信值趋于稳定。
6.根据权利要求1所述的方法，其特征在于步骤(5)中，依据非置信标签与置信标签的共现关系以及相对空间位置关系实现对非置信区域进行标签重预测，将带有重预测新标签的候选区域关系图与空间位置关系图进行子图匹配，得到其综合匹配度，选取匹配度最高的标签作为待预测区域的置信标签。
CN201711387394.0A 2017-12-20 2017-12-20 一种基于空间位置关系图匹配的图像区域标签修正方法 Active CN108009279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711387394.0A CN108009279B (zh) 2017-12-20 2017-12-20 一种基于空间位置关系图匹配的图像区域标签修正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711387394.0A CN108009279B (zh) 2017-12-20 2017-12-20 一种基于空间位置关系图匹配的图像区域标签修正方法

Publications (2)

Publication Number Publication Date
CN108009279A true CN108009279A (zh) 2018-05-08
CN108009279B CN108009279B (zh) 2023-02-17

Family

ID=62060161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711387394.0A Active CN108009279B (zh) 2017-12-20 2017-12-20 一种基于空间位置关系图匹配的图像区域标签修正方法

Country Status (1)

Country Link
CN (1) CN108009279B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875591A (zh) * 2018-05-25 2018-11-23 厦门智融合科技有限公司 文本图片匹配分析方法、装置、计算机设备和存储介质
CN109271539A (zh) * 2018-08-31 2019-01-25 华中科技大学 一种基于深度学习的图像自动标注方法及装置
CN110298228A (zh) * 2019-04-25 2019-10-01 西北大学 一种多目标图像检索方法
CN112734804A (zh) * 2021-01-07 2021-04-30 支付宝(杭州)信息技术有限公司 图像数据标注的***和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298606A (zh) * 2011-06-01 2011-12-28 清华大学 基于标签图模型随机游走的图像自动标注方法及装置
CN105205501A (zh) * 2015-10-04 2015-12-30 北京航空航天大学 一种多分类器联合的弱标注图像对象检测方法
EP2963564A1 (en) * 2014-07-04 2016-01-06 Gottfried Wilhelm Leibniz Universität Hannover Method for determining the relevance of a tag
US9495614B1 (en) * 2015-02-27 2016-11-15 Google Inc. Verifying labels for images using image recognition
CN106355628A (zh) * 2015-07-16 2017-01-25 中国石油化工股份有限公司 图文知识点标注方法和装置、图文标注的修正方法和***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298606A (zh) * 2011-06-01 2011-12-28 清华大学 基于标签图模型随机游走的图像自动标注方法及装置
EP2963564A1 (en) * 2014-07-04 2016-01-06 Gottfried Wilhelm Leibniz Universität Hannover Method for determining the relevance of a tag
US9495614B1 (en) * 2015-02-27 2016-11-15 Google Inc. Verifying labels for images using image recognition
CN106355628A (zh) * 2015-07-16 2017-01-25 中国石油化工股份有限公司 图文知识点标注方法和装置、图文标注的修正方法和***
CN105205501A (zh) * 2015-10-04 2015-12-30 北京航空航天大学 一种多分类器联合的弱标注图像对象检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HUA WANG等: "Image annotation using bi-relational graph of images and semantic labels", 《CVPR 2011》 *
XIAOHONG HU等: "A Novel Region-based Image Annotation Using Multi-instance Learning", 《2009 SECOND INTERNATIONAL WORKSHOP ON KNOWLEDGE DISCOVERY AND DATA MINING》 *
周全: "基于上下文的图像标注研究", 《中国博士学位论文全文数据库 (信息科技辑)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875591A (zh) * 2018-05-25 2018-11-23 厦门智融合科技有限公司 文本图片匹配分析方法、装置、计算机设备和存储介质
CN109271539A (zh) * 2018-08-31 2019-01-25 华中科技大学 一种基于深度学习的图像自动标注方法及装置
CN110298228A (zh) * 2019-04-25 2019-10-01 西北大学 一种多目标图像检索方法
CN112734804A (zh) * 2021-01-07 2021-04-30 支付宝(杭州)信息技术有限公司 图像数据标注的***和方法
CN112734804B (zh) * 2021-01-07 2022-08-26 支付宝(杭州)信息技术有限公司 图像数据标注的***和方法

Also Published As

Publication number Publication date
CN108009279B (zh) 2023-02-17

Similar Documents

Publication Publication Date Title
CN108009279A (zh) 一种基于空间位置关系图匹配的图像区域标签修正方法
CN111080645B (zh) 基于生成式对抗网络的遥感图像半监督语义分割方法
CN108985334B (zh) 基于自监督过程改进主动学习的通用物体检测***及方法
Chen et al. Res2-Unet, a new deep architecture for building detection from high spatial resolution images
CN103559237B (zh) 基于目标跟踪的半自动图像标注样本生成方法
CN107766894B (zh) 基于注意力机制和深度学习的遥感图像自然语言生成方法
CN110543911B (zh) 一种结合分类任务的弱监督目标分割方法
CN103778227B (zh) 从检索图像中筛选有用图像的方法
CN103970733B (zh) 一种基于图结构的中文新词识别方法
CN112132014B (zh) 基于非督导金字塔相似性学习的目标重识别方法及***
CN110033097B (zh) 基于多个数据域确定用户与物品的关联关系的方法及装置
CN102810158A (zh) 一种基于多尺度语义模型的高分辨率遥感目标提取方法
CN106169083A (zh) 基于视觉特征的电影推荐方法和***
CN102298605A (zh) 基于有向图非等概率随机搜索的图像自动标注方法及装置
CN106528417A (zh) 软件缺陷智能检测方法和***
CN109241442B (zh) 基于预测值填充的项目推荐方法、可读存储介质和终端
CN103123685B (zh) 文本模式识别方法
CN111523586B (zh) 一种基于噪声可知的全网络监督目标检测方法
CN108932222B (zh) 一种获取词语相关度的方法及装置
CN106447071A (zh) 一种应用于视频监控场景的路径预测方法
CN107688822B (zh) 基于深度学习的新增类别识别方法
CN116628212A (zh) 面向国民经济和社会发展调查领域的不确定性知识图谱建模方法
Zhang et al. Spatial-attraction-based Markov random field approach for classification of high spatial resolution multispectral imagery
CN117115565A (zh) 一种基于自主感知的图像分类方法、装置及智能终端
CN110457155B (zh) 一种样本类别标签的修正方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant