CN102737244B - 标注图像中区域与标注对应关系的确定方法 - Google Patents
标注图像中区域与标注对应关系的确定方法 Download PDFInfo
- Publication number
- CN102737244B CN102737244B CN201210184510.XA CN201210184510A CN102737244B CN 102737244 B CN102737244 B CN 102737244B CN 201210184510 A CN201210184510 A CN 201210184510A CN 102737244 B CN102737244 B CN 102737244B
- Authority
- CN
- China
- Prior art keywords
- image
- vision
- scene
- semantic
- mark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供的是一种标注图像中区域与标注对应关系的确定方法。首先,将视觉描述转换为标注字的权值,代表与视觉的相关程度,利用Topic模型提取场景类别,并将场景内图像的区域聚类为视觉概念。然后在不同场景中,采用信度传播方法降低视觉概念的标注不确定性,即在不同场景间寻找相同或同义的标注字,令其在视觉相似的区域间传播。最后,构建每个场景下的贝叶斯网络,获得视觉概念的标注结果。通过对图像分割区域的标识结果进行融合,最终可以获得图像物体语义级的分割与识别结果。本发明避免了对单幅图像的每个区域单独进行标注,能够有效地提高算法效率。能够方便有效地实现非标注图像的语义内容分析。
Description
技术领域
本发明涉及的是一种图像处理方法。具体地说是一种能够最终达到对非标注图像的分割区域进行自动标注识别的方法。
背景技术
在目前的图像分析与理解中,常常按照场景级和物体级两个级别对图像进行识别,即场景分类和目标的检测与识别。场景识别通常需要事先对图像数据库进行手工编目,然后采用监督学习的方式进行图像的场景语义分类。但这些方法基本上采用的是监督学习方式,即需要事先定义并组织好图像的语义类别,这种采用人工编目的方法只能局限于数量有限的图像类别。随着图像数量与种类的增加,这必然会导致编目难度激增,限制了方法的实用性。另一方面,目标的检测、识别与场景识别之间又有着密切的相关性,在缺乏相应的场景背景信息的情况下,要正确地识别出某个单独的图像区域,即便对人类观察者来说有时也是困难的。而在确定的语义场景下,图像区域的识别检测工作则要容易得多。
随着高质量标注图像的增多,为图像的语义内容分析提供了大量可靠的学习样本。如果能够通过对标注图像的学习,实现对非标注图像分割区域的自动标注,那么就可以用关键字来标识分割的区域。通过这样的方式对图像中的物体进行识别检测,不仅能够指出图像中包含哪些物体,还能指出它们的具体所处位置,为图像中的目标检测与识别提供新的实现途径。
如果在学习用的标注图像中,给出了标注字与图像区域的对应关系,图像区域的标注学习则相对容易得多。但一般的标注图像中并没有指出标注字所对应的图像区域,导致学习样本中缺少这部分相应信息。本发明的主要目的就通过对标注图像的学习,学习到这种缺失的对应关系,并利用这种关系对图像区域进行识别检测。
发明内容
本发明的目的在于提供一种通过对标注图像的学习,得到标注字所对应的图像区域的对应关系,并能利用这种关系对图像区域进行识别检测的标注图像中区域与标注对应关系的确定方法。
本发明的目的是这样实现的:
步骤1,特征提取:对学习用的标注图像,采用模糊K-均值方法进行图像过分割,获得区域视觉描述,并利用信度传播方法,使标注字在视觉近邻间传播,将视觉描述转换标注字权值;
步骤2,提取场景语义类别:获得所需的图像特征后,利用概率潜在语义分析模型对学习用的标注图像进行自动场景语义分类,即合理地运用图像的视觉和标注字之间高、低级语义信息的互补性,有效地自动构建出图像语义类别;
步骤3,生成视觉概念:在确定了图像的场景语义类别后,按高斯混合模型对场景内的视觉分布进行建模,模型个数由场景内标注字个数指导确定,每个视觉高斯分布模型对应一个视觉概念;
步骤4,构建不同场景间的视觉概念近邻图:近邻图中的每个节点对应一个视觉概念,视觉概念分布的相似性采用彼此的KL距离;
步骤5,场景间视觉概念的标注传播:利用数据字典在不同场景间寻找相同或同义的标注字,令其在视觉相似的区域间传播;
步骤6,场景下的贝叶斯网络构造:构造场景内视觉概念的贝叶斯网络结构,通过场景内概念间的贝叶斯推理,获得确切的标注信息;
步骤7,视觉语义网络的建立:将视觉近邻图中具有连接关系、并最终具有一致标注的视觉概念合并成一个节点,形成一个视觉语义网络图;
步骤8,对非标注图像的区域标注:对非标注图像进行语义内容分析时,待分析图像每个区域的视觉描述激活多个语义概念,采用信度传播方法让可能的标注在激活的语义网络中传播,收敛后获得分割区域的标注结果;
图像间的相似性度量采用推土机距离方法。
本发明提出了一种新的对图像的分割区域进行标注识别的方法。该方法将图像按场景级与物体级的语义内容分别处理。首先,将视觉描述转换为标注字的权值,代表与视觉的相关程度,利用Topic模型提取场景类别,并将场景内图像的区域聚类为视觉概念。然后在不同场景中,采用信度传播方法降低视觉概念的标注不确定性,即在不同场景间寻找相同或同义的标注字,令其在视觉相似的区域间传播。最后,构建每个场景下的贝叶斯网络,获得视觉概念的标注结果。通过对图像分割区域的标识结果进行融合,最终可以获得图像物体语义级的分割与识别结果。
特别指出的是,本发明提出了对场景下的图像区域聚类为视觉概念,并实现对视觉概念的整体标注。通过图像场景的提取,能够将同一场景下视觉分布一致的区域,作为一个整体进行标注,这样就避免了对单幅图像的每个区域单独进行标注,能够有效地提高算法效率。本发明合理地利用了场景与物体间的依赖关系,不但有效地降低了运算复杂度,而且分步处理的结果又能够自然地合成一个以数据驱动、视觉为主导的语义网络层次模型,该模型将图像区域的语义从一般到特殊进行描述,能够方便有效地实现非标注图像的语义内容分析。
附图说明
附图是本发明的流程框图。
具体实施方式
下面举例对本发明做更详细的描述:
步骤1,特征提取。对学习用的标注图像,采用模糊K-均值方法进行图像过分割,获得区域视觉描述。并利用信度传播(Belief Propagation)方法,使标注字在视觉近邻间传播,将视觉描述转换标注字权值。其中,图像间的相似性度量采用EMD(推土机距离)方法。
步骤2,提取场景语义类别。获得所需的图像特征后,利用PLSA(Probabilistic LatentSemantic Analysis,概率潜在语义分析)模型对学习用的标注图像进行自动场景语义分类,即合理地运用图像的视觉和标注字之间高、低级语义信息的互补性,有效地自动构建出图像语义类别。
步骤3,生成视觉概念。为了避免对单幅图像的每个区域单独进行标注,在确定了图像的场景语义类别后,按高斯混合模型(Gaussian Mixture Models,GMM)对场景内的视觉分布进行建模,模型个数可由场景内标注字个数指导确定,每个视觉高斯分布模型对应一个视觉概念。
步骤4,构建不同场景间的视觉概念近邻图。近邻图中的每个节点对应一个视觉概念,视觉概念分布的相似性采用彼此的KL距离。
步骤5,场景间视觉概念的标注传播。为了确定某个视觉概念的对应标注,利用WordNet(数据字典)在不同场景间寻找相同或同义的标注字,令其在视觉相似的区域间传播。
步骤6,场景下的贝叶斯网络构造。
图像中,有时一些事物总是伴随某种事物出现,因此不能保证每个视觉概念的标注可以通过这种信息传播的方式确定,标注不确定性的进一步排除还需要场景内视觉概念间的彼此依赖关系。为此,构造场景内视觉概念的贝叶斯网络结构,通过场景内概念间的贝叶斯推理,获得确切的标注信息。
步骤7,视觉语义网络的建立。将视觉近邻图中具有连接关系、并最终具有一致标注的视觉概念合并成一个节点,形成一个视觉语义网络图。
步骤8,对非标注图像的区域标注。对非标注图像进行语义内容分析时,待分析图像每个区域的视觉描述激活多个语义概念,采用信度传播方法让可能的标注在激活的语义网络中传播,收敛后获得分割区域的标注结果。
Claims (1)
1.一种标注图像中区域与标注对应关系的确定方法,其特征是:
步骤1,特征提取:对学习用的标注图像,采用模糊K-均值方法进行图像过分割,获得区域视觉描述,并利用信度传播方法,使标注字在视觉近邻间传播,将视觉描述转换标注字权值;
步骤2,提取场景语义类别:获得所需的图像特征后,利用概率潜在语义分析模型对学习用的标注图像进行自动场景语义分类,即合理地运用图像的视觉和标注字之间高、低级语义信息的互补性,有效地自动构建出图像语义类别;
步骤3,生成视觉概念:在确定了图像的场景语义类别后,按高斯混合模型对场景内的视觉分布进行建模,模型个数由场景内标注字个数指导确定,每个视觉高斯分布模型对应一个视觉概念;
步骤4,构建不同场景间的视觉概念近邻图:近邻图中的每个节点对应一个视觉概念,视觉概念分布的相似性采用彼此的KL距离;
步骤5,场景间视觉概念的标注传播:利用数据字典在不同场景间寻找相同或同义的标注字,令其在视觉相似的区域间传播;
步骤6,场景下的贝叶斯网络构造:构造场景内视觉概念的贝叶斯网络结构,通过场景内概念间的贝叶斯推理,获得确切的标注信息;
步骤7,视觉语义网络的建立:将视觉近邻图中具有连接关系、并最终具有一致标注的视觉概念合并成一个节点,形成一个视觉语义网络图;
步骤8,对非标注图像的区域标注:对非标注图像进行语义内容分析时,待分析图像每个区域的视觉描述激活多个语义概念,采用信度传播方法让可能的标注在激活的语义网络中传播,收敛后获得分割区域的标注结果;
图像间的相似性度量采用推土机距离方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210184510.XA CN102737244B (zh) | 2012-06-06 | 2012-06-06 | 标注图像中区域与标注对应关系的确定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210184510.XA CN102737244B (zh) | 2012-06-06 | 2012-06-06 | 标注图像中区域与标注对应关系的确定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102737244A CN102737244A (zh) | 2012-10-17 |
CN102737244B true CN102737244B (zh) | 2014-04-16 |
Family
ID=46992710
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210184510.XA Expired - Fee Related CN102737244B (zh) | 2012-06-06 | 2012-06-06 | 标注图像中区域与标注对应关系的确定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102737244B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104216882B (zh) * | 2013-05-29 | 2018-05-11 | 华为技术有限公司 | 文件标注方法及装置 |
CN105847964A (zh) * | 2016-03-28 | 2016-08-10 | 乐视控股(北京)有限公司 | 一种影视节目处理方法和*** |
CN108511073A (zh) * | 2017-12-28 | 2018-09-07 | *** | 一种基于网格技术的新生儿出生缺陷预警方法 |
CN110068328B (zh) * | 2018-01-22 | 2022-08-26 | 腾讯科技(深圳)有限公司 | 导航路线生成方法、装置、计算机可读存储介质和计算机设备 |
CN108319985B (zh) * | 2018-02-07 | 2022-05-17 | 北京航空航天大学 | 图像语义标注的方法和装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101620615B (zh) * | 2009-08-04 | 2011-12-28 | 西南交通大学 | 一种基于决策树学习的自动图像标注与翻译的方法 |
CN101963995B (zh) * | 2010-10-25 | 2012-02-01 | 哈尔滨工程大学 | 基于特征场景的图像标注方法 |
CN102436583B (zh) * | 2011-09-26 | 2013-10-30 | 哈尔滨工程大学 | 基于对标注图像学习的图像分割方法 |
-
2012
- 2012-06-06 CN CN201210184510.XA patent/CN102737244B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN102737244A (zh) | 2012-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107679039B (zh) | 用于确定语句意图的方法和装置 | |
CN109710701A (zh) | 一种用于公共安全领域大数据知识图谱的自动化构建方法 | |
WO2017177809A1 (zh) | 语言文本的分词方法和*** | |
CN104462053A (zh) | 一种文本内的基于语义特征的人称代词指代消解方法 | |
CN107330011A (zh) | 多策略融合的命名实体的识别方法及装置 | |
CN102737244B (zh) | 标注图像中区域与标注对应关系的确定方法 | |
CN105512209A (zh) | 一种基于特征自动学习的生物医学事件触发词识别方法 | |
CN103810218A (zh) | 一种基于问题簇的自动问答方法和装置 | |
CN106777296A (zh) | 一种基于语义匹配的人才搜索推荐方法及*** | |
CN103853738A (zh) | 一种网页信息相关地域的识别方法 | |
CN110188359B (zh) | 一种文本实体抽取方法 | |
CN112749265B (zh) | 一种基于多信息源的智能问答*** | |
US20190147038A1 (en) | Preserving and processing ambiguity in natural language | |
CN112163097A (zh) | 一种军事知识图谱构建方法及*** | |
CN115544279B (zh) | 一种基于协同注意力的多模态情感分类方法及其应用 | |
WO2023159767A1 (zh) | 目标词语的检测方法、装置、电子设备及存储介质 | |
CN113657105A (zh) | 基于词汇增强的医学实体抽取方法、装置、设备及介质 | |
CN113312922A (zh) | 一种改进的篇章级三元组信息抽取方法 | |
CN115391547A (zh) | 多模态文物知识图谱构建方法、装置及***和存储介质 | |
CN103699568B (zh) | 一种从维基中抽取领域术语间上下位关系的方法 | |
CN110990451B (zh) | 基于句子嵌入的数据挖掘方法、装置、设备及存储装置 | |
CN116719915A (zh) | 智能问答方法、装置、设备及存储介质 | |
CN114398903B (zh) | 意图识别方法、装置、电子设备及存储介质 | |
CN115983383A (zh) | 面向电力设备的实体关系抽取方法及相关装置 | |
CN113807102B (zh) | 建立语义表示模型的方法、装置、设备和计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140416 Termination date: 20200606 |