CN115861715B - 基于知识表示增强的图像目标关系识别算法 - Google Patents

基于知识表示增强的图像目标关系识别算法 Download PDF

Info

Publication number
CN115861715B
CN115861715B CN202310113097.6A CN202310113097A CN115861715B CN 115861715 B CN115861715 B CN 115861715B CN 202310113097 A CN202310113097 A CN 202310113097A CN 115861715 B CN115861715 B CN 115861715B
Authority
CN
China
Prior art keywords
visual
knowledge
space
relation
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310113097.6A
Other languages
English (en)
Other versions
CN115861715A (zh
Inventor
花福军
王勇
张粟粽
高辉
郑旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Creative Information Technology Co ltd
Original Assignee
Creative Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Creative Information Technology Co ltd filed Critical Creative Information Technology Co ltd
Priority to CN202310113097.6A priority Critical patent/CN115861715B/zh
Publication of CN115861715A publication Critical patent/CN115861715A/zh
Application granted granted Critical
Publication of CN115861715B publication Critical patent/CN115861715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及图像特征识别领域,特别是指基于知识表示增强的图像目标关系识别算法,本发明解决了现有技术中因设备所采集的稀疏图像数据无法使用常规的视觉与语义混合特征来进行视觉关系检测的问题。本发明包括以下步骤:A视觉特征采集;B知识图谱建立;C其他信息来源获取;D特征映射。本发明很好地解决物联网图像数据稀疏而无法使用传统视觉关系检测算法的问题。本发明提出的基于知识表示增强的模型不仅引入先验知识来弥补输入数据稀疏的不足,还通过减少用于提取关系的视觉特征的参数并设计一个将视觉特征与先验知识相结合的损失函数,提高了视觉关系检测的效率及表现。

Description

基于知识表示增强的图像目标关系识别算法
技术领域
本发明涉及图像特征识别领域,特别是指基于知识表示增强的图像目标关系识别算法。
背景技术
视觉关系检测即对图像中可能存在的对象进行检测的同时,再根据每组对象之间的关系进行分类,其被认为是在语义上连接低级视觉信息和高级语义信息的桥梁。视觉关系通常表示图像中对象之间的关系类型,常用三元组进行表示,即主语、谓语和宾语,其中谓语可以是动词、空间位置、介词和比较词。通过对这些相互关系的检测,可以从图像中发现各种信息,也可以显著提高物联网***的功能。此外,还可以通过自主关系推断出潜在的敏感信息泄露问题,并为安全的多媒体物联网数据处理提供指南。
对视觉关系检测的早期研究主要仅依赖于视觉特征来获取图像中的复杂视觉变量,与关系分类相关的各种信息则较为缺乏。但由于物联网数据的稀疏性,图像数据集的规模及数据集中图像的信息详细程度都将受到一定限制。例如传感设备在数据发布方面较为保守,这在当图像数据包含丰富的语义信息时尤为明显;同时由于隐私问题,图像可能在发布前会被屏蔽或混淆。图像的稀疏性所引起的上述问题都让视觉关系检测变得更加困难,故在物联网***中,依靠完全基于视觉特征的方法并不能实现视觉关系检测。
亟待出现一种可解决上述问题的新型的关系识别方法。
发明内容
本发明提出基于知识表示增强的图像目标关系识别方法,解决了现有技术中因设备所采集的图像数据模糊不清、拍摄角度不佳以及待测目标重叠遮掩而无法使用常规的视觉与语义混合特征来进行视觉关系检测的问题。
本发明的技术方案是这样实现的:基于知识表示增强的图像目标关系识别方法,包括以下步骤:
A视觉特征采集:提取待检测图像的视觉特征;
B知识图谱建立:将知识图谱中的关系以低维向量的方式表示出来,并满足平移关系;知识图谱包括用于获取对象和关系之间的结构化信息的先验知识;
C特征映射:将步骤A中获取的视觉特征映射至步骤B中的嵌入向量空间,进而进行目标关系的计算。
所述步骤A具体的是:
A1:特征图:在不改变输入图像大小的前提下,使用一组卷积层、非线性激活层和池化层提取图像的特征图;
A2:候选区域:将A1中的特征图用于区域候选网络生成提高精度的候选区域;
A3:区域特征图:将特征图和候选区域综合后,提取区域特征图;
A4:目标类别判定:利用获取的区域特征图计算区域的类别,其中类别包括目标及背景,并利用边框回归获得对象的位置,以获得对象的视觉特征向量。
所述步骤B具体的是:
B1:将训练集中的三元组、实体集、关系集、边际和向量维度超参数输入至图谱嵌入模型,并对输入数据进行初始化;
B2:从训练集合中随机选出正面样本,再基于正面样本获得负面样本,共同构成批训练数据集;
B3:通过训练使表示向量满足平移关系。
所述步骤C的先验知识还包括将视觉特征和先验知识结合以提高视觉关系检测的损失函数。
所述步骤C具体的是:
c1:使用从特征空间到知识嵌入空间的投影矩阵对视觉特征向量进行处理;
c2:设置两组实体三元组集;
c3:根据正负样本进行训练,计算三元组损失;
c4:通过经修正后的进行计算,从而近似计算得待测实体之间的关系;
其中,为视觉特征向量映射后的向量表示。
本发明公开的基于知识表示增强的图像目标关系识别方法本发明能很好地解决物联网图像数据稀疏而无法使用传统视觉关系检测算法的问题。本发明提出的基于知识表示增强的模型不仅引入先验知识来弥补输入数据稀疏的不足,还通过减少用于提取关系的视觉特征的参数并设计一个将视觉特征与先验知识相结合的损失函数,提高了视觉关系检测的效率及表现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1:具体实施方式的流程示意图;
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明公开的基于知识表示增强的图像目标关系识别方法,包括以下步骤:
A视觉特征采集:提取待检测图像的视觉特征;
B知识图谱建立:将知识图谱中的关系以低维向量的方式表示出来,并满足平移关系;知识图谱包括用于获取对象和关系之间的结构化化信息的先验知识;
C特征映射:将步骤A中获取的视觉特征映射至步骤B中的嵌入向量空间,进而进行目标关系的计算。
所述步骤A具体的是:
A1:特征图:在不改变输入图像大小的前提下,使用一组卷积层、非线性激活层和池化层提取图像的特征图;
A2:候选区域:将A1中的特征图用于区域候选网络生成提高精度的候选区域;
A3:区域特征图:将特征图和候选区域综合后,提取区域特征图;
A4:目标类别判定:利用获取的区域特征图计算区域的类别,其中类别包括目标及背景,并利用边框回归获得对象的位置,以获得对象的视觉特征向量,用于表示目标的具体类别,例如行人、马路等等。
所述步骤B具体的是:
B1:将训练集中的三元组、实体集、关系集、边际和向量维度超参数输入至图谱嵌入模型,并对输入数据进行初始化;
B2:从训练集合中随机选出正面样本,再基于正面样本获得负面样本,共同构成批训练数据集;
B3:通过训练使表示向量满足平移关系。
步骤C具体的是:
C1:使用从特征空间到知识嵌入空间的投影矩阵对视觉特征向量进行处理;
C2:设置两组实体三元组集;
C3:根据正负样本进行训练,计算三元组损失;
C4:通过经修正后的进行计算,从而近似计算得待测实体之间的关系;
其中,为视觉特征向量映射后的向量表示。
本发明公开的基于知识表示增强的图像目标关系识别方法本发明能很好地解决物联网图像数据稀疏而无法使用传统视觉关系检测算法的问题。本发明提出的基于知识表示增强的模型不仅引入先验知识来弥补输入数据稀疏的不足,还通过减少用于提取关系的视觉特征的参数并设计一个将视觉特征与先验知识相结合的损失函数,提高了视觉关系检测的效率及表现
如图1所示,本发明实施例包括以下步骤:
对开源的Visual Genome ,简称VG数据集进行预处理,包括图像分辨率的统一、直方图均衡化、数据清理等等,实施例中使用的版本为VG v1.4,其中包含108077张图像,每张图像平均有21个关系,区域图谱的形式进行保存,区域图谱由多个特定关系以及满足该关系的两个目标构成,例如男人、跳过、消防栓。由于VG数据集使用众包的方式实现,通过删除非字母字符与停用词,并使用自用更正库来更正拼写的方法来清理数据;将数据拆分为86462张图像作为训练集,以及21615张图像作为测试集;
A:将图片输入模型,输出图像中的一组对象以及对象的位置,具体子流程如下所示:
A1:通过使用一组卷积层、池化层、非线性激活层提取图像的特征图,网络实现具体细节如下表所示,表中前缀conv表示卷积层,pooling表示池化层;
由于对所有的卷积都做了扩边处理,致使卷积层不改变输入和输出矩阵大小,而池化层的卷积核为2×2,步长为2,故池化层会使输出图像的长宽都变为输入的,故一个M×N大小的矩阵经过该网络后大小会变为,这样生成的特征图上的一个像素点就对应着原始图片上的256个像素点,和原图的位置相对应;
A2:对该特征图再次使用上表中conv_5相同的卷积层进行处理后,生成anchors,即对应特征图上的一个像素。分别以每个anchor为中心,共使用3种规模,即128个像素点、256个像素点、512个像素点,3种比例,即1:2,1:1,2:1,生成9个anchor box。
通过softmax分类器提取出positive anchors,再计算出anchors的边框回归偏移量,以获得精确的区域。对于窗口一般使用四维变量表示,分别表示窗口的中心点坐标、宽和高,使用A表示提取得到的positive anchors,G表示真实的目标窗口,G'表示经过调整后与G更接近的回归窗口。首先需要通过线性回归获得,其中X为输入的特征向量,W为需要学习的参数,具体的计算公式如下:
其中为对应anchor的特征图组成的特征向量,*表示。为了使G与G'更加接近,使用Smooth L1损失函数,具体的计算公式如下:
其中表示G的坐标,而表示预测的坐标。再经过相应的变换将A变为G',具体的计算公式如下:
经过上述计算获得修正位置后的positive anchors后,还需限定超出图像边界的positive anchors为图像边界,并剔除尺寸非常小的positive anchors,再对剩余的positive anchors进行非极大值抑制;
A3:再进行兴趣区域池化,由于proposal boxes对应的是M×N尺度的,故将其映射回的特征图尺度,再将区域投影到特征图上,将映射后的区域划分为相同大小的sections,再对每个sections进行最大池化操作,以获得固定大小的区域特征图;
利用已经获得的区域特征图,通过全连接层与softmax函数计算出每个区域中的对象具体属于哪个类别的概率,获得M维的特征向量 和 ,并再次对候选区域进行边框回归,以获得更高精度的候选区域。
对WordNet数据集进行预处理,WordNet是一个描述英文词汇之间关联特点的数据集,同时也是一个数据库,该数据库将英语名词、动词、形容词和副词与同义词联系起来,这些同义词通过语义关系相互联系,从而确定单词的定义,具体的是:将数据集中的重复词进行删除,例如 “apple apple” 和 “dog dog”;将数据集中的同义词进行合并,例如“surfboard” 和 “surf board”,具体而言,即选择数据集中出现较多的词汇并替换其他具有相同意义的词汇。
将数据集中的实体,关系映射到低维连续的向量空间中,具体子流程如下所示:
B1:确定实体列表E、关系列表L、三元组列表S、向量维度k、学习率lr、正负样本三元组之间的间隔修正、范数norm和损失值loss。在本实施例中,k为50,lr为0.01,为1.0,范数为2;将实体列表和关系列表以随机采样的方式进行初始化,采样范围为,即约为,再进行L2范数归一化,具体计算如下所示:;
 
 
B2:将数据集分成100个batch,每个样本的数量为batch_size,epochs为1,对batch中的每一个样本,随机替换头实体或者尾实体生成负样本三元组,而后将正样本和负样本放入列表中,其中生成负样本三元组时不能同时替换头实体和尾实体;计算出每一个batch的损失值,具体计算如下所示:
其中
其中中的正样本三元组,而为更换头实体或尾实体后得到的负样本三元组;
B3:根据随机梯度下降法更新实体和关系向量,以头实体向量为例,梯度的具体计算如下所示:
通过训练,让满足平移关系,具体关系如下所示:
D:将视觉特征向量映射到知识嵌入空间,具体子流程如下所示:
D1:使用从特征空间到知识嵌入空间的投影矩阵对视觉特征向量 和进行处理,具体计算如下所示:
其中映射后的向量表示;
D2:设置两组实体三元组集,其中:
,
 ;
其中,表示视觉映射空间与知识嵌入空间中相互匹配的实体对,集合分别表示使用视觉特征映射后的向量与知识嵌入空间的向量进行替换后获得的负样本;
D3:根据正负样本进行训练,计算三元组损失,为了确保相应的实体之间的距离在投影过程中逐渐减小,采用一个修改过的三元组损失函数,从而让两种模式中相互匹配的实体以固定的幅度比不匹配的实体更加接近,三元组损失的具体计算如下所示:
其中,保证了知识空间中的实体逼近视觉映射空间中的对应实体,保证了视觉映射空间中的实体逼近知识空间中的对应实体,为实体的数量,为正样本和负样本之间的距离,是一个余弦相似函数,具体计算如下所示:
D4:通过经修正后的进行计算,从而近似计算得待测实体之间的关系 ,具体计算如下所示:
本发明通过先提取输入图像的特征及对应区域位置,再对区域内实体进行分类,再将知识图谱中的关系 以低维向量的方式表示出来,并且使得三元组内元素满足一定的关系,再将视觉特征空间映射到知识嵌入空间,通过引入先验知识来弥补数据稀疏与不足带来的不利影响,从而提高视觉关系检测算法的表现。
当然,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员应该可以根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (4)

1.基于知识表示增强的图像目标关系识别方法,其特征在于:包括以下步骤:
A视觉特征采集:提取待检测图像的视觉特征;
B知识图谱建立:
将知识图谱中的关系以低维向量的方式表示出来,并满足平移关系;
知识图谱包括用于获取对象和关系之间的结构化信息的先验知识;
C特征映射:将步骤A中获取的视觉特征映射至步骤B中的嵌入向量空间,进而进行目标关系的计算;具体的是:
c1:使用从特征空间到知识嵌入空间的投影矩阵 对视觉特征向量进行处理;具体计算如下所示:
其中为视觉特征向量映射后的向量表示;
c2:设置两组实体三元组集;其中:
,
 ;
其中, 表示视觉映射空间与知识嵌入空间中相互匹配的实体对,集合分别表示使用视觉特征映射后的向量与知识嵌入空间的向量进行替换后获得的正负样本;
c3:根据正负样本进行训练,计算三元组损失;为了确保相应的实体之间的距离在投影过程中逐渐减小,采用一个修改过的三元组损失函数,从而让两 种模式中相互匹配的实体以固定的幅度比不匹配实体更加接近,三元组损失的具体计算如下所示:
其中,保证了知识空间中的实体逼近视觉映射空间中的对应实体,保证了视觉映射空间中的实体逼近知识空间中的对应实体,为实体的数量,为正样本和负样本之间的距离,是一个余弦相似函数,具体计算如下所示:
c4:通过经修正后的进行计算,从而近似计算得待测实体之间的关系;具体计算如下所示:
2.根据权利要求1所述的基于知识表示增强的图像目标关系识别方法,其特征在于:所述步骤A具体的是:
A1:特征图:在不改变输入图像大小的前提下,使用一组卷积层、非线性激活层和池化层提取图像的特征图;
A2:候选区域:将A1中的特征图用于区域候选网络生成提高精度的候选区域;
A3:区域特征图:将特征图和候选区域综合后,提取区域特征图;
A4:目标类别判定:利用获取的区域特征图计算区域的类别,其中类别包括目标及背景,并利用边框回归获得对象的位置,以获得对象的视觉特征向量。
3.根据权利要求2所述的基于知识表示增强的图像目标关系识别方法,其特征在于:所述步骤B具体的是:
B1:将训练集中的三元组、实体集、关系集、边际和向量维度超参数输入至图谱嵌入模型,并对输入数据进行初始化;
B2:从训练集合中随机选出正面样本,再基于正面样本获得负面样本,共同构成批训练数据集;
B3:通过训练使表示向量满足平移关系。
4.根据权利要求3所述的基于知识表示增强的图像目标关系识别方法,其特征在于:所述步骤B的先验知识还包括将视觉特征和先验知识结合以提高视觉关系检测的损失函数。
CN202310113097.6A 2023-02-15 2023-02-15 基于知识表示增强的图像目标关系识别算法 Active CN115861715B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310113097.6A CN115861715B (zh) 2023-02-15 2023-02-15 基于知识表示增强的图像目标关系识别算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310113097.6A CN115861715B (zh) 2023-02-15 2023-02-15 基于知识表示增强的图像目标关系识别算法

Publications (2)

Publication Number Publication Date
CN115861715A CN115861715A (zh) 2023-03-28
CN115861715B true CN115861715B (zh) 2023-05-09

Family

ID=85658073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310113097.6A Active CN115861715B (zh) 2023-02-15 2023-02-15 基于知识表示增强的图像目标关系识别算法

Country Status (1)

Country Link
CN (1) CN115861715B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229377B (zh) * 2023-05-06 2023-08-04 成都三合力通科技有限公司 一种人员管控报警***及方法
CN116383797B (zh) * 2023-05-31 2023-08-22 北京顶象技术有限公司 一种无缺口滑动验证码及其生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107885760A (zh) * 2016-12-21 2018-04-06 桂林电子科技大学 一种基于多种语义的知识图谱表示学习方法
WO2021073266A1 (zh) * 2019-10-18 2021-04-22 平安科技(深圳)有限公司 基于图像检测的试题检查方法及相关设备
CN115099409A (zh) * 2022-06-22 2022-09-23 南京航空航天大学 一种文本-图像增强的多模态知识图谱嵌入方法
CN115186819A (zh) * 2022-06-22 2022-10-14 电子科技大学 一种结合子图结构和关系类型的知识图谱补全方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195057B2 (en) * 2014-03-18 2021-12-07 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
CN108256065B (zh) * 2018-01-16 2021-11-09 智言科技(深圳)有限公司 基于关系检测和强化学习的知识图谱推理方法
CN108171213A (zh) * 2018-01-22 2018-06-15 北京邮电大学 一种适用图文知识图谱的关系抽取方法
CN108694469A (zh) * 2018-06-08 2018-10-23 哈尔滨工程大学 一种基于知识图谱的关系预测方法
CN109871428B (zh) * 2019-01-30 2022-02-18 北京百度网讯科技有限公司 用于确定文本相关度的方法、装置、设备和介质
CN110188775B (zh) * 2019-05-28 2020-06-26 创意信息技术股份有限公司 一种基于联合神经网络模型的图像内容描述自动生成方法
CN110781683B (zh) * 2019-11-04 2024-04-05 河海大学 一种实体关系联合抽取方法
US20210192372A1 (en) * 2019-12-19 2021-06-24 Electronics And Telecommunications Research Institute Multi-layered knowledge base system and processing method thereof
WO2021237731A1 (zh) * 2020-05-29 2021-12-02 西门子股份公司 一种目标检测方法、装置和计算机可读介质
CN111897975A (zh) * 2020-08-12 2020-11-06 哈尔滨工业大学 一种面向知识图谱表示学习训练的局部训练方法
CN114580638A (zh) * 2022-02-14 2022-06-03 中国人民解放军战略支援部队信息工程大学 基于文本图增强的知识图谱表示学习方法及***
CN114610897A (zh) * 2022-02-25 2022-06-10 北京工业大学 基于图注意力机制的医学知识图谱关系预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107885760A (zh) * 2016-12-21 2018-04-06 桂林电子科技大学 一种基于多种语义的知识图谱表示学习方法
WO2021073266A1 (zh) * 2019-10-18 2021-04-22 平安科技(深圳)有限公司 基于图像检测的试题检查方法及相关设备
CN115099409A (zh) * 2022-06-22 2022-09-23 南京航空航天大学 一种文本-图像增强的多模态知识图谱嵌入方法
CN115186819A (zh) * 2022-06-22 2022-10-14 电子科技大学 一种结合子图结构和关系类型的知识图谱补全方法

Also Published As

Publication number Publication date
CN115861715A (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
CN115861715B (zh) 基于知识表示增强的图像目标关系识别算法
Rijal et al. Ensemble of deep neural networks for estimating particulate matter from images
WO2018028255A1 (zh) 基于对抗网络的图像显著性检测方法
CN111814902A (zh) 目标检测模型训练方法、目标识别方法、装置和介质
CN112668579A (zh) 基于自适应亲和力和类别分配的弱监督语义分割方法
CN107784288A (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
CN110543906B (zh) 基于Mask R-CNN模型的肤质自动识别方法
CN109033978B (zh) 一种基于纠错策略的cnn-svm混合模型手势识别方法
CN111652317A (zh) 基于贝叶斯深度学习的超参数图像分割方法
WO2023116632A1 (zh) 基于时空记忆信息的视频实例分割方法和分割装置
CN113221956B (zh) 基于改进的多尺度深度模型的目标识别方法及装置
US11367206B2 (en) Edge-guided ranking loss for monocular depth prediction
CN110910375A (zh) 基于半监督学习的检测模型训练方法、装置、设备及介质
CN111126155B (zh) 一种基于语义约束生成对抗网络的行人再识别方法
CN116977844A (zh) 一种轻量级水下目标实时检测方法
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
CN110472632B (zh) 基于字符特征的字符分割方法、装置及计算机存储介质
WO2020119624A1 (zh) 一种基于深度学习的类别敏感型边缘检测方法
Li et al. Self-supervised coarse-to-fine monocular depth estimation using a lightweight attention module
CN113313179A (zh) 一种基于l2p范数鲁棒最小二乘法的噪声图像分类方法
CN111209813B (zh) 基于迁移学习的遥感图像语义分割方法
CN116704208A (zh) 基于特征关系的局部可解释方法
CN115187982B (zh) 藻类检测方法、装置及终端设备
CN116579985A (zh) 一种基于RefineDet模型的晶圆缺陷检测方法
CN115984712A (zh) 基于多尺度特征的遥感图像小目标检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant