CN106844518A - 一种基于子空间学习的不完整跨模态检索方法 - Google Patents

一种基于子空间学习的不完整跨模态检索方法 Download PDF

Info

Publication number
CN106844518A
CN106844518A CN201611243419.5A CN201611243419A CN106844518A CN 106844518 A CN106844518 A CN 106844518A CN 201611243419 A CN201611243419 A CN 201611243419A CN 106844518 A CN106844518 A CN 106844518A
Authority
CN
China
Prior art keywords
mode
feature
imperfect
modal
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611243419.5A
Other languages
English (en)
Other versions
CN106844518B (zh
Inventor
王亮
吴书
尹奇跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Zhongke Intelligent Identification Co ltd
Original Assignee
Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co Ltd filed Critical Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co Ltd
Priority to CN201611243419.5A priority Critical patent/CN106844518B/zh
Publication of CN106844518A publication Critical patent/CN106844518A/zh
Application granted granted Critical
Publication of CN106844518B publication Critical patent/CN106844518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/90335Query processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种基于子空间学习的不完整跨模态检索方法,该方法通过收集多模态数据并提取特征;构造不完整观测的多模态数据集合;基于回归方式学习不完整观测多模态数据集共享子空间表达;对不同模态数据集进行特征学习以选择出具有较强判别能力的特征;挖掘不完整观测模态间和模态内相似性关系,建立优化目标函数;优化目标函数得到多模态数据共享子空间表达及基于回归方式的投影矩阵;根据投影矩阵进行跨模态检索。本发明解决了模态间特征异质的问题,同时可充分利用具有完整模态和不完整模态的数据,增强了跨模态检索性能。

Description

一种基于子空间学习的不完整跨模态检索方法
技术领域
本发明涉及跨模态检索技术领域,尤其是一种基于子空间学习的不完整跨模态检索方法。
背景技术
随着多媒体技术的迅猛发展,用户每天都分享着海量的多媒体信息,如图像、文本和视频。往往同一语义的数据由以上多种媒体特征进行描述,如一个网页可以由文本,图片和超级链接进行表征。以上多媒体数据的***式增长,极大地促进了跨模态检索的应用需求,如用文本检索图片或者用图片检索文本等。因此,跨模态检索具有极其重要的研究和应用价值。
传统跨模态检索方法一般假设每一个数据点都具有完整的多模态表达,如由网页组成的数据集合,每一个网页都有完整的文本模态表达和图像模态表达。然而,在更为一般的场景中,一些数据点可能仅有部分的多模态表达,而只有部分数据点包含完整的多模态表达,这样的数据集合称之为不完整观测多模态数据。在上述场景中,传统跨模态检索方法一般仅使用具有完整多模态表达的数据点进行建模,不能有效使用那些包含部分模态特征的数据点。因此,传统跨模态检索方法不能有效处理不完整跨模态检索问题。
发明内容
本发明的目的在于解决上述技术问题而提出一种基于子空间学习的不完整跨模态检索方法,以解决现有跨模态检索方法不能有效满足不完整跨模态检索的需求的问题。
本发明是这样实现的,一种基于子空间学习的不完整跨模态检索方法,包括步骤:
步骤S1,收集多模态数据并分别提取各模态的特征;
步骤S2,利用提取的各模态的特征构造不完整观测多模态数据集;
步骤S3,基于回归方式学习不完整观测多模态数据集共享子空间表达,并分别学习各模态数据线性投影矩阵;
步骤S4,通过各模态数据线性投影矩阵增加结构约束,学习不同模态数据集的特征,选出判别能力符合判别要求的特征;
步骤S5,挖掘不完整观测多模态集中的各模态间和模态内相似性关系,结合子空间学习和特征学习建立优化目标函数;
步骤S6,优化所述目标函数得到多模态数据集共享子空间表达以及各模态的线性投影矩阵;
步骤S7,根据所述各模态的线性投影矩阵进行跨模态检索。
本发明在利用提取的各模态的特征构造不完整观测多模态数据集后,首先为每一模态学习一个线性投影矩阵,并使得具有完整模态表达的数据点的不同模态特征具有相同的子空间表达;然后针对具有不完整模态表达的数据点,同样将其投影到以上子空间,以得到所有数据点的子空间表达;最后引入特征学习,选择不同模态符合判别要求的具有较高判别力的特征进行子空间的学习;在此基础上,还加入模态间和模态内相似性关系,以进一步提升跨模态检索的性能。
本发明通过线性投影矩阵将不同模态数据投影到同一子空间,解决了模态间特征异质的问题,同时可充分利用具有完整模态和不完整模态的数据。鉴于不同模态的特征冗余性较大且可能含有较强噪声,特征选择被嵌入到模型中以选择出具有较强判别能力的特征。最后,本发明同时将模态间和模态内的相似性关系考虑在内,可以进一步增强跨模态检索性能。
附图说明
图1是以图像和文本两模态为例的基于子空间学习的不完整跨模态检索方法示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
参见图1所示,一种基于子空间学习的不完整跨模态检索方法,包括以下步骤:
步骤S1,收集多模态数据并分别提取各个不同模态的特征;
所述多模态数据包括有图片数据以及图片数据相对应的文本数据,如图像标注词;
所述不同模态特征,针对图片数据一般是视觉描述算子,比如S IFT或者GIST特征;针对文本数据一般是文档的词频向量。
步骤S2,利用步骤S1提取的各个模态的特征,构造不完整观测多模态数据集;
所述构造不完整观测多模态数据集,即仅部分数据点包含完整的多模态特征表达,另外一部分数据点包含部分的多模态特征表达。
例如,针对由图像数据模态和对应的文本数据模态组成的多模态数据集合,则是部分样本包含文本模态与图片模态这两个模态的特征表达,其余的样本仅仅包含文本模态特征表达或者图片模态特征表达,其中包含文本模态与图片模态这两个模态的特征表达的样本与包含文本模态特征表达或者图片模态特征表达的比例可随机确定,具体比例不限。
步骤S3,基于回归方式学习不完整观测多模态数据集共享子空间表达F,并分别学习各个不同模态的线性投影矩阵U1和U2
在该步骤S3中,基本的优化目标函数为:
s.t.F∈{0,1}n×k;FIk=In
其中,为数据库第一个模态的特征表达(如图像或者文本),为具有完整模态特征的数据在当前模态下的特征表达,仅有当前模态特征的数据的特征表达,Fc和分别对应具有完整模态特征的数据的子空间表达和仅有当前模态特征的数据的子空间表达,且满足优化目标中c表示具有完整模态数据点对应的数据,如Fc表示此部分点的子空间表达,表示此部分点在第一个模态下的特征表达。约束条件中,n和k别表示数据库样本总数目以及类别数目。具有相似的解释。最终的不完整观测多模态数据集的共享子空间表达为U1和U2分别为两个模态的线性投影矩阵。
该优化目标函数的约束条件中Ik和In,分别为k维和n维的由1组成的列向量,且k和n分别为多模态数据类别数目和样本总数目。
以上约束条件使得学习得到的共享子空间符合数据语义类别结构,即每一个数据点属于且仅属于所有类别中的一类。
步骤S4,给上述线性投影矩阵U1和U2增加设计的结构约束,以对不同模态数据集进行特征学习,进而选择出符合判别要求的具有较强判别能力的特征。
步骤S4中,该线性投影矩阵的结构约束为L21范数约束,其定义为:
其中,U1(i,:)表示第一个模态对应投影矩阵的第i行,通过最小化上述目标,可自动选择出符合判别要求的具有较高判别能力的特征,并同时去除冗余和具有符合预设噪声强度的较强噪声的特征。
步骤S5,在选出具有较高判别能力的特征后,挖掘不完整观测模态间和模态内相似性关系,结合子空间学习和特征学习建立优化目标函数。
步骤S5中,模态间和模态内的相似性关系Wpq和Wp分别定义为:
其中Wpq(ij)表示模态间相似性关系矩阵的第i行第j列对应的元素值,为由高斯核计算出的相似度,表示两模态特征表达对应同一数据点,其中表示p模态下第i个数据点对应的特征,表示q模态下第j个数据点对应的特征。
基于以上两种相似度矩阵,则总体相似度矩阵构造为:
进而得到拉普拉斯矩阵L=D-W,其中D为对角矩阵,且其每个对角线元素对应W矩阵所对应行的所有元素之和。具体的L可以表示为
其中L值中的元素与W具有相一致的对应关系。
结合子空间学习与特征学习,最终的优化目标函数为:
s.t.F∈{0,1}n×k;FIk=In
其中α和β为预设的正整数,用于决定最终的优化目标函数中不同项的权值大小。
步骤S6,采用交替优化方式优化目标函数得到多模态数据共享子空间表达F以及各个模态的线性投影矩阵U。
在该步骤S6中,采用交替优化方式求解F和U,直至算法收敛。
固定U,则目标函数改写为
s.t.F∈{0,1}n×k;FIk=In
首先将约束条件进行松弛为FTF=I;F≥0,之后将子空间表达F进行拆分,则上述优化目标变为:
采用拉格朗日乘子法进行求解Fc
其中为拉格朗日乘子法求解上述优化目标的拉格朗日乘子,其计算方式为对于任意一个矩阵,假设用符号表示为Z,则
采用梯度方法求解
固定F,则目标函数改写为:
则U可以依据梯度进行求解,满足:
其中Q为对角矩阵,且满足其第m个元素为1/(2||Ui(m,:)||2),其中Ui(m,:)对应第Ui第m行,上式中i和j值分别可取1和2。
步骤S7,根据所得投影矩阵进行跨模态检索任务。
在该步骤中,利用投影矩阵对多模态数据点进行投影得到各自对应的子空间表达,之后便可在此子空间中以欧氏距离进行距离度量进行跨模态检索。
为了验证本发明的实施效果,接下来以PASCAL VOC 2007数据库为例进行说明。该数据库分别包含5,011和4,952幅训练和测试图像,共计20个类别,这些图像用GIST特征进行描述,同时文本模态由图像的标注词组成。
在该PASCAL VOC 2007数据库上可以进行由图像检索标注词和由标注词检索图像的跨模态检索任务。
具体步骤如下:
步骤S1,提取PASCAL VOC 2007图像的GIST特征和由标注词组成的文本特征,并以此两个模态组成多模态数据集。
步骤S2,在上述多模态数据集中,随机选择部分数据点使其包含完整的多模态特征表达,其余数据点则随机挑选出一部分仅包含文本特征,另外一部分仅包含图片特征,以此构造不完整观测多模态训练数据集合。
步骤S3,基于回归方式学习不完整观测多模态数据集共享子空间表达F,并分别学习不同模态的线性投影矩阵U1和U2
步骤S4,设计上述线性投影矩阵U1和U2的结构约束,实现对不同模态数据集的特征选择,即||U1||21+||U2||21
步骤S5,挖掘不完整观测模态间和模态内相似性关系W,并结合子空间学习和特征学习建立优化目标函数。
步骤S6,令α和β取值为0.01和0.01,并采用交替优化方式求解上述优化目标得到多模态数据共享子空间表达以及各个模态的线性投影矩阵。
步骤S7,利用投影矩阵对测试集不同模态数据进行投影,在相同子空间下基于欧氏距离完成跨模态检索任务。
表1和表2是本发明以平均准确率(MAP)为观测指标在不同模态缺失情况下分别以图片和文本作为检索词(query)的性能比较。
表1图片(Image)检索文本(Text)在不同模态不完整度情况下各个检索方法的性能比较。表中的数字表示map(mean averay precision)值。各个检索方法包括现有的PLS、BLM、CCA、CDFE、BMLDA、GMMFA方法以及本发明的方法MY。
Image 0% 10% 30% 50% 70% 90%
PLS 27.57 27.66 27.4 26.79 27.82 24.45
BLM 30.63 30.63 30.05 29.52 28.72 23.99
CCA 26.67 26.39 25.27 23.52 23.20 15.99
CDFE 29.98 29.67 28.09 27.85 26.92 21.78
GMLDA 31.08 30.59 28.63 30.40 28.61 22.84
GMMFA 30.57 30.20 28.12 30.14 27.70 22.27
My 37.49 36.70 35.86 33.17 29.92 23.61
表1
表2文本(Text)检索图片(Image)在不同模态不完整度情况下各个方法的性能比较。表中的数字表示map(mean averay precision)值。各个检索方法包括现有的PLS、BLM、CCA、CDFE、BMLDA、GMMFA方法以及本发明的方法MY。
Text 0% 10% 30% 50% 70% 90%
PLS 19.97 20.13 19.82 19.74 19.94 17.91
BLM 23.07 23.04 22.47 22.02 21.31 18.30
CCA 22.23 22.08 21.55 19.60 19.52 13.67
CDFE 22.46 22.59 20.58 21.56 20.77 15.41
GMLDA 24.63 24.23 22.56 23.69 21.80 17.07
GMMFA 24.34 23.95 22.07 23.34 21.39 17.13
My 29.66 28.07 27.48 26.38 22.70 16.24
表2
以上所述的具体实施例,对本发明的目的、技术方案和效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于子空间学习的不完整跨模态检索方法,其特征在于,包括步骤:
步骤S1,收集多模态数据并分别提取各模态的特征;
步骤S2,利用提取的各模态的特征构造不完整观测多模态数据集;
步骤S3,基于回归方式学习不完整观测多模态数据集共享子空间表达,并分别学习各模态数据线性投影矩阵;
步骤S4,通过各模态数据线性投影矩阵增加结构约束,学习不同模态数据集的特征,选出判别能力符合判别要求的特征;
步骤S5,挖掘不完整观测多模态集中的各模态间和模态内相似性关系,结合子空间学习和特征学习建立优化目标函数;
步骤S6,优化所述目标函数得到多模态数据集共享子空间表达以及各模态的线性投影矩阵;
步骤S7,根据所述各模态的线性投影矩阵进行跨模态检索。
2.根据权利要求1所述方法,其特征在于,所述不完整观测多模态数据集中有部分数据包含完整的多模态特征表达,其它部分数据包含部分多模态特征。
3.根据权利要求1所述方法,其特征在于,步骤S3中,通过对同一数据点不同模态特征表达学习得到可反映多模态数据的类别信息的相同的子空间表达,从而得不完整观测多模态数据集共享子空间表达。
4.根据权利要求1所述方法,其特征在于,步骤S4中,所述通过对各个模态的线性投影矩阵增加结构约束,学习不同模态数据集的特征,选出不同模态判别能力符合判别要求的特征的同时,还去除冗余和具有预定强度噪声的特征。
5.根据权利要求1所述方法,其特征在于,步骤S6中,采用交替优化方式优化所述目标函数直至模型收敛,得到不完整多模态数据共享子空间表达和各个模态对应的线性投影矩阵。
6.根据权利要求1所述方法,其特征在于,步骤S7中,根据所述各模态的线性投影矩阵进行跨模态检索的步骤为:根据所述各模态的线性投影矩阵对新的多模态数据点进行投影得到新的多模态数据点子空间表达,进而进行跨模态检索。
CN201611243419.5A 2016-12-29 2016-12-29 一种基于子空间学习的不完整跨模态检索方法 Active CN106844518B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611243419.5A CN106844518B (zh) 2016-12-29 2016-12-29 一种基于子空间学习的不完整跨模态检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611243419.5A CN106844518B (zh) 2016-12-29 2016-12-29 一种基于子空间学习的不完整跨模态检索方法

Publications (2)

Publication Number Publication Date
CN106844518A true CN106844518A (zh) 2017-06-13
CN106844518B CN106844518B (zh) 2019-02-12

Family

ID=59113892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611243419.5A Active CN106844518B (zh) 2016-12-29 2016-12-29 一种基于子空间学习的不完整跨模态检索方法

Country Status (1)

Country Link
CN (1) CN106844518B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633259A (zh) * 2017-08-21 2018-01-26 天津大学 一种基于稀疏字典表示的跨模态学习方法
CN108798641A (zh) * 2018-06-19 2018-11-13 东北大学 一种基于子空间迁移学习的有杆泵抽油井故障诊断方法
CN109271486A (zh) * 2018-09-19 2019-01-25 九江学院 一种相似性保留跨模态哈希检索方法
CN109376261A (zh) * 2018-10-29 2019-02-22 山东师范大学 基于中级文本语义增强空间的模态独立检索方法和***
CN109741833A (zh) * 2018-12-29 2019-05-10 东软集团股份有限公司 一种数据处理的方法和装置
CN109739991A (zh) * 2018-11-22 2019-05-10 国网天津市电力公司 基于共享特征空间的模态异质电力数据统一语义主题建模方法
CN109784405A (zh) * 2019-01-16 2019-05-21 山东建筑大学 基于伪标签学习和语义一致性的跨模态检索方法及***
CN112564945A (zh) * 2020-11-23 2021-03-26 南京邮电大学 一种基于时序先验和稀疏表示的ip网络流量估计方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050086210A1 (en) * 2003-06-18 2005-04-21 Kenji Kita Method for retrieving data, apparatus for retrieving data, program for retrieving data, and medium readable by machine
WO2013159356A1 (zh) * 2012-04-28 2013-10-31 中国科学院自动化研究所 基于判别相关分析的跨媒体检索方法
CN105701514A (zh) * 2016-01-15 2016-06-22 天津大学 一种用于零样本分类的多模态典型相关分析的方法
CN105930873A (zh) * 2016-04-27 2016-09-07 天津中科智能识别产业技术研究院有限公司 一种基于子空间的自步跨模态匹配方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050086210A1 (en) * 2003-06-18 2005-04-21 Kenji Kita Method for retrieving data, apparatus for retrieving data, program for retrieving data, and medium readable by machine
WO2013159356A1 (zh) * 2012-04-28 2013-10-31 中国科学院自动化研究所 基于判别相关分析的跨媒体检索方法
CN105701514A (zh) * 2016-01-15 2016-06-22 天津大学 一种用于零样本分类的多模态典型相关分析的方法
CN105930873A (zh) * 2016-04-27 2016-09-07 天津中科智能识别产业技术研究院有限公司 一种基于子空间的自步跨模态匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAIYE WANG ET AL.: "Learning Coupled Feature Spaces for Cross-modal Matching", 《2013 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
XIAOHUA ZHAI ET AL.: "Cross-media retrieval by intra-media and inter-media correlation mining", 《MULTIMEDIA SYSTEMS》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633259A (zh) * 2017-08-21 2018-01-26 天津大学 一种基于稀疏字典表示的跨模态学习方法
CN107633259B (zh) * 2017-08-21 2020-03-31 天津大学 一种基于稀疏字典表示的跨模态学习方法
CN108798641A (zh) * 2018-06-19 2018-11-13 东北大学 一种基于子空间迁移学习的有杆泵抽油井故障诊断方法
CN108798641B (zh) * 2018-06-19 2021-06-11 东北大学 一种基于子空间迁移学习的有杆泵抽油井故障诊断方法
CN109271486A (zh) * 2018-09-19 2019-01-25 九江学院 一种相似性保留跨模态哈希检索方法
CN109271486B (zh) * 2018-09-19 2021-11-26 九江学院 一种相似性保留跨模态哈希检索方法
CN109376261A (zh) * 2018-10-29 2019-02-22 山东师范大学 基于中级文本语义增强空间的模态独立检索方法和***
CN109739991A (zh) * 2018-11-22 2019-05-10 国网天津市电力公司 基于共享特征空间的模态异质电力数据统一语义主题建模方法
CN109741833A (zh) * 2018-12-29 2019-05-10 东软集团股份有限公司 一种数据处理的方法和装置
CN109784405A (zh) * 2019-01-16 2019-05-21 山东建筑大学 基于伪标签学习和语义一致性的跨模态检索方法及***
CN109784405B (zh) * 2019-01-16 2020-09-08 山东建筑大学 基于伪标签学习和语义一致性的跨模态检索方法及***
CN112564945A (zh) * 2020-11-23 2021-03-26 南京邮电大学 一种基于时序先验和稀疏表示的ip网络流量估计方法

Also Published As

Publication number Publication date
CN106844518B (zh) 2019-02-12

Similar Documents

Publication Publication Date Title
CN106844518A (zh) 一种基于子空间学习的不完整跨模态检索方法
EP3660733B1 (en) Method and system for information extraction from document images using conversational interface and database querying
Zhang et al. Detection of co-salient objects by looking deep and wide
CN106095893B (zh) 一种跨媒体检索方法
CN102902821B (zh) 基于网络热点话题的图像高级语义标注、检索方法及装置
CN104317834B (zh) 一种基于深度神经网络的跨媒体排序方法
CN104317902B (zh) 基于局部保持迭代量化哈希的图像检索方法
CN107688821A (zh) 基于视觉显著性与语义属性跨模态图像自然语言描述方法
CN107729513A (zh) 基于语义对齐的离散监督跨模态哈希检索方法
CN105279495A (zh) 一种基于深度学习和文本总结的视频描述方法
CN109784405B (zh) 基于伪标签学习和语义一致性的跨模态检索方法及***
CN111581414B (zh) 服饰识别、分类及检索的方法、装置、设备及存储介质
CN103064903B (zh) 图片检索方法和装置
CN102385592B (zh) 图像概念的检测方法和装置
CN116402063B (zh) 多模态讽刺识别方法、装置、设备以及存储介质
CN114332680A (zh) 图像处理、视频搜索方法、装置、计算机设备和存储介质
CN110334724B (zh) 基于lstm的遥感对象自然语言描述及多尺度矫正方法
CN104268140B (zh) 基于权重自学习超图和多元信息融合的图像检索方法
CN104966052A (zh) 基于属性特征表示的群体行为识别方法
Li et al. HEp-Net: a smaller and better deep-learning network for HEp-2 cell classification
CN108595546A (zh) 基于半监督的跨媒体特征学习检索方法
CN111522979B (zh) 图片排序推荐方法、装置、电子设备、存储介质
CN113609892A (zh) 深度学习与景区知识图谱融合的手写诗词识别方法
CN111931867A (zh) 基于轻量级模型的新冠肺炎x射线图像分类方法及***
Lonij et al. Open-world visual recognition using knowledge graphs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 300457 unit 1001, block 1, msd-g1, TEDA, No.57, 2nd Street, Binhai New Area Economic and Technological Development Zone, Tianjin

Patentee after: Tianjin Zhongke intelligent identification Co.,Ltd.

Address before: Unit 300465 TEDA MSD-G1-1001, 57 Second Avenue, Tianjin Economic and Technological Development Zone, Binhai New Area, Tianjin

Patentee before: TIANJIN ZHONGKE INTELLIGENT IDENTIFICATION INDUSTRY TECHNOLOGY RESEARCH INSTITUTE Co.,Ltd.

CP03 Change of name, title or address