CN111581410B - 图像检索方法及其装置、介质和*** - Google Patents

图像检索方法及其装置、介质和*** Download PDF

Info

Publication number
CN111581410B
CN111581410B CN202010475291.5A CN202010475291A CN111581410B CN 111581410 B CN111581410 B CN 111581410B CN 202010475291 A CN202010475291 A CN 202010475291A CN 111581410 B CN111581410 B CN 111581410B
Authority
CN
China
Prior art keywords
database
search
retrieval
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010475291.5A
Other languages
English (en)
Other versions
CN111581410A (zh
Inventor
陶云峰
钱克俊
杨俊�
蔡元昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yitu Technology Co ltd
Original Assignee
Shanghai Yitu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yitu Technology Co ltd filed Critical Shanghai Yitu Technology Co ltd
Priority to CN202010475291.5A priority Critical patent/CN111581410B/zh
Publication of CN111581410A publication Critical patent/CN111581410A/zh
Application granted granted Critical
Publication of CN111581410B publication Critical patent/CN111581410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2452—Query translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2468—Fuzzy queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种图像检索方法及其装置、介质和***。该方法包括：获取至少一张待处理图像，对待处理图像进行结构化特征提取，得到对应的多个结构化信息；将多个结构化信息转换成关键词，并且将关键词连接成字符串；将字符串***第一数据库，并且在第一数据库中对字符串建立索引，其中第一数据库中包括与获取到的待处理图像一一对应的标识信息，并且索引和标识信息相关；确定检索条件，将检索条件转换成与结构化信息对应的检索关键词，将检索关键词连接成检索字符串；将检索字符串输入第一数据库检索出目标索引，基于目标索引确定出与目标标识信息；基于在第一数据库中确定出的目标标识信息，在第二数据库中检索出与检索条件对应的关键信息。

Description

图像检索方法及其装置、介质和***
技术领域
本申请涉及计算机数据信息检索领域，特别涉及一种图像检索方法及其装置、介质和***。
背景技术
随着互联网和多媒体技术的发展，多媒体信息特别是图像信息正以爆式的速度在产生和传播。图像检索技术能够使用户在各种图像信息中快速准确地查找、访问所需图像，并且用户对图像检索和处理的速度要求越来越高。
在相关技术中，通常使用传统关系型数据库进行图像结构化信息的存储和检索。由于传统关系型数据库不支持字段扩展，不能直接对结构化字段进行增加、删除、修改，在新增字段时需要对旧的数据进行迁移。并且在进行结构化信息检索时，通常采用模糊查询的方式，效率低下。
发明内容
本申请实施例提供了一种图像检索方法及其装置、介质和***。本申请的技术方案通过对图像的结构化信息进行分类，转换成关键词，再对多个结构化信息对应的关键词采用特殊字符(例如空格)连接成字符串，将字符串***第一数据库(例如全文检索数据库)并建立索引。确定出检索条件后，将检索条件转换成与结构化信息对应的检索关键词，并且将检索关键词采用特殊字符(例如空格)连接成检索字符串。将检索关键词在第一数据库中检索对应的目标索引并确定出与目标索引对应的标识信息，再基于该标识信息到第二数据库(例如KV数据库)中查找出与检索条件对应的目标图像的关键信息(例如待检索图像的存储位置、出现的时间等信息)。相较于使用传统的关系型数据库(例如SQL数据库)进行图像检索时，采用模糊查询的方式逐个查找数据库中的字段。本方案可以快速有效地检索到目标图像的相关信息。
第一方面，本申请实施例提供了一种图像检索方法，包括：获取至少一张待处理图像，对待处理图像进行结构化特征提取，得到与待处理图像一一对应的多个结构化信息；将多个结构化信息中的每一个按照预设分类转换成关键词，并且将与多个结构化信息中的每一个对应的关键词连接成字符串；将字符串***第一数据库，并且在第一数据库中对字符串建立索引，其中第一数据库中包括与获取到的待处理图像一一对应的标识信息，并且与字符串对应的索引和标识信息相关；确定检索条件，将检索条件转换成与结构化信息对应的检索关键词，并且将检索关键词连接成检索字符串；将检索字符串输入第一数据库进行检索，得到对应于检索字符串的目标索引，并且基于得到的目标索引确定出与目标索引相关的目标标识信息；基于在第一数据库中确定出的目标标识信息，在第二数据库中检索出与检索条件对应的目标图像的关键信息。
在上述第一方面的一种可能的实现中，上述方法还包括：第一数据库包括全文检索数据库，将字符串***第一数据库，并且在第一数据库中对字符串建立索引包括：
将字符串***全文检索数据库，并在全文检索数据库中对字符串建立索引。
在上述第一方面的一种可能的实现中，上述方法还包括：第二数据库包括KV数据库，基于在第一数据库中确定出的目标标识信息，在第二数据库中检索出与检索条件对应的目标图像的关键信息包括：
基于在全文检索数据库确定出的目标标识信息，在KV数据库中检索出与检索条件对应的目标图像的关键信息，其中，在KV数据库中，将目标标识信息作为KV数据库的Key，将与检索条件对应的目标图像的关键信息作为KV数据库的Value。在检索时，通过在全文检索数据库确定出Key(即目标标识信息)之后，可直接得到对应于该Key的Value，即检索出对应于检索条件下的目标图像的关键信息。
在上述第一方面的一种可能的实现中，上述方法还包括：与检索条件对应的关键信息包括：与检索条件对应的检索目标的存储位置信息以及与检索条件对应的检索目标出现的时间信息中的至少一种。
在上述第一方面的一种可能的实现中，上述方法还包括：将与多个结构化信息中的每一个对应的关键词连接成字符串包括：将与多个结构化信息中的每一个对应的关键词通过特殊连接符连接成字符串。
在上述第一方面的一种可能的实现中，上述方法还包括：将检索关键词连接成检索字符串包括：将检索关键词通过特殊连接符连接成检索字符串。
在上述第一方面的一种可能的实现中，上述方法还包括：特殊字符包括空格。
第二方面，本申请实施例提供了一种图像检索装置，包括：
特征提取模块，用于获取至少一张待处理图像，对待处理图像进行结构化特征提取，得到与待处理图像一一对应的多个结构化信息；
关键词转换模块，用于将多个结构化信息中的每一个按照预设分类转换成关键词，并且将与多个结构化信息中的每一个对应的关键词连接成字符串；
索引创建模块，用于将字符串***第一数据库，并且在第一数据库中对字符串建立索引，其中第一数据库中包括与获取到的待处理图像一一对应的标识信息，并且与字符串对应的索引和标识信息相关；
检索条件处理模块，用于确定检索条件，将检索条件转换成与结构化信息对应的检索关键词，并且将检索关键词连接成检索字符串；
第一检索模块，用于将检索字符串输入第一数据库进行检索，得到对应于检索字符串的目标索引，并且基于得到的目标索引确定出与目标索引相关的目标标识信息；
第二检索模块，用于基于在第一数据库中确定出的目标标识信息，在第二数据库中检索出与检索条件对应的目标图像的关键信息。
在上述第二方面的一种可能的实现中，上述装置还包括：第一数据库包括全文检索数据库，索引创建模块通过以下方式将字符串***第一数据库，并且在第一数据库中对字符串建立索引：
将字符串***全文检索数据库，并在全文检索数据库中对字符串建立索引。
在上述第二方面的一种可能的实现中，上述装置还包括：第二数据库包括KV数据库，第二检索模块通过以下方式基于在第一数据库中确定出的目标标识信息，在第二数据库中检索出与检索条件对应的目标图像的关键信息：
基于在全文检索数据库确定出的目标标识信息，在KV数据库中检索出与检索条件对应的目标图像的关键信息，其中，在KV数据库中，将目标标识信息作为KV数据库的Key，将与检索条件对应的目标图像的关键信息作为KV数据库的Value。
在上述第二方面的一种可能的实现中，上述装置还包括：与检索条件对应的关键信息包括：与检索条件对应的检索目标的存储位置信息以及与检索条件对应的检索目标出现的时间信息中的至少一种。
在上述第二方面的一种可能的实现中，上述装置还包括：关键词转换模块通过以下方式将与多个结构化信息中的每一个对应的关键词连接成字符串：
将与多个结构化信息中的每一个对应的关键词通过特殊连接符连接成字符串。
在上述第二方面的一种可能的实现中，上述装置还包括：检索条件处理模块通过以下方式将检索关键词连接成检索字符串：
将检索关键词通过特殊连接符连接成检索字符串。
在上述第二方面的一种可能的实现中，上述装置还包括：特殊字符包括空格。
第三方面，本申请实施例提供了一种机器可读介质，机器可读介质上存储有指令，该指令在机器上执行时使机器执行上述第一方面以及第一方面可能的各实现中的图像检索方法。
第四方面，本申请实施例提供了一种***，包括：
存储器，用于存储由***的一个或多个处理器执行的指令，以及
处理器，是***的处理器之一，用于执行上述第一方面以及第一方面可能的各实现中的图像检索方法。
附图说明
图1根据本申请的一些实施例，示出了一种图像检索场景图；
图2根据本申请的一些实施例，示出了一种图像检索方法的流程图；
图3根据本申请的一些实施例，示出了一种图像检索装置的结构框图；
图4根据本申请的一些实施例，示出了一种***的框图；
图5根据本申请一些实施例，示出了一种片上***(SoC)的框图。
具体实施例
本申请的说明性实施例包括但不限于一种图像检索方法及其装置、介质和***。本申请的技术方案通过对图像的结构化信息进行分类，转换成关键词，再对多个结构化信息对应的关键词采用特殊字符(例如空格)连接成字符串，将字符串***第一数据库(例如全文检索数据库)并建立索引。确定出检索条件后，将检索条件转换成与结构化信息对应的检索关键词，并且将检索关键词采用特殊字符(例如空格)连接成检索字符串。将检索关键词在第一数据库中检索对应的目标索引并确定出与目标索引对应的标识信息，再基于该标识信息到第二数据库(例如KV数据库)中查找出与检索条件对应的目标图像的关键信息(例如待检索图像的存储位置、出现的时间等信息)。相较于使用传统的关系型数据库(例如SQL数据库)进行图像检索时，采用模糊查询的方式逐个查找数据库中的字段。本方案可以快速有效地检索到目标图像的相关信息。
下面将结合附图对本申请的实施例作进一步地详细描述。
图1根据本申请的一些实施例，公开了一种图像检索场景。在图1所示的场景中，包括终端100和图像采集设备101(如摄像头)，终端100与图像采集设备101连接。其中，图像采集设备101采集图像，并向终端100发送采集到的图像。例如，摄像头实时向终端100发送采集到的图像(如人脸图像等)。
终端100可以从接收到的大量的原始图像中提取出图像的结构化信息，以及与每一张图像相关联的关键信息，例如图像的存储位置、出现的时间等信息。在一些实施例中，可以通过三维卷积神经网络模型对大量的原始图像进行结构化信息提取，得到对应每一张原始图像的结构化信息。
在一些实施例中，结构化信息包括行人的各种特征属性信息，例如人体特征、衣着特征、装饰物特征及携带物特征等。人体特征包括头发、面部、四肢、性别等特征。衣着特征包括：上衣、裤子、连衣裙、鞋子等的特征。装饰物特征包括：帽子、太阳镜、眼镜、围巾、皮带腰带等的特征。携带物特征包括：单肩挎包、双肩背包、手提包、拉杆箱、雨伞等的特征。在一些实施例中，结构化信息包括车辆的特征。例如，机动车的车牌号、车身颜色、车辆品牌、车辆类型、子品牌、车辆年款及各种车辆特征物信息(例如年检标、遮阳板、挂件、摆件、纸巾盒、安全带等。)；非机动车的类型、车身颜色等等。
在一些实施例中，终端100将多个结构化信息中的每一个按照预设条件进行分类，得到对应于每一个结构化信息的多个分类数据。在一些实施例中，可以将每一个结构化信息按照十进制进行分类，得到对应于每一个结构化信息的多个十进制分类数据。例如，将人是否戴眼镜分为2种，0表示不戴眼镜，1表示戴眼镜；将人是否有胡须分为2种，0表示有胡须，1表示没有胡须；将人的发型类型分为7种：0表示光头、1表示秃顶、2表示寸头、3表示短发、4表示中长发、5表示长发、6表示扎辫子。
然后将对应于每一个结构化信息的多个分类数据(例如十进制数据)转换成关键词，例如，在一些实施例中，将人的发型分为上述7种类型，然后分别将这7种发型转换为SHAVEN；BALD；BUZZCUT；SHORT；MEDIUM；TRESS；SNOOD。
并且将与多个结构化信息中的每一个对应的多个关键词中的至少两个通过特殊连接符(例如空格)连接成字符串。再将字符串***第一数据库，并在第一数据库中对字符串建立索引，其中第一数据库中包括与获取到的目标图像一一对应的标识信息(例如图像的ID信息)，并且字符串对应的索引和标识信息相关。其中，第一数据库包括全文检索数据库。
在用户需要进行图像检索的时候，首先确定待检索图像的检索条件，将确定的检索条件按照与上文描述类似的方法按照结构化信息转换成对应的检索关键词，并且将检索关键词通过特殊连接符连接成检索字符串。在检索时，将与待检索图像对应的检索字符串输入第一数据库，基于在第一数据库中检索出的索引确定出与索引相关的标识信息；基于在第一数据库中确定出的标识信息，在第二数据库中检索出与待检索图像对应的关键信息，通过在第二数据库中检索出的与待检索图像对应的关键信息进而获得对应的图像。如此，可以大大提高图像检索速度。在一些实施例中，第二数据库可以为KV数据库。
可以理解，图1所示的终端100包括但不限于：小型计算终端设备(如图像处理盒子等)、服务器、手机、平板电脑、膝上型计算机、台式计算机、个人数字助理、虚拟现实或者增强现实设备、其中嵌入或耦接有一个或多个处理器的电视机等电子设备等。
可以理解，图1所示的图像检索场景只是实现本申请实施例的一个场景示例，本申请实施例并不限于图1所示的场景。在另一些实施例中，图1所示的场景可以包括比图示实施例更多或更少的设备或部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。
图2根据本申请的一些实施例，示出了一种图像检索方法的流程图。如图2所示，该方法具体包括；
1)获取至少一张待处理图像，对待处理图像进行结构化特征提取，得到与待处理图像一一对应的多个结构化信息(202)。其中，待处理图像可以是从图像采集设备获取到的。例如，通过监控摄像头在一段时间内采集到的大量的图像。在一些实施例中，通过三维卷积神经网络模型对大量的待处理图像进行结构化信息提取，得到对应每一张待处理图像的结构化信息，例如人体特征、衣着特征、装饰物特征及携带物特征等。可以理解，每张图像都对应着一组结构化信息，例如图像A对应着：长头发、戴帽子、穿着裙子、中年女性这一组结构化信息；图像B对应着：戴眼镜、留着胡子、牵着狗、老年男性这一组结构化信息。
2)将多个结构化信息中的每一个按照预设分类转换成关键词，并且将与多个结构化信息中的每一个对应的关键词连接成字符串(204)。其中，特殊字符可以为空格。
在一些实施例中，可以将多个结构化信息中的每一个按照十进制进行分类，得到对应于每一个结构化信息的多个十进制数据。例如，在一些实施例中，可以将人的年龄分为7种(0表示0到15岁，1表示15到20岁，2表示20到30岁，3表示30到35岁，4表示35随到45随，5表示45岁，到55岁，6表示大于55岁)、性别分为两种(0表示男、1表示女等)、体态分为3种(0表示胖、1表示瘦、2表示中)、上身衣着颜色分为9种(0表示黑、1表示白、2表示红、3表示黄、4表示蓝、5表示绿、6表示紫、7表示棕、8表示多色等)、发型特征分为7种(0表示光头、1表示秃顶、2表示寸头、3表示短发、4表示中长发、5表示长发、6表示扎辫子)、头发颜色分为8种(0表示黑、1表示白、2表示红、3表示黄、4表示蓝、5表示绿、6表示紫、7表示棕等)、人的朝向分为3种(0表示正面、1表示背面、2表示侧面)。
然后将每一个结构化信息的分类结果转换成关键词，例如，在一些实施例中，将上述划分的7种年龄表示为KID，KID_YOUTH，YOUTH，YOUTH_ADULT，ADULT，ADULT_OLD，OLD。将人的2种性别表示为MALE，FEMALE。将头发颜色的分类数值表示为BLACK、WHITE、BROWN、YELLOW、PURPLE、BLUE。将上述划分的人有无胡须的分类数值表示为：BEARD_YES，BEARD_NO。
在一些实施例中，可以将与多个结构化信息中的每一个对应的关键词采用特殊连接符连接成字符串，例如“有胡须的中年男性”用字符串表示为：“ADULT BEARD_YES MALE”。
可以理解，一张图像可以提取出多个结构化信息，将结构化信息按照预设规则进行分类后，用关键词将结构化信息表示出来，易于理解，一张图像的多个结构化信息可以通过一组由空格连接的关键词组成的字符串表示出来。
可以理解，本申请实施例提供的图像检索方法涉及的图像的结构化信息不限于上述实施例中描述的结构化信息。并且，对结构化信息的分类方式也不限于上述实施例中描述的分类方式。
3)将字符串***第一数据库，并且在第一数据库中对字符串建立索引，其中第一数据库中包括与获取到的待处理图像一一对应的标识信息，并且与字符串对应的索引和标识信息相关(206)。
在一些实施例中，第一数据库包括全文检索数据库。在一些实施例中，标识信息即为每个字符串创建的ID。在一些实施例中，对于全文检索数据库，可以将结构化信息转换的字符串传递给分词组件(Tokenizer)，由分词组件根据特殊字符将文档分为一个个单独的单词。经过分词后得到的结果称为词元(Token)。将得到的词元传给语言处理组件进行语言处理，语言处理组件处理后的结果称为词(Term)(即关键词)。将得到的词(Term)传递给索引组件(Indexer)，索引组件先将得到的词创建为字符串与关键词ID的映射词典，最后形成一张倒排链表。
4)确定检索条件，将检索条件转换成与结构化信息对应的检索关键词，并且将检索关键词连接成检索字符串(208)。
在一些实施例中，当用户想要查找图像时，确定出对应该图像的检索条件，将确定的检索条件按照与上文描述类似的方法按照结构化信息转换成对应的检索关键词，并且将检索关键词通过特殊连接符连接成检索字符串。
5)将检索字符串输入第一数据库进行检索，得到对应于检索字符串的目标索引，并且基于得到的目标索引确定出与目标索引相关的目标标识信息(210)
在一些实施例中，在全文检索引擎(例如Lucene)中输入检索字符串，检索出与检索字符串对应的目标索引，在一些实施例中，目标索引为零个，即在全文检索引擎中未检索出与检索条件对应的目标索引。在一些实施例中，目标索引为多个，即在全文检索引擎中检索出与检索条件对应的多个目标索引。基于在全文检索引擎中检索出的索引确定出与该索引相关的ID信息。
6)基于在第一数据库中确定出的目标标识信息，在第二数据库中检索出与检索条件对应的目标图像的关键信息(212)。
在一些实施例中，基于在第一数据库中确定出的ID信息，在第二数据库中检索出与待检索图像对应的关键信息。其中，关键信息包括图片的存储位置、出现的时间等信息。具体地，在一些实施例中，可以将全文检索数据库中的ID信息和KV数据库进行关联。由于KV数据库只有Key-Value两个属性，可以将与待检索图像对应的关键信息作为Value，将全文检索数据库中的ID信息作为Key。可以理解，当在全文检索数据库中确定出对应于检索条件的ID信息后，即可通过该ID信息在KV数据库中检索出对应于该ID信息的Value，即检索出对应于检索条件的目标图像的关键信息，通过该关键信息即可直接找到最终需要检索的目标图像，而不需要在KV数据库中对图像的关键信息进行逐个比较。
图3根据本申请的一些实施例，示出了一种图像检索装置的结构框图。如图3所示，具体地，包括：
特征提取模块302，用于获取至少一张待处理图像，对待处理图像进行结构化特征提取，得到与待处理图像一一对应的多个结构化信息；
关键词转换模块304，用于将多个结构化信息中的每一个按照预设分类转换成关键词，并且将与多个结构化信息中的每一个对应的关键词连接成字符串；其中，关键词转换模块通过以下方式将与多个结构化信息中的每一个对应的关键词连接成字符串：将与多个结构化信息中的每一个对应的关键词通过特殊连接符连接成字符串。在一些实施例中，特殊字符包括空格。
索引创建模块306，用于将字符串***第一数据库，并且在第一数据库中对字符串建立索引，其中第一数据库中包括与获取到的待处理图像一一对应的标识信息，并且与字符串对应的索引和标识信息相关；其中，第一数据库包括全文检索数据库，索引创建模块通过以下方式将字符串***第一数据库，并且在第一数据库中对字符串建立索引：将字符串***全文检索数据库，并在全文检索数据库中对字符串建立索引。
检索条件处理模块308，用于确定检索条件，将检索条件转换成与结构化信息对应的检索关键词，并且将检索关键词连接成检索字符串；检索条件处理模块通过以下方式将检索关键词连接成检索字符串：将检索关键词通过特殊连接符连接成检索字符串。在一些实施例中，特殊字符包括空格。
第一检索模块310，用于将检索字符串输入第一数据库进行检索，得到对应于检索字符串的目标索引，并且基于得到的目标索引确定出与目标索引相关的目标标识信息；
第二检索模块312，用于基于在第一数据库中确定出的目标标识信息，在第二数据库中检索出与检索条件对应的目标图像的关键信息。第二数据库包括KV数据库，第二检索模块通过以下方式基于在第一数据库中确定出的目标标识信息，在第二数据库中检索出与检索条件对应的目标图像的关键信息：基于在全文检索数据库确定出的目标标识信息，在KV数据库中检索出与检索条件对应的目标图像的关键信息，其中，在KV数据库中，将目标标识信息作为KV数据库的Key，将与检索条件对应的目标图像的关键信息作为KV数据库的Value。其中，与检索条件对应的关键信息包括：与检索条件对应的检索目标的存储位置信息以及与检索条件对应的检索目标出现的时间信息中的至少一种。
可以理解，图3所示的图像检索装置300与本申请提供的图像检索方法相对应，以上关于本申请提供的图像检索方法的具体描述中的技术细节依然适用于图3所示的图像检索装置300，具体描述请参见上文，在此不再赘述。
图4所示为根据本申请的一些实施例的***400的框图。在一些实施例中，***400可以包括一个或多个处理器404，与处理器404中的至少一个连接的***控制逻辑408，与***控制逻辑408连接的***内存412，与***控制逻辑408连接的非易失性存储器(NVM)416，以及与***控制逻辑408连接的网络接口420。
在一些实施例中，处理器404可以包括一个或多个单核或多核处理器。在一些实施例中，处理器404可以包括通用处理器和专用处理器(例如，图形处理器，应用处理器，基带处理器等)的任意组合。处理器404可以用于对获取的待处理图像进行特征提取，得到与待处理图像一一对应的多个结构化信息；将多个结构化信息中的每一个按照预设分类转换成关键词，并且将与多个结构化信息中的每一个对应的关键词连接成字符串。另外处理器404还用于将字符串***第一数据库，并且在第一数据库中对字符串建立索引，其中第一数据库中包括与获取到的待处理图像一一对应的标识信息，并且与字符串对应的索引和标识信息相关。当需要进行图像检索时，处理器404根据确定出的检索条件，将检索条件转换成与结构化信息对应的检索关键词，并且将检索关键词连接成检索字符串；将检索字符串输入第一数据库进行检索，得到对应于检索字符串的目标索引，并且基于得到的目标索引确定出与目标索引相关的目标标识信息；基于在第一数据库中确定出的目标标识信息，在第二数据库中检索出与检索条件对应的目标图像的关键信息。
在一些实施例中，***控制逻辑408可以包括任意合适的接口控制器，以向处理器404中的至少一个和/或与***控制逻辑408通信的任意合适的设备或组件提供任意合适的接口。
在一些实施例中，***控制逻辑408可以包括一个或多个存储器控制器，以提供连接到***内存412的接口。***内存412可以用于加载以及存储数据和/或指令。在一些实施例中***400的内存412可以包括任意合适的易失性存储器，例如合适的动态随机存取存储器(DRAM)。
NVM/存储器416可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性的计算机可读介质。例如，存储获取的图片信息。在一些实施例中，NVM/存储器416可以包括闪存等任意合适的非易失性存储器和/或任意合适的非易失性存储设备，例如HDD(HardDisk Drive，硬盘驱动器)，CD(Compact Disc，光盘)驱动器，DVD(Digital VersatileDisc，数字通用光盘)驱动器中的至少一个。
NVM/存储器416可以包括安装***400的装置上的一部分存储资源，或者它可以由设备访问，但不一定是设备的一部分。例如，可以经由网络接口420通过网络访问NVM/存储416。
特别地，***内存412和NVM/存储器416可以分别包括：指令424的暂时副本和永久副本。指令424可以包括：由处理器404中的至少一个执行时导致***400实施如图2所示的方法的指令。在一些实施例中，指令424、硬件、固件和/或其软件组件可另外地/替代地置于***控制逻辑408，网络接口420和/或处理器404中。
网络接口420可以包括收发器，用于为***400提供无线电接口，进而通过一个或多个网络与任意其他合适的设备(如前端模块，天线等)进行通信。在一些实施例中，网络接口420可以集成于***400的其他组件。例如，网络接口420可以集成于处理器404，***内存412，NVM/存储器416，和具有指令的固件设备(未示出)中的至少一种，当处理器404中的至少一个执行指令时，***400实现如图2所示的图像检索方法。
网络接口420可以进一步包括任意合适的硬件和/或固件，以提供多输入多输出无线电接口。例如，网络接口420可以是网络适配器，无线网络适配器，电话调制解调器和/或无线调制解调器。
在一个实施例中，处理器404中的至少一个可以与用于***控制逻辑408的一个或多个控制器的逻辑封装在一起，以形成***封装(SiP)。在一个实施例中，处理器404中的至少一个可以与用于***控制逻辑408的一个或多个控制器的逻辑集成在同一管芯上，以形成片上***(SoC)。
***400可以进一步包括：输入/输出(I/O)设备432。I/O设备432可以包括用户界面，使得用户能够与***400进行交互；***组件接口的设计使得***组件也能够与***400交互。在一些实施例中，***400还包括传感器，用于确定与***400相关的环境条件和位置信息的至少一种。
根据本申请的实施例，图5示出了一种SoC(System on Chip，片上***)500的框图。在图5中，相似的部件具有同样的附图标记。另外，虚线框是更先进的SoC的可选特征。在图5中，SoC500包括：互连单元550，其被耦合至应用处理器510；***代理单元570；总线控制器单元580；集成存储器控制器单元540；一组或一个或多个协处理器520，其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机存取存储器(SRAM)单元530；直接存储器存取(DMA)单元560。在一个实施例中，协处理器520包括专用处理器，诸如例如网络或通信处理器、压缩引擎、GPU、高吞吐量MIC处理器、或嵌入式处理器等等。
本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程***上执行的计算机程序或程序代码，该可编程***包括至少一个处理器、存储***(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
可将程序代码应用于输入指令，以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理***包括具有诸如例如数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器之类的处理器的任何***。
程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理***通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。
在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质分发。因此，机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、只读存储器(CD-ROMs)、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息，例如，载波、红外信号数字信号等)的有形的机器可读存储器。因此，机器可读介质包括适合于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。
需要说明的是，本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外，为了突出本申请的创新部分，本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。
需要说明的是，在本专利的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本申请的某些优选实施例，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (14)

1.一种图像检索方法，其特征在于，所述方法包括：
获取至少一张待处理图像，对所述待处理图像进行结构化特征提取，得到与所述待处理图像一一对应的多个结构化信息；
将多个所述结构化信息中的每一个按照预设分类转换成关键词，并且将与多个所述结构化信息中的每一个对应的关键词连接成字符串；
将所述字符串***第一数据库，并且在所述第一数据库中对所述字符串建立索引，其中所述第一数据库中包括与获取到的所述待处理图像一一对应的标识信息，并且与所述字符串对应的索引和所述标识信息相关；所述第一数据库包括全文检索数据库；
确定检索条件，将所述检索条件转换成与结构化信息对应的检索关键词，并且将所述检索关键词连接成检索字符串；
将所述检索字符串输入所述第一数据库进行检索，得到对应于所述检索字符串的目标索引，并且基于得到的所述目标索引确定出与所述目标索引相关的目标标识信息；
基于在所述第一数据库中确定出的所述目标标识信息，在第二数据库中检索出与所述检索条件对应的目标图像的关键信息；
所述第二数据库包括KV数据库，所述基于在所述第一数据库中确定出的所述目标标识信息，在第二数据库中检索出与所述检索条件对应的目标图像的关键信息包括：
基于在所述全文检索数据库确定出的所述目标标识信息，在KV数据库中检索出与所述检索条件对应的目标图像的关键信息，其中，在所述KV数据库中，将所述目标标识信息作为所述KV数据库的Key，将与所述检索条件对应的目标图像的关键信息作为所述KV数据库的Value。
2.根据权利要求1所述的图像检索方法，其特征在于，所述将所述字符串***第一数据库，并且在所述第一数据库中对所述字符串建立索引包括：
将所述字符串***全文检索数据库，并在所述全文检索数据库中对所述字符串建立索引。
3.根据权利要求1所述的图像检索方法，其特征在于，所述与所述检索条件对应的目标图像的关键信息包括：与所述检索条件对应的检索目标的存储位置信息以及与所述检索条件对应的检索目标出现的时间信息中的至少一种。
4.根据权利要求1所述的图像检索方法，其特征在于，所述将与多个所述结构化信息中的每一个对应的关键词连接成字符串包括：
将与多个所述结构化信息中的每一个对应的关键词通过特殊连接符连接成字符串。
5.根据权利要求1所述的图像检索方法，其特征在于，所述将所述检索关键词连接成检索字符串包括：
将所述检索关键词通过特殊连接符连接成检索字符串。
6.根据权利要求4或5所述的图像检索方法，其特征在于，所述特殊连接符包括空格。
7.一种图像检索装置，其特征在于，所述装置包括：
特征提取模块，用于获取至少一张待处理图像，对所述待处理图像进行结构化特征提取，得到与所述待处理图像一一对应的多个结构化信息；
关键词转换模块，用于将多个所述结构化信息中的每一个按照预设分类转换成关键词，并且将与多个所述结构化信息中的每一个对应的关键词连接成字符串；
索引创建模块，用于将所述字符串***第一数据库，并且在所述第一数据库中对所述字符串建立索引，其中所述第一数据库中包括与获取到的所述待处理图像一一对应的标识信息，并且与所述字符串对应的索引和所述标识信息相关；所述第一数据库包括全文检索数据库；
检索条件处理模块，用于确定检索条件，将所述检索条件转换成与结构化信息对应的检索关键词，并且将所述检索关键词连接成检索字符串；
第一检索模块，用于将所述检索字符串输入所述第一数据库进行检索，得到对应于所述检索字符串的目标索引，并且基于得到的所述目标索引确定出与所述目标索引相关的目标标识信息；
第二检索模块，用于基于在所述第一数据库中确定出的所述目标标识信息，在第二数据库中检索出与所述检索条件对应的目标图像的关键信息；
所述第二数据库包括KV数据库，所述基于在所述第一数据库中确定出的所述目标标识信息，在第二数据库中检索出与所述检索条件对应的目标图像的关键信息包括：
基于在所述全文检索数据库确定出的所述目标标识信息，在KV数据库中检索出与所述检索条件对应的目标图像的关键信息，其中，在所述KV数据库中，将所述目标标识信息作为所述KV数据库的Key，将与所述检索条件对应的目标图像的关键信息作为所述KV数据库的Value。
8.根据权利要求7所述的图像检索装置，其特征在于，所述索引创建模块通过以下方式将所述字符串***第一数据库，并且在所述第一数据库中对所述字符串建立索引：
将所述字符串***全文检索数据库，并在所述全文检索数据库中对所述字符串建立索引。
9.根据权利要求7所述的图像检索装置，其特征在于，所述与所述检索条件对应的目标图像的关键信息包括：与所述检索条件对应的检索目标的存储位置信息以及与所述检索条件对应的检索目标出现的时间信息中的至少一种。
10.根据权利要求7所述的图像检索装置，其特征在于，所述关键词转换模块通过以下方式将与多个所述结构化信息中的每一个对应的关键词连接成字符串：
将与多个所述结构化信息中的每一个对应的关键词通过特殊连接符连接成字符串。
11.根据权利要求7所述的图像检索装置，其特征在于，所述检索条件处理模块通过以下方式将所述检索关键词连接成检索字符串：
将所述检索关键词通过特殊连接符连接成检索字符串。
12.根据权利要求10或11所述的图像检索装置，其特征在于，所述特殊连接符包括空格。
13.一种机器可读介质，其特征在于，所述机器可读介质上存储有指令，该指令在机器上执行时使机器执行权利要求1至6中任一项所述的图像检索方法。
14.一种***，包括：
存储器，用于存储由***的一个或多个处理器执行的指令，以及
处理器，是***的处理器之一，用于执行权利要求1至6中任一项所述的图像检索方法。
CN202010475291.5A 2020-05-29 2020-05-29 图像检索方法及其装置、介质和*** Active CN111581410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010475291.5A CN111581410B (zh) 2020-05-29 2020-05-29 图像检索方法及其装置、介质和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010475291.5A CN111581410B (zh) 2020-05-29 2020-05-29 图像检索方法及其装置、介质和***

Publications (2)

Publication Number Publication Date
CN111581410A CN111581410A (zh) 2020-08-25
CN111581410B true CN111581410B (zh) 2023-11-14

Family

ID=72111226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010475291.5A Active CN111581410B (zh) 2020-05-29 2020-05-29 图像检索方法及其装置、介质和***

Country Status (1)

Country Link
CN (1) CN111581410B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112286506B (zh) * 2020-10-30 2024-05-07 杭州海康威视数字技术股份有限公司 数据关联方法、装置、服务器及存储介质
CN113138637B (zh) * 2021-04-16 2024-04-05 北京沃东天骏信息技术有限公司 一种电脑配置信息处理方法、装置及其存储介质
CN114201258B (zh) * 2021-12-10 2024-06-07 金蝶软件（中国）有限公司 复制粘贴的方法、装置、计算机设备和存储介质
CN114265952B (zh) * 2022-03-02 2023-03-14 浙江宇视科技有限公司 一种目标检索方法和装置
CN117932120A (zh) * 2024-03-18 2024-04-26 支付宝(杭州)信息技术有限公司 图数据库的数据存储方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729518A (zh) * 2017-10-26 2018-02-23 山东浪潮云服务信息科技有限公司 一种关系型数据库的全文检索方法及装置
CN108255972A (zh) * 2017-12-27 2018-07-06 浪潮通用软件有限公司 一种全文检索方法及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5799621B2 (ja) * 2011-07-11 2015-10-28 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729518A (zh) * 2017-10-26 2018-02-23 山东浪潮云服务信息科技有限公司 一种关系型数据库的全文检索方法及装置
CN108255972A (zh) * 2017-12-27 2018-07-06 浪潮通用软件有限公司 一种全文检索方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郑庆华,张炜.超文本全文检索技术的研究与实现.西安交通大学学报.2001,(04),全文. *

Also Published As

Publication number Publication date
CN111581410A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111581410B (zh) 图像检索方法及其装置、介质和***
CN106560809B (zh) 用从另一图像提取的至少一个属性修改图像的至少一个属性
US9430719B2 (en) System and method for providing objectified image renderings using recognition information from images
CN106560810B (zh) 使用图像中找到的特定属性进行搜索
US8649572B2 (en) System and method for enabling the use of captured images through recognition
US7809192B2 (en) System and method for recognizing objects from images and identifying relevancy amongst images and information
US7809722B2 (en) System and method for enabling search and retrieval from image files based on recognized information
EP4113325A2 (en) System and method of saving digital content classified by person-based clustering
TWI761803B (zh) 影像處理方法及影像處理裝置、處理器和電腦可讀儲存媒介
JP7165752B2 (ja) 画像処理方法及び装置、プロセッサ、記憶媒体
KR20210002410A (ko) 외형인식모델 학습용 데이터셋 구축 방법, 장치 및 프로그램
WO2006122164A2 (en) System and method for enabling the use of captured images through recognition
EP2084625B1 (en) Dominant color descriptors
Rubio et al. Multi-modal joint embedding for fashion product retrieval
CN111444373B (zh) 图像检索方法及其装置、介质和***
Nie et al. Deep feature ranking for person re-identification
CN110413818B (zh) 贴纸推荐方法、装置、计算机可读存储介质和计算机设备
KR20200141387A (ko) 딥러닝 알고리즘을 이용한 영상데이터 검색방법, 장치 및 프로그램
CN111178409A (zh) 基于大数据矩阵稳定性分析的图像匹配与识别***
CN113129410B (zh) 素描图像转换方法及相关产品
WO2022222779A1 (zh) 图像生成方法、装置、电子设备和计算机可读介质
Wu et al. A novel image retrieval approach with Bag-of-Word model and Gabor feature
Boini Madhavi INTEGRATED APPROACH TO CONTENT BASED IMAGE RETRIVAL USING CLUSTERING
Padala et al. An approach for effective image retrievals based on semantic tagging and generalized gaussian mixture model
CN118152609A (zh) 图像生成方法、装置、计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant