CN114661936B - 一种应用于工业视觉中的图像检索的方法及电子设备 - Google Patents

一种应用于工业视觉中的图像检索的方法及电子设备 Download PDF

Info

Publication number
CN114661936B
CN114661936B CN202210543251.9A CN202210543251A CN114661936B CN 114661936 B CN114661936 B CN 114661936B CN 202210543251 A CN202210543251 A CN 202210543251A CN 114661936 B CN114661936 B CN 114661936B
Authority
CN
China
Prior art keywords
retrieval
distributed system
image
modality
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210543251.9A
Other languages
English (en)
Other versions
CN114661936A (zh
Inventor
周凡
刘海亮
郑贵锋
苏航
汤武惊
张怡
李泽原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Shenzhen Research Institute of Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Shenzhen Research Institute of Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University, Shenzhen Research Institute of Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202210543251.9A priority Critical patent/CN114661936B/zh
Publication of CN114661936A publication Critical patent/CN114661936A/zh
Application granted granted Critical
Publication of CN114661936B publication Critical patent/CN114661936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请适用于数据处理技术领域，提供了应用于工业视觉中的图像检索的方法及电子设备，方法包括：响应于用户发起的检索指令，根据检索指令内的基准图像以及自定义信息生成图像检索任务；基于图像检索任务生成多个模态的模态特征；多个模态包括：轮廓模态、结构模态以及文本特征模态；分别为各个模态的模态特征配置对应的检索子任务，并将各个检索子任务发送给与模态关联的分布式***，以通过分布式***内的分布式节点对检索子任务进行检索处理；接收逻辑服务器反馈的检索列表，并基于检索列表生成关于检索指令对应的检索结果。采用上述方法中，能够从多维度对图像内容进行理解，提高了检索过程的准确性。

Description

一种应用于工业视觉中的图像检索的方法及电子设备
技术领域
本申请属于多媒体技术领域，尤其涉及一种应用于工业视觉中的图像检索的方法及电子设备。
背景技术
随着信息技术的不断发展，电子文档、图像以及视频等多媒体数据的数量以几何级数的速度增加。伴随着多媒体数据的数目上升的同时，为了便于用户快速查找到对应的数据，搜索技术也随之出现，特别在工业生产上，存在大量的图纸、设计图以及草稿等图像数据，在需要进行搜索时则需要使用工业视觉技术。由于人们往往是通过文字进行语义表达，因此在进行搜索时，通过关键词进行搜索成为了主流的搜索方式。然而在进行非文本类的电子文件搜索时，如图像类型的搜索时，由于图像数据的表达往往是通过轮廓、颜色的组合进行表达，而并非通过文本来进行描述，通过关键词搜索则无法准确地搜索得到所需的图像。
现有的图像搜索技术，一般是通过为图像添加对应的标签，在用户需要进行图像检索时，可以输入检索关键词，通过检索关键词与添加了标签的各个候选图像进行匹配，以实现图像检索的目的。然而，随着图像检索的精度要求不断提高，以及标签对于图像表述的准确度较低，通过关键词对图像进行检索时，往往只能够进行粗粒度的搜索，从而大大增加了用户筛选目标图像的难度，降低了检索的效率。
发明内容
本申请实施例提供了一种应用于工业视觉中的图像检索的方法、装置、电子设备及存储介质，可以解决现有的图像搜索技术，通过关键词对图像进行检索时，往往只能够进行粗粒度的搜索，从而大大增加了用户筛选目标图像的难度，降低了检索的效率的问题。
第一方面，本申请实施例提供了一种应用于工业视觉中的图像检索的方法，包括：
响应于用户发起的检索指令，根据所述检索指令内的基准图像以及自定义信息生成图像检索任务；
基于所述图像检索任务生成多个模态的模态特征；所述多个模态包括：轮廓模态、结构模态以及文本特征模态；
分别为各个所述模态的模态特征配置对应的检索子任务，并将各个所述检索子任务发送给与所述模态关联的分布式***，以通过所述分布式***内的分布式节点对所述检索子任务进行检索处理；
接收逻辑服务器反馈的检索列表，并基于所述检索列表生成关于所述检索指令对应的检索结果；所述检索列表是所述逻辑服务器在接收到各个所述分布式***反馈的任务处理结果后，对所有所述任务处理结果进行逻辑合并处理后得到的；所述检索结果包含符合所述检索指令的目标图像。
在第一方面的一种可能的实现方式中，所述分别为各个所述模态的模态特征配置对应的检索子任务，并将各个所述检索子任务发送给与所述模态关联的分布式***，以通过所述分布式***内的分布式节点对所述检索子任务进行检索处理，包括：
获取与所述模态关联的任务模板，将所述模态特征添加到所述任务模板内，以生成所述检索子任务；
根据模态与服务***的对应关系，确定与所述模态关联的分布式***，并将所述检索子任务发送给所述分布式***；所述分布式***包括多个地图节点以及归约节点；所述地图节点用于从分布式***内获取关于同一候选图像的数据块，并基于所有所述数据块还原所述候选图像；所述归约节点用于接收所述地图节点反馈的所述候选图像，并根据所述候选图像生成所述模态对应的候选特征，并计算所述候选特征与所述模态特征之间的相似度，并将所述相似度与预设的相似阈值比对，生成关于所述候选图像的匹配结果，将所有匹配的候选图像生成所述任务处理结果，并将所述任务处理结果发送给所述逻辑服务器；其中，所述地图节点复用于各个所述模态的所述分布式***。
在第一方面的一种可能的实现方式中，所述归约节点在计算所述候选特征与所述模态特征之间的相似度时，所述相似度可以表示为：
Figure 679313DEST_PATH_IMAGE001
其中，SimilarLv为所述相似度；SMod（i）为所述模态特征中第i个特征值；BMod（i）为所述候选特征中第i个特征值；N为所述模态包含的特征值总数。
在第一方面的一种可能的实现方式中，所述分别为各个所述模态的模态特征配置对应的检索子任务，并将各个所述检索子任务发送给与所述模态关联的分布式***，以通过所述分布式***内的分布式节点对所述检索子任务进行检索处理，包括：
基于各个模态预设的检索次序，将处于第M级模态对应的所述检索子任务发送给处于第M级模态对应的所述分布式***；所述M的初始值为1；
若接收到所述处于第M级模态对应的分布式***反馈的检索完成指令，则判断所述M的值是否大于所述检索次序的最大值；所述检索完成指令是在所述处于第M级模态对应的分布式***得到所述任务处理结果时生成的；
若所述M的值小于所述检索次序的最大值，则向所述处于第M级模态对应的分布式***发送第一结果转发指令，并增加所述M的值，返回执行所述基于各个模态预设的检索次序，将处于第M级模态对应的所述检索子任务发送给处于第M级模态对应的所述分布式***的操作；所述第一结果转发指令包含第M+1级模态对应的分布式***的通信地址，以使第M级模态对应的分布式***将所述任务处理结果发送给第M+1级模态对应的分布式***；
若所述M的值大于或等于所述检索次序的最大值，则向所述处于第M级模态对应的所述分布式***发送第二结果转发指令，以使处于第M级模态对应的分布式***的任务处理结果发送给所述逻辑服务器。
在第一方面的一种可能的实现方式中，所述响应于用户发起的检索指令，根据所述检索指令内的基准图像以及自定义信息生成图像检索任务，包括：
提取所述检索指令的所述自定义信息，确定所述自定义信息指定的所述检索类型；
若所述检索类型为外观专利检索类型，则根据专利关键词调整语义识别算法；
将所述自定义信息导入到所述语义识别算法，生成在多个专利维度的维度特征值；
根据所述基准图像以及所述维度特征值，生成所述图像检索任务。
在第一方面的一种可能的实现方式中，所述基于所述图像检索任务生成多个模态的模态特征，包括：
根据所述基准图像对应的图像视角以及所述自定义信息所指定的产品类型，生成所述基准图像的轮廓划分算法；所述轮廓划分算法是根据所述产品类型包含的产品部件确定的；
将所述基准图像导入所述轮廓划分算法，得到多个图像区域，并分别确定各个图像区域的轮廓特征；
根据各个所述轮廓特征以及与所述轮廓特征对应的所述产品部件之间的关联关系，生成关于所述轮廓模态的所述模态特征。
在第一方面的一种可能的实现方式中，所述接收逻辑服务器反馈的检索列表，并基于所述检索列表生成关于所述检索指令对应的检索结果，包括：
向所述分布式***发送所述检索列表包含的文件标识的搜索指令，以通过所述分布式***内的地图节点获取与所述文件标识在多个搜索维度对应的多个目标数据块；所述搜索维度是基于所述搜索指令的搜索类型确定的；
接收所述分布式***反馈的各个目标数据块，生成关于所述文件标识对应的预览数据；
基于所有文件标识对应的预览数据，生成所述检索结果。
第二方面，本申请实施例提供了一种应用于工业视觉中的图像检索的装置，包括：
图像检索任务生成单元，用于响应于用户发起的检索指令，根据所述检索指令内的基准图像以及自定义信息生成图像检索任务；
模态特征生成单元，用于基于所述图像检索任务生成多个模态的模态特征；所述多个模态包括：轮廓模态、结构模态以及文本特征模态；
检索子任务下发单元，用于分别为各个所述模态的模态特征配置对应的检索子任务，并将各个所述检索子任务发送给与所述模态关联的分布式***，以通过所述分布式***内的分布式节点对所述检索子任务进行检索处理；
检索结果生成单元，用于接收逻辑服务器反馈的检索列表，并基于所述检索列表生成关于所述检索指令对应的检索结果；所述检索列表是所述逻辑服务器在接收到各个所述分布式***反馈的任务处理结果后，对所有所述任务处理结果进行逻辑合并处理后得到的；所述检索结果包含符合所述检索指令的目标图像。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面任一项所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面任一项所述的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在服务器上运行时，使得服务器执行上述第一方面中任一项所述的方法。
本申请实施例与现有技术相比存在的有益效果是：中用户可以将需要检索的基准图像以及检索关联的自定义信息生成对应的检索指令，通过对检索指令中的基准图像以及自定义信息进行处理，生成对应的图像检索任务，将图像检索任务进行模态特征的提取，能够确定在多个不同模态下该图像检索任务对应的模态特征，能够从多维度对基准图像的图像内容进行表达，以提高图像检索的准确性；继而为不同的模态特征配置对应的检索子任务，将各个检索子任务分发给对应的分布式***进行检索处理，得到各个模态对应的任务处理结果，所有任务处理结果会汇总到逻辑服务器内进行逻辑合并，从而能够筛选出在各个模态上均与模态特征匹配的目标图像，逻辑服务器会将检索列表反馈给电子设备，电子设备可以根据检索列表生成对应检索结果，实现了准确地对图像进行搜索的目的。与现有的图像搜索技术相比，并非使用关键词的方式进行图像搜索，而是可以将关联的基准图像以及自定义信息生成检索指令，继而生成多个不同模态的模态特征，如轮廓、结构以及文本三个模态的特征，能够从多维度对图像内容进行理解，提高了检索过程的准确性；并且根据不同的模态特征生成对应的检索子任务，分发给不同的分布式***进行检索处理，能够大大提高了检索的速度，提高了检索指令的响应效率，减少用户的等待时间。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的图像检索***的结构示意图；
图2是本申请实施例提供的一种图像检索的方法的实现示意图；
图3是本申请一实施例提供的检索指令的发起示意图；
图4是本申请一实施例提供的一种图像检索的方法的S203一种实现方式示意图；
图5是本申请一实施例提供的分布式***的结果示意图；
图6是本申请第三实施例提供的一种图像检索的方法S203的具体实现流程图；
图7是本申请一实施例提供的检索***的示意图；
图8是本申请第四实施例提供的一种图像检索的方法S201和S202的具体实现流程图；
图9是本申请第五实施例提供的一种图像检索的方法S204的具体实现流程图；
图10是本申请实施例提供的图像检索的装置的结构示意图；
图11是本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
本申请实施例提供的图像检索的方法可以应用于智能手机、服务器、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、服务器等能够实现视频数据处理的电子设备上。本申请实施例对电子设备的具体类型不作任何限制。特别地，该图像检索的方法应用于图像检索***内，本申请实施例提供的电子设备具体为该图像检索***内一检索服务器。示例性地，图1示出了本申请一实施例提供的图像检索***的结构示意图。参见图1所示，该图像检索***包含有检索服务器11，用于处理不同模态的检索子任务的分布式***12，对任务处理结果进行逻辑汇总的逻辑服务器13以及发起检索指令的用户终端14。其中，用户终端14可以与检索服务器11建立通信连接，以发送检索指令并接收检索服务器11反馈的检索结果；检索服务器11与分布式***12建立有通信连接，以下发检索子任务；分布式***12与逻辑服务器13建立有通信连接，以反馈对应的任务处理结果，继而逻辑服务器13可以生成对应的检索列表反馈给检索服务器11，以生成对应的检索结果。
请参阅图2，图2示出了本申请实施例提供的一种图像检索的方法的实现示意图，该方法包括如下步骤：
在S201中，响应于用户发起的检索指令，根据所述检索指令内的基准图像以及自定义信息生成图像检索任务。
在本实施例中，用户在需要进行检索时，可以向检索服务器发送一个检索指令，该检索指令内可以携带有所需要检索的基准图像以及与本次检索相关的自定义信息。需要说明的是，上述的自定义信息可以为空，即在无需进行自定义搜索时，用户可以不进行自定义信息的内容填写。示例性地，用户需要检索与基准图像相似的其他图像，则可以只需上传所需检索的基准图像，并点击检索按钮，此时，用户终端可以将基准图像封装到检索指令内，并发送给检索服务器，而对应的自定义信息在该示例中，由于用户并没有填写对应的内容，则默认为空。
示例性地，图3示出了本申请一实施例提供的检索指令的发起示意图。参见图3所示，用户终端内可以生成一个检索页面，该检索页面，该检索页面包含有用于上传图像的图像选择控件31，以及用于填写自定义信息的信息填写区域32，在信息填写区域32内还包含有多个信息项，分别为检索类型项321，关键词项322，轮廓描述项323以及结构项324，用户可以在所需要的信息项内填入对应的信息，用户终端可以基于信息填写区域内各个信息项的内容，生成自定义信息。例如，上述检索页面具体为一专利检索页面，则上述检索类型可以指定所需检索的专利类型，如发明专利检索、实用新型专利检索或者外观专利检索等，而关键词项可以输入用于描述所需检索的图像内容相关的关键词，如手机、显示屏等，轮廓描述项可以输入与轮廓相关的信息，如圆柱形、正方体等，结构项则可以输入与图像包含的结构相关的信息，如底座、圆形支架等，当然，用户也可以通过自然语言对所需检索的图像进行描述，即自定义信息包含用于描述检索图像的基于自然语言描述的语句，检索服务器可以对该自然语言进行语义理解，以便在后续S202中确定不同模态的模态特征。
在本实施例中，若电子设备为一检索服务器时，该检索服务器可以接收各个用户终端发送的检索指令，在该情况下，用户终端可以安装有对应的检索客户端，通过检索客户端生成对应的检索界面，在检索界面中生成对应的检索指令，并通过检索客户端将检索指令发送给检索服务器；若电子设备为用户可操作的终端，如计算机电脑或智能手机等，则电子设备可以在本地上传对应的检索页面，在接收到用户在该检索页面内点击的检索控件时，可以基于该检索页面内用户输入的信息，生成对应的检索指令。
在本实施例中，检索服务器可以对检索指令进行解析，提取该检索指令中包含的基准图像以及自定义信息，并将上述两个信息进行封装，从而生成图像检索任务。
在S202中，基于所述图像检索任务生成多个模态的模态特征；所述多个模态包括：轮廓模态、结构模态以及文本特征模态。
在本实施例中，检索服务器配置有不同模态的特征提取算法，能够确定在不同模态下对应的模态特征。其中，上述多个不同的模态包括有轮廓模态、结构模态以及文本特征模态，对应地，提取得到的模态特征包括：轮廓特征、结构特征以及文本特征三种类型。
在本实施例中，不同模态的特征提取算法所需输入的数据可以不同，也可以相同，具体根据实际情况进行配置。示例性地，在输出轮廓模态的轮廓特征时，对应的输入数据可以为基准图像，即无需输入自定义信息至轮廓模态的特征提取算法，检索服务器可以将图像检索任务中携带的基准图像作为轮廓模态的特征提取算法输入，能够对基准图像的轮廓特征进行提取，并基于提取得到的轮廓线通过向量或关键词等形式进行表示，从而生成在轮廓模态下对应的轮廓特征。
在一种可能的实现方式中，检索服务器可以根据检索指令对应的检索类型，确定所需提取的模态，并从数据库中提取与该检索类型关联的各个模态对应的特征提取算法，分别通过各个特征提取算法输出各个模态对应的模态特征。
在S203中，分别为各个所述模态的模态特征配置对应的检索子任务，并将各个所述检索子任务发送给与所述模态关联的分布式***，以通过所述分布式***内的分布式节点对所述检索子任务进行检索处理。
在本实施例中，图像检索***中，为了提高不同模态的处理效率，可以为不同模态配置对应的分布式***，不同模态对应分布式***中配置有多个分布式节点，不同的分布式节点可以配置有与该模态对应的特征提取算法，即具体用于处理某一类型模态特征提取操作，从而能够减少特征提取算法的配置所需的时长，从而能够提高检索的效率。
在一种可能的实现方式中，该图像检索***内存储有大量的候选图像，不同的候选图像可以将其划分为多个数据块存储于各个分布式节点内，检索服务器将对应的检索子任务发送给分布式***后，分布式***可以通过分布式节点获取在候选图像在分布式***中存储于各个分布式节点的数据块，从而对所有数据块进行整合，以还原上述的候选图像，并通过该分布式***关联的特征提取算法，生成该候选图像对应的图像特征，将候选图像的图像特征与基准图像的模态特征进行匹配，若两者相匹配，则表示在该模态下，该候选图像是与基准图像关联的图像，将该候选图像添加到上述的任务处理结果内；反之，若两者不匹配，则表示在该模态下，该候选图像是与基准图像不关联的图像，则不将该候选图像添加到上述的任务处理结果内。其中，分布式***可以配置有对应的匹配阈值，可以将基准图像的模态特征与候选图像的图像特征之间的匹配度与上述的匹配阈值进行比对，识别出对应的匹配结果。可选地，该匹配阈值可以根据用户选择的检索精度确定，若用户所选择的检索精度越高，则对应的匹配阈值越高；反之，若用户所选择的检索精度较低，则对应的匹配阈值较小。
在本实施例中，检索服务器可以根据不同的模态特征，生成对应的检索子任务，即检索子任务内包含有该基准图像的模态特征，该模态特征可以为一特征值，也可以为一数组、矩阵或向量等各种形式的数据表示，具体根据实际情况进行设置。检索服务器将各个检索子任务发送给与模态对应的分布式***，每个分布式***会生成与其模态对应的任务处理结果。上述任务处理结果内记录有在该模态下与基准图像关联的所有候选图像。
在S204中，接收逻辑服务器反馈的检索列表，并基于所述检索列表生成关于所述检索指令对应的检索结果；所述检索列表是所述逻辑服务器在接收到各个所述分布式***反馈的任务处理结果后，对所有所述任务处理结果进行逻辑合并处理后得到的；所述检索结果包含符合所述检索指令的目标图像。
在本实施例中，由于分布式***具体用于筛选出在其模态维度下与基准图像关联的候选图像，例如对于轮廓特征模态的分布式***，其任务处理结果中包含轮廓特征与基准图像相似的候选图像；而对于结构特征模态的分布式***，其任务处理结果中包含结构特征与基准图像相似的候选图像。而实际在检相关图像时，是可能需要筛选出轮廓特征、文本特征与结构特征均与基准图像相似的候选图像，此时需要通过逻辑服务器对各个模态下对应的任务处理结果进行逻辑整合，因此每个分布式***可以将与其模态对应的任务处理结果发送给逻辑服务器，逻辑服务器可以基于所有分布式***反馈的任务处理结果进行逻辑运算，从而得到检索列表。其中，模态间的逻辑关系具体可以根据检索指令确定，检索服务器可以提取检索指令中的模态间的逻辑关系发送给逻辑服务器，以便逻辑服务器根据上述逻辑关系生成检索列表。
在一种可能的实现方式中，检索指令限定了需要检索与各个模态特征均匹配的图像，逻辑服务器可以对所有模态的任务处理结果中包含的候选图像进行交集识别，将各个任务处理结果中交集的候选图像识别为目标图像，并基于所有目标图像生成上述的检索列表。
在本实施例中，检索服务器在接收到逻辑服务器反馈的检索列表后，可以获取各个检索列表内包含的目标图像对应的预览图，基于所有目标图像的预览图生成检索结果。
以上可以看出，本申请实施例提供的一种图像检索的方法中用户可以将需要检索的基准图像以及检索关联的自定义信息生成对应的检索指令，通过对检索指令中的基准图像以及自定义信息进行处理，生成对应的图像检索任务，将图像检索任务进行模态特征的提取，能够确定在多个不同模态下该图像检索任务对应的模态特征，能够从多维度对基准图像的图像内容进行表达，以提高图像检索的准确性；继而为不同的模态特征配置对应的检索子任务，将各个检索子任务分发给对应的分布式***进行检索处理，得到各个模态对应的任务处理结果，所有任务处理结果会汇总到逻辑服务器内进行逻辑合并，从而能够筛选出在各个模态上均与模态特征匹配的目标图像，逻辑服务器会将检索列表反馈给电子设备，电子设备可以根据检索列表生成对应检索结果，实现了准确地对图像进行搜索的目的。与现有的图像搜索技术相比，并非使用关键词的方式进行图像搜索，而是可以将关联的基准图像以及自定义信息生成检索指令，继而生成多个不同模态的模态特征，如轮廓、结构以及文本三个模态的特征，能够从多维度对图像内容进行理解，提高了检索过程的准确性；并且根据不同的模态特征生成对应的检索子任务，分发给不同的分布式***进行检索处理，能够大大提高了检索的速度，提高了检索指令的响应效率，减少用户的等待时间。
图4示出了本发明第二实施例提供的一种图像检索的方法S203的具体实现流程图。参见图4，相对于图1所述实施例，本实施例提供的一种图像检索的方法中S203包括：S2031~S2032，具体详述如下：
进一步地，所述分别为各个所述模态的模态特征配置对应的检索子任务，并将各个所述检索子任务发送给与所述模态关联的分布式***，以通过所述分布式***内的分布式节点对所述检索子任务进行检索处理，包括：
在S2031中，获取与所述模态关联的任务模板，将所述模态特征添加到所述任务模板内，以生成所述检索子任务。
在本实施例中，检索服务器可以配置有对应的任务模板，该任务模板所需填写的内容与其对应模态所关联，例如，每个任务模板中可以导入相应的模态特征，检索类型以及搜索范围等，检索服务器可以根据模态特征以及检索指令对齐任务模板进行配置，以生成与该模态对应的检索子任务。
在S2032中，根据模态与服务***的对应关系，确定与所述模态关联的分布式***，并将所述检索子任务发送给所述分布式***；所述分布式***包括多个地图节点以及归约节点；所述地图节点用于从分布式***内获取关于同一候选图像的数据块，并基于所有所述数据块还原所述候选图像；所述归约节点用于接收所述地图节点反馈的所述候选图像，并根据所述候选图像生成所述模态对应的候选特征，并计算所述候选特征与所述模态特征之间的相似度，并将所述相似度与预设的相似阈值比对，生成关于所述候选图像的匹配结果，将所有匹配的候选图像生成所述任务处理结果，并将所述任务处理结果发送给所述逻辑服务器；其中，所述地图节点复用于各个所述模态的所述分布式***。
在本实施例中，电子设备可以根据预设的模态与服务***的对应关系，确定与模态对应的分布式***的通信地址，继而根据该通信地址将检索子任务发送给分布式***，以便分布式***对该检索子任务进行处理。其中，该分布式子任务包含有地图节点以及归约节点。由于分布式***内的所有候选图像均是根据通过分布式存储，即一个候选图像会划分为多个不同的数据块，存储于分布式***内的多个不同的存储节点内。其中，地图节点用于从不同的存储节点处获取候选图像的数据块，并将所有数据块进行合并，以还原候选图像，将还原得到的候选图像发送给归约节点。归约节点在接收到还原后的候选图像后，可以通过与其模态对应的特征提取算法，提取关于该模态对应的候选特征，并将候选特征与基准图像在该模态下对应的模态特征进行相似度计算，并将计算得到的相似度与相似阈值进行比对，得到关于该候选图像的匹配结果。将所有匹配结果为匹配成功的候选图像的图像标识添加到任务处理结果内，将任务处理结果发送给逻辑服务器。
示例性地，图5示出了本申请一实施例提供的分布式***的结果示意图。参见图5所示，该检索***内至少包含有两个分布式***，分布式***内包含有至少两种类型的节点，分别为地图节点以及归约节点。其中，一个分布式***内包含的地图节点的个数可以为多个，归约节点的个数可以为多个，具体根据实际情况进行设置，再次不做限定。由于整个检索***共用同一数据库的候选图像，即对应的图像库是相同的，因此，为了减少不必要的候选图像的还原操作，所有模态的分布式***可以共用相同的地图节点，地图节点可以将还原得到的候选图像反馈给不同模态对应的归约节点，以通过归约节点内配置的特征提取算法生成与其模态对应的候选特征。
进一步地，作为本申请的另一实施例，所述归约节点在计算所述候选特征与所述模态特征之间的相似度时，所述相似度可以表示为：
Figure 990209DEST_PATH_IMAGE001
其中，SimilarLv为所述相似度；SMod（i）为所述模态特征中第i个特征值；BMod（i）为所述候选特征中第i个特征值；N为所述模态包含的特征值总数。
在本实施例中，一个模态特征中可以包含多个不同的特征值，归约节点在计算候选特征与基准图像的模态特征之间的相似度时，首先会计算在相同维度下对应的特征值之间的差值，继而通过softmax函数对两者之间的差值进行归一化处理，最后，再计算对应的距离均值，通过距离均值计算基准图像的模态特征与候选图像的候选特征之间的标准差，从而将该标准差的数值作为两者之间的相似度。通过归一化处理，能够减少不同维度的量纲的影响，从而能够提高相似度计算的准确性。
在本申请实施例中，通过在分布式***内配置能够复用的地图节点以及用于进行逻辑运算的归约节点，能够在提高候选图像的还原效率的同时，也能够减少节点的数量，从而减少***的造价成本，提高节点的利用率。
图6示出了本发明第三实施例提供的一种图像检索的方法S203的具体实现流程图。参见图6，相对于图1所述实施例，本实施例提供的一种图像检索的方法S203包括：S601~S604，具体详述如下：
进一步地，所述分别为各个所述模态的模态特征配置对应的检索子任务，并将各个所述检索子任务发送给与所述模态关联的分布式***，以通过所述分布式***内的分布式节点对所述检索子任务进行检索处理，包括：
在S601中，基于各个模态预设的检索次序，将处于第M级模态对应的所述检索子任务发送给处于第M级模态对应的所述分布式***；所述M的初始值为1。
在本实施例中，该图像检索***内包含有不同模态的分布式***，而不同不同的分布式***的处理次序是根据该模态对应的检索次序确定的。由于检索过程中需要对大量图像进行筛选，选取出符合各个模态的模态特征的目标图像，若所有模态均对大量候选图像进行匹配操作，则可能会增加匹配操作的执行次数，从而增加了分布式节点的处理压力。基于此，检索***可以根据模态处理的运算量，将不同的模态划分不同的检索次序，处于同一检索次序内模态的数量可以为一个，也可以为多个。例如，某一检索指令对应的模态包括发布时间模态、发布对象模态、轮廓特征模态以及结构模态，由于进行时间维度的匹配以及发布对象的匹配的运算量较少，而轮廓特征模态的特征提取以及结构模态的特征提取的运算量较大，因此可以将时间维度以及发布对象维度的检索次序设置为1，而轮廓特征模态以及结构模态的检索次序设置为2，从而能够通过检索次序较前的模态筛选出大量无效的候选图像，而对于运算量较大的模态，则可以对筛选后的候选图像进行处理，以减少不必要的特征提取操作，从而减少了检索过程的运算量。
在本实施例中，分布式***所在的级数是根据其模态对应的检索次序决定的，例如，检索次序为1，其对应的分布式***即处于第1级，检索次序为2，其对应的分布式***即处于第2级。示例性地，图7示出了本申请一实施例提供的检索***的示意图。检索服务器可以根据检索次序，依次将检索子任务发送给各个分布式***，例如发布给处于检索次序为1的第一分布式***以及第二分布式***，第一分布式***以及第二分布式***可以将对应的任务处理结果发送给处于检索次序为2的其他分布式***，如第三分布式***以及第四分布式***，根据对应的任务处理结果进行进一步筛选，从而能够减少不必要的处理。可选地，处于第M级的分布式***还可以将任务处理结果发送给逻辑服务器，逻辑服务器根据所有第M级的分布式***的任务处理结果进行逻辑合并，如取所有任务处理结果的交集，并在后续接收到第一结果转发指令时，将逻辑合并后的结果发送给第M+1级的分布式***。
在S602中，若接收到所述处于第M级模态对应的分布式***反馈的检索完成指令，则判断所述M的值是否大于所述检索次序的最大值；所述检索完成指令是在所述处于第M级模态对应的分布式***得到所述任务处理结果时生成的。
在本实施例中，在分布式***完成本层级的检索任务后，可以向检索服务器发送检索完成指令，此时，检索服务器可以判断是否已经完成所有层级的检索处理，因此可以将M的值与检索次序的最大值进行比对。
在S603中，若所述M的值小于所述检索次序的最大值，则向所述处于第M级模态对应的分布式***发送第一结果转发指令，并增加所述M的值，返回执行所述基于各个模态预设的检索次序，将处于第M级模态对应的所述检索子任务发送给处于第M级模态对应的所述分布式***的操作；所述第一结果转发指令包含第M+1级模态对应的分布式***的通信地址，以使第M级模态对应的分布式***将所述任务处理结果发送给第M+1级模态对应的分布式***。
在本实施例中，若M的值小于检索次序的最大值，则表示并未完成所有层级的检索，此时可以向处于第M层级模态对应的分布式***发送第一结果转发指令，以便第M层级模态对应的分布式***将任务处理结果流转至下一层级模态对应的分布式***，以实现了对数据的筛选操作，并向下一层级模态对应的分布式***发布对应的检索子任务。
在S604中，若所述M的值大于或等于所述检索次序的最大值，则向所述处于第M级模态对应的所述分布式***发送第二结果转发指令，以使处于第M级模态对应的分布式***的任务处理结果发送给所述逻辑服务器。
在本实施例中，若M的值大于或等于检索次序的最大值，则表示已经完成所有层级的检索，此时可以向逻辑服务器发送对应的任务处理结果，以生成检索列表。
在本申请实施例中，通过对模态进行层级划分，能够减少不必要的特征提取操作，从而能够提高检索的效率，以及降低分布式***的运算量。
图8示出了本发明第四实施例提供的一种图像检索的方法S201和S202的具体实现流程图。参见图8，相对于图1-7任一项所述实施例，本实施例提供的一种图像检索的方法中S201包括：S2011~S2014，S202包括：S2021~S2023，具体详述如下：
进一步地，所述响应于用户发起的检索指令，根据所述检索指令内的基准图像以及自定义信息生成图像检索任务，包括：
在S2011中，提取所述检索指令的所述自定义信息，确定所述自定义信息指定的所述检索类型。
在S2012中，若所述检索类型为外观专利检索类型，则根据专利关键词调整语义识别算法。
在S2013中，将所述自定义信息导入到所述语义识别算法，生成在多个专利维度的维度特征值。
在S2014中，根据所述基准图像以及所述维度特征值，生成所述图像检索任务。
在本实施例中，用户可以在自定义信息内设置对应的检索类型，检索服务器可以对自定义信息内的检索类型字段进行解析，判断该检索类型是否为外观专利检索类型。若是，则可以通过与专利相关的关键词对语义识别算法进行调整，从而能够提高语义理解的准确性。检索服务器可以将自定义信息导入到调整后的语义识别算法中，从而能够提取得到与外观专利检索维度相关的多个特征值，如提取得到申请人对应的特征值、发明名称对应的特征值以及分类号对应的特征值等，并基于提取得到的多个专利维度的特征值以及所需进行外观专利检索的基准图像进行封装，得到上述的图像检索任务。
在本申请实施例中，在需要进行外观专利检索时，能够通过对应的专利关键词对语义提取算法进行调整，能够提高对于自定义信息的语义理解的准确性，从而提高后续检索操作的准确性。
进一步地，所述基于所述图像检索任务生成多个模态的模态特征，包括：
在S2021中，根据所述基准图像对应的图像视角以及所述自定义信息所指定的产品类型，生成所述基准图像的轮廓划分算法；所述轮廓划分算法是根据所述产品类型包含的产品部件确定的。
在S2022中，将所述基准图像导入所述轮廓划分算法，得到多个图像区域，并分别确定各个图像区域的轮廓特征；
在S2023中，根据各个所述轮廓特征以及与所述轮廓特征对应的所述产品部件之间的关联关系，生成关于所述轮廓模态的所述模态特征。
在本实施例中，不同的产品类型对应的结构划分存在差异，因此，在进行轮廓识别时，可以根据产品部件进行划分，得到多个不同的图像区域，并分别对不同的图像区域进行轮廓识别得到轮廓特征，从而能够提高轮廓模态对应的模态特征的准确性。
图9示出了本发明第五实施例提供的一种图像检索的方法S204的具体实现流程图。参见图9，相对于图1-7任一项所述实施例，本实施例提供的一种图像检索的方法S204包括：S2041~S2043，具体详述如下：
在S2041中，向所述分布式***发送所述检索列表包含的文件标识的搜索指令，以通过所述分布式***内的地图节点获取与所述文件标识在多个搜索维度对应的多个目标数据块；所述搜索维度是基于所述搜索指令的搜索类型确定的。
在S2042中，接收所述分布式***反馈的各个目标数据块，生成关于所述文件标识对应的预览数据；
在S2043中，基于所有文件标识对应的预览数据，生成所述检索结果。
在本实施例中，逻辑服务器反馈的检索列表包含的是目标图像的文件标识，为了提高检索结果的可读程度，检索服务器可以将各个文件标识发送给分布式***内的地图节点，以通过地图节点进行目标图像对应的预览数据的还原，由于不同的检索类型预览图可以存在差异，例如对于外观专利的检索，对应的预览数据需要包含外观专利的图像、专利名称以及发明人等信息，因此，分布式***中的地图节点可以根据搜索指令对应的搜索类型确定对应的搜索维度，并获取与搜索维度关联的目标数据块，从而生成目标图像对应的预览数据，继而根据所有预览数据生成检索结果。
图10示出了本发明一实施例提供的一种图像检索的装置的结构框图，该图像检索的装置包括的各单元用于执行图2对应的实施例中加密装置实现的各步骤。具体请参阅图2与图2所对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。
参见图10，所述图像检索的装置包括：
图像检索任务生成单元101，用于响应于用户发起的检索指令，根据所述检索指令内的基准图像以及自定义信息生成图像检索任务；
模态特征生成单元102，用于基于所述图像检索任务生成多个模态的模态特征；所述多个模态包括：轮廓模态、结构模态以及文本特征模态；
检索子任务下发单元103，用于分别为各个所述模态的模态特征配置对应的检索子任务，并将各个所述检索子任务发送给与所述模态关联的分布式***，以通过所述分布式***内的分布式节点对所述检索子任务进行检索处理；
检索结果生成单元104，用于接收逻辑服务器反馈的检索列表，并基于所述检索列表生成关于所述检索指令对应的检索结果；所述检索列表是所述逻辑服务器在接收到各个所述分布式***反馈的任务处理结果后，对所有所述任务处理结果进行逻辑合并处理后得到的；所述检索结果包含符合所述检索指令的目标图像。
可选地，所述检索子任务下发单元103包括：
检索子任务生成单元，用于获取与所述模态关联的任务模板，将所述模态特征添加到所述任务模板内，以生成所述检索子任务；
检索子任务发送单元，用于根据模态与服务***的对应关系，确定与所述模态关联的分布式***，并将所述检索子任务发送给所述分布式***；所述分布式***包括多个地图节点以及归约节点；所述地图节点用于从分布式***内获取关于同一候选图像的数据块，并基于所有所述数据块还原所述候选图像；所述归约节点用于接收所述地图节点反馈的所述候选图像，并根据所述候选图像生成所述模态对应的候选特征，并计算所述候选特征与所述模态特征之间的相似度，并将所述相似度与预设的相似阈值比对，生成关于所述候选图像的匹配结果，将所有匹配的候选图像生成所述任务处理结果，并将所述任务处理结果发送给所述逻辑服务器；其中，所述地图节点复用于各个所述模态的所述分布式***。
可选地，所述归约节点在计算所述候选特征与所述模态特征之间的相似度时，所述相似度可以表示为：
Figure 916577DEST_PATH_IMAGE001
其中，SimilarLv为所述相似度；SMod（i）为所述模态特征中第i个特征值；BMod（i）为所述候选特征中第i个特征值；N为所述模态包含的特征值总数。
可选地，所述检索子任务下发单元103包括：
检索次序确定单元，用于基于各个模态预设的检索次序，将处于第M级模态对应的所述检索子任务发送给处于第M级模态对应的所述分布式***；所述M的初始值为1；
最大值比对单元，用于若接收到所述处于第M级模态对应的分布式***反馈的检索完成指令，则判断所述M的值是否大于所述检索次序的最大值；所述检索完成指令是在所述处于第M级模态对应的分布式***得到所述任务处理结果时生成的；
循环单元，用于若所述M的值小于所述检索次序的最大值，则向所述处于第M级模态对应的分布式***发送第一结果转发指令，并增加所述M的值，返回执行所述基于各个模态预设的检索次序，将处于第M级模态对应的所述检索子任务发送给处于第M级模态对应的所述分布式***的操作；所述第一结果转发指令包含第M+1级模态对应的分布式***的通信地址，以使第M级模态对应的分布式***将所述任务处理结果发送给第M+1级模态对应的分布式***；
循环结束单元，用于若所述M的值大于或等于所述检索次序的最大值，则向所述处于第M级模态对应的所述分布式***发送第二结果转发指令，以使处于第M级模态对应的分布式***的任务处理结果发送给所述逻辑服务器。
可选地，所述图像检索任务生成单元101包括：
检索类型确定单元，用于提取所述检索指令的所述自定义信息，确定所述自定义信息指定的所述检索类型；
语义识别算法调整单元，用于若所述检索类型为外观专利检索类型，则根据专利关键词调整语义识别算法；
维度特征值确定单元，用于将所述自定义信息导入到所述语义识别算法，生成在多个专利维度的维度特征值；
维度特征值封装单元，用于根据所述基准图像以及所述维度特征值，生成所述图像检索任务。
可选地，所述模态特征生成单元102包括：
轮廓划分算法确定单元，用于根据所述基准图像对应的图像视角以及所述自定义信息所指定的产品类型，生成所述基准图像的轮廓划分算法；所述轮廓划分算法是根据所述产品类型包含的产品部件确定的；
轮廓特征确定单元，用于将所述基准图像导入所述轮廓划分算法，得到多个图像区域，并分别确定各个图像区域的轮廓特征；
模态特征确定单元，用于根据各个所述轮廓特征以及与所述轮廓特征对应的所述产品部件之间的关联关系，生成关于所述轮廓模态的所述模态特征。
可选地，所述检索结果生成单元104包括：
搜索指令发送单元，用于向所述分布式***发送所述检索列表包含的文件标识的搜索指令，以通过所述分布式***内的地图节点获取与所述文件标识在多个搜索维度对应的多个目标数据块；所述搜索维度是基于所述搜索指令的搜索类型确定的；
目标数据块接收单元，用于接收所述分布式***反馈的各个目标数据块，生成关于所述文件标识对应的预览数据；
预览数据生成单元，用于基于所有文件标识对应的预览数据，生成所述检索结果。
因此，本发明实施例提供的图像检索的装置同样可以通过将需要检索的基准图像以及检索关联的自定义信息生成对应的检索指令，通过对检索指令中的基准图像以及自定义信息进行处理，生成对应的图像检索任务，将图像检索任务进行模态特征的提取，能够确定在多个不同模态下该图像检索任务对应的模态特征，能够从多维度对基准图像的图像内容进行表达，以提高图像检索的准确性；继而为不同的模态特征配置对应的检索子任务，将各个检索子任务分发给对应的分布式***进行检索处理，得到各个模态对应的任务处理结果，所有任务处理结果会汇总到逻辑服务器内进行逻辑合并，从而能够筛选出在各个模态上均与模态特征匹配的目标图像，逻辑服务器会将检索列表反馈给电子设备，电子设备可以根据检索列表生成对应检索结果，实现了准确地对图像进行搜索的目的。与现有的图像搜索技术相比，并非使用关键词的方式进行图像搜索，而是可以将关联的基准图像以及自定义信息生成检索指令，继而生成多个不同模态的模态特征，如轮廓、结构以及文本三个模态的特征，能够从多维度对图像内容进行理解，提高了检索过程的准确性；并且根据不同的模态特征生成对应的检索子任务，分发给不同的分布式***进行检索处理，能够大大提高了检索的速度，提高了检索指令的响应效率，减少用户的等待时间。
应当理解的是，图10示出的图像检索的装置的结构框图中，各模块用于执行图1至图9对应的实施例中的各步骤，而对于图1至图9对应的实施例中的各步骤已在上述实施例中进行详细解释，具体请参阅图1至图9以及图1至图9所对应的实施例中的相关描述，此处不再赘述。
图11是本申请另一实施例提供的一种电子设备的结构框图。如图11所示，该实施例的电子设备1100包括：处理器1110、存储器1120以及存储在存储器1120中并可在处理器1110运行的计算机程序1130，例如图像检索的方法的程序。处理器1110执行计算机程序1130时实现上述各个图像检索的方法各实施例中的步骤，例如图2所示的S201至S204。或者，处理器1110执行计算机程序1130时实现上述图10对应的实施例中各模块的功能，例如，图10所示的单元101至104的功能，具体请参阅图10对应的实施例中的相关描述。
示例性的，计算机程序1130可以被分割成一个或多个模块，一个或者多个模块被存储在存储器1120中，并由处理器1110执行，以完成本申请。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序1130在电子设备1100中的执行过程。例如，计算机程序1130可以被分割成各个单元模块，各模块具体功能如上。
电子设备1100可包括，但不仅限于，处理器1110、存储器1120。本领域技术人员可以理解，图11仅仅是电子设备1100的示例，并不构成对电子设备1100的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器1110可以是中央处理单元，还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。
存储器1120可以是电子设备1100的内部存储单元，例如电子设备1100的硬盘或内存。存储器1120也可以是电子设备1100的外部存储设备，例如电子设备1100上配备的插接式硬盘，智能存储卡，闪存卡等。进一步地，存储器1120还可以既包括电子设备1100的内部存储单元也包括外部存储设备。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种应用于工业视觉中的图像检索的方法，其特征在于，包括：
响应于用户发起的检索指令，根据所述检索指令内的基准图像以及自定义信息生成图像检索任务；
基于所述图像检索任务生成多个模态的模态特征；所述多个模态包括：轮廓模态、结构模态以及文本特征模态；
分别为各个所述模态的模态特征配置对应的检索子任务，并将各个所述检索子任务发送给与所述模态关联的分布式***，以通过所述分布式***内的分布式节点对所述检索子任务进行检索处理；
接收逻辑服务器反馈的检索列表，并基于所述检索列表生成关于所述检索指令对应的检索结果；所述检索列表是所述逻辑服务器在接收到各个所述分布式***反馈的任务处理结果后，对所有所述任务处理结果进行逻辑合并处理后得到的；所述检索结果包含符合所述检索指令的目标图像；
所述分别为各个所述模态的模态特征配置对应的检索子任务，并将各个所述检索子任务发送给与所述模态关联的分布式***，以通过所述分布式***内的分布式节点对所述检索子任务进行检索处理，包括：
获取与所述模态关联的任务模板，将所述模态特征添加到所述任务模板内，以生成所述检索子任务；
根据模态与服务***的对应关系，确定与所述模态关联的分布式***，并将所述检索子任务发送给所述分布式***；所述分布式***包括多个地图节点以及归约节点；所述地图节点用于从分布式***内获取关于同一候选图像的数据块，并基于所有所述数据块还原所述候选图像；所述归约节点用于接收所述地图节点反馈的所述候选图像，并根据所述候选图像生成所述模态对应的候选特征，并计算所述候选特征与所述模态特征之间的相似度，并将所述相似度与预设的相似阈值比对，生成关于所述候选图像的匹配结果，将所有匹配的候选图像生成所述任务处理结果，并将所述任务处理结果发送给所述逻辑服务器；其中，所述地图节点复用于各个所述模态的所述分布式***。
2.根据权利要求1所述的方法，其特征在于，所述归约节点在计算所述候选特征与所述模态特征之间的相似度时，所述相似度可以表示为：
Figure 950482DEST_PATH_IMAGE001
其中，SimilarLv为所述相似度；SMod（i）为所述模态特征中第i个特征值；BMod（i）为所述候选特征中第i个特征值；N为所述模态包含的特征值总数；
Figure 764854DEST_PATH_IMAGE002
为归一化后在相同维度下模态特征与候选特征对应的特征值之间的差值；
Figure 524999DEST_PATH_IMAGE003
为
Figure 792033DEST_PATH_IMAGE002
的均值。
3.根据权利要求1所述的方法，其特征在于，所述分别为各个所述模态的模态特征配置对应的检索子任务，并将各个所述检索子任务发送给与所述模态关联的分布式***，以通过所述分布式***内的分布式节点对所述检索子任务进行检索处理，包括：
基于各个模态预设的检索次序，将处于第M级模态对应的所述检索子任务发送给处于第M级模态对应的所述分布式***；所述M的初始值为1；
若接收到所述处于第M级模态对应的分布式***反馈的检索完成指令，则判断所述M的值是否大于所述检索次序的最大值；所述检索完成指令是在所述处于第M级模态对应的分布式***得到所述任务处理结果时生成的；
若所述M的值小于所述检索次序的最大值，则向所述处于第M级模态对应的分布式***发送第一结果转发指令，并增加所述M的值，返回执行所述基于各个模态预设的检索次序，将处于第M级模态对应的所述检索子任务发送给处于第M级模态对应的所述分布式***的操作；所述第一结果转发指令包含第M+1级模态对应的分布式***的通信地址，以使第M级模态对应的分布式***将所述任务处理结果发送给第M+1级模态对应的分布式***；
若所述M的值大于或等于所述检索次序的最大值，则向所述处于第M级模态对应的所述分布式***发送第二结果转发指令，以使处于第M级模态对应的分布式***的任务处理结果发送给所述逻辑服务器。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述响应于用户发起的检索指令，根据所述检索指令内的基准图像以及自定义信息生成图像检索任务，包括：
提取所述检索指令的所述自定义信息，确定所述自定义信息指定的检索类型；
若所述检索类型为外观专利检索类型，则根据专利关键词调整语义识别算法；
将所述自定义信息导入到所述语义识别算法，生成在多个专利维度的维度特征值；
根据所述基准图像以及所述维度特征值，生成所述图像检索任务。
5.根据权利要求4所述的方法，其特征在于，所述基于所述图像检索任务生成多个模态的模态特征，包括：
根据所述基准图像对应的图像视角以及所述自定义信息所指定的产品类型，生成所述基准图像的轮廓划分算法；所述轮廓划分算法是根据所述产品类型包含的产品部件确定的；
将所述基准图像导入所述轮廓划分算法，得到多个图像区域，并分别确定各个图像区域的轮廓特征；
根据各个所述轮廓特征以及与所述轮廓特征对应的所述产品部件之间的关联关系，生成关于所述轮廓模态的所述模态特征。
6.根据权利要求1-3任一项所述的方法，其特征在于，所述接收逻辑服务器反馈的检索列表，并基于所述检索列表生成关于所述检索指令对应的检索结果，包括：
向所述分布式***发送所述检索列表包含的文件标识的搜索指令，以通过所述分布式***内的地图节点获取与所述文件标识在多个搜索维度对应的多个目标数据块；所述搜索维度是基于所述搜索指令的搜索类型确定的；
接收所述分布式***反馈的各个目标数据块，生成关于所述文件标识对应的预览数据；
基于所有文件标识对应的预览数据，生成所述检索结果。
7.一种应用于工业视觉中的图像检索的装置，其特征在于，包括：
图像检索任务生成单元，用于响应于用户发起的检索指令，根据所述检索指令内的基准图像以及自定义信息生成图像检索任务；
模态特征生成单元，用于基于所述图像检索任务生成多个模态的模态特征；所述多个模态包括：轮廓模态、结构模态以及文本特征模态；
检索子任务下发单元，用于分别为各个所述模态的模态特征配置对应的检索子任务，并将各个所述检索子任务发送给与所述模态关联的分布式***，以通过所述分布式***内的分布式节点对所述检索子任务进行检索处理；
检索结果生成单元，用于接收逻辑服务器反馈的检索列表，并基于所述检索列表生成关于所述检索指令对应的检索结果；所述检索列表是所述逻辑服务器在接收到各个所述分布式***反馈的任务处理结果后，对所有所述任务处理结果进行逻辑合并处理后得到的；所述检索结果包含符合所述检索指令的目标图像；
所述检索子任务下发单元包括：
检索子任务生成单元，用于获取与所述模态关联的任务模板，将所述模态特征添加到所述任务模板内，以生成所述检索子任务；
检索子任务发送单元，用于根据模态与服务***的对应关系，确定与所述模态关联的分布式***，并将所述检索子任务发送给所述分布式***；所述分布式***包括多个地图节点以及归约节点；所述地图节点用于从分布式***内获取关于同一候选图像的数据块，并基于所有所述数据块还原所述候选图像；所述归约节点用于接收所述地图节点反馈的所述候选图像，并根据所述候选图像生成所述模态对应的候选特征，并计算所述候选特征与所述模态特征之间的相似度，并将所述相似度与预设的相似阈值比对，生成关于所述候选图像的匹配结果，将所有匹配的候选图像生成所述任务处理结果，并将所述任务处理结果发送给所述逻辑服务器；其中，所述地图节点复用于各个所述模态的所述分布式***。
8.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。
CN202210543251.9A 2022-05-19 2022-05-19 一种应用于工业视觉中的图像检索的方法及电子设备 Active CN114661936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210543251.9A CN114661936B (zh) 2022-05-19 2022-05-19 一种应用于工业视觉中的图像检索的方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210543251.9A CN114661936B (zh) 2022-05-19 2022-05-19 一种应用于工业视觉中的图像检索的方法及电子设备

Publications (2)

Publication Number Publication Date
CN114661936A CN114661936A (zh) 2022-06-24
CN114661936B true CN114661936B (zh) 2022-10-14

Family

ID=82036385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210543251.9A Active CN114661936B (zh) 2022-05-19 2022-05-19 一种应用于工业视觉中的图像检索的方法及电子设备

Country Status (1)

Country Link
CN (1) CN114661936B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287360A (zh) * 2019-06-26 2019-09-27 银河水滴科技（北京）有限公司 多任务检索的***、方法及装置
CN111428072A (zh) * 2020-03-31 2020-07-17 南方科技大学 眼科多模态影像的检索方法、装置、服务器及存储介质
CN113434573A (zh) * 2021-06-29 2021-09-24 中国科学院自动化研究所 多维度图像检索***、方法及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9661074B2 (en) * 2013-08-29 2017-05-23 International Business Machines Corporations Updating de-duplication tracking data for a dispersed storage network
CN104021138B (zh) * 2014-04-23 2017-09-01 北京智谷睿拓技术服务有限公司 图像检索方法及图像检索装置
CN106407463A (zh) * 2016-10-11 2017-02-15 郑州云海信息技术有限公司 一种基于Hadoop的图像处理方法及***
CN113656668B (zh) * 2021-08-19 2022-10-11 北京百度网讯科技有限公司 多模态信息库的检索方法、管理方法、装置、设备和介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287360A (zh) * 2019-06-26 2019-09-27 银河水滴科技（北京）有限公司 多任务检索的***、方法及装置
CN111428072A (zh) * 2020-03-31 2020-07-17 南方科技大学 眼科多模态影像的检索方法、装置、服务器及存储介质
CN113434573A (zh) * 2021-06-29 2021-09-24 中国科学院自动化研究所 多维度图像检索***、方法及设备

Also Published As

Publication number Publication date
CN114661936A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN111859960B (zh) 基于知识蒸馏的语义匹配方法、装置、计算机设备和介质
EP3855324A1 (en) Associative recommendation method and apparatus, computer device, and storage medium
US9454580B2 (en) Recommendation system with metric transformation
US20230102337A1 (en) Method and apparatus for training recommendation model, computer device, and storage medium
US10482146B2 (en) Systems and methods for automatic customization of content filtering
CN110866491A (zh) 目标检索方法、装置、计算机可读存储介质和计算机设备
CN111539197A (zh) 文本匹配方法和装置以及计算机***和可读存储介质
CN112085565A (zh) 基于深度学习的信息推荐方法、装置、设备及存储介质
CN112883154B (zh) 文本主题挖掘方法、装置、计算机设备及存储介质
CN114327374A (zh) 业务流程的生成方法、装置及计算机设备
CN111143678B (zh) 推荐***和推荐方法
CN114416998A (zh) 文本标签的识别方法、装置、电子设备及存储介质
CN113704620A (zh) 基于人工智能的用户标签更新方法、装置、设备及介质
CN113761017A (zh) 相似性搜索方法和装置
CN114661936B (zh) 一种应用于工业视觉中的图像检索的方法及电子设备
CN113837878B (zh) 一种数据比对方法、装置、设备及存储介质
CN112650869B (zh) 图像检索重排序方法、装置、电子设备及存储介质
CN111797765B (zh) 图像处理方法、装置、服务器及存储介质
CN111753199B (zh) 用户画像构建方法及设备、电子设备和介质
CN111783808B (zh) 用于生成信息的方法和装置
CN114021541A (zh) 演示文稿生成方法、装置、设备及存储介质
CN111091198B (zh) 一种数据处理方法及装置
CN114329016A (zh) 图片标签生成方法和文字配图方法
US20200401877A1 (en) Maintaining master data using hierarchical classification
US20230367961A1 (en) Automated address data determinations using artificial intelligence techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant