CN107562805A - 一种以图搜图的方法及装置 - Google Patents

一种以图搜图的方法及装置 Download PDF

Info

Publication number
CN107562805A
CN107562805A CN201710671798.6A CN201710671798A CN107562805A CN 107562805 A CN107562805 A CN 107562805A CN 201710671798 A CN201710671798 A CN 201710671798A CN 107562805 A CN107562805 A CN 107562805A
Authority
CN
China
Prior art keywords
image
shot chart
convolution
region unit
local area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710671798.6A
Other languages
English (en)
Other versions
CN107562805B (zh
Inventor
陈羽飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201710671798.6A priority Critical patent/CN107562805B/zh
Publication of CN107562805A publication Critical patent/CN107562805A/zh
Priority to PCT/CN2018/091923 priority patent/WO2019029272A1/en
Priority to EP18845092.8A priority patent/EP3625696A4/en
Priority to US16/749,974 priority patent/US11449702B2/en
Application granted granted Critical
Publication of CN107562805B publication Critical patent/CN107562805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Library & Information Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及图像处理技术领域，尤其涉及一种以图搜图的方法及装置，用以解决现有技术中以图搜图的方式存在搜索结果误差较大的问题。本申请实施例提供的以图搜图的方法，能够基于全卷积孪生神经网络模型，提取第一图像中局部区域图像的图像特征以及第二图像的图像特征；并基于提取出的图像特征，生成得分图；进而根据得分图中指定数量的点的得分值总和，确定得分图中与局部区域图像相关联的区域块；在判定第二图像中与确定的区域块对应的图像特征和局部区域图像的图像特征之间的相似度大于设定相似度阈值时，确定第二图像为与第一图像相似的图像。

Description

一种以图搜图的方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种以图搜图的方法及装置。
背景技术
随着互联网中图像的数据信息日渐庞大，用户对图像搜索的要求也在不断提高，以图搜图的搜索方式也应运而生。
以图搜图，是通过输入图片来检索相似的图片的一种搜索技术，其主要涉及图像特征提取以及图像特征相似度分析这两大部分。发明人发现，现有的以图搜图的实现方式多是利用典型卷积神经网络(Convolutional Neural Network，CNN)提取目标图像的整体图像特征，并将其与数据库中存储的图像的整体图像特征进行相似度的比较，查找符合相似度要求的图像作为以图搜图的搜索结果。而这种提取整体图像特征的方式使得图像处理过程较为繁琐，并且，对于车辆等类型的图像来说，由于同一型号的车辆外形构造并无较大区别，采用基于整体图像特征进行相似度比较的方式，可能使得相似度比较结果之间的差异很小，进而使以图搜图的搜索结果的误差较大。
综上，现有技术中以图搜图的方式存在搜索结果误差较大的问题。
发明内容
本申请提供一种以图搜图的方法及装置，用以解决现有技术中以图搜图的方式存在搜索结果误差较大的问题。
本申请提供的技术方案如下：
第一方面，一种以图搜图的方法，包括：
将获取的第一图像中的局部区域图像以及预先存储的第二图像输入全卷积孪生神经网络模型中，基于所述全卷积孪生神经网络模型，分别提取所述局部区域图像的图像特征以及所述第二图像的图像特征；
基于提取出的图像特征，生成得分图；其中，所述得分图中每一点对应着第二图像中指定尺寸的像素点，每一点标记有得分值；并且，由所述得分图中指定数量的点所组成的区域块与所述局部区域图像的尺寸相同；
根据所述得分图中指定数量的点的得分值总和，确定所述得分图中与所述局部区域图像相关联的区域块；
在判定所述第二图像中与确定的区域块对应的图像特征和所述局部区域图像的图像特征之间的相似度大于设定相似度阈值时，确定所述第二图像为与所述第一图像相似的图像。
进一步地，根据所述得分图中指定数量的点的得分值总和，确定所述得分图中与所述局部区域图像相关联的区域块，具体包括：
将所述得分图划分为由指定数量的点所组成的至少一个区域块；
计算所述至少一个区域块中指定数量的点的得分值总和；
将所述至少一个区域块中得分值总和最高的区域块，确定为所述得分图中与所述局部区域图像相关联的区域块；或，
在计算出所述至少一个区域块中指定数量的点的得分值总和之后，所述方法还包括：
在判定所述至少一个区域块中得分值总和最高的区域块的得分值总和大于设定得分值阈值时，将所述得分值总和最高的区域块确定为所述得分图中与所述局部区域图像相关联的区域块。
进一步地，提取所述局部区域图像的图像特征以及所述第二图像的图像特征，具体包括：
基于所述全卷积孪生神经网络模型，对所述局部区域图像进行至少一次卷积处理和至少一次池化处理，得到所述局部区域图像的图像特征；以及，
对所述第二图像进行至少一次卷积处理和至少一次池化处理，得到所述第二图像的图像特征；
基于提取出的图像特征，生成得分图，具体包括：
将所述局部区域图像的图像特征与所述第二图像的图像特征进行卷积运算；
将卷积运算后输出的结果作为得分图。
进一步地，在将所述局部区域图像以及预先存储的第二图像输入全卷积孪生神经网络模型中之前，所述方法还包括：
以同一物体的不同图像作为训练样本集合，从训练样本集合中获取图像中局部区域图像作为全卷积孪生神经网络模型的第一输入图像、以及获取图像作为全卷积孪生神经网络模型的第二输入图像，对所述全卷积孪生神经网络模型进行模型训练；
在判定所述全卷积孪生神经网络模型输出的得分图满足预设条件时，确定所述全卷积孪生神经网络模型训练完成。
进一步地，对所述全卷积孪生神经网络模型进行模型训练，具体包括：
使用当前的配置参数分别提取第一输入图像以及第二输入图像的图像特征，并基于提取的图像特征，生成得分图，其中，所述配置参数包括卷积处理所需参数、池化处理所需参数以及生成得分图所需参数；
计算生成的得分图中每一点的得分值与预设的期望得分值之间的损失值；
计算所述得分图中各点对应的损失值之间的平均值，并将所述平均值确定为所述得分图的损失值；
判断所述得分图的损失值是否在设定范围内；
若是，则确定所述全卷积孪生神经网络模型训练完成；
若否，则对所述当前的配置参数进行调整，将调整后的配置参数作为下一次获取图像特征以及生成得分图所使用的配置参数。
第二方面，一种以图搜图的装置，包括：
提取模块，用于将获取的第一图像中的局部区域图像以及预先存储的第二图像输入全卷积孪生神经网络模型中，基于所述全卷积孪生神经网络模型，分别提取所述局部区域图像的图像特征以及所述第二图像的图像特征；
生成模块，用于基于提取出的图像特征，生成得分图；其中，所述得分图中每一点对应着第二图像中指定尺寸的像素点，每一点标记有得分值；并且，由所述得分图中指定数量的点所组成的区域块与所述局部区域图像的尺寸相同；
第一确定模块，用于根据所述得分图中指定数量的点的得分值总和，确定所述得分图中与所述局部区域图像相关联的区域块；
第二确定模块，用于在判定所述第二图像中与确定的区域块对应的图像特征和所述局部区域图像的图像特征之间的相似度大于设定相似度阈值时，确定所述第二图像为与所述第一图像相似的图像。
进一步地，所述第一确定模块具体用于：
将所述得分图划分为由指定数量的点所组成的至少一个区域块；
计算所述至少一个区域块中指定数量的点的得分值总和；
将所述至少一个区域块中得分值总和最高的区域块，确定为所述得分图中与所述局部区域图像相关联的区域块；或，
在计算出所述至少一个区域块中指定数量的点的得分值总和之后，所述方法还包括：
在判定所述至少一个区域块中得分值总和最高的区域块的得分值总和大于设定得分值阈值时，将所述得分值总和最高的区域块确定为所述得分图中与所述局部区域图像相关联的区域块。
进一步地，所述提取模块具体用于：
基于所述全卷积孪生神经网络模型，对所述局部区域图像进行至少一次卷积处理和至少一次池化处理，得到所述局部区域图像的图像特征；以及，
对所述第二图像进行至少一次卷积处理和至少一次池化处理，得到所述第二图像的图像特征；
基于提取出的图像特征，生成得分图，具体包括：
将所述局部区域图像的图像特征与所述第二图像的图像特征进行卷积运算；
将卷积运算后输出的结果作为得分图。
进一步地，所述装置还包括：
训练模块，用于在将所述局部区域图像以及预先存储的第二图像输入全卷积孪生神经网络模型中之前，以同一物体的不同图像作为训练样本集合，从训练样本集合中获取图像中局部区域图像作为全卷积孪生神经网络模型的第一输入图像、以及获取图像作为全卷积孪生神经网络模型的第二输入图像，对所述全卷积孪生神经网络模型进行模型训练；
在判定所述全卷积孪生神经网络模型输出的得分图满足预设条件时，确定所述全卷积孪生神经网络模型训练完成。
进一步地，所述训练模块具体用于：
使用当前的配置参数分别提取第一输入图像以及第二输入图像的图像特征，并基于提取的图像特征，生成得分图，其中，所述配置参数包括卷积处理所需参数、池化处理所需参数以及生成得分图所需参数；
计算生成的得分图中每一点的得分值与预设的期望得分值之间的损失值；
计算所述得分图中各点对应的损失值之间的平均值，并将所述平均值确定为所述得分图的损失值；
判断所述得分图的损失值是否在设定范围内；
若是，则确定所述全卷积孪生神经网络模型训练完成；
若否，则对所述当前的配置参数进行调整，将调整后的配置参数作为下一次获取图像特征以及生成得分图所使用的配置参数。
第三方面，一种电子设备，包括：一个或多个处理器；以及一个或多个计算机可读介质，所述可读介质上存储有用于执行以图搜图的方法的程序，其中，所述程序被所述一个或多个处理器执行时，实现如第一方面任一所述的方法的步骤。
第四方面，一个或多个计算机可读介质，所述可读介质上存储有用于执行以图搜图的方法的程序，其中，所述程序被一个或多个处理器执行时，使得通信设备执行如第一方面任一所述的方法。
本申请实施例中，基于全卷积孪生神经网络模型，可以提取第一图像中局部区域图像的图像特征以及第二图像的图像特征；并基于提取出的图像特征，生成得分图；进而根据得分图中指定数量的点的得分值总和，确定得分图中与局部区域图像相关联的区域块；在判定第二图像中与确定的区域块对应的图像特征和局部区域图像的图像特征之间的相似度大于设定相似度阈值时，可以确定第二图像为与第一图像相似的图像。由此可见，本申请中能够基于全卷积孪生神经网络模型，实现以第一图像的局部区域图像作为搜索条件，从预置的数据库中找出与其相似的第二图像。并且本申请中是先从得分图中搜索与局部区域图像相关联的区域块，那么，预置的数据库的第二图像中与该区域块对应的图像特征可以看做是与第一图像的局部区域图像的图像特征最为相似的部分，进一步通过判定第二图像中与该区域块对应的图像特征和局部区域图像的图像特征之间的相似度是否满足设定条件，确定第二图像是否为与第一图像相似的图像，从而以图搜图的搜索结果更为精确。
附图说明
图1为本申请实施例一提供的以图搜图的方法流程图；
图2a为本申请实施例一提供的模型训练中第一输入图像以及第二输入图像的示意图；
图2b为本申请实施例一提供的输出的得分图的示意图一；
图2c为本申请实施例一提供的输出的得分图的示意图二；
图3为本申请实施例一提供的卡口处拍摄的车辆图像为例进行以图搜图的流程图；
图4为本申请实施例二提供以图搜图的装置结构示意图。
具体实施方式
为了解决现有技术中以图搜图的方式存在搜索结果误差较大的问题，本申请实施例中提出了一种以图搜图的方法，能够基于全卷积孪生神经网络模型，实现以第一图像的局部区域图像作为搜索条件，从预置的数据库中找出与其相似的第二图像。并且本申请中是先从得分图中搜索与局部区域图像相关联的区域块，那么，预置的数据库的第二图像中与该区域块对应的图像特征可以看做是与第一图像的局部区域图像的图像特征最为相似的部分，进一步通过判定第二图像中与该区域块对应的图像特征和局部区域图像的图像特征之间的相似度是否满足设定条件，确定第二图像是否为与第一图像相似的图像，从而使得以图搜图的搜索结果更为精确。
下面，为便于对本申请实施例的理解，首先，对全卷积孪生神经网络模型进行简单介绍。
该全卷积孪生神经网络模型中包含有第一网络分支和第二网络分支，每个网络分支中包括输入层、若干个卷积层和若干个池化层。
较佳的，第一网络分支与第二网络分支中包含的卷积层个数以及池化层个数以及排布方式可以相同，并且，第一网络分支中卷积层进行卷积处理所需参数与第二网络分支相同，第一网络分支中池化层进行池化处理所需参数与第二网络分支也相同。当然，参数的配置并不限定于本申请中提出的上述一种方式，具体实施时也可以根据实际需求，来配置各网络分支中卷积层和池化层所需参数。
在第一网络分支中输入层输入的图像经由至少一个卷积层的卷积处理和至少一个池化层的池化处理后输出的第一图像特征，与第二网络分支中在输入层中输入的图像经由至少一个卷积层的卷积处理和至少一个池化层的池化处理后输出的第二图像特征之间，可进行卷积运算，卷积运算后输出的结果可作为得分图。并且，具体实施时，卷积运算过程中可添加偏置参数。具体卷积运算可参照公式1：
f(A，B)＝a(A)*a(B)+b 公式1
其中，A、B分别为在第一输入单元和第二输入单元中输入的图像，α(A)和α(B)分别为经卷积处理和池化处理后提取出的图像特征，b为偏置参数，b为任一实数。
另外，需要理解的是，在本申请的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
下面结合说明书附图对本申请实施例作进一步详细描述。
如图1所示，为本申请实施例一提供的以图搜图的方法流程图，包括以下步骤：
步骤101：将获取的第一图像中的局部区域图像以及预先存储的第二图像输入全卷积孪生神经网络模型中，基于全卷积孪生神经网络模型，分别提取局部区域图像的图像特征以及第二图像的图像特征。
在具体实施中，服务器可接收终端反馈的由用户输入的第一图像，进而指示终端在显示界面中展示第一图像并提示用户选取指定区域，服务器在接收到终端反馈的由用户选取的指定区域，可从第一图像中获取一个包含有该指定区域的局部区域图像作为以图搜图的搜索条件。其中，该指定区域尽量处于局部区域图像的中心位置，若该指定区域位于第一图像的边缘区域，则保证获取的局部区域图像中能够完整包含该指定区域即可。比如，若第一图像为256*256的图像，则可以在第一图像中获取一个包含有该指定区域的48*48的局部区域图像作为搜索条件。
这里，可将局部区域图像作为全卷积孪生神经网络模型的第一网络分支的第一输入图像。并且，可以预先存储的第二图像作为全卷积孪生神经网络模型的第二网络分支的第二输入图像。当然，具体实施时，也可将局部区域图像作为第二网络分支的第二输入图像，将预先存储的第二图像作为第一网络分支的第一输入图像。其中，第二图像可以预先存储在预置的数据库中或者是云服务平台的数据库中。另外，较佳的，具体实施时，第二图像的图像特征可以预先提取出来并存储在数据库中，后续当服务器获取到第一图像的局部区域图像，并提取出局部区域图像的图像特征之后，可直接将该局部区域图像的图像特征与所有已存储的第二图像的图像特征进行比较。
其中，基于全卷积孪生神经网络模型，提取局部区域图像的图像特征以及第二图像的图像特征，具体包括：
基于全卷积孪生神经网络模型，对局部区域图像进行至少一次卷积处理和至少一次池化处理，得到局部区域图像的图像特征；以及，对第二图像进行至少一次卷积处理和至少一次池化处理，得到第二图像的图像特征。
这里，经过卷积处理和池化处理后输出的图像特征，即为若干个尺寸相同的特征图(feature map)。并且，进行卷积处理或池化处理时，每一个卷积层或池化层所使用的卷积核的尺寸以及所用的卷积核的个数等参数可经由全卷积孪生神经网络模型的模型训练过程预先配置。
需要说明的是，全卷积孪生神经网络模型中的每一个卷积层和每一个池化层的输入和输出均有一个或多个特征图，在每一个卷积层中经过卷积处理输出的特征图的数量与输入的特征图的数量以及该卷积层的色彩通道数相关，而该卷积层的色彩通道数与该卷积层所使用的卷积核的个数相关。比如，对于256*256的彩色图像来说，通过输入层进行图像处理后，由于输入层的色彩通道有3个，可得到分别包括红色元素、绿色元素、蓝色元素的3张图像。进而假设第一个卷积层中针对每一个色彩通道中的图像，使用16个3*3的卷积核进行卷积处理，可输出16个特征图，那么在3个色彩通道中共有16*3个特征图，将3个色彩通道中生成的特征图相加合并，最终可得到16个特征图。
步骤102：基于提取出的图像特征，生成得分图。
其中，得分图中每一点均可对应输入的第二图像中指定尺寸的像素点，并且得分图中每一点也与第二图像中像素点所对应的图像特征相对应。该得分图中每一点均标记有得分值。其中，由得分图中指定数量的点所组成的区域块与局部区域图像的尺寸相同。
在具体实施中，可将局部区域图像的图像特征与第二图像的图像特征进行卷积运算，进而将卷积运算后输出的结果作为得分图。
步骤103：根据得分图中指定数量的点的得分值总和，确定得分图中与局部区域图像相关联的区域块。
在具体实施中，可将得分图划分为由指定数量的点所组成的至少一个区域块，并计算所述至少一个区域块中指定数量的点的得分值总和，进而将至少一个区域块中得分值总和最高的区域块，确定为得分图中与局部区域图像相关联的区域块，那么确定出的该区域块所在位置可以理解为局部区域图像映射到得分图中最可能出现的位置。
较佳地，为了准确且快速的判别出第二图像是否为与第一图像相似的图像，可在判定与局部区域图像相关联的区域块时，设定判定条件。具体可包括：在计算出至少一个区域块中指定数量的点的得分值总和之后，判断至少一个区域块中得分值总和最高的区域块的得分值总和是否大于设定阈值，若是，则将得分值总和最高的区域块确定为得分图中与局部区域图像相关联的区域块；若否，则确定得分图中没有与局部区域图像相关联的区域块。进一步地，若确定得分图中没有与局部区域图像相关联的区域块，则后续无需进行相似度计算，便可确定第二图像并非与第一图像相似的图像。
步骤104：在判定第二图像中与确定的区域块对应的图像特征和局部区域图像的图像特征之间的相似度大于设定阈值时，确定第二图像为与第一图像相似的图像。
这里，第二图像中与确定的区域块对应的图像特征和局部区域图像的图像特征之间的相似度计算，可基于余弦相似度算法来分析。关于余弦相似度算法具体可参见现有技术，这里不再详述。当然，具体实施时，也可根据其它图像相似度算法来分析，本申请对此不做限定。
并且，具体实施中，在确定与第一图像相似的图像时，还可以将预先存储的至少一个第二图像的图像特征，依次与第一图像的局部区域图像的图像特征进行分析比较，最终分别得出至少一个第二图像中与确定的区域块对应的图像特征和局部区域图像的图像特征之间的相似度，在确定出相似度大于设定阈值后，即确定出与第一图像相似的第二图像之后，可将多张第二图像对应的相似度按照由高至低的顺序进行排序，并将相似度排序靠前的若干个第二图像，作为以图搜图的搜索结果。当然，具体实施中，还可以根据实际需求，配置其它筛选条件，这里不再详述。
此外，采用本申请实施例所提供的上述方案也同样适用于图像中局部区域图像发送位置偏移的情况。比如，若搜索条件中输入的第一图像与预先存储的第二图像为同一辆汽车，但两张图像中车辆中纸巾盒的摆放位置不同，那么若按照现有技术中将两张图像的相对位置区域一一进行比对的方式，比较出的结果很可能会得出第二图像不与第一图像相似，出现误判。而本申请实施例中，是先从得分图中搜索与局部区域图像相关联的区域块，该区域块可以是在得分图中的任一区域，相应地，该区域块映射到第二图像上也可以是第二图像上的任一区域对应的图像特征，并且第二图像中与该区域块对应的图像特征可以看做是与第一图像的局部区域图像的图像特征最为相似的部分，进一步地通过判定第二图像中与该区域块对应的图像特征和局部区域图像的图像特征之间的相似度是否满足设定条件，确定第二图像是否为与第一图像相似的图像，由此可见本申请实施例中通过弱化两张图像的相对位置区域之间的相似度比较，而是先标定与局部区域图像相关联的区域块，进而针对该区域块对应的图像特征与局部区域图像的图像特征进行相似度比较，可以使以图搜图的搜索结果更为精确。
此外，在将全卷积孪生神经网络模型实际投入使用之前，还需对全卷积孪生神经网络模型进行模型训练，下面对模型训练的具体过程进行介绍。
以同一物体的不同图像作为训练样本集合，从训练样本集合中获取图像中局部区域图像作为全卷积孪生神经网络模型的第一输入图像、以及获取图像作为全卷积孪生神经网络模型的第一输入图像，对全卷积孪生神经网络模型进行模型训练。其中，第一输入图像和第二输入图像可以是从训练样本集合中随机获取的。在判定所述全卷积孪生神经网络模型输出的得分图满足预设条件时，确定全卷积孪生神经网络模型训练完成。
具体地，可以使用当前的配置参数分别提取第一输入图像以及第二输入图像的图像特征，并基于提取的图像特征，生成得分图。其中，这里所述的配置参数即为全卷积孪生神经网络所需的配置参数，具体可包括卷积处理所需参数、池化处理所需参数以及生成得分图所需参数等。
进一步地，计算生成的得分图中每一点的得分值与预设的期望得分值之间的损失值。这里，损失值可以理解为全卷积神经网络的输出结果与人工标定的期望得分值结果之间的误差。具体地，得分图中每一点的损失值的计算可参照公式2：
l(y，v)＝log(1+exp(-yv)) 公式2
其中，y为预设的人工标记的得分图中任一点的期望得分值，y∈{+1，-1}，v为全卷积孪生神经网络模型中最终输出的得分图中任一点的得分值，v∈R。在模型训练过程中，该得分值v的取值会逐渐趋于+1或-1。
其中，若得分图中任一点的得分值为+1，则说明得分图中该点所在位置对应的第二输入图像中的图像特征为第一输入图像对应的图像特征；若得分图中任一点的得分值为-1，则说明得分图中该点所在位置对应的第二输入图像中的图像特征不为第一输入图像对应的图像特征。例如，参照图2a所示，模型训练时第二输入图像为如图所示的车辆图，第一输入图像为图中标记的局部区域图像1，即纸巾盒所在区域图片，那么最终输出的得分图如图2b所示，假设得分图中各点得分值为期望得分值，该得分图中区域1中各点的得分值标记为+1，其它区域中各点的得分值标记为-1。再比如，假设第一输入图像为图中标记的局部区域图像2，即挂坠所在区域图片，则最终输出的得分图如图2c所示，区域2中各点的得分值标记为+1，其它区域中各点的得分值标记为-1。
进一步地，在计算出得分图中每一点对应的损失值之后，进而可计算得分图中各点对应的损失值之间的平均值，并将计算出的平均值确定为得分图的损失值。具体地，得分图的损失值的计算可参照公式3：
其中，D为一张得分图的得分个数，也即得分图中点的个数。y[u]、v[u]代表得分图中每个点对应的y和v的值。
进一步地，判断得分图的损失值是否在设定范围内；
若是，则确定全卷积孪生神经网络模型训练完成。
若否，则对当前的配置参数进行调整，将调整后的配置参数作为下一次获取图像特征以及生成得分图所使用的配置参数。
具体地，模型训练过程中为使得分图的损失值降低至最小，即，使全卷积孪生神经网络中输出结果与人工标定的期望得分值结果之间的误差降到最小，可调整全卷积孪生神经网络所需的配置参数，将得分图的损失值控制在较小的设定范围内。其中，可参照现有的神经网络梯度反向传播算法训练配置参数。并且，在训练过程中为方便训练收敛，还可以引入现有的神经网络中其它的训练算法来作为辅助策略，其中，辅助策略包括但不限于softmax loss、center loss、triplet loss等。
下面，结合上述具体实施方式，以卡口处拍摄的车辆图像为例，对实施例一所提供的以图搜图的方法进行进一步介绍。
假设预先存储的卡口处所拍摄的车辆图像的尺寸已归一化为256*256，并且用户上传了一张尺寸为256*256的车辆图像，并从中抠取出尺寸为48*48的局部区域图像作为以图搜图的检索条件。那么，参照图3所示，以本地存储的256*256的车辆图像以及48*48的局部区域图像分别作为全卷积孪生神经网络模型的输入图像A和输入图像B，其中，A和B中图像具有3个色彩通道。
进一步地，分别提取输入图像A以及输入图像B的图像特征(即图中所示的α过程，包括至少一次卷积处理和至少一次池化处理)。其中，图像A和图像B的图像特征的提取分别在全卷积孪生神经网络的两个网络分支上进行，具体可执行为：在卷积层1中，针对输入的A和B中每一个色彩通道的图像，使用16个3*3的卷积核，以1像素作为卷积处理的步长(stride)并使用1像素填充原图像，分别进行卷积处理，输出结果分别为16张256*256的特征图，以及16张48*48的特征图；在池化层1中，针对每一张特征图，使用32个2*2的卷积核，以2像素作为池化处理的步长，分别进行池化处理，输出结果分别为16张128*128的特征图，以及16张24*24的特征图；以此类推，分别使用上述卷积层1和池化层2所用参数，在经过卷积层2、池化层2、卷积层3、池化层3、卷积层4、池化层4的卷积处理和池化处理后，最终图像A对应输出的图像特征为128张16*16的特征图，图像B对应输出的图像特征为128张3*3的特征图。
进一步地，将图像A对应的128张16*16的特征图与图像B对应的128张3*3的特征图进行卷积运算(即图中所示的β过程)，最终可得到一张16*16的得分图。其中，得分图中每一点对应着原始输入的256*256的图像A中16*16的像素点，相应地，原始输入的48*48的图像B对应着得分图中由3*3个点组成的区域块。
进一步地，可在得分图中查找到3*3个点的得分值最高的区域块，将得分值最高的区域块确定为得分图中与图像B相关联的区域块。
进一步地，可将得分值最高的3*3个点所表征的位置区域映射回图像A对应的特征图中。这里，图像A的图像特征可以看做是128张16*16的特征图，得分图上3*3的位置区域映射回A的特征图，则可以得到128张3*3的特征图。而图像B的图像特征也为128张3*3的特征图，进而可将得分图上3*3的位置区域对应的128张3*3的特征图，与图像B的128张3*3的特征图上的特征进行相似度计算，得出图像A和图像B的相似度。
进一步地，若计算出的相似度大于设定阈值，则可以确定图像A为与图像B相似的图像。进一步地，针对确定的与图像B相似的多张图像A，可将多张图像A对应的相似度按照由高至低的顺序进行排序，并将相似度排序靠前的若干个图像A，作为以图搜图的搜索结果，展示给用户。
基于同一申请构思，本申请实施例中还提供了一种与以图搜图的方法对应的以图搜图的装置，由于该装置解决问题的原理与本申请实施例中以图搜图的方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
如图4所示，为本申请实施例二提供的以图搜图的装置的结构示意图，包括：
提取模块41，用于将获取的第一图像中的局部区域图像以及预先存储的第二图像输入全卷积孪生神经网络模型中，基于所述全卷积孪生神经网络模型，分别提取所述局部区域图像的图像特征以及所述第二图像的图像特征；
生成模块42，用于基于提取出的图像特征，生成得分图；其中，所述得分图中每一点对应着第二图像中指定尺寸的像素点，每一点标记有得分值；并且，由所述得分图中指定数量的点所组成的区域块与所述局部区域图像的尺寸相同；
第一确定模块43，用于根据所述得分图中指定数量的点的得分值总和，确定所述得分图中与所述局部区域图像相关联的区域块；
第二确定模块44，用于在判定所述第二图像中与确定的区域块对应的图像特征和所述局部区域图像的图像特征之间的相似度大于设定相似度阈值时，确定所述第二图像为与所述第一图像相似的图像。
进一步地，所述第一确定模块43具体用于：
将所述得分图划分为由指定数量的点所组成的至少一个区域块；
计算所述至少一个区域块中指定数量的点的得分值总和；
将所述至少一个区域块中得分值总和最高的区域块，确定为所述得分图中与所述局部区域图像相关联的区域块；或，
在计算出所述至少一个区域块中指定数量的点的得分值总和之后，所述方法还包括：
在判定所述至少一个区域块中得分值总和最高的区域块的得分值总和大于设定得分值阈值时，将所述得分值总和最高的区域块确定为所述得分图中与所述局部区域图像相关联的区域块。
进一步地，所述提取模块41具体用于：
基于所述全卷积孪生神经网络模型，对所述局部区域图像进行至少一次卷积处理和至少一次池化处理，得到所述局部区域图像的图像特征；以及，
对所述第二图像进行至少一次卷积处理和至少一次池化处理，得到所述第二图像的图像特征；
基于提取出的图像特征，生成得分图，具体包括：
将所述局部区域图像的图像特征与所述第二图像的图像特征进行卷积运算；
将卷积运算后输出的结果作为得分图。
进一步地，所述装置还包括：
训练模块45，用于在将所述局部区域图像以及预先存储的第二图像输入全卷积孪生神经网络模型中之前，以同一物体的不同图像作为训练样本集合，从训练样本集合中获取图像中局部区域图像作为全卷积孪生神经网络模型的第一输入图像、以及获取图像作为全卷积孪生神经网络模型的第一输入图像，对所述全卷积孪生神经网络模型进行模型训练；
在判定所述全卷积孪生神经网络模型输出的得分图满足预设条件时，确定所述全卷积孪生神经网络模型训练完成。
进一步地，所述训练模块45具体用于：
使用当前的配置参数分别提取第一输入图像以及第二输入图像的图像特征，并基于提取的图像特征，生成得分图，其中，所述配置参数包括卷积处理所需参数、池化处理所需参数以及生成得分图所需参数；
计算生成的得分图中每一点的得分值与预设的期望得分值之间的损失值；
计算所述得分图中各点对应的损失值之间的平均值，并将所述平均值确定为所述得分图的损失值；
判断所述得分图的损失值是否在设定范围内；
若是，则确定所述全卷积孪生神经网络模型训练完成；
若否，则对所述当前的配置参数进行调整，将调整后的配置参数作为下一次获取图像特征以及生成得分图所使用的配置参数。
本申请实施例还提供一种电子设备，包括：一个或多个处理器；以及一个或多个计算机可读介质，所述可读介质上存储有用于执行以图搜图的方法的程序，其中，所述程序被所述一个或多个处理器执行时，实现如实施例一中任一所述的方法的步骤。
本申请实施例还提供一个或多个计算机可读介质，所述可读介质上存储有用于执行以图搜图的方法的程序，其中，所述程序被一个或多个处理器执行时，使得通信设备执行如实施例一中任一所述的方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种以图搜图的方法，其特征在于，该方法包括：
将获取的第一图像中的局部区域图像以及预先存储的第二图像分别输入全卷积孪生神经网络模型中，基于所述全卷积孪生神经网络模型，分别提取所述局部区域图像的图像特征以及所述第二图像的图像特征；
基于提取出的图像特征，生成得分图；其中，所述得分图中每一点对应着第二图像中指定尺寸的像素点，每一点标记有得分值；并且，由所述得分图中指定数量的点所组成的区域块与所述局部区域图像的尺寸相同；
根据所述得分图中指定数量的点的得分值总和，确定所述得分图中与所述局部区域图像相关联的区域块；
在判定所述第二图像中与确定的区域块对应的图像特征和所述局部区域图像的图像特征之间的相似度大于设定相似度阈值时，确定所述第二图像为与所述第一图像相似的图像。
2.如权利要求1所述的方法，其特征在于，根据所述得分图中指定数量的点的得分值总和，确定所述得分图中与所述局部区域图像相关联的区域块，具体包括：
将所述得分图划分为由指定数量的点所组成的至少一个区域块；
计算所述至少一个区域块中指定数量的点的得分值总和；
将所述至少一个区域块中得分值总和最高的区域块，确定为所述得分图中与所述局部区域图像相关联的区域块；或，
在计算出所述至少一个区域块中指定数量的点的得分值总和之后，所述方法还包括：
在判定所述至少一个区域块中得分值总和最高的区域块的得分值总和大于设定得分值阈值时，将所述得分值总和最高的区域块确定为所述得分图中与所述局部区域图像相关联的区域块。
3.如权利要求1所述的方法，其特征在于，提取所述局部区域图像的图像特征以及所述第二图像的图像特征，具体包括：
基于所述全卷积孪生神经网络模型，对所述局部区域图像进行至少一次卷积处理和至少一次池化处理，得到所述局部区域图像的图像特征；以及，
对所述第二图像进行至少一次卷积处理和至少一次池化处理，得到所述第二图像的图像特征；
基于提取出的图像特征，生成得分图，具体包括：
将所述局部区域图像的图像特征与所述第二图像的图像特征进行卷积运算；
将卷积运算后输出的结果作为得分图。
4.如权利要求3所述的方法，其特征在于，在将所述局部区域图像以及预先存储的第二图像输入全卷积孪生神经网络模型中之前，所述方法还包括：
以同一物体的不同图像作为训练样本集合，从训练样本集合中获取图像中局部区域图像作为全卷积孪生神经网络模型的第一输入图像、以及获取图像作为全卷积孪生神经网络模型的第二输入图像，对所述全卷积孪生神经网络模型进行模型训练；
在判定所述全卷积孪生神经网络模型输出的得分图满足预设条件时，确定所述全卷积孪生神经网络模型训练完成。
5.如权利要求4所述的方法，其特征在于，对所述全卷积孪生神经网络模型进行模型训练，具体包括：
使用当前的配置参数分别提取第一输入图像以及第二输入图像的图像特征，并基于提取的图像特征，生成得分图，其中，所述配置参数包括卷积处理所需参数、池化处理所需参数以及生成得分图所需参数；
计算生成的得分图中每一点的得分值与预设的期望得分值之间的损失值；
计算所述得分图中各点对应的损失值之间的平均值，并将所述平均值确定为所述得分图的损失值；
判断所述得分图的损失值是否在设定范围内；
若是，则确定所述全卷积孪生神经网络模型训练完成；
若否，则对所述当前的配置参数进行调整，将调整后的配置参数作为下一次获取图像特征以及生成得分图所使用的配置参数。
6.一种以图搜图的装置，其特征在于，该装置包括：
提取模块，用于将获取的第一图像中的局部区域图像以及预先存储的第二图像分别输入全卷积孪生神经网络模型中，基于所述全卷积孪生神经网络模型，分别提取所述局部区域图像的图像特征以及所述第二图像的图像特征；
生成模块，用于基于提取出的图像特征，生成得分图；其中，所述得分图中每一点对应着第二图像中指定尺寸的像素点，每一点标记有得分值；并且，由所述得分图中指定数量的点所组成的区域块与所述局部区域图像的尺寸相同；
第一确定模块，用于根据所述得分图中指定数量的点的得分值总和，确定所述得分图中与所述局部区域图像相关联的区域块；
第二确定模块，用于在判定所述第二图像中与确定的区域块对应的图像特征和所述局部区域图像的图像特征之间的相似度大于设定相似度阈值时，确定所述第二图像为与所述第一图像相似的图像。
7.如权利要求6所述的装置，其特征在于，所述第一确定模块具体用于：
将所述得分图划分为由指定数量的点所组成的至少一个区域块；
计算所述至少一个区域块中指定数量的点的得分值总和；
将所述至少一个区域块中得分值总和最高的区域块，确定为所述得分图中与所述局部区域图像相关联的区域块；或，
在计算出所述至少一个区域块中指定数量的点的得分值总和之后，所述方法还包括：
在判定所述至少一个区域块中得分值总和最高的区域块的得分值总和大于设定得分值阈值时，将所述得分值总和最高的区域块确定为所述得分图中与所述局部区域图像相关联的区域块。
8.如权利要求6所述的装置，其特征在于，所述提取模块具体用于：
基于所述全卷积孪生神经网络模型，对所述局部区域图像进行至少一次卷积处理和至少一次池化处理，得到所述局部区域图像的图像特征；以及，
对所述第二图像进行至少一次卷积处理和至少一次池化处理，得到所述第二图像的图像特征；
基于提取出的图像特征，生成得分图，具体包括：
将所述局部区域图像的图像特征与所述第二图像的图像特征进行卷积运算；
将卷积运算后输出的结果作为得分图。
9.如权利要求8所述的装置，其特征在于，所述装置还包括：
训练模块，用于在将所述局部区域图像以及预先存储的第二图像输入全卷积孪生神经网络模型中之前，以同一物体的不同图像作为训练样本集合，从训练样本集合中获取图像中局部区域图像作为全卷积孪生神经网络模型的第一输入图像、以及获取图像作为全卷积孪生神经网络模型的第二输入图像，对所述全卷积孪生神经网络模型进行模型训练；
在判定所述全卷积孪生神经网络模型输出的得分图满足预设条件时，确定所述全卷积孪生神经网络模型训练完成。
10.如权利要求9所述的装置，其特征在于，所述训练模块具体用于：
使用当前的配置参数分别提取第一输入图像以及第二输入图像的图像特征，并基于提取的图像特征，生成得分图，其中，所述配置参数包括卷积处理所需参数、池化处理所需参数以及生成得分图所需参数；
计算生成的得分图中每一点的得分值与预设的期望得分值之间的损失值；
计算所述得分图中各点对应的损失值之间的平均值，并将所述平均值确定为所述得分图的损失值；
判断所述得分图的损失值是否在设定范围内；
若是，则确定所述全卷积孪生神经网络模型训练完成；
若否，则对所述当前的配置参数进行调整，将调整后的配置参数作为下一次获取图像特征以及生成得分图所使用的配置参数。
CN201710671798.6A 2017-08-08 2017-08-08 一种以图搜图的方法及装置 Active CN107562805B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710671798.6A CN107562805B (zh) 2017-08-08 2017-08-08 一种以图搜图的方法及装置
PCT/CN2018/091923 WO2019029272A1 (en) 2017-08-08 2018-06-20 SYSTEMS AND METHODS FOR SEARCHING IMAGES
EP18845092.8A EP3625696A4 (en) 2017-08-08 2018-06-20 IMAGE SEARCH SYSTEMS AND METHODS
US16/749,974 US11449702B2 (en) 2017-08-08 2020-01-22 Systems and methods for searching images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710671798.6A CN107562805B (zh) 2017-08-08 2017-08-08 一种以图搜图的方法及装置

Publications (2)

Publication Number Publication Date
CN107562805A true CN107562805A (zh) 2018-01-09
CN107562805B CN107562805B (zh) 2020-04-03

Family

ID=60975174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710671798.6A Active CN107562805B (zh) 2017-08-08 2017-08-08 一种以图搜图的方法及装置

Country Status (4)

Country Link
US (1) US11449702B2 (zh)
EP (1) EP3625696A4 (zh)
CN (1) CN107562805B (zh)
WO (1) WO2019029272A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596277A (zh) * 2018-05-10 2018-09-28 腾讯科技（深圳）有限公司 一种车辆身份识别方法、装置和存储介质
CN108596870A (zh) * 2018-03-06 2018-09-28 重庆金山医疗器械有限公司 基于深度学习的胶囊内镜图像筛除方法、装置及设备
CN108846358A (zh) * 2018-06-13 2018-11-20 浙江工业大学 一种基于孪生网络进行特征融合的目标跟踪方法
CN108961236A (zh) * 2018-06-29 2018-12-07 国信优易数据有限公司 电路板缺陷检测模型的训练方法及装置、检测方法及装置
CN109389040A (zh) * 2018-09-07 2019-02-26 广东中粤电力科技有限公司 一种作业现场人员安全着装的检查方法及装置
CN109726746A (zh) * 2018-12-20 2019-05-07 浙江大华技术股份有限公司 一种模板匹配的方法及装置
CN110490272A (zh) * 2019-09-05 2019-11-22 腾讯音乐娱乐科技（深圳）有限公司 图片内容相似度分析方法、装置及存储介质
CN110570490A (zh) * 2019-09-06 2019-12-13 北京航空航天大学 显著性图像生成方法及设备
CN110659373A (zh) * 2019-08-27 2020-01-07 浙江大华技术股份有限公司 图像检索的方法、设备、计算机设备和存储介质
WO2019226686A3 (en) * 2018-05-23 2020-02-06 Movidius Ltd. Deep learning system
WO2020048273A1 (zh) * 2018-09-07 2020-03-12 阿里巴巴集团控股有限公司 用于图片匹配定位的神经网络***，方法及装置
CN111291272A (zh) * 2018-12-06 2020-06-16 阿里巴巴集团控股有限公司 文件识别方法和装置以及电子设备
CN111340850A (zh) * 2020-03-20 2020-06-26 军事科学院***工程研究院***总体研究所 基于孪生网络和中心逻辑损失的无人机对地目标跟踪方法
CN111930989A (zh) * 2020-09-22 2020-11-13 杭州雄迈集成电路技术股份有限公司 一种以图搜图方法
US20210358164A1 (en) * 2020-05-15 2021-11-18 Nvidia Corporation Content-aware style encoding using neural networks
US11699240B2 (en) 2018-03-06 2023-07-11 Beijing Sensetime Technology Development Co., Ltd. Target tracking method and apparatus, and storage medium

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460787B (zh) * 2018-03-06 2020-11-27 北京市商汤科技开发有限公司 目标跟踪方法和装置、电子设备、程序、存储介质
EP3637303B1 (en) * 2018-10-09 2024-02-14 Naver Corporation Methods for generating a base of training images, for training a cnn and for detecting a poi change in a pair of inputted poi images using said cnn
CN111292268B (zh) * 2020-02-07 2023-07-25 抖音视界有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111581421B (zh) * 2020-04-30 2024-06-04 京东方科技集团股份有限公司 图像检索方法、图像检索装置及图像检索***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999752A (zh) * 2012-11-15 2013-03-27 广东欧珀移动通信有限公司 对图片中局部字符进行快速识别的方法、装置及终端
CN104679863A (zh) * 2015-02-28 2015-06-03 武汉烽火众智数字技术有限责任公司 一种基于深度学习的以图搜图方法和***
US9418319B2 (en) * 2014-11-21 2016-08-16 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070260634A1 (en) * 2006-05-04 2007-11-08 Nokia Corporation Apparatus, system, method, and computer program product for synchronizing the presentation of media content
US8103108B2 (en) * 2007-05-01 2012-01-24 Sharp Kabushiki Kaisha Image processing apparatus, image forming apparatus, image processing system, and image processing method
JP5230525B2 (ja) * 2009-05-25 2013-07-10 キヤノン株式会社 画像検索装置およびその方法
CN105303150B (zh) * 2014-06-26 2019-06-25 腾讯科技（深圳）有限公司 实现图像处理的方法和***
US9436895B1 (en) * 2015-04-03 2016-09-06 Mitsubishi Electric Research Laboratories, Inc. Method for determining similarity of objects represented in images
US20170076152A1 (en) * 2015-09-15 2017-03-16 Captricity, Inc. Determining a text string based on visual features of a shred
CN105354228B (zh) * 2015-09-30 2019-06-21 小米科技有限责任公司 相似图搜索方法及装置
US9734587B2 (en) * 2015-09-30 2017-08-15 Apple Inc. Long term object tracker
US9875429B2 (en) * 2015-10-06 2018-01-23 Adobe Systems Incorporated Font attributes for font recognition and similarity
US10115032B2 (en) * 2015-11-04 2018-10-30 Nec Corporation Universal correspondence network
EP3179407B1 (en) * 2015-12-07 2022-07-13 Dassault Systèmes Recognition of a 3d modeled object from a 2d image
WO2017130640A1 (ja) * 2016-01-28 2017-08-03 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
US20170249339A1 (en) * 2016-02-25 2017-08-31 Shutterstock, Inc. Selected image subset based search
US10740385B1 (en) * 2016-04-21 2020-08-11 Shutterstock, Inc. Identifying visual portions of visual media files responsive to search queries
JP6832504B2 (ja) * 2016-08-08 2021-02-24 パナソニックＩｐマネジメント株式会社 物体追跡方法、物体追跡装置およびプログラム
US10748277B2 (en) * 2016-09-09 2020-08-18 Siemens Healthcare Gmbh Tissue characterization based on machine learning in medical imaging
US20180129934A1 (en) * 2016-11-07 2018-05-10 Qualcomm Incorporated Enhanced siamese trackers
WO2018192662A1 (en) * 2017-04-20 2018-10-25 Hp Indigo B.V. Defect classification in an image or printed output
US10042935B1 (en) * 2017-04-27 2018-08-07 Canva Pty Ltd. Systems and methods of matching style attributes
US10268646B2 (en) * 2017-06-06 2019-04-23 Facebook, Inc. Tensor-based deep relevance model for search on online social networks
WO2019007524A1 (en) * 2017-07-06 2019-01-10 Toyota Motor Europe TRACKING OBJECTS IN DIGITAL IMAGE SEQUENCES
US20190019058A1 (en) * 2017-07-13 2019-01-17 Endgame, Inc. System and method for detecting homoglyph attacks with a siamese convolutional neural network
US10733507B2 (en) * 2017-07-25 2020-08-04 Microsoft Technology Licensing, Llc Semantic clustering based retrieval for candidate set expansion
US11763565B2 (en) * 2019-11-08 2023-09-19 Intel Corporation Fine-grain object segmentation in video with deep features and multi-level graphical models

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999752A (zh) * 2012-11-15 2013-03-27 广东欧珀移动通信有限公司 对图片中局部字符进行快速识别的方法、装置及终端
US9418319B2 (en) * 2014-11-21 2016-08-16 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
CN104679863A (zh) * 2015-02-28 2015-06-03 武汉烽火众智数字技术有限责任公司 一种基于深度学习的以图搜图方法和***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GREGORY KOCH: "Siamese Neural Networks for One-Shot Image Recognition", ICML DEEP LEARNING WORKSHOP. VOL. 2. 2015.; JULY 10 AND 11, 2015, pages 1 - 8, XP055445904 *
屈冰欣: "基于深度学习的图像分类技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596870A (zh) * 2018-03-06 2018-09-28 重庆金山医疗器械有限公司 基于深度学习的胶囊内镜图像筛除方法、装置及设备
US11699240B2 (en) 2018-03-06 2023-07-11 Beijing Sensetime Technology Development Co., Ltd. Target tracking method and apparatus, and storage medium
CN108596277A (zh) * 2018-05-10 2018-09-28 腾讯科技（深圳）有限公司 一种车辆身份识别方法、装置和存储介质
WO2019226686A3 (en) * 2018-05-23 2020-02-06 Movidius Ltd. Deep learning system
US11900256B2 (en) 2018-05-23 2024-02-13 Intel Corporation Deep learning system
JP7372010B2 (ja) 2018-05-23 2023-10-31 モビディウス リミテッド 深層学習システム
JP2021526253A (ja) * 2018-05-23 2021-09-30 モビディウス リミテッド 深層学習システム
CN108846358A (zh) * 2018-06-13 2018-11-20 浙江工业大学 一种基于孪生网络进行特征融合的目标跟踪方法
CN108846358B (zh) * 2018-06-13 2021-10-26 浙江工业大学 一种基于孪生网络进行特征融合的目标跟踪方法
CN108961236A (zh) * 2018-06-29 2018-12-07 国信优易数据有限公司 电路板缺陷检测模型的训练方法及装置、检测方法及装置
CN108961236B (zh) * 2018-06-29 2021-02-26 国信优易数据股份有限公司 电路板缺陷检测方法及装置
CN109389040A (zh) * 2018-09-07 2019-02-26 广东中粤电力科技有限公司 一种作业现场人员安全着装的检查方法及装置
WO2020048273A1 (zh) * 2018-09-07 2020-03-12 阿里巴巴集团控股有限公司 用于图片匹配定位的神经网络***，方法及装置
CN111291272A (zh) * 2018-12-06 2020-06-16 阿里巴巴集团控股有限公司 文件识别方法和装置以及电子设备
CN109726746A (zh) * 2018-12-20 2019-05-07 浙江大华技术股份有限公司 一种模板匹配的方法及装置
CN110659373A (zh) * 2019-08-27 2020-01-07 浙江大华技术股份有限公司 图像检索的方法、设备、计算机设备和存储介质
CN110490272B (zh) * 2019-09-05 2022-10-21 腾讯音乐娱乐科技（深圳）有限公司 图片内容相似度分析方法、装置及存储介质
CN110490272A (zh) * 2019-09-05 2019-11-22 腾讯音乐娱乐科技（深圳）有限公司 图片内容相似度分析方法、装置及存储介质
CN110570490B (zh) * 2019-09-06 2021-07-30 北京航空航天大学 显著性图像生成方法及设备
CN110570490A (zh) * 2019-09-06 2019-12-13 北京航空航天大学 显著性图像生成方法及设备
CN111340850A (zh) * 2020-03-20 2020-06-26 军事科学院***工程研究院***总体研究所 基于孪生网络和中心逻辑损失的无人机对地目标跟踪方法
US20210358164A1 (en) * 2020-05-15 2021-11-18 Nvidia Corporation Content-aware style encoding using neural networks
CN111930989A (zh) * 2020-09-22 2020-11-13 杭州雄迈集成电路技术股份有限公司 一种以图搜图方法

Also Published As

Publication number Publication date
US11449702B2 (en) 2022-09-20
US20200160099A1 (en) 2020-05-21
EP3625696A1 (en) 2020-03-25
WO2019029272A1 (en) 2019-02-14
EP3625696A4 (en) 2020-07-08
CN107562805B (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
CN107562805A (zh) 一种以图搜图的方法及装置
CN109685100A (zh) 字符识别方法、服务器及计算机可读存储介质
CN109871845B (zh) 证件图像提取方法及终端设备
CN107330750A (zh) 一种推荐产品配图方法及装置，电子设备
CN109816612A (zh) 图像增强方法和装置、计算机可读存储介质
CN109711268B (zh) 一种人脸图像筛选方法及设备
CN103971134B (zh) 图像分类、检索和校正方法，以及相应装置
CN108009481A (zh) 一种cnn模型的训练方法及装置、人脸识别方法及装置
CN110263755A (zh) 眼底图像识别模型训练方法、眼底图像识别方法和设备
CN110120034B (zh) 一种与视觉感知相关的图像质量评价方法
CN107423306A (zh) 一种图像检索方法及装置
CN111612891A (zh) 模型生成方法、点云数据处理方法、装置、设备及介质
CN108256454A (zh) 一种基于cnn模型的训练方法、人脸姿态估测方法及装置
CN114783021A (zh) 一种口罩佩戴智能检测方法、装置、设备及介质
CN114331946A (zh) 一种图像数据处理方法、设备以及介质
CN112862766B (zh) 一种基于图像数据扩充技术的绝缘子检测方法及***
CN110188640A (zh) 人脸识别方法、装置、服务器和计算机可读介质
CN115228092B (zh) 游戏战力评估方法、装置以及计算机可读存储介质
CN110059617A (zh) 一种目标物体的识别方法及装置
KR102551643B1 (ko) 고화질의 가상 콘텐츠 제작 시스템 및 방법
CN107491459A (zh) 三维立体图像的检索方法和装置
CN116342385A (zh) 文本图像超分辨率网络的训练方法、装置以及存储介质
CN107967468A (zh) 一种基于无人驾驶汽车的辅助控制***
CN111064905A (zh) 面向自动驾驶的视频场景转换方法
CN112883959B (zh) 身份证照完整性检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant