CN108415937A - 一种图像检索的方法和装置 - Google Patents

一种图像检索的方法和装置 Download PDF

Info

Publication number
CN108415937A
CN108415937A CN201810069845.4A CN201810069845A CN108415937A CN 108415937 A CN108415937 A CN 108415937A CN 201810069845 A CN201810069845 A CN 201810069845A CN 108415937 A CN108415937 A CN 108415937A
Authority
CN
China
Prior art keywords
image
depth characteristic
retrieved
matched
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810069845.4A
Other languages
English (en)
Inventor
张雷
陈杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bo Yun Vision (beijing) Technology Co Ltd
Original Assignee
Bo Yun Vision (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bo Yun Vision (beijing) Technology Co Ltd filed Critical Bo Yun Vision (beijing) Technology Co Ltd
Priority to CN201810069845.4A priority Critical patent/CN108415937A/zh
Publication of CN108415937A publication Critical patent/CN108415937A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种图像检索的方法和装置，解决了现有检索方法精度较低，在检索时需要一些具体特征作为辅助才可以提高精度的问题。其中的图像检索的方法，包括：从待检索图像中提取第一深度特征并且从待检索图像中提取第一局部特征；将第一深度特征以及第一局部特征与特征数据库中存储的多个候选图像的第二深度特征以及第二局部特征分别进行匹配，得到匹配的第二深度特征以及第二局部特征；输出与匹配的第二深度特征以及第二局部特征对应的图像。

Description

一种图像检索的方法和装置
技术领域
本发明涉及图像识别领域，尤其涉及一种图像检索的方法和装置。
背景技术
如今道路监控探头和摄像机遍布街道卡口。公安和交通***在调度、刑侦等各种安防任务中都需要严重依赖这些监控探头收集到的图像数据。但是对于大量的视频图像数据，单凭人力想要从这些视频图像数据中找到目标，不仅效率低下，而且需要投入大量的人力物力，费用高昂。
现有的技术虽然利用深度学习可以利用这些大量的视频图像数据进行目标的检索，但往往精度较低，因为在检索时需要一些具体特征作为辅助才可以提高精度，本发明提供的图像检索方法可以在对图片要求较低的情况下，有效提高检索精度。
发明内容
有鉴于此，本发明实施例提供了一种图像检索的方法和装置，解决了现有图像检索技术的检索精度较低，并且需要一些具体特征作为辅助才可以提高精度的问题。
根据本发明的一个方面，提供了一种图像检索的方法，包括：从待检索图像中提取第一深度特征并且从待检索图像中提取第一局部特征；将第一深度特征以及第一局部特征与特征数据库中存储的多个候选图像的第二深度特征以及第二局部特征分别进行匹配，得到匹配的第二深度特征以及第二局部特征；输出与匹配的第二深度特征以及第二局部特征对应的图像。
在一实施例中，在将第一深度特征以及第一局部特征与特征数据库中存储的多个候选图像的第二深度特征以及第二局部特征分别进行匹配之前，还包括：通过降维处理对待检索图像的第一深度特征进行压缩编码，得到待检索图像的第三深度特征；将待检索图像的第三深度特征与特征数据库存储的多个候选图像的第四深度特征进行匹配，得到匹配的第四深度特征，其中多个候选图像的第四深度特征是通过降维处理对多个候选图像的第二深度特征进行压缩编码得到的；获取与匹配的第四深度特征对应的图像，其中，将第一深度特征以及第一局部特征与特征数据库中存储的多个候选图像的第二深度特征以及第二局部特征分别进行匹配，包括：将待检索图像的第一深度特征与特征数据库中的与匹配的第四深度特征对应的图像的第二深度特征进行匹配；将待检索图像的第一局部特征与特征数据库中存储的多个候选图像的第二局部特征进行匹配。
在一实施例中，通过降维处理对待检索图像的第一深度特征进行压缩编码，包括：利用ITQ(迭代量化方法)，通过降维处理对待检索图像的第一深度特征进行压缩编码。
在一实施例中，图像检索的方法还包括：从多个候选图像中提取第二深度特征；通过降维处理对多个候选图像的第二深度特征进行压缩编码，得到第四深度特征，将第四深度特征存储在特征数据库中。
在一实施例中，将第一深度特征以及第一局部特征与特征数据库中存储的多个候选图像的第二深度特征以及第二局部特征分别进行匹配，包括：计算第一深度特征与多个候选图像的第二深度特征的相似度，得到多个候选图像的第一相似度；计算第一局部特征与多个候选图像的第二局部特征的相似度，得到多个候选图像的第二相似度；对多个候选图像的第一相似度和第二相似度进行加权运算，得到加权运算结果；根据加权运算结果确定匹配的第二深度特征和第二局部特征。
在一实施例中，图像为车辆图像，方法还包括：针对多个车辆中的每个车辆收集车辆图像；提取车辆图像的第二深度特征以及第二局部特征；将车辆图像的第二深度特征以及第二局部特征存入特征数据库。
在一实施例中，针对多个车辆中的每个车辆收集车辆图像，具体包括步骤：获取视频流信息；针对每个车辆，按照多个收集维度从视频流信息中筛选出多个收集维度的图像；从多个收集维度的图像中获取车辆信息；根据车辆信息得到整理后的针对每个车辆的车辆图像。
在一实施例中，根据车辆信息得到整理后的针对每个车辆的车辆图像，具体包括步骤：根据车辆信息进行多级筛选；将多级筛选的结果归纳并分类，得到整理后的针对每个车辆的车辆图像。
在一实施例中，多个收集维度包括以下至少两种维度：卡口场景维度，包括目录卡口、微卡口以及监控中的至少一个；天气维度，包括雨天、雾天、雪天、强光天以及正常天气中的至少一个；道路维度，包括高速、主干道、辅路、隧道、十字路口、丁字路口、转角以及巷道中的至少一个；角度维度、包括俯视正面、俯视背面、俯视侧面、平视正面、平视背面以及平视侧面中的至少一个；目标占比维度，包括目标占图像大于40％，目标占图像在20％至40％之间以及目标占图像小于20％中的至少一个；图像分辨率维度，包括1260*1080、1080*720、720*360以及360*144中的至少一个；时间维度，包括0点至6点之间，6点到9点之间，9点到15点之间，15点到21点之间以及21点至0点之间中的至少一个；目标遮挡维度，包括目标部分被遮挡以及目标未被遮挡中的至少一个；目标数量维度，包括单个目标数量以及多个目标数量中的至少一个。
在一实施例中，车辆信息包括以下至少一种信息：车辆在图像中的车牌，型号以及颜色，其中根据车辆信息进行多级筛选，包括：从多个收集维度的图像中针对车牌进行识别，以收集同一车牌的车辆图像；从同一车牌的车辆图像中针对型号以及颜色再次筛选，以收集相同车辆的图像。
在一实施例中，从待检索图像中提取第一深度特征并且从待检索图像中提取第一局部特征，包括：利用卷积神经网络或循环神经网络方式从待检索图像中提取第一深度特征，并利用CDVS(视觉搜索的紧凑描述子)方式从待检索图像中提取第一局部特征。
在一实施例中，卷积神经网络的训练过程所使用的损失函数包括：tripletloss和/或softmaxloss，其中卷积神经网络包括归一化层和全连接层，tripletloss损失函数设置在归一化层之后，softmaxloss损失函数设置在全连接层之后。
根据本发明的另一个方面，提供了一种图像检索的装置，包括：
提取模块，用于配置为提取待检索图片中的第一深度特征，并配置为提取待检索图片中的第一局部特征；匹配模块，配置为匹配待检索图片中的第一深度特征与特征数据库中存储的多个候选图像的第二深度特征，并得到匹配的第二深度特征；并且匹配待检索图片中的第一局部特征与特征数据库中存储的多个候选图像的第二局部特征，并得到匹配的第二局部特征；输出模块，配置为输出与匹配的第二深度特征以及第二局部特征对应的图像。
在一实施例中，图像检索的装置还包括：压缩编码模块，配置为通过降维处理对待检索图像的第一深度特征进行压缩编码，得到待检索图像的第三深度特征，并通过降维处理对多个候选图像的第二深度特征进行压缩编码得到待检索图像的第四深度特征，其中匹配模块匹配待检索图片中的第三深度特征与特征数据库中存储的多个候选图像的第四深度特征，并得到匹配的第四深度特征对应的图像，其中，匹配模块具体配置为：将待检索图像的第一深度特征与特征数据库中的与匹配的第四深度特征对应的图像的第二深度特征通过匹配模块进行匹配；匹配模块具体配置为将待检索图像的第一局部特征与特征数据库中存储的多个候选图像的第二局部特征通过匹配模块进行匹配。
在一实施例中，第一压缩编码模块具体配置为：利用ITQ(迭代量化方法)，通过降维处理对待检索图像的第一深度特征进行压缩编码。
在一实施例中，图像检索的装置还包括：特征数据存储模块，配置为存储多个候选图像的第二深度特征、第二局部特征以及第四深度特征，其中，提取模块具体配置为从多个候选图像中提取第二深度特征并从多个候选图像中提取第二局部特征。
在一实施例中，匹配模块具体配置为：计算第一深度特征与多个候选图像的第二深度特征的相似度，得到多个候选图像的第一相似度，计算第一局部特征与多个候选图像的第二局部特征的相似度，得到多个候选图像的第二相似度，对多个候选图像的第一相似度和第二相似度进行加权运算，得到加权运算结果，并根据加权运算结果确定匹配的第二深度特征和第二局部特征。在一实施例中，图像检索的装置还包括：图像收集模块，配置为针对多个车辆中的每个车辆收集车辆图像，其中提取模块还配置为：提取车辆图像的第二深度特征并且提取车辆图像的第二局部特征，并且特征数据存储模块还配置为：将车辆图像的第二深度特征以及第二局部特征存入特征数据存储模块。
在一实施例中，图像检索的装置还包括：视频流获取模块，配置为获取视频流信息；多维度筛选模块，配置为针对每个车辆，按照多个收集维度从视频流信息中筛选出多个收集维度的图像；车辆信息获取模块，配置为从多个收集维度的图像中获取车辆信息；车辆图像管理模块，配置为根据车辆信息得到整理后的针对每个车辆的车辆图像。
在一实施例中，车辆图像管理模块还包括：多级筛选模块，配置为根据车辆信息进行多级筛选。
在一实施例中，多维度筛选模块具体配置为包括以下至少两种维度：卡口场景维度，包括目录卡口、微卡口以及监控中的至少一个；天气维度，包括雨天、雾天、雪天、强光天以及正常天气中的至少一个；道路维度，包括高速、主干道、辅路、隧道、十字路口、丁字路口、转角以及巷道中的至少一个；角度维度、包括俯视正面、俯视背面、俯视侧面、平视正面、平视背面以及平视侧面中的至少一个；目标占比维度，包括目标占图像大于40％、目标占图像在20％至40％之间以及目标占图像小于20％中的至少一个；图像分辨率维度，包括1260*1080、1080*720、720*360以及360*144中的至少一个；时间维度，包括0点至6点之间、6点到9点之间、9点到15点之间、15点到21点之间以及21点至0点之间中的至少一个；目标遮挡维度，包括目标部分被遮挡以及目标未被遮挡中的至少一个；目标数量维度，包括单个目标数量以及多个目标数量中的至少一个。
在一实施例中，车辆信息包括以下至少一种信息：车辆在图像中的车牌、型号以及颜色，并且多级筛选模块具体配置为：从多个收集维度的图像中针对车牌进行识别，以收集同一车牌的车辆图像，之后从同一车牌的车辆图像中针对型号以及颜色再次筛选，以收集相同车辆的图像。
在一实施例中，提取模块具体配置为：利用卷积神经网络或循环神经网络从待检索图像中提取第一深度特征并利用CDVS(视觉搜索的紧凑描述子)、LBP(局部二值模式)算子、sift(尺度不变特征变换匹配算法)或surf(加速稳健特征算法)的方式从待检索图像中提取第一局部特征。
在一实施例中，第一深度特征提取模块具体配置为：卷积神经网络的训练过程所使用的损失函数包括：tripletloss和/或softmaxloss，其中卷积神经网络包括归一化层和全连接层，tripletloss损失函数设置在归一化层之后，softmaxloss损失函数设置在全连接层之后。
本发明实施例提供了一种图像检索的方法，通过提取待检索图像内的深度特征和局部特征，与特征数据库中的深度特征和局部特征分别进行对比，最后输出特征数据库中与待检索图像的深度特征和局部特征匹配的图像。可以在对图片要求较低的情况下，有效提高检索精度，解决了现有检索方法精度较低，在检索时需要一些具体特征作为辅助才可以提高精度的问题。
附图说明
图1所示为本发明一实施例提供的图像检索的方法的流程示意图。
图2所示为本发明一实施例提供的图像检索的示意图。
图3所示为本发明另一实施例提供的图像检索的方法的流程示意图。
图4所示为本发明另一实施例提供的图像检索的示意图。
图5所示为本发明一实施例提供的车辆图像收集的方法的流程示意图。
图6所示为本发明另一实施例提供的图像检索的方法的流程示意图。
图7所示为本发明另一实施例提供的图像检索的示意图。
图8所示为本发明一实施例提供的图像检索的装置的结构示意图。
图9所示为本发明另一实施例提供的图像检索的装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1所示为本发明一实施例提供的图像检索的流程示意图。图1的方法可由计算装置，例如服务器，执行。如图1所示，图像检索的方法包括：
100：提取待检索图像中的第一深度特征以及第一局部特征。
待检索图像可以是车辆图像、人的图像或其它移动物体的图像，本发明对此不作限定。
深度特征例如可以是利用CNN(卷积神经网络)方式提取的深度特征，本发明的实施例并不限于此，例如，也可以是利用循环神经网络或者其他结构的深度神经网络方式提取的深度特征。局部特征可以是利用CDVS(视觉搜索的紧凑描述子)方式提取的深度特征，本发明的实施例并不限于此，例如，局部特征可以是利用LBP(局部二值模式)算子、sift(尺度不变特征变换匹配算法)或surf(加速稳健特征算法)方式提取的局部特征。
110：将待检索图像的第一深度特征以及第一局部特征与特征数据库中多个候选图像的第二深度特征以及第二局部特征分别进行匹配，得到匹配的第二深度特征以及第二局部特征。
第二深度特征和第二局部特征提取方式可以与第一深度特征和第二局部特征的方式相同或不同。第一深度特征与第二深度特征匹配可以指两者相似或相同，例如，两者的相似度大于预设的阈值则认为两者相似，相似度可以用欧氏距离或汉明距离等来表征。类似地，第一局部特征与第二局部特征的匹配也可以用与深度特征类似的方式来表征。
根据本发明的实施例，可以根据深度特征的相似度和局部特征的相似度的加权平均值来确定是否匹配，例如，服务器可以计算第一深度特征与多个候选图像的第二深度特征的相似度，得到多个候选图像的第一相似度；计算第一局部特征与多个候选图像的第二局部特征的相似度，得到多个候选图像的第二相似度；对多个候选图像的第一相似度和第二相似度进行加权运算，得到加权运算结果；根据加权运算结果确定匹配的第二深度特征和第二局部特征。
120：根据匹配的第二深度特征以及第二局部特征，输出对应的图像。具体而言，可以首先收集多个候选图像，并且提取多个候选图像的第二深度特征和第二局部特征，预先在特征数据库中存储多个图像的第二深度特征和第二局部特征以及多个图像与其深度特征和局部特征的对应关系，作为检索用的特征数据库。在进行检索时，先利用例如同样的技术手段提取待检索图片的第一深度特征和第一局部特征，将待检索图片对应的深度特征和局部特征与上述的特征数据库中多个候选图像的深度特征和局部特征分别进行匹配，然后会分别计算一个图像的深度特征和局部特征的匹配相似度，之后例如可以通过加权方式把两者相加得出该图像的相似度总分，以例如排名的方式排出相似度最高的前N位的深度特征和局部特征，根据该深度特征和局部特征找到对应的图像，最后输出得到需要的图像。
如图2中所示为本发明一实施例提供的图像检索的示意图，从图中可以看出，待检索图像和特征数据库存储的图像都具有各自的深度特征和局部特征，匹配时采用各自的深度特征和局部特征分别进行匹配的方式进行，最后输出与匹配特征对应的图像作为检索的结果，该匹配由于具有深度特征和局部特征的综合比对，能起到提高检索精度的效果，以下将这种融合深度特征和局部特征的匹配检索方式简称为精细检索。
本发明实施例提供了一种图像检索的方法，通过提取待检索图像内的深度特征和局部特征，与特征数据库中的深度特征和局部特征分别进行对比，最后输出特征数据库中与待检索图像的深度特征和局部特征匹配的图像。可以做到识别任何图像中的目标，解决了现有技术的必须需要车牌等特征才能进行检索的对待检索图像要求高，有局限性的问题。
可选地，作为另一实施例，图1的图像检索的方法还包括：从多个候选图像中提取第二深度特征；通过降维处理对多个候选图像的第二深度特征进行压缩编码，得到第四深度特征，将第四深度特征存储在特征数据库中。
例如，上述通过降维处理进行压缩编码可以是ITQ(迭代量化方法)。该方法能够达到缩短检索时间的目的。本发明的实施例并不限于此，上述通过降维处理进行压缩编码的过程还可以通过其他哈希方法实现，其他的哈希方法也能达到上述缩短检索时间的目的。之后匹配待检索图像以及特征数据库中图像的压缩编码特征，具体为：将第三深度特征和第四深度特征进行匹配，该第四深度特征是对特征数据库中的第二深度特征进行压缩编码得到的，其中压缩编码的过程是利用上述ITQ(迭代量化方法)或者其他哈希方法实现的。在匹配的过程中，上述的第三深度特征和第四深度特征匹配的过程可以使用汉明距离计算相似度。最后获取与匹配的第四深度特征对应的图像，并可以将第四深度特征存储在数据库中。
可选地，作为另一实施例，图1的图像检索方法中输出最终检索图像的过程具体为：在得到与匹配的第四深度特征对应的图像后，对待检索图像的第一深度特征和匹配的第四深度特征对应图像的第二深度特征进行匹配，得到第一相似度。对待检索图像的第一局部特征和匹配的第四深度特征对应图像的第二局部特征进行匹配，得到第二相似度。对该第一相似度和第二相似度进行加权运算，可以按照重要程度给第一相似度和第二相似度赋予权值，两者权值相加得1。在匹配的过程中，上述对待检索图像的第一深度特征和匹配的第四深度特征对应图像的第二深度特征进行匹配以及对待检索图像的第一局部特征和匹配的第四深度特征对应图像的第二局部特征进行匹配可以使用欧式距离计算相似度。最后根据加权的运算结果输出与匹配的第二深度特征以及第二局部特征对应的图像。
可选地，作为另一实施例，在图像为车辆图像时，图1的方法还包括：针对多个车辆中的每个车辆收集车辆图像；提取车辆图像的第二深度特征以及第二局部特征；将车辆图像的第二深度特征以及第二局部特征存入特征数据库。
具体地，针对多个车辆中的每个车辆收集车辆图像，具体包括步骤：获取视频流信息；针对每个车辆，按照多个收集维度从视频流信息中筛选出多个收集维度的图像；从多个收集维度的图像中获取车辆信息；根据车辆信息得到整理后的针对每个车辆的车辆图像。
具体地，可以根据车辆信息进行多级筛选，并且将多级筛选的结果归纳并分类，得到整理后的针对每个车辆的车辆图像。
根据本发明的实施例，车辆信息包括以下至少一种信息：车辆在图像中的车牌，型号以及颜色，其中根据车辆信息进行多级筛选，包括：从多个收集维度的图像中针对车牌进行识别，以收集同一车牌的车辆图像；从同一车牌的车辆图像中针对型号以及颜色再次筛选，以收集相同车辆的图像。
在一实施例中，卷积神经网络的训练过程所使用的损失函数包括：tripletloss和/或softmaxloss。例如，卷积神经网络包括归一化层和全连接层，tripletloss损失函数设置在归一化层之后，同时softmaxloss损失函数设置在全连接层之后。
如图3所示为本发明另一实施例提供的图像检索的方法的流程示意图。图3的实施例为图1的实施例的例子。图3的方法包括如下内容。
300：提取待检索图片中的第一深度特征。
310：提取待检索图片中的第一局部特征。
320：通过降维处理对待检索图像的第一深度特征进行压缩编码，得到第三深度特征。
330：将第三深度特征和第四深度特征进行匹配，得到与匹配的第四深度特征对应的图像。该第四深度特征是对特征数据库中的第二深度特征进行压缩编码得到的，其中压缩编码的过程是利用上述ITQ(迭代量化方法)或者其他哈希方法实现的。
350：将待检索图像的第一深度特征以及第一局部特征与匹配的第四深度特征对应的图像的第二深度特征以及第二局部特征进行匹配。
360：待检索图像的第一深度特征和匹配的第四深度特征对应图像的第二深度特征匹配，得到第一相似度。
370：待检索图像的第一局部特征和匹配的第四深度特征对应图像的第二局部特征匹配，得到第二相似度。
380：对该第一相似度和第二相似度进行加权运算，可以按照重要程度给第一相似度和第二相似度赋予权值，两者权值相加得1。
390：根据加权的运算结果输出与匹配的第二深度特征以及第二局部特征对应的图像。
上述的第三深度特征和第四深度特征匹配的过程可以使用汉明距离计算相似度。需要注意的是，该压缩编码以及匹配该压缩过的相应的深度特征的过程先于上述的提高检索精度的精细检索步骤(在本图中即步骤330)，目的是缩小精细检索图像的数量，减少精细检索的检索量(减少后的数据库图像后文简称为筛选后图像)，以此提高总体的检索速度，后文对这种压缩编码后特征之间的匹配过程简称为快速检索。
图4所示为本发明另一实施例提供的图像检索的示意图，从图中可以看出，在快速检索后的精细检索是对深度以及局部特征的融合匹配过程。上述第一相似度和第二相似度可以通过使用欧式距离计算相似度的方式获得。加权运算的优点是可以根据重要程度对不同的相似度赋予权值。
在本发明的一实施例中，分别赋予第一相似度和第二相似度0.5的权值，相当于第一相似度和第二相似度占有同样的比重，这样做的好处是平衡了单个特征对于输出结果的影响，增加匹配的精确度。
在本发明的一实施例中，上述通过降维处理进行压缩编码的过程通过ITQ(迭代量化方法)实现。ITQ(迭代量化方法)是对原始的深度特征进行二值化处理，通过二值化处理的深度特征大小可以缩小到原深度特征大小的1/256，这种方式使得深度特征在匹配时可以在保持精度不过多损失的情况下，大幅缩短匹配时间。迭代量化的方法是对已经获得的深度特征进行归一化处理，得到ITQ(迭代量化方法)的训练数据集。然后对该训练数据进行PCA降维处理，这个过程是将训练数据集(2048*N，N为样本个数)映射到特征维度(2048*2048)，然后通过提取前256维的特征向量和特征值，将训练数据集2048维的特征分布映射到256*256的特征分布，以此得到降维后的特征分布V。最后利用随机旋转矩阵R对该特征分布进行旋转，使得如下量化损失函数最小：
其中B为二进制编码矩阵，表示二进制编码矩阵B与经过随机旋转矩阵R的特征分布V的欧式距离，使得该欧式距离最小，即该量化损失函数最小，最终使得二值化后的特征损失的信息尽可能少。ITQ(迭代量化方法)先是固定R，然后优化B。接着固定B，然后优化R。这两个步骤不断迭代，算法就会收敛到一个局部最优解上。在得到旋转矩阵R之后，与归一化后的深度特征2048float特征相乘，得到的结果，大于0的置1，小于0的置0，从而得到压缩过后的256bit特征。
在本发明的一实施例中，上述图像检索方法可应用于车辆图像检索。首先收集每个车辆的车辆图像，然后提取该车辆图像的第二深度特征以及第二局部特征，提取后将该第二深度特征和第二局部特征存储在特征数据库中待检索时备用。
图5所示为本发明一实施例提供的车辆图像收集的流程示意图。在本发明的一实施例中，收集车辆图像的过程包括：
500：从公安***或者其他机构中获取交通摄像头的实时视频流数据。
510：从视频流中通过多个收集维度，对视频流中的车辆图像进行筛选，筛选出符合多个收集维度条件的图片作为收集的车辆图像。
520：通过第三方软件的支持，从筛选后的收集的车辆图像中获取车辆信息，再通过利用该车辆信息，最后得到用于提取深度特征的每辆车的所有图像，以下简称为车辆图像集。
这样做的好处是确保每个图像都有据可查，在检索出匹配的图像时，可以最快时间找到所需要的信息，使得图像检索具备更丰富的功能。
530：通过车牌识别对收集的图片进行识别，筛选出同一车牌的所有图像。
540：对上述同一车牌的所有图像使用颜色和车型信息进行再次筛选，筛选出所有同一车牌的车辆，如果在同一车牌的车辆图像下，识别出多个车型和颜色，还可以使用人工筛选的方式筛选，目的是排除步骤530中筛选的错误图像。
最后将排除错误图像后的每辆车的所有图像收集到一起，得到车辆图像集。通过多级筛选得到的图像经过整理和归纳，确保待提取特征的车辆图像集内的数据是准确的，也为后续的提取特征过程减少不必要的工作量。
在本发明的一实施例中，上述通过利用车辆信息，得到用于提取深度特征的每辆车的所有图像，具体包括一个多级筛选的步骤，在多级筛选后，进行归纳分类处理，可以得到车辆图像集。如图5所示，多级筛选过程包括步骤530以及步骤540。
在本发明的一实施例中，上述的多个收集维度条件包括9个收集维度：
卡口场景维度，包括目录卡口、微卡口以及监控中的至少一个；
天气维度，包括雨天、雾天、雪天、强光天以及正常天气中的至少一个；
道路维度，包括高速、主干道、辅路、隧道、十字路口、丁字路口、转角以及巷道中的至少一个；
角度维度、包括俯视正面、俯视背面、俯视侧面、平视正面、平视背面以及平视侧面中的至少一个；
目标占比维度，包括目标占图像大于40％，目标占图像在20％至40％之间以及目标占图像小于20％中的至少一个；
图像分辨率维度，包括1260*1080、1080*720、720*360以及360*144中的至少一个；
时间维度，包括0点至6点之间，6点到9点之间，9点到15点之间，15点到21点之间以及21点至0点之间中的至少一个；
目标遮挡维度，包括目标部分被遮挡以及目标未被遮挡中的至少一个；
目标数量维度，包括单个目标数量以及多个目标数量中的至少一个。
需要注意的是，上述9个维度是筛选图像的条件，在筛选后，也会作为一项属性标记在图像文件中，由此每个图像都将包含上述9个维度的9个属性，除此之外，每个图像还包含有3个其他属性，分别是：所在组的ID，获取车辆图像的时间以及采集设备的ID。所以在最终筛选出来的每辆车的所有图像中，都将包含12个属性(9个维度属性+3个其他属性)，因此在匹配到需要检索的图像后，可以通过匹配图像通过该12个属性获得更多的信息，满足使用者对追踪车辆其他信息的需求。
在本发明的一实施例中，上述所有深度特征的提取都可以利用CNN(卷积神经网络)或者RNN(循环神经网络)的方式进行。而上述局部特征的提取可以采用CDVS(视觉搜索的紧凑描述子)的方式进行。
在本发明的一实施例中，上述卷积神经网络使用的深度模型是从50层残差网络(Resnet-50)的基础上发展而来。利用CNN(卷积神经网络)的该模型提取深度特征的过程，包括构建深度模型，深度模型包含模型输入层，模型卷积层和模型损失层。然后是对深度模型加载训练数据，得到深度特征。深度模型的构建包含如下步骤：
构建模型的输入层，模型输入层可以根据损失函数或者模型结构的不同需要单独设计，本发明实施例使用tripletloss损失函数和softmaxloss损失函数来进行车辆图像的训练。由于tripletloss是三元组损失函数，因此将同一辆车不同的2张图像与1张不同车辆的车辆图像放在一起，组成一个三元组数据。将三元组数据从模型的输入层传输到模型的卷积层，一层一层向前传播。
然后调整模型的卷积层，主要是调整卷积核。这部分使用模块化设计，整个模型套用了2种共15个类似的模块。
模块起始为BatchNormalize(批量归一化)层，是对上一层的输出数据，下一层的输入数据进行归一化操作的层，能更好的保证模型收敛，以达到训练效果。
接下来连接的层，2种模块有所不同，第一种接了3个卷积层，卷积核分别为1*1，3*3和1*1，并且将上一模块的输出作为输入并且复制一遍，在此模块，与最后的输出相加。第二种则是接了4个卷积层，其中一个卷积层的输出与本模块最后的输出相加。卷积层设置完之后，最后增加了一层降采样层，作为使用时网络的输出层。
模型损失函数tripletloss和softmaxloss的使用，使模型能更容易收敛，取得更好的训练效果。原理上，tripletloss是为了将同一辆车的特征拉的更近，不同车的特征拉的更远，从而使模型取得更好的特征区分能力。具体设计是在上一段最后一层的降采样层之后，增加一个归一化层，紧接着一个tripletloss层(或损失函数)。在降采样层上再接一个全连接层，全连接层之后连接softmaxloss层(或损失函数)，至此卷积神经网络的构建就完成了。
网络构建完成后就可以开始调整网络中的参数，也就是逐个图像训练特征的过程：首先将所有图像数据加载到数据输入层，数据通过输入层向前传播一直到损失层，然后损失层计算出损失(loss)值，损失值根据链式求导法则开始回传，随着loss值的回传，每一层的参数开始自动跟新，接着新一组数据输入，得到新的loss值，开始迭代循环。直到loss值下降到人为设置的阈值或者到达迭代次数上限，训练结束。
至此，整个特征的构建和训练过程就完成了。提取特征时，只需要将车辆图像传入模型输入层，从降采样层将特征取出，就得到了车辆的第二深度特征。
在本发明的一实施例中，上述CDVS(视觉搜索的紧凑描述子)的方法是针对视觉搜索的特征描述，包含针对图像纹理和边缘的特征，具有一定的旋转和缩放不变性，也就是同一图像在旋转和缩放后，提取的特征能一定程度的保持不变。这样的特性使得CDVS在复杂环境下的鲁棒性更好，此特征对于相同目标的匹配能力很好，在筛选时和深度特征一起使用更合适，这也是选取它作为辅助特征的原因。
存入特征数据库时，输入车辆图像经过CDVS特征提取，会产生全局和局部两种特征，本发明实施例只使用了CDVS局部特征。产生的第二局部特征和第二深度特征以及压缩编码后的第四深度特征一起作为这张车辆图像的特征被保存在特征数据库中。
图6所示为本发明另一实施例提供的图像检索的方法的流程示意图。图6的实施例是以车辆图像的检索为例进行说明。如从图6所示可以看出，车辆图像检索的步骤包括方法包括如下内容：
600：从此步骤开始是图像收集的过程。
例如，可以从公安***或者其他机构中获取交通摄像头的实时视频流数据。
605：从视频流中收集图像。
通过多个收集维度，对视频流中的车辆图像进行筛选，筛选出符合多个收集维度条件的图片作为收集的车辆图像。
610：获取车辆信息。
通过第三方软件的支持，从筛选后的收集的车辆图像中获取车辆信息，其中车辆信息包括：车辆的车牌信息，车辆颜色以及车辆的型号。
615：通过车牌筛选得到同一车牌所有图像。
通过上述的车辆的车牌信息先筛选一遍，筛选出同一车牌的所有图像，这个筛选的过程可以使用车牌识别的模型进行筛选。
620：通过颜色和型号筛选并分类，最终得到每辆车的所有图像。
对上述同一车牌的所有图像再筛选一次，这次是利用车辆的型号以及颜色信息进行筛选和分类，如果同一车牌的车辆图像下识别出多种车辆车型和颜色，还可以通过人工再筛选一遍，已获得精确的每辆车的所有图像，至此车辆图像集的收集过程完成。下面将针对该车辆图像集进行特征的提取训练。
625：通过CNN(卷积神经网络)提取车辆图像集的深度特征，具体为：使用从50层残差网络(Resnet-50)的基础上发展而来的深度模型构建深度模型，深度模型包含模型输入层，模型卷积层和模型损失层。然后是对深度模型加载训练数据，得到深度特征。深度模型的构建包含如下步骤：
构建模型的输入层，模型输入层可以根据损失函数或者模型结构的不同需要单独设计，本发明实施例使用tripletloss损失函数和softmaxloss损失函数来进行车辆图像的训练。由于tripletloss是三元组损失函数，因此将同一辆车不同的2张图像与1张不同车辆的车辆图像放在一起，组成一个三元组数据。将三元组数据从模型的输入层传输到模型的卷积层，一层一层向前传播。
然后调整模型的卷积层，主要是调整卷积核。这部分使用模块化设计，整个模型套用了2种共15个类似的模块。
模块起始为BatchNormalize(批量归一化)层，是对上一层的输出数据，下一层的输入数据进行归一化操作的层，能更好的保证模型收敛，以达到训练效果。
接下来连接的层，2种模块有所不同，第一种接了3个卷积层，卷积核分别为1*1，3*3和1*1，并且将上一模块的输出作为输入并且复制一遍，在此模块，与最后的输出相加。第二种则是接了4个卷积层，其中一个卷积层的输出与本模块最后的输出相加。卷积层设置完之后，最后增加了一层降采样层，作为使用时网络的输出层。
模型损失函数tripletloss和softmaxloss的使用，使模型能更容易收敛，取得更好的训练效果。原理上，tripletloss是为了将同一辆车的特征拉的更近，不同车的特征拉的更远，从而使模型取得更好的特征区分能力。具体设计是在上一段最后一层的降采样层之后，增加一个归一化层，紧接着一个tripletloss层(或损失函数)。在降采样层上再接一个全连接层，全连接层之后连接softmaxloss层(或损失函数)，至此卷积神经网络的构建就完成了。
网络构建完成后就可以开始调整网络中的参数，也就是逐个图像训练特征的过程：首先将所有图像数据加载到数据输入层，数据通过输入层向前传播一直到损失层，然后损失层计算出损失(loss)值，损失值根据链式求导法则开始回传，随着loss值的回传，每一层的参数开始自动跟新，接着新一组数据输入，得到新的loss值，开始迭代循环。直到loss值下降到人为设置的阈值或者到达迭代次数上限，训练结束。
至此，整个特征的构建和训练过程就完成了。提取特征时，只需要将车辆图像传入模型输入层，从降采样层将特征取出，就得到了车辆的第二深度特征。
同时还需要提取车辆图像集的CDVS(视觉搜索的紧凑描述子)、特征，因为CDVS(视觉搜索的紧凑描述子)特征是针对视觉搜索的特征描述，包含针对图像纹理和边缘的特征，具有一定的旋转和缩放不变性，也就是同一图像在旋转和缩放后，提取的特征能一定程度的保持不变。这样的特性使得CDVS在复杂环境下的鲁棒性更好，此特征对于相同目标的匹配能力很好，在筛选时和深度特征一起使用更合适，这也是选取它作为辅助特征的原因。
存入特征数据库时，输入车辆图像经过CDVS特征提取，会产生全局和局部两种特征，本发明实施例只使用了CDVS局部特征。产生的第二局部特征和第二深度特征以及压缩编码后的第四深度特征一起作为这张车辆图像的特征被保存在特征数据库中。
630：通过ITQ(迭代量化方法)对上述第二深度特征进行压缩编码，具体为：ITQ(迭代量化方法)是对原始的深度特征进行二值化处理，通过二值化处理的深度特征大小可以缩小到原深度特征大小的1/256，这种方式使得深度特征在匹配时可以在保持精度不过多损失的情况下，大幅缩短匹配时间。迭代量化的方法是对已经获得的深度特征进行归一化处理，得到ITQ(迭代量化方法)的训练数据集。然后对该训练数据进行PCA降维处理，这个过程是将训练数据集(2048*N，N为样本个数)映射到特征维度(2048*2048)，然后通过提取前256维的特征向量和特征值，将训练数据集2048维的特征分布映射到256*256的特征分布，以此得到降维后的特征分布V。最后利用随机旋转矩阵R对该特征分布进行旋转，使得如下量化损失函数最小：
其中B为二进制编码矩阵，表示二进制编码矩阵B与经过随机旋转矩阵R的特征分布V的欧式距离，使得该欧式距离最小，即该量化损失函数最小，最终使得二值化后的特征损失的信息尽可能少。ITQ(迭代量化方法)先是固定R，然后优化B。接着固定B，然后优化R。这两个步骤不断迭代，算法就会收敛到一个局部最优解上。在得到旋转矩阵R之后，与归一化后的深度特征2048float特征相乘，得到的结果，大于0的置1，小于0的置0，从而得到压缩过后的256bit特征。
在提取完第四深度特征之后，将第四深度特征和上述的第二深度特征以及第二局部特征一起存储在特征数据库中备用，至此，图像检索的准备过程完毕，其中特征数据库中包含了三个特征，分别是第四深度特征，第二深度特征和第二局部特征。
635：从此步骤开始是图像检索的过程，将待检索图像的深度特征以及局部特征提取出来，分别使用上述的CNN(卷积神经网络)以及CDVS(视觉搜索的紧凑描述子)提取出第一深度特征以及第一局部特征，提取的过程和步骤625相同。
640：降维处理第一深度特征，得到第三深度特征。
使用ITQ(迭代量化方法)对上述第一深度特征进行压缩编码，得到第三深度特征，具体方法和步骤630相同。至此，待检索图像也拥有了与特征数据库中对应的深度特征，局部特征以及压缩编码后的深度特征。
645：将待检索图片的第三深度特征与特征数据库中的第四深度特征进行匹配，得到与匹配的第四深度特征对应的图像。
匹配的过程中使用汉明距离计算相似度，然后根据相似度的高低进行排名。
得到过程可以是得到相似度排名前N位对应的图像，排名前N位对应图像的深度特征和局部特征将与待检索图片的这两个特征进行精细匹配。
655：待检索图像的第一深度特征以及第一局部特征与匹配的第四深度特征对应的图像的第二深度特征以及第二局部特征进行匹配。
具体为：将待检索图片的第一深度特征以及第一局部特征与上述排名前N位对应图像的第二深度特征以及第二局部特征进行匹配，这里的排名前N位对应图像的第二深度特征以及第二局部特征是事先通过步骤625提取出来的。也就是说只是利用了一部分的上述特征数据库中的特征，这一部分是通过步骤645得到的。
660：对步骤655匹配得到的第一相似度和第二相似度进行加权运算，根据加权运算结果确定匹配的第二深度特征以及第二局部特征。
具体为：通过步骤655的匹配，得到了第一相似度(通过待检索图像的第一深度特征和排名前N位对应图像的第二深度特征匹配计算出来的)以及第二相似度(通过待检索图像的第一局部特征和排名前N位对应图像的第二局部特征匹配计算出来的)，需要注意的是，这里的深度特征相似度匹配和局部特征相似度匹配都是通过欧式距离计算的。
然后对第一相似度和第二相似度分别赋予0.5的权值，计算后将两者乘以权值后的分数相加，得到排序的得分。
665：输出上述排序得分排名前N位对应的图像。至此，检索过程完毕。
为了便于理解图6中的步骤，图7所示为本发明另一实施例提供的图像检索的示意图。从图中可以看出，从视频流经过多维度筛选出来的收集图像，再经过多级筛选获得每辆车的所有图像作为之特征提取的车辆数据集，之后使用CNN(卷积神经网络)和CDVS(视觉搜索的紧凑描述子)分别提取出第二深度特征和第二局部特征，然后再对第二深度特征使用ITQ(迭代量化方法)(ITQ)提取出第四深度特征，将这三种特征存入特征数据库中，以备检索用。
当得到待检索图像后，采用上述方法分别提取出第一深度特征、第一局部特征和第三深度特征，然后先快速匹配第三深度特征和特征数据库之前存储的第四深度特征，初步筛选出排名前N位的图像，之后再针对排名前N位图像的第二深度特征和第二局部特征，与待检索图像的第一深度特征和第一局部特征进行精确匹配，深度特征匹配产生的第一相似度和局部特征产生的第二相似度分别赋予0.5的权值，计算后将两者乘以权值后的分数相加，得到排序得分，最后输出该排序得分排名前N位对应的图像。
图8所示为本发明一实施例提供的图像检索的装置的结构示意图。如图8所示，图像检索的装置10包括：
提取模块45，用于配置为提取待检索图片中的第一深度特征，并配置为提取待检索图片中的第一局部特征。
匹配模块60，配置为匹配待检索图片中的第一深度特征与特征数据库中存储的多个候选图像的第二深度特征，并得到匹配的第二深度特征；匹配待检索图片中的第一局部特征与特征数据库中存储的多个候选图像的第二局部特征，并得到匹配的第二局部特征。
输出模块75，配置为输出与匹配的第二深度特征以及第二局部特征对应的图像。
提取模块45对应上述步骤100，匹配模块60对应上述步骤110，输出模块75对应上述步骤120。
具体而言，可以首先收集多个候选图像，并且通过提取模块45提取多个候选图像的第二深度特征和第二局部特征，预先在特征数据库中存储多个图像的第二深度特征和第二局部特征以及多个图像与其深度特征和局部特征的对应关系，作为检索用的特征数据库。在进行检索时，先利用例如同样的技术手段提取待检索图片的第一深度特征和第一局部特征，将待检索图片对应的深度特征和局部特征与上述的特征数据库中多个候选图像的深度特征和局部特征通过匹配模块60分别进行匹配，然后会分别计算一个图像的深度特征和局部特征的匹配相似度，之后例如可以通过加权方式把两者相加得出该图像的相似度总分，以例如排名的方式排出相似度最高的前N位的深度特征和局部特征，根据该深度特征和局部特征找到对应的图像，最后通过输出模块75输出需要的图像。
图9所示为本发明另一实施例提供的图像检索的装置的结构示意图，以下模块与上述实施例对应，是用于实现上述实施例步骤的装置，具体步骤及相关说明在此不再赘述，该图像检索的装置10包括：
视频流获取模块15，配置为获取视频流信息。
图像收集模块20，具体配置为针对多个车辆中的每个车辆收集车辆图像。
多维度筛选模块25，配置为针对每个车辆，按照多个收集维度从视频流信息中筛选出多个收集维度的图像。
车辆信息获取模块30，配置为从多个收集维度的图像中获取车辆信息。多级筛选模块35，配置为根据车辆信息进行多级筛选。
车辆图像管理模块40，配置为根据车辆信息得到整理后的针对每个车辆的车辆图像。
提取模块45，用于配置为提取待检索图片中的第一深度特征，并配置为提取待检索图片中的第一局部特征。
特征数据存储模块50，配置为存储多个候选图像的第二深度特征、第二局部特征以及第四深度特征。
压缩编码模块55，配置为通过降维处理对待检索图像的第一深度特征进行压缩编码，得到待检索图像的第三深度特征，并通过降维处理对多个候选图像的第二深度特征进行压缩编码得到待检索图像的第四深度特征。
匹配模块60，配置为匹配待检索图片中的第一局部特征与特征数据库中存储的多个候选图像的第二局部特征，并得到匹配的第二局部特征并且匹配待检索图片中的第一深度特征与特征数据库中存储的多个候选图像的第二深度特征，并得到匹配的第二深度特征。并且配置为对多个候选图像的第一相似度和第二相似度进行加权运算，得到加权运算结果，并根据加权运算结果确定匹配的第二深度特征和第二局部特征。
输出模块75，配置为输出与匹配的第二深度特征以及第二局部特征对应的图像。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序校验码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种图像检索的方法，其特征在于，包括：
从待检索图像中提取第一深度特征并且从所述待检索图像中提取第一局部特征；
将所述第一深度特征以及所述第一局部特征与特征数据库中存储的多个候选图像的第二深度特征以及第二局部特征分别进行匹配，得到匹配的第二深度特征以及第二局部特征；
输出与所述匹配的第二深度特征以及第二局部特征对应的图像。
2.根据权利要求1所述的图像检索的方法，其特征在于，在所述将所述第一深度特征以及所述第一局部特征与特征数据库中存储的多个候选图像的第二深度特征以及第二局部特征分别进行匹配之前，还包括：
通过降维处理对所述待检索图像的第一深度特征进行压缩编码，得到所述待检索图像的第三深度特征；
将所述待检索图像的第三深度特征与所述特征数据库存储的多个候选图像的第四深度特征进行匹配，获取匹配的第四深度特征以及与所述匹配的第四深度特征对应的图像，其中所述多个候选图像的第四深度特征是通过降维处理对所述多个候选图像的第二深度特征进行压缩编码得到的，
其中，所述将所述第一深度特征以及所述第一局部特征与特征数据库中存储的多个候选图像的第二深度特征以及第二局部特征分别进行匹配，包括：
将所述待检索图像的第一深度特征与所述特征数据库中的与所述匹配的第四深度特征对应的图像的第二深度特征进行匹配；
将所述待检索图像的第一局部特征与所述特征数据库中的与所述匹配的第四深度特征对应的图像的第二局部特征进行匹配。
3.根据权利要求2所述的图像检索的方法，其特征在于，还包括：
从所述多个候选图像中提取第二深度特征；
通过降维处理对所述多个候选图像的第二深度特征进行压缩编码，得到第四深度特征，将所述第四深度特征存储在所述特征数据库中。
4.根据权利要求1至3中的任一项所述的图像检索的方法，其特征在于，所述将所述第一深度特征以及所述第一局部特征与特征数据库中存储的多个候选图像的第二深度特征以及第二局部特征分别进行匹配，包括：
计算所述第一深度特征与所述多个候选图像的第二深度特征的相似度，得到多个候选图像的第一相似度；
计算所述第一局部特征与所述多个候选图像的第二局部特征的相似度，得到多个候选图像的第二相似度；
对所述多个候选图像的第一相似度和第二相似度进行加权运算，得到加权运算结果；
根据所述加权运算结果确定所述匹配的第二深度特征和第二局部特征。
5.根据权利要求1至3中的任一项所述的图像检索的方法，其特征在于，所述图像为车辆图像，所述方法还包括：
针对多个车辆中的每个车辆收集车辆图像；
提取所述车辆图像的第二深度特征以及第二局部特征；
将所述车辆图像的第二深度特征以及第二局部特征存入所述特征数据库。
6.根据权利要求5所述的图像检索的方法，其特征在于，所述针对多个车辆中的每个车辆收集车辆图像，具体包括步骤：
获取视频流信息；
针对每个车辆，按照多个收集维度从所述视频流信息中筛选出所述多个收集维度的图像；
从所述多个收集维度的图像中获取车辆信息；
根据所述车辆信息进行多级筛选；
将所述多级筛选的结果归纳并分类，得到所述整理后的针对每个车辆的车辆图像。
7.根据权利要求1至3中的任一项所述的图像检索的方法，其特征在于，所述从待检索图像中提取第一深度特征并且从所述待检索图像中提取第一局部特征，包括：
利用卷积神经网络或循环神经网络方式从所述待检索图像中提取第一深度特征，并利用视觉搜索的紧凑描述子、局部二值模式算子、尺度不变特征变换匹配算法或加速稳健特征算法方式从所述待检索图像中提取第一局部特征，其中，
所述卷积神经网络的训练过程所使用的损失函数包括：tripletloss和/或softmaxloss，
其中所述卷积神经网络包括归一化层和全连接层，所述tripletloss损失函数设置在所述归一化层之后，所述softmaxloss损失函数设置在所述全连接层之后。
8.一种图像检索的装置，其特征在于，包括：
提取模块，用于配置为提取待检索图片中的第一深度特征，并配置为提取待检索图片中的第一局部特征；
匹配模块，配置为匹配所述待检索图片中的第一深度特征与特征数据库中存储的多个候选图像的第二深度特征，并得到匹配的第二深度特征；并且匹配所述待检索图片中的第一局部特征与特征数据库中存储的多个候选图像的第二局部特征，并得到匹配的第二局部特征；
输出模块，配置为输出与所述匹配的第二深度特征以及第二局部特征对应的图像。
9.根据权利要求8所述的图像检索的装置，其特征在于，还包括：
压缩编码模块，配置为通过降维处理对所述待检索图像的第一深度特征进行压缩编码，得到待检索图像的第三深度特征，并通过降维处理对所述多个候选图像的第二深度特征进行压缩编码得到待检索图像的第四深度特征，其中所述匹配模块匹配所述待检索图片中的第三深度特征与特征数据库中存储的多个候选图像的第四深度特征，并得到匹配的第四深度特征对应的图像，
其中，所述匹配模块具体配置为：将所述待检索图像的第一深度特征与所述特征数据库中的与所述匹配的第四深度特征对应的图像的第二深度特征通过匹配模块进行匹配；
所述匹配模块具体配置为将所述待检索图像的第一局部特征与所述特征数据库中存储的多个候选图像的第二局部特征通过匹配模块进行匹配。
10.根据权利要求8或9中所述的图像检索的装置，所述匹配模块具体配置为：计算所述第一深度特征与所述多个候选图像的第二深度特征的相似度，得到多个候选图像的第一相似度，计算所述第一局部特征与所述多个候选图像的第二局部特征的相似度，得到多个候选图像的第二相似度，对所述多个候选图像的第一相似度和第二相似度进行加权运算，得到加权运算结果，并根据所述加权运算结果确定所述匹配的第二深度特征和第二局部特征。
CN201810069845.4A 2018-01-24 2018-01-24 一种图像检索的方法和装置 Pending CN108415937A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810069845.4A CN108415937A (zh) 2018-01-24 2018-01-24 一种图像检索的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810069845.4A CN108415937A (zh) 2018-01-24 2018-01-24 一种图像检索的方法和装置

Publications (1)

Publication Number Publication Date
CN108415937A true CN108415937A (zh) 2018-08-17

Family

ID=63126508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810069845.4A Pending CN108415937A (zh) 2018-01-24 2018-01-24 一种图像检索的方法和装置

Country Status (1)

Country Link
CN (1) CN108415937A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740424A (zh) * 2018-11-23 2019-05-10 深圳市华尊科技股份有限公司 交通违规识别方法及相关产品
CN110263196A (zh) * 2019-05-10 2019-09-20 南京旷云科技有限公司 图像检索方法、装置、电子设备及存储介质
CN110427517A (zh) * 2019-07-18 2019-11-08 华戎信息产业有限公司 一种基于场景词典树的图搜视频方法，装置及计算机可读存储介质
CN110490060A (zh) * 2019-07-10 2019-11-22 特斯联（北京）科技有限公司 一种基于机器学习硬件架构的安防前端视频设备
CN110956190A (zh) * 2018-09-27 2020-04-03 深圳云天励飞技术有限公司 图像识别方法及装置、计算机装置和计算机可读存储介质
CN111078924A (zh) * 2018-10-18 2020-04-28 深圳云天励飞技术有限公司 图像检索方法、装置、终端及存储介质
CN111581453A (zh) * 2020-03-31 2020-08-25 浪潮通用软件有限公司 一种针对薄壁类构件的检索方法、设备及介质
CN112818148A (zh) * 2021-04-16 2021-05-18 北京妙医佳健康科技集团有限公司 视觉检索的排序优化方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810505A (zh) * 2014-02-19 2014-05-21 北京大学 基于多层描述子的车辆标识方法与***
CN105320705A (zh) * 2014-08-05 2016-02-10 北京大学 相似车辆的检索方法及装置
CN106326288A (zh) * 2015-06-30 2017-01-11 阿里巴巴集团控股有限公司 图像搜索方法及装置
CN106933816A (zh) * 2015-12-29 2017-07-07 北京大唐高鸿数据网络技术有限公司 基于全局特征和局部特征的跨镜头目标检索***及方法
CN107239565A (zh) * 2017-06-14 2017-10-10 电子科技大学 一种基于显著性区域的图像检索方法
CN107577687A (zh) * 2016-07-20 2018-01-12 北京陌上花科技有限公司 图像检索方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810505A (zh) * 2014-02-19 2014-05-21 北京大学 基于多层描述子的车辆标识方法与***
CN105320705A (zh) * 2014-08-05 2016-02-10 北京大学 相似车辆的检索方法及装置
CN106326288A (zh) * 2015-06-30 2017-01-11 阿里巴巴集团控股有限公司 图像搜索方法及装置
CN106933816A (zh) * 2015-12-29 2017-07-07 北京大唐高鸿数据网络技术有限公司 基于全局特征和局部特征的跨镜头目标检索***及方法
CN107577687A (zh) * 2016-07-20 2018-01-12 北京陌上花科技有限公司 图像检索方法及装置
CN107239565A (zh) * 2017-06-14 2017-10-10 电子科技大学 一种基于显著性区域的图像检索方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956190A (zh) * 2018-09-27 2020-04-03 深圳云天励飞技术有限公司 图像识别方法及装置、计算机装置和计算机可读存储介质
CN111078924A (zh) * 2018-10-18 2020-04-28 深圳云天励飞技术有限公司 图像检索方法、装置、终端及存储介质
CN109740424A (zh) * 2018-11-23 2019-05-10 深圳市华尊科技股份有限公司 交通违规识别方法及相关产品
CN110263196A (zh) * 2019-05-10 2019-09-20 南京旷云科技有限公司 图像检索方法、装置、电子设备及存储介质
CN110263196B (zh) * 2019-05-10 2022-05-06 南京旷云科技有限公司 图像检索方法、装置、电子设备及存储介质
CN110490060A (zh) * 2019-07-10 2019-11-22 特斯联（北京）科技有限公司 一种基于机器学习硬件架构的安防前端视频设备
CN110490060B (zh) * 2019-07-10 2020-09-11 特斯联（北京）科技有限公司 一种基于机器学习硬件架构的安防前端视频设备
CN110427517A (zh) * 2019-07-18 2019-11-08 华戎信息产业有限公司 一种基于场景词典树的图搜视频方法，装置及计算机可读存储介质
CN110427517B (zh) * 2019-07-18 2023-04-25 华戎信息产业有限公司 一种基于场景词典树的图搜视频方法，装置及计算机可读存储介质
CN111581453A (zh) * 2020-03-31 2020-08-25 浪潮通用软件有限公司 一种针对薄壁类构件的检索方法、设备及介质
CN111581453B (zh) * 2020-03-31 2023-08-15 浪潮通用软件有限公司 一种针对薄壁类构件的检索方法、设备及介质
CN112818148A (zh) * 2021-04-16 2021-05-18 北京妙医佳健康科技集团有限公司 视觉检索的排序优化方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN108415937A (zh) 一种图像检索的方法和装置
Zhong et al. An end-to-end dense-inceptionnet for image copy-move forgery detection
CN108038476B (zh) 一种基于边缘检测与sift的人脸表情识别特征提取方法
Li et al. Scale-aware fast R-CNN for pedestrian detection
CN104700099B (zh) 识别交通标志的方法和装置
CN106228185B (zh) 一种基于神经网络的通用图像分类识别***及方法
Cula et al. 3D texture recognition using bidirectional feature histograms
CN107944020A (zh) 人脸图像查找方法及装置、计算机装置和存储介质
CN107506740A (zh) 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法
CN108875522A (zh) 人脸聚类方法、装置和***及存储介质
CN107066559A (zh) 一种基于深度学习的三维模型检索方法
CN106529447A (zh) 一种小样本人脸识别方法
CN109978918A (zh) 一种轨迹追踪方法、装置和存储介质
CN108197538A (zh) 一种基于局部特征和深度学习的卡口车辆检索***及方法
CN108062543A (zh) 一种面部识别方法及装置
CN109190643A (zh) 基于卷积神经网络中药识别方法及电子设备
CN109344891A (zh) 一种基于深度神经网络的高光谱遥感数据分类方法
CN105787466B (zh) 一种车辆类型的精细识别方法及***
CN103514456A (zh) 基于压缩感知多核学习的图像分类方法及其装置
CN103077512A (zh) 基于主成分析的数字图像的特征提取与匹配方法及装置
CN109886222A (zh) 人脸识别方法、神经网络训练方法、装置及电子设备
CN105184225B (zh) 一种多国纸币图像识别方法和装置
CN109766873A (zh) 一种混合可变形卷积的行人再识别方法
CN108564111A (zh) 一种基于邻域粗糙集特征选择的图像分类方法
CN109325507A (zh) 一种结合超像素显著性特征与hog特征的图像分类算法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180817

RJ01 Rejection of invention patent application after publication