CN105589929A - 图像检索方法和装置 - Google Patents
图像检索方法和装置 Download PDFInfo
- Publication number
- CN105589929A CN105589929A CN201510907173.6A CN201510907173A CN105589929A CN 105589929 A CN105589929 A CN 105589929A CN 201510907173 A CN201510907173 A CN 201510907173A CN 105589929 A CN105589929 A CN 105589929A
- Authority
- CN
- China
- Prior art keywords
- image
- result
- retrieval
- current
- loading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种图像检索方法和装置,涉及图像检索领域,所述方法包括:接收用户发送的查询图像;根据图像分类法获取查询图像对应各类别的置信度;按照查询图像的置信度由大到小的先后顺序,从图像特征库中检索当前置信度段中各置信度的类别对应的图像特征;按照检索的先后顺序,逐步加载检索到的图像特征;对加载的图像特征进行排序处理;将处理得到排序处理结果逐步发送至显示界面,以便显示界面进行显示,其避免了将建立的图像数据库内的所有图像特征均检索一遍再输出结果的情况,保证了检索结果反馈时间的迅速性和稳定性;并且较少出现分类错误导致漏掉真实目标的问题,保证了检索的检出率与召回率等指标,更适合安防视频监控等应用场景。
Description
技术领域
本发明涉及图像检索领域,具体而言,涉及一种图像检索方法和装置。
背景技术
目前,现有技术中的图像检索方法均是基于内容的海量图像检索,主要包括两个阶段:1)图像录入阶段,该阶段即建立图像特征的数据库,具体为对录入图像按照形状进行分类;对于每个分类,从图片库中挑选出具有代表性的样本图片,形成样本库;提取样本库中所有录入图像的图像特征并存入对应的数据库中;2)查询阶段,该阶段为图像检索阶段,具体为提取输入的查询图像的图像特征,遍历上述数据库内的图像特征,并计算遍历的图像特征与查询图像的图像特征的相关度,然后按相关度由大到小的顺序显示从数据库内查找的所有图像信息。
发明人在研究中发现,现有技术中的上述图像检索方法易出现分类错误而导致漏掉真实目标的问题,并且上述方法还需要将数据库内所有的特征全部检索一遍再进行输出,使得检索结果反馈时间较长且稳定性较差。
发明内容
本发明的目的在于提供一种图像检索方法和装置,避免了将建立的图像数据库内的所有图像特征均检索一遍再输出结果的情况,且较少出现分类错误导致漏掉真实目标的问题,保证了检索结果反馈时间的迅速性和稳定性。
第一方面,本发明实施例提供了一种图像检索方法,包括:
接收用户发送的查询图像;
根据图像分类法获取查询图像对应各类别的置信度;
按照查询图像的置信度由大到小的先后顺序,从图像特征库中检索当前置信度段中各置信度的类别对应的图像特征;其中,图像特征库中预先存储有图像特征,以及图像特征对应的最高置信度的类别数据和原始图像数据;
按照检索的先后顺序,逐步加载检索到的图像特征;
对加载的图像特征进行排序处理,得到排序处理结果;
将得到排序处理结果逐步发送至显示界面,以便显示界面进行显示。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,对加载的图像特征进行排序处理,得到排序处理结果,包括:
获取按检索的先后顺序加载的排序在先的预设个数的图像特征;
利用邻近算法KNN算法对排序在先的预设个数的图像特征进行排序处理,得到近似检索结果。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第二种可能的实施方式,其中,利用KNN算法对排序在先的预设个数的图像特征进行排序处理,包括:
提取用户发送的查询图像的图像特征;
每接收到一个加载的图像特征时,利用KNN算法计算当前加载的图像特征与查询图像的图像特征的距离,直至完成排序在先的预设个数的图像特征的计算;
将KNN计算的当前距离与第一在先计算距离进行对比;其中,第一在先计算距离为:近似检索结果排序队列中排在队尾的一个图像特征与查询图像的图像特征的计算距离;
若KNN计算的当前距离大于第一在先计算距离,将当前加载的图像特征***到近似检索结果排序队列的队尾;
若KNN计算的当前距离小于第一在先计算距离,将当前加载的图像特征***近似检索结果排序队列中;其中,当前加载的图像特征***的最高位置为近似检索结果排序队列中排序第一的位置。
结合第一方面的第二种可能的实施方式,本发明实施例提供了第一方面的第三种可能的实施方式,其中,对加载的图像特征进行排序处理,得到排序处理结果,还包括:
获取按检索的先后顺序加载的排序在后的余下的所有图像特征,作为补全检索的结果;
每接收到加载的补全检索的结果中的一个图像特征时,利用KNN算法计算接收的当前图像特征与查询图像的图像特征的距离,直至完成所有补全检索的结果的计算;
判断近似检索结果是否排序完成;
在检测到近似检索结果排序完成后,利用KNN计算结果优化近似检索结果,得到补全检索结果。
结合第一方面的第三种可能的实施方式,本发明实施例提供了第一方面的第四种可能的实施方式,其中,方法还包括:
获取近似检索结果中用户的当前浏览位置;
将当前浏览位置转换为用户尚未浏览的排序位置P;
利用KNN计算结果优化近似检索结果,包括:
将KNN计算结果对应的每一个当前距离依次与第二在先计算距离进行对比;其中,第二在先计算距离为:近似检索结果排序队列中队尾的一个图像特征与查询图像的图像特征的计算距离;
若KNN计算的当前距离大于第二在先计算距离,将当前加载的图像特征***近似检索结果排序队列的队尾,或者舍弃当前加载的图像特征;
若KNN计算的当前距离小于第一在先计算距离,将当前加载的图像特征***近似检索结果排序队列中;其中,当前图像特征***的最高位置为排序位置P。
结合第一方面的第四种可能的实施方式,本发明实施例提供了第一方面的第五种可能的实施方式,其中,若KNN计算的当前距离小于第一在先计算距离,将当前加载的图像特征***近似检索结果排序队列中,包括:
在KNN计算的当前距离小于第一在先计算距离时,判断近似检索结果的总长度是否满足预设长度;
若近似检索结果的总长度等于预设长度,则每***一个当前加载的图像特征时,删除对应的近似检索结果队列中队尾的一个图像特征;
若近似检索结果的总长度小于预设长度,则在对应的近似检索结果中直接***当前加载的图像特征。
结合第一方面,本发明实施例提供了第一方面的第六种可能的实施方式,其中,图像特征库是预先根据下述方法建立的:
提取待存储图像的图像特征;
根据图像分类法获取待存储图像对应各类别的置信度;
将获取的图像特征分别与置信度最高的类别号及原始图像数据进行关联;
将关联的数据存储在数据库中,得到图像特征库。
第二方面,本发明实施例还提供了一种图像检索装置,装置包括:
接收单元,用于接收用户发送的查询图像;
第一获取单元,用于根据图像分类法获取查询图像对应各类别的置信度;
检索单元,用于按照查询图像的置信度由大到小的先后顺序,从图像特征库中检索当前置信度段中各置信度的类别对应的图像特征;其中,图像特征库中预先存储有图像特征,以及图像特征对应的最高置信度的类别数据和原始图像数据;
加载单元,用于按照检索的先后顺序,逐步加载检索到的图像特征;
排序单元,用于对加载的图像特征进行排序处理;
人机交互单元,用于将得到排序处理结果逐步发送至显示界面,以便显示界面进行显示。
结合第二方面,本发明实施例提供了第二方面的第一种可能的实施方式,其中,排序单元包括:
第一获取子单元,用于获取按检索的先后顺序加载的排序在先的预设个数的图像特征;
排序子单元,用于利用邻近算法KNN算法对排序在先的预设个数的图像特征进行排序处理,得到近似检索结果。
结合第二方面的第一种可能的实施方式,本发明实施例提供了第二方面的第二种可能的实施方式,其中,排序子单元包括:
提取模块,用于提取用户发送的查询图像的图像特征;
KNN计算模块,用于每接收到一个加载的图像特征时,利用KNN算法计算当前加载的图像特征与查询图像的图像特征的距离,直至完成排序在先的预设个数的图像特征的计算;
第一对比模块,用于将KNN计算的当前距离与第一在先计算距离进行对比;其中,第一在先计算距离为:近似检索结果排序队列中排在队尾的一个图像特征与查询图像的图像特征的计算距离;
第一***模块,用于在KNN计算的当前距离大于第一在先计算距离时,将当前加载的图像特征***到近似检索结果排序队列的队尾;在KNN计算的当前距离小于第一在先计算距离时,将当前加载的图像特征***近似检索结果排序队列中;其中,当前加载的图像特征***的最高位置为近似检索结果排序队列中排序第一的位置。
结合第二方面的第二种可能的实施方式,本发明实施例提供了第二方面的第三种可能的实施方式,其中,排序单元还包括:
第二获取子单元,用于获取按检索的先后顺序加载的排序在后的余下的所有图像特征,作为补全检索的结果;
KNN计算子单元,用于每接收到加载的补全检索的结果中的一个图像特征时,利用KNN算法计算接收的当前图像特征与查询图像的图像特征的距离,直至完成所有补全检索的结果的计算;
判断子单元,用于判断近似检索结果是否排序完成;
优化子单元,用于在检测到近似检索结果排序完成后,利用KNN计算结果优化近似检索结果,得到补全检索结果。
结合第二方面的第三种可能的实施方式,本发明实施例提供了第二方面的第四种可能的实施方式,其中,人机交互单元还用于,获取近似检索结果中用户的当前浏览位置;将当前浏览位置转换为用户尚未浏览的排序位置P;
优化子单元包括:
第二对比模块,用于将KNN计算结果对应的每一个当前距离依次与第二在先计算距离进行对比;其中,第二在先计算距离为:近似检索结果排序队列中队尾的一个图像特征与查询图像的图像特征的计算距离;
第二***模块,用于在KNN计算的当前距离大于第二在先计算距离,将当前加载的图像特征***近似检索结果排序队列的队尾,或者舍弃当前加载的图像特征;在KNN计算的当前距离小于第一在先计算距离时,将当前加载的图像特征***近似检索结果排序队列中;其中,当前图像特征***的最高位置为排序位置P。
结合第二方面的第四种可能的实施方式,本发明实施例提供了第二方面的第五种可能的实施方式,其中,第二***模块包括:
判断子模块,用于在KNN计算的当前距离小于第一在先计算距离时,判断近似检索结果的总长度是否满足预设长度;
***删除子模块,用于在近似检索结果的总长度等于预设长度时,每***一个当前加载的图像特征时,删除对应的近似检索结果队列中队尾的一个图像特征;
直接***子模块,用于在近似检索结果的总长度小于预设长度时,在对应的近似检索结果中直接***当前加载的图像特征。
结合第二方面,本发明实施例提供了第二方面的第六种可能的实施方式,其中,装置还包括
提取单元,提取待存储图像的图像特征;
第二获取单元,用于根据图像分类法获取待存储图像对应各类别的置信度;
关联单元,用于将获取的图像特征分别与置信度最高的类别号及原始图像数据进行关联;
存储单元,用于将关联的数据存储在数据库中,得到图像特征库。
本发明实施例提供的一种图像检索方法和装置,包括:接收用户发送的查询图像;根据图像分类法获取查询图像对应各类别的置信度;按照查询图像的置信度由大到小的先后顺序,从图像特征库中检索当前置信度段中各置信度的类别对应的图像特征;按照检索的先后顺序,逐步加载检索到的图像特征;然后,对加载的图像特征进行排序处理;最后,将处理得到排序处理结果发送至显示界面,以便显示界面进行显示,与现有技术中的图像检索方法易出现分类错误而导致漏掉真实目标的问题且还需要将数据库内所有的特征全部检索一遍再进行输出,使得检索结果反馈时间较长且稳定性较差相比,其能够带来以下好处:
1)避免了将建立的图像数据库内的所有图像特征均检索一遍再输出结果的情况,保证了检索结果反馈时间的迅速性和稳定性;
2)较少出现分类错误导致漏掉真实目标的问题,保证了检索的检出率与召回率等指标,更适合安防视频监控等应用场景。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的一种图像检索方法的流程图;
图2示出了本发明实施例所提供的另一种图像检索方法的流程图;
图3示出了本发明实施例所提供的另一种图像检索方法的流程图;
图4示出了本发明实施例所提供的另一种图像检索方法的流程图;
图5示出了本发明实施例所提供的另一种图像检索方法的流程图;
图6示出了本发明实施例所提供的一种图像检索方法的整体流程图;
图7示出了本发明实施例所提供的图像检索装置的结构示意图;
图8示出了本发明实施例所提供的一种图像检索装置中排序单元的结构示意图;
图9示出了本发明实施例所提供的一种图像检索装置中排序子单元和优化子单元的结构示意图。
主要元件符号说明:
11、接收单元;12、第一获取单元;13、检索单元;14、加载单元;15、排序单元;16、人机交互单元;17、提取单元;18、第二获取单元;19、关联单元;20、存储单元;151、第一获取子单元;152、排序子单元;153、第二获取子单元;154、KNN计算子单元;155、判断子单元;156、优化子单元;1521、提取模块;1522、KNN计算模块;1523、第一对比模块;1524、第一***模块;1561、第二对比模块;1562、第二***模块。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
基于现有技术中的图像检索方法存易出现分类错误而导致漏掉真实目标的问题,以及上述方法还需要将数据库内所有的特征全部检索一遍再进行输出,使得检索结果反馈时间较长且稳定性较差的问题,本发明提供的一种图像检索方法和装置,其避免了将建立的图像数据库内的所有图像特征均检索一遍再输出结果的情况,保证了检索结果反馈时间的迅速性和稳定性;并且较少出现分类错误导致漏掉真实目标的问题,保证了检索的检出率与召回率等指标,更适合安防视频监控等应用场景,并且本发明实施例提供的图像检索方法和装置适用于海量图像数据的快速检索。
参见图1示出的本发明实施例所提供的一种图像检索方法的流程图,所述图像检索方法具体包括如下步骤:
S101、接收用户发送的查询图像。
具体的,用户可以在终端的图像显示界面上选择查询图像,选择的上述查询图像可以是图像显示界面对应的数据库中存储的,也可以是本地存储的;并且,不同的查询图像对应不同的类别。
需要说明的是,本实施例中的上述查询图像中携带有图像特征,上述图像特征除了包括图像的基本特征,如层次、色彩和清晰度等,还包括SIFT(ScaleInvariantFeatureTransform,尺度不变特征变换匹配算法)特征、深层卷积神经网络特征等,以便后续检索使用。
S102、根据图像分类法获取所述查询图像对应各类别的置信度。
本发明实施例中的图像分类法是利用可产生分类置信度的分类器(例如逻辑回归或softmax)实现的,具体的,当上述查询图像为多个时,通过单分类器或者多分类器的方式,获取每一个查询图像对应类别的置信度。
S103、按照所述查询图像的置信度由大到小的先后顺序,从图像特征库中检索当前置信度段中各置信度的类别对应的图像特征;其中,所述图像特征库中预先存储有图像特征,以及所述图像特征对应的最高置信度的类别数据和原始图像数据。
具体的,在上一步骤中得到了每一个查询图像对应的置信度,本步骤中,将所有的查询图像对应的类别的置信度按照由大到小的顺序进行排序,得到多个置信度段,目的是为了按照划分的置信度段的先后顺序进行后续图像特征的检索。
具体的,本步骤中是根据上述划分的置信度段由大到小的顺序以及置信度段中置信度由大到小的顺序,在图像特征库中检索上述置信度的类别的图像特征,得到按置信度的类别由大到小的顺序进行排列的图像特征,以便展示给用户,方便用户查看;其中,检索的上述图像特征优选为SIFT特征和深层卷积神经网络特征。
本发明实施例中,在图像特征库中检索图像特征之前,需要先建立上述图像特征库,即将图像特征和图像特征对应的最高置信度的类别的关联数据进行存储,得到上述图像特征库;此处,存储的图像特征同样优选为SIFT特征和深层卷积神经网络特征。
另外,在将上述关联数据进行存储之前,还可以进一步用哈希编码或乘积量化等技术对上述图像特征进行编码,然后将编码后的图像特征和其对应的最高置信度的类别的关联数据进行存储;对应于该编码或量化后的存储,在对检索得到上述图像特征还需使用基于与哈希编码或乘积量化等匹配技术进行解码,以得到图像特征。
S104、按照检索的先后顺序,逐步加载检索到的图像特征。
具体的,按照上述查询图像的置信度由大到小的检索顺序,逐步将图像特征加载检索到内存中,以便后续根据加载的图像特征进行排序处理。
S105、对加载的所述图像特征进行排序处理,得到排序处理结果。
具体的,根据KNN(k-NearestNeighbor,邻近算法)算法对加载的所述图像特征进行排序处理;即将利用KNN算法计算当前加载的图像特征与所述查询图像的图像特征的距离,直至完成加载的所有图像特征的计算,然后进行排序。
S106、将得到所述排序处理结果逐步发送至显示界面,以便所述显示界面进行显示。
具体的,首先将排序完成的排序在先的预设个数的图像特征(即初始检索结果)发送至显示界面展示给用户,然后在用户查看展示的图像特征时,在继续将后续按检索的先后顺序加载的排序在后的余下的所有图像特征对上述初始检索结果的优化结果发送至显示界面,给用户观看,本发明实施例中提供的逐步加载、排序,并发送给显示界面进行显示的方法,减少了用户的等待时间,保证了检索结果反馈时间的迅速性和稳定性,方便用户查看,使得用户体验较好。
对应于上述预设个数,若预设个数比较少,则显示界面可以将进行检索结果在同一页面全部进行显示;若预设个数比较多,则显示界面可以分成多页进行显示,由用户触发选择页码,并且显示的字体大小默认为符合用户观看的适中字体,用户也可以根据自己的需要调节显示的字体以及显示的检索结果的条数。
本发明实施例提供的一种图像检索方法,与现有技术中的图像检索方法易出现分类错误而导致漏掉真实目标的问题且还需要将数据库内所有的特征全部检索一遍再进行输出,使得检索结果反馈时间较长且稳定性较差相比,其能够带来以下好处:1)避免了将建立的图像数据库内的所有图像特征均检索一遍再输出结果的情况,保证了检索结果反馈时间的迅速性和稳定性;2)较少出现分类错误导致漏掉真实目标的问题,保证了检索的检出率与召回率等指标,更适合安防视频监控等应用场景。
为了检索结果反馈时间的迅速性和稳定性,本实施例中上述步骤105的具体实现方法如下,参见图2,包括:
S201、获取按检索的先后顺序加载的排序在先的预设个数的图像特征。
本发明实施例中首先进行初始检索,即对加载的排序在先的预设个数的图像特征进行排序,故首先先获取按检索的先后顺序加载的排序在先的预设个数的图像特征。
优选的,本发明实施例中的预设个数优选为根据显示界面进行设置,其能够满足一个或者多个显示界面可以显示的数量即可,如从图像特征库中加载上述置信度排序顺序中排序在前的前n类图像的图像特征;其中,n<<N,n为图像类别中置信度排序靠前的图像特征个数之和,N为图像特征个数总数。需要说明的是,本发明实施例对上述预设个数不做具体限制。
S202、利用邻近算法KNN算法对排序在先的预设个数的所述图像特征进行排序处理,得到近似检索结果。
具体的,首先利用KNN方法进行初始检索;上述KNN也可以称为K最近邻查询,其原理就是k个最近的邻居的意思,即每个样本都可以用它最接近的k个邻居来代表,具体方法为:计算查询范围内各点与查询点的距离,返回距离查询点最近的K条信息。
具体的,在步骤201中已经获取了按顺序加载的预设个数的图像特征,本步骤中则对提取的这些图像特征利用上述KNN方法进行排序(也可以称为初始检索),得到对应于查询图像的图像特征的近似检索结果;然后将该近似检索结果发送至显示界面进行显示,这样用户可以先浏览显示界面显示的近似检索结果。
针对上述步骤202中的利用KNN算法对排序在先的预设个数的所述图像特征进行排序处理,本发明实施例的具体实现方式如下,参考图3,具体包括步骤:
S301、提取用户发送的所述查询图像的图像特征。
S302、每接收到一个加载的所述图像特征时,利用KNN算法计算当前加载的图像特征与所述查询图像的图像特征的距离,直至完成排序在先的预设个数的图像特征的计算。
具体的,对每一个加载的排序在先的预设个数的图像特征均计算与查询图像的图像特征的距离,以便根据得到的计算结果对加载的排序在先的预设个数的图像特征进行排序。
S303、将KNN计算的当前距离与第一在先计算距离进行对比;其中,所述第一在先计算距离为:近似检索结果排序队列中排在队尾的一个图像特征与所述查询图像的图像特征的计算距离。
S304、若KNN计算的当前距离大于所述第一在先计算距离,将当前加载的图像特征***到所述近似检索结果排序队列的队尾。
具体的,由于近似检索结果长度为预先设定的,若小于预设个数的近似检索结果的长度已经等于预设长度(即一个显示界面或者多个显示界面显示的内容),则此时的加载的剩下的图像特征对应的KNN计算的当前距离若大于所述第一在先计算距离,则可以直接删除该图像特征。本发明实施例中,优选设置该预设个数对应的近似检索结果的长度等于预设长度,此时,即在KNN计算的当前距离大于所述第一在先计算距离,直接将当前加载的图像特征***到所述近似检索结果排序队列的队尾,不涉及删除的问题。
S305、若KNN计算的当前距离小于所述第一在先计算距离,将当前加载的图像特征***所述近似检索结果排序队列中;其中,当前加载的图像特征***的最高位置为所述近似检索结果排序队列中排序第一的位置。
具体的,对上述步骤303-305进行说明,上述加载的排序在先的预设个数的图像特征中,计算排在第一位的图像特征与查询图像的特性特征的距离,得到第一计算结果(该第一计算结果也是近似检索结果排序队列中的一部分);然后计算排在第二位的图像特征与查询图像的特性特征的距离,得到第二计算结果,然后将第一计算结果与第二计算结果相比较,较小的排在第一位,较大的排在第二位,得到了更新后的近似检索队列;若第一计算结果排在第一位,第二计算结果排在第二位,则在计算排在第三位的图像特征与查询图像的特性特征的距离,得到第三计算结果,然后将第三计算结果与第二计算结果相比较,若第三计算结果大于第二计算结果,则排在第三位,若第三计算结果小于第二计算结果,则将第三计算结果在与第一计算结果比较,若大于第一计算结果,则将第三计算结果排在第一计算结果与第二计算结果中间;若小于第一计算结果,则将第三计算结果排在第一位;在计算排在第四位的图像特征与查询图像的特性特征的距离,得到第四计算结果,然后将第四计算结果与排在最后的第二计算结果相比较,若第四计算结果大于第二计算结果,则将第四计算结果排在四位(即目前的队尾),若第四计算结果小于第二计算结果,则将第四计算在与第三计算结果进行对比,按照上述第二计算结果排序的方法依次类推,直至完成排序在先的预设个数的图像特征的排序,最后即得到排序完成后,得到的近似检索结果。
另外,在用户浏览近似检索结果的同时,***继续对按检索的先后顺序加载的排序在后的余下的所有图像特征进行排序,即将排序在后的余下的所有图像特征的补全检索的结果与近似检索结果进行排序。具体的,参考图4,上述步骤105还包括:
S401、获取按检索的先后顺序加载的排序在后的余下的所有图像特征,作为补全检索的结果。
具体的,上述近似检索结果在发送到显示界面后,用户即可以浏览上述近似检索结果,在用户浏览上述近似检索结果的过程中,继续利用上述步骤进行加载的排序在后的余下的所有图像特征的排序工作,首先获取图像特征库中对排序在后的余下的所有图像特征(对应于上述排序在先的n个图像特征,此处排序在后的余下的所有图像特征为N-n),将其作为补全检索的结果。
S402、每接收到加载的所述补全检索的结果中的一个图像特征时,利用KNN算法计算接收的当前图像特征与所述查询图像的图像特征的距离,直至完成所有补全检索的结果的计算。
具体的,对每一个加载的排序在后的补全检索的结果的图像特征均计算与查询图像的图像特征的距离,以便后续根据得到的计算结果对近似检索结果进行优化更新。
S403、判断所述近似检索结果是否排序完成。
因为,本发明实施例的排序过程是涉及两个机制,一个是近似检索机制,一个是补全检索机制,***首先执行的是近似检索机制,此时,首先要判断是否近似检索结果已排序完成(即加载的排序在先的预设个数的图像特征是否已经排序完成),若完成,则启动补全检索机制。
S404、在检测到所述近似检索结果排序完成后,利用KNN计算结果优化所述近似检索结果,得到补全检索结果。
具体的,在确定近似检索结果已排序完成(即加载的排序在先的预设个数的图像特征已经排序时),启动补全检索机制,然后将补全检索机制中的KNN计算结果与上述近似检索结果进行比较,用以优化近似检索结果,得到补全检索结果。
具体的,为了配合上述步骤404中的优化过程,本发明实施例提供的图像检索方法还包括:获取所述近似检索结果中用户的当前浏览位置;将所述当前浏览位置转换为用户尚未浏览的排序位置P。
具体的,首先实时获取用户在近似检索结果中的当前浏览位置,并将当前浏览位置换算为所述近似检索结果中用户尚未浏览的排序位置P,例如当近似检索结果以分页的方式显示时,设每页显示10张图像,当用户已浏览到第5页时,则可确定第6页的第一项尚未浏览,此时P值为10*5+1=51。
对应的,上述步骤404的具体优化的过程具体包括:
将所述KNN计算结果对应的每一个当前距离依次与第二在先计算距离进行对比;其中,所述第二在先计算距离为:所述近似检索结果排序队列中队尾的一个图像特征与所述查询图像的图像特征的计算距离;
若KNN计算的当前距离大于所述第二在先计算距离,将当前加载的图像特征***所述近似检索结果排序队列的队尾,或者舍弃所述当前加载的图像特征;
若KNN计算的当前距离小于所述第一在先计算距离,将当前加载的图像特征***所述近似检索结果排序队列中;其中,当前图像特征***的最高位置为所述排序位置P。
具体的,上述加载的排序在后的余下的所有图像特征中,计算排在第一位的图像特征与查询图像的特性特征的距离,得到第一计算结果;然后将该第一计算结果与近似检索结果的排列中队尾的图像特征与查询图像的图像特征的计算距离进行对比,若第一计算结果较小,则在依次与近似检索结果的排列中倒数第二的图像特征的计算距离对比;其中,第一计算结果***的最高位置为P;若第一计算结果较大,则将当前加载的图像特征***所述近似检索结果排序队列的队尾,或者舍弃所述当前加载的图像特征。按照该方法,根据加载的排序在后的余下的所有图像特征优化得到的近似检索结果,然后逐步将补全检索结果发送至显示界面,用以供用户查看。
另外,在启动补全检索机制后,考虑到显示给用户的都是与用户发送的查询图像的图像特征最为接近的,故在使用补全检索的结果对近似检索结果进行优化的过程中,上述“将当前加载的图像特征***所述近似检索结果排序队列中”的具体实现方式如下:
在KNN计算的当前距离小于所述第一在先计算距离时,判断所述近似检索结果的总长度是否满足预设长度;
若所述近似检索结果的总长度等于所述预设长度,则每***一个当前加载的图像特征时,删除对应的近似检索结果队列中队尾的一个图像特征;
若所述近似检索结果的总长度小于预设长度,则在对应的近似检索结果中直接***所述当前加载的图像特征。
其中,为了更好的显示检索结果给用户,首先根据显示界面的大小的设置显示的预设长度。而预设长度的大小可以根据需要进行设置,本发明对此不做具体限制。
其中,预设长度的近似检索结果的显示方法可以为一个占据一个显示界面的大小,且字体符合用户浏览的舒适度(如宋体,四号字体),本发明对该预设长度不做具体限制。一般来讲,若近似检索结果的总长度较长,则会将近似检索结果分成多个页面进行展示,由用户触发选择翻页。
也就是说,在近似检索结果的预设长度已经满足了预设长度(大于或者等于),此时,在***当前加载的图像特征时,需要删除对应***的当前队列中队尾的一个图像特征,即增加一个,在删除一个;在近似检索结果的预设长度小于预设长度时,可直接***当前加载的图像特征。
本发明实施例中,处理上述查询阶段,同样也包括图像特征库建立阶段,具体的,参见图5,上述图像特征库是预先根据下述方法建立的,具体实现步骤如下:
S501、提取待存储图像的图像特征。
S502、根据图像分类法获取所述待存储图像对应各类别的置信度。
S503、将获取的所述图像特征分别与置信度最高的类别号及原始图像数据进行关联。
S504、将关联的数据存储在数据库中,得到所述图像特征库。
结合图6示出的本发明实施例所提供的一种图像检索方法的整体流程图,下面对上述图像检索方法的整体方案进行说明:
1,图像录入阶段(即对上述图像特征库的建立过程):
1)打开录入图像;
2)提取图像特征(例如SIFT特征、深层卷积神经网络特征等,可进一步用哈希编码或乘积量化等技术对特征进行编码);
3)利用可产生分类置信度的分类器(例如逻辑回归或softmax)产生各类别的置信度,以置信度最大的类别作为录入图像对应的录入类别;
4)将类别序号、图像特征、原始图像地址等信息保存在数据库中,并使类别序号可以用来快速索引并载入该类所有图像特征。
具体的,可以通过建立反向索引表或者将同类特征保存在连续存储空间等方式实现。
2,查询图像阶段:
1)用户选择查询图像;
2)提取图像特征(例如SIFT特征、深层卷积神经网络特征等,可进一步用哈希编码或乘积量化等技术对特征进行编码);
3)利用可产生分类置信度的分类器(例如逻辑回归或softmax)产生各类别的置信度,按置信度由大到小进行排序;
4)按置信度排序顺序依次载入特征库中的各类图像特征。
具体的,设总类别数为N,设定一个远小于N的数n(例如N=1000,n=5)。已加载类别数小于等于n时,***状态为“初始检索”,当已加载类别数大于n时,***状态为“补全检索”;
5)当***状态为“初始检索”时,用户处于等待状态,这时KNN排序单元每收到一条新加载的图像特征,计算与查询特征距离后,用本专利所述***法进行KNN检索结果的更新,***的位置最高为检索输出排序的第一项(即Top-1);
6)当***状态为“补全检索”时,将检索结果提交给人机交互单元供用户浏览,在用户浏览的同时,***基于对剩下的N-n个类别的数据进行检索。
具体的,人机交互单元实时获取用户当前浏览位置,并将位置换算为用户尚未浏览到的排序位置P(例如当显示结果以分页的方式显示时,设每页显示10张图像,当用户已浏览到第5页时,则可确定第6页的第一项尚未浏览,此时P值为10*5+1=51)。KNN排序单元每收到一条新加载的图像特征,计算与查询特征的距离后,用本专利所述***法进行KNN检索结果的更新,***的位置最高为Top-P。
本发明实施例中的上述KNN排序流程的具体实现方式如下:
定义:设排序列表最大长度为K(例如1000),定义排序列表中每一项为一个Cell类型。Cell中包含两条信息:a)库内特征的索引值(用来找到库内特征的相关信息);b)该条特征与查询图像特征的距离。
初始化:实际检索结果的长度actK=0;清空排序列表List的值(List可为最长为K的Cell的数组或Cell的指针数组)。
更新检索结果:
1)获取一条库内特征与查询特征的距离值与库内特征索引,赋值给临时变量中的一个Cell类型变量temp。
2)如果actK小于K,则actK加1并将temp赋值给List偏移actK的项,跳转至步骤4)。
3)如果temp中距离变量小于List偏移actK项的距离,则将temp变量赋值给该项(覆盖原队尾数据)并进行下一步,否则跳转至5)。
4)以actK为起始位置,逐步递减1来遍历List中的项,遍历结束位置PE为:a)***状态为“初始检索”时,PE为2;b)***状态为“补全检索”时,PE为P+1(P为用户未浏览到的排序位置)。在遍历过程中,遍历项与其前一项(偏移位置减1)的距离值进行比较,如遍历项的距离值比前一项小,则交换这两项的Cell值。
5)结束本次更新。
本发明实施例提供的一种图像检索方法,与现有技术中的图像检索方法易出现分类错误而导致漏掉真实目标的问题且还需要将数据库内所有的特征全部检索一遍再进行输出,使得检索结果反馈时间较长且稳定性较差相比,其能够带来以下好处:1)避免了将建立的图像数据库内的所有图像特征均检索一遍再输出结果的情况,保证了检索结果反馈时间的迅速性和稳定性;2)较少出现分类错误导致漏掉真实目标的问题,保证了检索的检出率与召回率等指标,更适合安防视频监控等应用场景。
本发明实施例还提供了一种图像检索装置,所述图像检索装置用于执行上述图像检索方法,参见图7,所述装置包括:
接收单元11,用于接收用户发送的查询图像;
第一获取单元12,用于根据图像分类法获取查询图像对应各类别的置信度;
检索单元13,用于按照查询图像的置信度由大到小的先后顺序,从图像特征库中检索当前置信度段中各置信度的类别对应的图像特征;其中,图像特征库中预先存储有图像特征,以及图像特征对应的最高置信度的类别数据和原始图像数据;
加载单元14,用于按照检索的先后顺序,逐步加载检索到的图像特征;
排序单元15,用于对加载的图像特征进行排序处理;
人机交互单元16,用于将得到排序处理结果逐步发送至显示界面,以便显示界面进行显示。
为了便于用户查看,本发明实施例中还对加载的图像特征进行排序,以显示给用户,这样用户根据显示的图像特征的排序结果更好的判断与查询图像最接近的原始图像数据,参见图8,上述图像检索装置中,排序单元15包括:
第一获取子单元151,用于获取按检索的先后顺序加载的排序在先的预设个数的图像特征;
排序子单元152,用于利用邻近算法KNN算法对排序在先的预设个数的图像特征进行排序处理,得到近似检索结果。
本发明实施例中是利用KNN算法对排序在先的预设个数的所述图像特征进行排序处理,参见图9,上述图像检索装置中,排序子单元152包括:
提取模块1521,用于提取用户发送的查询图像的图像特征;
KNN计算模块1522,用于每接收到一个加载的图像特征时,利用KNN算法计算当前加载的图像特征与查询图像的图像特征的距离,直至完成排序在先的预设个数的图像特征的计算;
第一对比模块1523,用于将KNN计算的当前距离与第一在先计算距离进行对比;其中,第一在先计算距离为:近似检索结果排序队列中排在队尾的一个图像特征与查询图像的图像特征的计算距离;
第一***模块1524,用于在KNN计算的当前距离大于第一在先计算距离时,将当前加载的图像特征***到近似检索结果排序队列的队尾;在KNN计算的当前距离小于第一在先计算距离时,将当前加载的图像特征***近似检索结果排序队列中;其中,当前加载的图像特征***的最高位置为近似检索结果排序队列中排序第一的位置。
另外,在用户浏览近似检索结果的同时,***继续对按检索的先后顺序加载的排序在后的余下的所有图像特征进行排序,即将排序在后的余下的所有图像特征的补全检索的结果与近似检索结果进行排序。具体的,参见图8,上述图像检索装置中,排序单元15还包括:
第二获取子单元153,用于获取按检索的先后顺序加载的排序在后的余下的所有图像特征,作为补全检索的结果;
KNN计算子单元154,用于每接收到加载的补全检索的结果中的一个图像特征时,利用KNN算法计算接收的当前图像特征与查询图像的图像特征的距离,直至完成所有补全检索的结果的计算;
判断子单元155,用于判断近似检索结果是否排序完成;
优化子单元156,用于在检测到近似检索结果排序完成后,利用KNN计算结果优化近似检索结果,得到补全检索结果。
具体的,为了配合上述优化子单元的优化过程,本发明实施例提供的图像检索装置中,人机交互单元16还用于,获取近似检索结果中用户的当前浏览位置;将当前浏览位置转换为用户尚未浏览的排序位置P;
对应的,参见图9,优化子单元156包括:
第二对比模块1561,用于将KNN计算结果对应的每一个当前距离依次与第二在先计算距离进行对比;其中,第二在先计算距离为:近似检索结果排序队列中队尾的一个图像特征与查询图像的图像特征的计算距离;
第二***模块1562,用于在KNN计算的当前距离大于第二在先计算距离,将当前加载的图像特征***近似检索结果排序队列的队尾,或者舍弃当前加载的图像特征;在KNN计算的当前距离小于第一在先计算距离时,将当前加载的图像特征***近似检索结果排序队列中;其中,当前图像特征***的最高位置为排序位置P。
另外,在启动补全检索机制后,考虑到显示给用户的都是与用户发送的查询图像的图像特征最为接近的,故在使用补全检索的结果对近似检索结果进行优化的过程中,第二***模块1562包括:
判断子模块,用于在KNN计算的当前距离小于第一在先计算距离时,判断近似检索结果的总长度是否满足预设长度;
***删除子模块,用于在近似检索结果的总长度等于预设长度时,每***一个当前加载的图像特征时,删除对应的近似检索结果队列中队尾的一个图像特征;
直接***子模块,用于在近似检索结果的总长度小于预设长度时,在对应的近似检索结果中直接***当前加载的图像特征。
本发明实施例中,处理上述查询阶段,同样也包括图像特征库建立阶段,具体的,参见图7,所述图像检索装置还包括:
提取单元17,提取待存储图像的图像特征;
第二获取单元18,用于根据图像分类法获取待存储图像对应各类别的置信度;
关联单元19,用于将获取的图像特征分别与置信度最高的类别号及原始图像数据进行关联;
存储单元20,用于将关联的数据存储在数据库中,得到图像特征库。
本发明实施例提供的一种图像检索装置,与现有技术中的图像检索方法易出现分类错误而导致漏掉真实目标的问题且还需要将数据库内所有的特征全部检索一遍再进行输出,使得检索结果反馈时间较长且稳定性较差相比,其能够带来以下好处:1)避免了将建立的图像数据库内的所有图像特征均检索一遍再输出结果的情况,保证了检索结果反馈时间的迅速性和稳定性;2)较少出现分类错误导致漏掉真实目标的问题,保证了检索的检出率与召回率等指标,更适合安防视频监控等应用场景。
本发明实施例所提供的进行图像检索方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (14)
1.一种图像检索方法,其特征在于,包括:
接收用户发送的查询图像;
根据图像分类法获取所述查询图像对应各类别的置信度;
按照所述查询图像的置信度由大到小的先后顺序,从图像特征库中检索当前置信度段中各置信度的类别对应的图像特征;其中,所述图像特征库中预先存储有图像特征,以及所述图像特征对应的最高置信度的类别数据和原始图像数据;
按照检索的先后顺序,逐步加载检索到的图像特征;
对加载的所述图像特征进行排序处理,得到排序处理结果;
将得到所述排序处理结果逐步发送至显示界面,以便所述显示界面进行显示。
2.根据权利要求1所述的图像检索方法,其特征在于,所述对加载的所述图像特征进行排序处理,得到排序处理结果,包括:
获取按检索的先后顺序加载的排序在先的预设个数的图像特征;
利用邻近算法KNN算法对排序在先的预设个数的所述图像特征进行排序处理,得到近似检索结果。
3.根据权利要求2所述的图像检索方法,其特征在于,利用KNN算法对排序在先的预设个数的所述图像特征进行排序处理,包括:
提取用户发送的所述查询图像的图像特征;
每接收到一个加载的所述图像特征时,利用KNN算法计算当前加载的图像特征与所述查询图像的图像特征的距离,直至完成排序在先的预设个数的图像特征的计算;
将KNN计算的当前距离与第一在先计算距离进行对比;其中,所述第一在先计算距离为:近似检索结果排序队列中排在队尾的一个图像特征与所述查询图像的图像特征的计算距离;
若KNN计算的当前距离大于所述第一在先计算距离,将当前加载的图像特征***到所述近似检索结果排序队列的队尾;
若KNN计算的当前距离小于所述第一在先计算距离,将当前加载的图像特征***所述近似检索结果排序队列中;其中,当前加载的图像特征***的最高位置为所述近似检索结果排序队列中排序第一的位置。
4.根据权利要求3所述的图像检索方法,其特征在于,所述对加载的所述图像特征进行排序处理,得到排序处理结果,还包括:
获取按检索的先后顺序加载的排序在后的余下的所有图像特征,作为补全检索的结果;
每接收到加载的所述补全检索的结果中的一个图像特征时,利用KNN算法计算接收的当前图像特征与所述查询图像的图像特征的距离,直至完成所有补全检索的结果的计算;
判断所述近似检索结果是否排序完成;
在检测到所述近似检索结果排序完成后,利用KNN计算结果优化所述近似检索结果,得到补全检索结果。
5.根据权利要求4所述的图像检索方法,其特征在于,所述方法还包括:
获取所述近似检索结果中用户的当前浏览位置;
将所述当前浏览位置转换为用户尚未浏览的排序位置P;
所述利用KNN计算结果优化所述近似检索结果,包括:
将所述KNN计算结果对应的每一个当前距离依次与第二在先计算距离进行对比;其中,所述第二在先计算距离为:所述近似检索结果排序队列中队尾的一个图像特征与所述查询图像的图像特征的计算距离;
若KNN计算的当前距离大于所述第二在先计算距离,将当前加载的图像特征***所述近似检索结果排序队列的队尾,或者舍弃所述当前加载的图像特征;
若KNN计算的当前距离小于所述第一在先计算距离,将当前加载的图像特征***所述近似检索结果排序队列中;其中,当前图像特征***的最高位置为所述排序位置P。
6.根据权利要求5所述的图像检索方法,其特征在于,所述若KNN计算的当前距离小于所述第一在先计算距离,将当前加载的图像特征***所述近似检索结果排序队列中,包括:
在KNN计算的当前距离小于所述第一在先计算距离时,判断所述近似检索结果的总长度是否满足预设长度;
若所述近似检索结果的总长度等于所述预设长度,则每***一个当前加载的图像特征时,删除对应的近似检索结果队列中队尾的一个图像特征;
若所述近似检索结果的总长度小于预设长度,则在对应的近似检索结果中直接***所述当前加载的图像特征。
7.根据权利要求1所述的图像检索方法,其特征在于,所述图像特征库是预先根据下述方法建立的:
提取待存储图像的图像特征;
根据图像分类法获取所述待存储图像对应各类别的置信度;
将获取的所述图像特征分别与置信度最高的类别号及原始图像数据进行关联;
将关联的数据存储在数据库中,得到所述图像特征库。
8.一种图像检索装置,其特征在于,包括:
接收单元,用于接收用户发送的查询图像;
第一获取单元,用于根据图像分类法获取所述查询图像对应各类别的置信度;
检索单元,用于按照所述查询图像的置信度由大到小的先后顺序,从图像特征库中检索当前置信度段中各置信度的类别对应的图像特征;其中,所述图像特征库中预先存储有图像特征,以及所述图像特征对应的最高置信度的类别数据和原始图像数据;
加载单元,用于按照检索的先后顺序,逐步加载检索到的图像特征;
排序单元,用于对加载的所述图像特征进行排序处理;
人机交互单元,用于将得到排序处理结果逐步发送至显示界面,以便所述显示界面进行显示。
9.根据权利要求8所述的图像检索装置,其特征在于,所述排序单元包括:
第一获取子单元,用于获取按检索的先后顺序加载的排序在先的预设个数的图像特征;
排序子单元,用于利用邻近算法KNN算法对排序在先的预设个数的所述图像特征进行排序处理,得到近似检索结果。
10.根据权利要求9所述的图像检索装置,其特征在于,所述排序子单元包括:
提取模块,用于提取用户发送的所述查询图像的图像特征;
KNN计算模块,用于每接收到一个加载的所述图像特征时,利用KNN算法计算当前加载的图像特征与所述查询图像的图像特征的距离,直至完成排序在先的预设个数的图像特征的计算;
第一对比模块,用于将KNN计算的当前距离与第一在先计算距离进行对比;其中,所述第一在先计算距离为:近似检索结果排序队列中排在队尾的一个图像特征与所述查询图像的图像特征的计算距离;
第一***模块,用于在KNN计算的当前距离大于所述第一在先计算距离时,将当前加载的图像特征***到所述近似检索结果排序队列的队尾;在KNN计算的当前距离小于所述第一在先计算距离时,将当前加载的图像特征***所述近似检索结果排序队列中;其中,当前加载的图像特征***的最高位置为所述近似检索结果排序队列中排序第一的位置。
11.根据权利要求10所述的图像检索装置,其特征在于,所述排序单元还包括:
第二获取子单元,用于获取按检索的先后顺序加载的排序在后的余下的所有图像特征,作为补全检索的结果;
KNN计算子单元,用于每接收到加载的所述补全检索的结果中的一个图像特征时,利用KNN算法计算接收的当前图像特征与所述查询图像的图像特征的距离,直至完成所有补全检索的结果的计算;
判断子单元,用于判断所述近似检索结果是否排序完成;
优化子单元,用于在检测到所述近似检索结果排序完成后,利用KNN计算结果优化所述近似检索结果,得到补全检索结果。
12.根据权利要求11所述的图像检索装置,其特征在于,所述人机交互单元还用于,获取所述近似检索结果中用户的当前浏览位置;将所述当前浏览位置转换为用户尚未浏览的排序位置P;
所述优化子单元包括:
第二对比模块,用于将所述KNN计算结果对应的每一个当前距离依次与第二在先计算距离进行对比;其中,所述第二在先计算距离为:所述近似检索结果排序队列中队尾的一个图像特征与所述查询图像的图像特征的计算距离;
第二***模块,用于在KNN计算的当前距离大于所述第二在先计算距离,将当前加载的图像特征***所述近似检索结果排序队列的队尾,或者舍弃所述当前加载的图像特征;在KNN计算的当前距离小于所述第一在先计算距离时,将当前加载的图像特征***所述近似检索结果排序队列中;其中,当前图像特征***的最高位置为所述排序位置P。
13.根据权利要求12所述的图像检索装置,其特征在于,所述第二***模块包括:
判断子模块,用于在KNN计算的当前距离小于所述第一在先计算距离时,判断所述近似检索结果的总长度是否满足预设长度;
***删除子模块,用于在所述近似检索结果的总长度等于所述预设长度时,每***一个当前加载的图像特征时,删除对应的近似检索结果队列中队尾的一个图像特征;
直接***子模块,用于在所述近似检索结果的总长度小于预设长度时,在对应的近似检索结果中直接***所述当前加载的图像特征。
14.根据权利要求8所述的图像检索装置,其特征在于,还包括
提取单元,提取待存储图像的图像特征;
第二获取单元,用于根据图像分类法获取所述待存储图像对应各类别的置信度;
关联单元,用于将获取的所述图像特征分别与置信度最高的类别号及原始图像数据进行关联;
存储单元,用于将关联的数据存储在数据库中,得到所述图像特征库。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510907173.6A CN105589929B (zh) | 2015-12-09 | 2015-12-09 | 图像检索方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510907173.6A CN105589929B (zh) | 2015-12-09 | 2015-12-09 | 图像检索方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105589929A true CN105589929A (zh) | 2016-05-18 |
CN105589929B CN105589929B (zh) | 2019-05-10 |
Family
ID=55929508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510907173.6A Active CN105589929B (zh) | 2015-12-09 | 2015-12-09 | 图像检索方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105589929B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108132953A (zh) * | 2016-12-01 | 2018-06-08 | 百度在线网络技术(北京)有限公司 | 一种基于用户点击进行搜索结果排序的方法和装置 |
CN108921206A (zh) * | 2018-06-15 | 2018-11-30 | 北京金山云网络技术有限公司 | 一种图像分类方法、装置、电子设备及存储介质 |
CN109710792A (zh) * | 2018-12-24 | 2019-05-03 | 西安烽火软件科技有限公司 | 一种基于索引的快速人脸检索***应用 |
CN109933676A (zh) * | 2019-02-14 | 2019-06-25 | 深兰科技(上海)有限公司 | 一种信息库构建方法及装置 |
CN110008899A (zh) * | 2019-04-02 | 2019-07-12 | 北京市遥感信息研究所 | 一种可见光遥感图像候选目标提取与分类方法 |
CN110033023A (zh) * | 2019-03-11 | 2019-07-19 | 北京光年无限科技有限公司 | 一种基于绘本识别的图像数据处理方法及*** |
CN110659373A (zh) * | 2019-08-27 | 2020-01-07 | 浙江大华技术股份有限公司 | 图像检索的方法、设备、计算机设备和存储介质 |
CN111368934A (zh) * | 2020-03-17 | 2020-07-03 | 腾讯科技(深圳)有限公司 | 图像识别模型训练方法、图像识别方法以及相关装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102402621A (zh) * | 2011-12-27 | 2012-04-04 | 浙江大学 | 一种基于图像分类的图像检索方法 |
CN103678661A (zh) * | 2013-12-24 | 2014-03-26 | 中国联合网络通信集团有限公司 | 图像搜索方法和终端 |
WO2015017439A1 (en) * | 2013-07-31 | 2015-02-05 | Alibaba Group Holding Limited | Method and system for searching images |
CN104392439A (zh) * | 2014-11-13 | 2015-03-04 | 北京智谷睿拓技术服务有限公司 | 确定图像相似度的方法和装置 |
-
2015
- 2015-12-09 CN CN201510907173.6A patent/CN105589929B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102402621A (zh) * | 2011-12-27 | 2012-04-04 | 浙江大学 | 一种基于图像分类的图像检索方法 |
WO2015017439A1 (en) * | 2013-07-31 | 2015-02-05 | Alibaba Group Holding Limited | Method and system for searching images |
CN103678661A (zh) * | 2013-12-24 | 2014-03-26 | 中国联合网络通信集团有限公司 | 图像搜索方法和终端 |
CN104392439A (zh) * | 2014-11-13 | 2015-03-04 | 北京智谷睿拓技术服务有限公司 | 确定图像相似度的方法和装置 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108132953A (zh) * | 2016-12-01 | 2018-06-08 | 百度在线网络技术(北京)有限公司 | 一种基于用户点击进行搜索结果排序的方法和装置 |
CN108921206B (zh) * | 2018-06-15 | 2021-11-26 | 北京金山云网络技术有限公司 | 一种图像分类方法、装置、电子设备及存储介质 |
CN108921206A (zh) * | 2018-06-15 | 2018-11-30 | 北京金山云网络技术有限公司 | 一种图像分类方法、装置、电子设备及存储介质 |
CN109710792A (zh) * | 2018-12-24 | 2019-05-03 | 西安烽火软件科技有限公司 | 一种基于索引的快速人脸检索***应用 |
CN109710792B (zh) * | 2018-12-24 | 2023-02-03 | 西安烽火软件科技有限公司 | 一种基于索引的快速人脸检索***应用 |
CN109933676A (zh) * | 2019-02-14 | 2019-06-25 | 深兰科技(上海)有限公司 | 一种信息库构建方法及装置 |
CN110033023B (zh) * | 2019-03-11 | 2021-06-15 | 北京光年无限科技有限公司 | 一种基于绘本识别的图像数据处理方法及*** |
CN110033023A (zh) * | 2019-03-11 | 2019-07-19 | 北京光年无限科技有限公司 | 一种基于绘本识别的图像数据处理方法及*** |
CN110008899A (zh) * | 2019-04-02 | 2019-07-12 | 北京市遥感信息研究所 | 一种可见光遥感图像候选目标提取与分类方法 |
CN110659373A (zh) * | 2019-08-27 | 2020-01-07 | 浙江大华技术股份有限公司 | 图像检索的方法、设备、计算机设备和存储介质 |
CN110659373B (zh) * | 2019-08-27 | 2022-11-08 | 浙江大华技术股份有限公司 | 图像检索的方法、设备、计算机设备和存储介质 |
CN111368934A (zh) * | 2020-03-17 | 2020-07-03 | 腾讯科技(深圳)有限公司 | 图像识别模型训练方法、图像识别方法以及相关装置 |
CN111368934B (zh) * | 2020-03-17 | 2023-09-19 | 腾讯科技(深圳)有限公司 | 图像识别模型训练方法、图像识别方法以及相关装置 |
Also Published As
Publication number | Publication date |
---|---|
CN105589929B (zh) | 2019-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105589929A (zh) | 图像检索方法和装置 | |
CN109189991B (zh) | 重复视频识别方法、装置、终端及计算机可读存储介质 | |
CN104123332B (zh) | 搜索结果的显示方法及装置 | |
US7970769B2 (en) | Apparatus and method for optimized index search | |
US7831595B2 (en) | Predicting and ranking search query results | |
CN106372226B (zh) | 信息检索装置及方法 | |
US9652558B2 (en) | Lexicon based systems and methods for intelligent media search | |
CN100442284C (zh) | 用于按类别提供关键字输入频率信息的搜索***及其方法 | |
US10754887B1 (en) | Systems and methods for multimedia image clustering | |
CN109087135A (zh) | 用户意图的挖掘方法及装置、计算机设备及可读介质 | |
US20110029561A1 (en) | Image similarity from disparate sources | |
CN110019647A (zh) | 一种关键词搜索方法、装置和搜索引擎 | |
WO2016155493A1 (zh) | 数据处理方法及装置 | |
CN102890700A (zh) | 一种基于体育比赛视频的相似视频片段检索方法 | |
CN106227510A (zh) | 应用推荐方法及装置 | |
CN110019913A (zh) | 图片匹配方法、用户设备、存储介质及装置 | |
CN106021615A (zh) | 题目搜索优化方法及装置 | |
CN114238746A (zh) | 跨模态检索方法、装置、设备及存储介质 | |
EP0999502A2 (en) | Information filtering apparatus and information filtering method | |
CN112348188A (zh) | 模型生成方法及装置、电子设备和存储介质 | |
CN103034709A (zh) | 检索结果重排序***及其方法 | |
CN105354235A (zh) | 一种搜索结果处理方法及装置 | |
CN114610960A (zh) | 基于item2vec和向量聚类的实时推荐方法 | |
CN109002537A (zh) | 一种基于深度学习的信息处理***和方法 | |
CN113076472B (zh) | 基于用户需求和标签关联度的电影推荐方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PP01 | Preservation of patent right |
Effective date of registration: 20220726 Granted publication date: 20190510 |
|
PP01 | Preservation of patent right |