CN108229289B - 目标检索方法、装置和电子设备 - Google Patents

目标检索方法、装置和电子设备 Download PDF

Info

Publication number
CN108229289B
CN108229289B CN201710500550.3A CN201710500550A CN108229289B CN 108229289 B CN108229289 B CN 108229289B CN 201710500550 A CN201710500550 A CN 201710500550A CN 108229289 B CN108229289 B CN 108229289B
Authority
CN
China
Prior art keywords
similarity
target
detected
image
feature vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710500550.3A
Other languages
English (en)
Other versions
CN108229289A (zh
Inventor
田茂清
伊帅
闫俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201710500550.3A priority Critical patent/CN108229289B/zh
Publication of CN108229289A publication Critical patent/CN108229289A/zh
Application granted granted Critical
Publication of CN108229289B publication Critical patent/CN108229289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了目标检索方法和装置。上述方法的一具体实施方式包括：获取多个图像集合，其中，每个图像集合包括至少一张含有至少一待检目标的图像；分别提取多个图像集合中至少部分图像所包含的待检目标的特征向量；在提取的至少部分特征向量中，分别确定每两个特征向量的相似度以及该相似度在该两个特征向量指示的待检目标所属的图像集合中的相似度排名信息；根据各相似度和各相似度排名信息，确定每两个特征向量所指示的待检目标为同一目标的概率。该实施方式实现了对目标的初步检索，降低了标注人员的工作量，提高了目标检索的效率。

Description

目标检索方法、装置和电子设备
技术领域
本申请涉及计算机视觉领域，具体涉及图像处理领域，尤其涉及目标检索方法、装置和电子设备。
背景技术
计算机视觉是使用计算机及相关设备对生物视觉的一种模拟，其能够运用照相机和计算机来获取被拍摄对象的数据与信息。目标检索是计算机视觉研究中的一个重要研究方向，其可以根据输入的一张目标的图像，在大规模的数据集中寻找到与输入的目标为同一目标的所有图像；还可以向其输入一对图像，得到这对图像的相似度值。
目标检索往往需要依托大量的标注的目标检索数据。如果所有的标注都靠标注人员人工标注，则标注员工作量较大，效率较低。
发明内容
本申请的目的在于提出一种目标检索方法和装置和电子设备，来解决以上背景技术部分提到的技术问题。
第一方面，本申请提供了一种目标检索方法，包括：获取多个图像集合，其中，每个图像集合包括至少一张含有至少一待检目标的图像；分别提取上述多个图像集合中至少部分图像所包含的待检目标的特征向量；在提取的至少部分特征向量中，分别确定每两个特征向量的相似度以及该相似度在该两个特征向量指示的待检目标所属的图像集合中的相似度排名信息；根据各相似度和各相似度排名信息，确定每两个特征向量所指示的待检目标为同一目标的概率。
在一些实施例中，上述方法还包括：响应于存在两个特征向量所指示的待检目标为同一目标的概率满足第一预设条件，生成用于询问该两个特征向量是否指示同一目标的提示信息。
在一些实施例中，上述第一预设条件包括以下至少之一：上述概率大于预定概率阈值；上述概率位于所有概率从大到小排序的前预定比例范围。
在一些实施例中，上述图像集合来源于视频源；以及上述分别提取上述多个图像集合中至少部分图像所包含的待检目标的特征向量，包括：获取每个图像集合的标识信息，上述标识信息包括该图像集合所属的视频源的第一标识信息以及该图像集合在所属的视频源中的第二标识信息；将每两个图像集合的标识信息进行比对，生成比对列表；分别提取每个图像集合中至少部分图像所包含的待检目标的特征向量，并确定上述比对列表中每个比对所指示的特征向量之间的相似度。
在一些实施例中，每个图像集合中的图像包括同一待检目标；以及上述方法还包括：对于上述比对列表中的每个比对，确定该比对所指示的两个图像集合的第一标识信息是否相同；响应于该比对所指示的两个图像集合的第一标识信息相同，确定该比对所指示的两个图像集合中是否存在生成时刻相同的图像；和/或，响应于该比对所指示的两个图像集合中存在生成时刻相同的图像，则删除该比对，以优化上述比对列表。
在一些实施例中，上述方法还包括：根据每个图像集合中每张图像的生成时刻，确定每个图像集合的平均生成时刻；对于上述比对列表中的每个比对，确定该比对指示的两个图像集合的平均生成时刻之差是否大于预设时长；响应于该比对指示的两个图像集合的平均生成时刻之差大于预设时长，删除该比对，以优化上述比对列表。
在一些实施例中，上述分别提取上述多个图像集合中至少部分图像所包含的待检目标的特征向量，包括：利用预设的第一神经网络分别提取上述多个图像集合的上述至少部分图像中每张图像所包含的待检目标的特征向量。
在一些实施例中，上述分别确定每两个特征向量的相似度以及该相似度在该两个特征向量指示的待检目标所属的图像集合中的相似度排名信息，包括：确定上述比对列表中每个比对所指示的两个特征向量之间的相似度；确定每个待检目标的相似度集合，其中，上述相似度集合包括上述比对列表中包含了该待检目标的比对对应的相似度；将上述相似度集合中的每个相似度按照由大到小或由小到大的顺序进行排列，确定每个待检目标在各自所属的图像集合中的相似度排名信息。
在一些实施例中，上述根据各相似度和各相似度排名信息，确定每两个特征向量所指示的待检目标为同一目标的概率，包括：将每两个特征向量之间的相似度以及该两个特征向量指示的待检目标在各自的相似度排序中的排名信息输入预设的分类器，基于上述分类器确定每两个特征向量所指示的待检目标为同一目标的概率。
在一些实施例中，上述分类器采用以下方法预先建立：获取预先标注的多个图像集合，其中，标注的信息用于表示多个图像集合中包括两个目标是否为同一目标；提取每个图像集合所包含的目标的特征向量，并确定每两个特征向量之间的相似度；根据每两个特征向量之间的相似度，确定每个特征向量与其他特征向量之间的相似度排序；根据上述相似度排序，确定每两个特征向量在各自的相似度排序中的排名；根据上述多个图像集合的标注信息、每两个特征向量之间的相似度以及上述排名训练分类器。
在一些实施例中，上述获取多个图像集合，包括：获取多个视频源，每个视频源包括至少一个图像集合；利用预设的第二神经网络检测上述多个视频源中的至少部分图像，确定上述至少部分图像中的每张图像所包含的待检目标；对检测出的每个待检目标进行标注，得到与每个待检目标对应的标注图像集合。
在一些实施例中，上述对检测出的每个待检目标进行标注，得到与每个待检目标对应的标注图像集合，包括：利用最小外接矩形框对检测出的每个待检目标进行标注；裁剪各标注区域，得到与每个待检目标对应的裁剪图像集合。
在一些实施例中，上述获取多个图像集合，包括：确定每个上述裁剪图像集合中包含的裁剪图像的数量以及每张裁剪图像的以下参数：沿第一方向的第一像素数量、沿第二方向的第二像素数量、上述第一像素数量与上述第二像素数量的比值，其中，上述第一方向与上述第二方向分别为上述最小外接矩形的两个相邻边长的延伸方向；选取每个裁剪图像集合中满足第二预设条件的预设数量张裁剪图像，构成新的图像集合。
第二方面，本申请提供了一种目标检索装置，上述装置包括：图像集合获取单元，用于获取多个图像集合，其中，每个图像集合包括至少一张含有至少一待检目标的图像；特征向量提取单元，用于分别提取上述多个图像集合中至少部分图像所包含的待检目标的特征向量；相似度确定单元，用于在提取的至少部分特征向量中，分别确定每两个特征向量的相似度以及该相似度在该两个特征向量指示的待检目标所属的图像集合中的相似度排名信息；概率确定单元，用于根据各相似度和各相似度排名信息，确定每两个特征向量所指示的待检目标为同一目标的概率。
在一些实施例中，上述装置还包括：提示信息生成单元，用于响应于存在两个特征向量所指示的待检目标为同一目标的概率满足第一预设条件，生成用于询问该两个特征向量是否指示同一目标的提示信息。
在一些实施例中，上述第一预设条件包括以下至少之一：上述概率大于预定概率阈值；上述概率位于所有概率从大到小排序的前预定比例范围。
在一些实施例中，上述图像集合来源于视频源；以及上述特征向量提取单元包括：标识信息获取模块，用于获取每个图像集合的标识信息，上述标识信息包括该图像集合所属的视频源的第一标识信息以及该图像集合在所属的视频源中的第二标识信息；比对列表生成模块，用于将每两个图像集合的标识信息进行比对，生成比对列表；特征向量提取模块，用于分别提取每个图像集合中至少部分图像所包含的待检目标的特征向量，并确定上述比对列表中每个比对所指示的特征向量之间的相似度。
在一些实施例中，每个图像集合中的图像包括同一待检目标；以及上述特征向量提取单元还包括比对列表优化模块，上述比对列表优化模块用于：对于上述比对列表中的每个比对，确定该比对所指示的两个图像集合的第一标识信息是否相同；响应于该比对所指示的两个图像集合的第一标识信息相同，确定该比对所指示的两个图像集合中是否存在生成时刻相同的图像；和/或，响应于该比对所指示的两个图像集合中存在生成时刻相同的图像，则删除该比对，以优化上述比对列表。
在一些实施例中，上述特征向量提取单元还包括比对列表优化模块，上述比对列表优化模块用于：根据每个图像集合中每张图像的生成时刻，确定每个图像集合的平均生成时刻；对于上述比对列表中的每个比对，确定该比对指示的两个图像集合的平均生成时刻之差是否大于预设时长；响应于该比对指示的两个图像集合的平均生成时刻之差大于预设时长，删除该比对，以优化上述比对列表。
在一些实施例中，上述特征向量提取单元进一步用于：利用预设的第一神经网络分别提取上述多个图像集合的上述至少部分图像中每张图像所包含的待检目标的特征向量。
在一些实施例中，上述相似度确定单元包括：相似度确定模块，用于确定上述比对列表中每个比对所指示的两个特征向量之间的相似度；相似度集合确定模块，用于确定每个待检目标的相似度集合，其中，上述相似度集合包括上述比对列表中包含了该待检目标的比对对应的相似度；相似度集合排名模块，用于将上述相似度集合中的每个相似度按照由大到小或由小到大的顺序进行排列，确定每个待检目标在各自所属的图像集合中的相似度排名信息。
在一些实施例中，上述概率确定单元进一步用于：将每两个特征向量之间的相似度以及该两个特征向量指示的待检目标在各自的相似度排序中的排名信息输入预设的分类器，基于上述分类器确定每两个特征向量所指示的待检目标为同一目标的概率。
在一些实施例中，上述分类器通过分类器建立单元预先建立，上述分类器建立单元包括：标注图像集合获取模块，用于获取预先标注的多个图像集合，其中，标注的信息用于表示多个图像集合中包括两个目标是否为同一目标；相似度确定模块，用于提取每个图像集合所包含的目标的特征向量，并确定每两个特征向量之间的相似度；相似度排序确定模块，用于根据每两个特征向量之间的相似度，确定每个特征向量与其他特征向量之间的相似度排序；排名确定模块，用于根据上述相似度排序，确定每两个特征向量在各自的相似度排序中的排名；训练模块，用于根据上述多个图像集合的标注信息、每两个特征向量之间的相似度以及上述排名训练分类器。
在一些实施例中，上述图像集合获取单元包括：视频源获取模块，用于获取多个视频源，每个视频源包括至少一个图像集合；目标检测模块，用于利用预设的第二神经网络检测上述多个视频源中的至少部分图像，确定上述至少部分图像中的每张图像所包含的待检目标；目标标注模块，用于对检测出的每个待检目标进行标注，得到与每个待检目标对应的标注图像集合。
在一些实施例中，上述目标标注模块进一步用于：利用最小外接矩形框对检测出的每个待检目标进行标注；裁剪各标注区域，得到与每个待检目标对应的裁剪图像集合。
在一些实施例中，上述目标标注模块进一步用于：确定每个上述裁剪图像集合中包含的裁剪图像的数量以及每张裁剪图像的以下参数：沿第一方向的第一像素数量、沿第二方向的第二像素数量、上述第一像素数量与上述第二像素数量的比值，其中，上述第一方向与上述第二方向分别为上述最小外接矩形的两个相邻边长的延伸方向；选取每个裁剪图像集合中满足第二预设条件的预设数量张裁剪图像，构成新的图像集合。
第三方面，本申请实施例提供了一种服务器，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行，使得上述一个或多个处理器实现上述任一实施例所描述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所描述的方法。
本申请提供的目标检索方法和装置，首先确定多个图像集合，然后提取多个图像集合中至少部分图像所包含的待检目标的特征向量，然后在提取的至少部分特征向量中，确定每两个特征向量的相似度以及每个相似度在该两个特征向量指示的待检目标所属的图像集合中的相似度排名信息，最后根据各相似度以及各相似度排名信息，确定每两个特征向量所指示的待检目标为同一目标的概率。这样，利用电子设备就可以得到不同图像中的待检目标为同一目标的概率，可以实现对目标的初步检索，降低了标注人员的工作量，提高了目标检索的效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是根据本申请的目标检索方法的一个实施例的流程图；
图2是根据本申请的目标检索方法的提取特征向量的流程图；
图3是根据本申请的目标检索方法的获取多个图像集合的流程图；
图4是根据本申请的目标检索装置的一个实施例的结构示意图；
图5是适于用来实现本申请实施例的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了根据本申请的目标检索方法的一个实施例的流程100。如图1所示，本实施例的目标检索方法，包括以下步骤：
步骤101，获取多个图像集合。
本实施例中，目标检索方法运行于其上的电子设备(例如终端或服务器)可以通过有线连接方式或者无线连接方式获取本地存储的多个图像集合或者获取用户通过终端输入的多个图像集合。上述图像集合中的每个图像集合可以包括多张图像，且上述多张图像中可以包括至少一张包含待检目标的图像，上述待检目标的数量可以是一个，也可以是多个。上述待检目标可以是行人、车辆、非机动车等任何需要检索的目标。
步骤102，分别提取上述多个图像集合中至少部分图像所包含的待检目标的特征向量。
在得到上述多个图像集合后，可以分别提取上述多个图像集合中至少部分图像所包含的待检目标的特征向量。可以理解的是，上述多个图像集合中可能有多张包含待检目标的图像，在上述多张图像中可以选取部分或全部图像，以提取所选取部分图像中包含的待检目标的特征向量。上述特征向量用于表征每个待检目标的不同于其他待检目标的特征。
步骤103，在提取的至少部分特征向量中，分别确定每两个特征向量的相似度以及该相似度在该两个特征向量指示的待检目标所属的图像集合中的相似度排名信息。
在提取了部分待检目标的特征向量后，可以在提取的特征向量中选取部分或全部特征向量进行以下处理：确定选取的特征向量中每两个特征向量的相似度。在计算得到上述相似度后，对于每个相似度，可以确定该相似度在该两个特征向量指示的待检目标所属的图像集合中的相似度排名信息。
本实施例中，上述相似度可以与两个特征向量之间的距离相关，上述距离，可以是欧式距离、明氏距离、曼哈顿距离、切比雪夫距离、马氏距离等等。上述相似度还可以是向量空间余弦相似度、皮尔森相关系数、Jaccard相似系数、调整余弦相似度等等。
可以理解的是，对于不同图像集合中的两个特征向量，可以确定每个特征向量与另一个特征向量所属的图像集合中除该特征向量之外的其它特征向量之间的相似度，则可以得到两个相似度集合。根据得到的两个相似度集合以及该两个特征向量之间的相似度，可以确定该两个特征向量之间的相似度分别在两个相似度集合中的排名信息。举例来说，对于图像集合A中的特征向量1与图像集合B中的特征向量2来说，可以首先计算特征向量1与特征向量2之间的相似度。然后可以计算特征向量1与图像集合B中的其它特征向量之间的相似度，得到图像集合B中的各特征向量与特征向量1的相似度集合。然后可以计算特征向量2与图像集合A中的其它特征向量之间的相似度，得到图像集合A中的各特征向量与特征向量2的相似度集合。最后，可以根据特征向量1与特征向量2之间的相似度，确定该相似度分别在两个相似度集合中的排名信息。可以理解的是，在得到两个相似度集合后，可以对相似度集合中的各相似度进行有大到小排序或由小到大排序，再确定该相似度的排名信息。
步骤104，根据各相似度和各相似度排名信息，确定每两个特征向量所指示的待检目标为同一目标的概率。
在得到上述相似度和相似度排名信息后，可以确定该两个特征向量指示的待检目标为同一目标的概率。例如，两个特征向量的相似度值较大，在两个相似度集合中该相似度在两个相似度集合中的排名位于上游，则可以认定该两个特征向量指示的待检目标为同一目标的概率较大。
在本实施例的一些可选的实现方式中，当步骤104中计算得到的概率满足第一预设条件时，生成用于询问该两个特征向量是否指示同一目标的提示信息。
本实现方式中，上述提示信息可以用于提醒标注人员对该两个特征向量指示的待检目标是否为同一目标这一问题进行再次确认，从而可以有效地减少标注人员的工作量。
在本实施例的一些可选的实现方式中，上述第一预设条件可以包括以下至少一项：上述概率大于预定概率阈值、上述概率位于所有概率从大到小排序的前预定比例范围。
当上述概率指示两个待检目标极有可能为同一目标时，可以输出提示信息。本实现方式中，可以通过设定概率阈值或概率比例来确定两个待检目标是否极有可能为同一目标。
本申请的上述实施例提供的目标检索方法，首先确定多个图像集合，然后提取多个图像集合中至少部分图像所包含的待检目标的特征向量，然后在提取的至少部分特征向量中，确定每两个特征向量的相似度以及每个相似度在该两个特征向量指示的待检目标所属的图像集合中的相似度排名信息，最后根据各相似度以及各相似度排名信息，确定每两个特征向量所指示的待检目标为同一目标的概率。这样，利用电子设备就可以得到不同图像中的待检目标为同一目标的概率，以及该概率在其图像集合中的排名信息，通过概率以及概率的排名信息可以实现对目标的初步检索，降低了标注人员的工作量，提高了目标检索的效率。
继续参考图2，其示出了根据本申请的目标检索方法的提取特征向量的流程200。如图2所示，本实施例中，每个图像集合来源与视频源，上述视频源可以是监控视频，上述监控视频的监控范围的中心之间的距离可以小于预设值，此预设值可以根据实际应用场景进行设置，例如可以是300米(街道上两个相邻的监控摄像头的监控范围的中心之间的距离)，也可以是10-50米(店铺内不同监控摄像头的监控范围的中心之间的距离)。本实施例中，监控范围的中心可以是监控摄像头所监控的范围在地面上的投影范围的中心，例如，当监控摄像头所监控的范围在地面上的投影范围为椭圆时，其中心为椭圆的中心。可以理解的是，每个视频源中可以包括多个图像集合。
本实施例中可以通过以下步骤来实现提取特征向量：
步骤201，获取每个图像集合的标识信息。
本实施例中，上述标识信息可以包括该图像集合所属的视频源的第一标识信息以及该图像集合在所属的视频源中的第二标识信息。上述第一标识信息可以是该图像集合所属的视频源在多个视频源中的编号，上述第二标识信息可以是该图像集合在所属的视频源中的编号，例如图像集合的标识信息可以是2-5，表示在第2个视频源中的第5个图像集合。
步骤202，将每两个图像集合的标识信息进行比对，生成比对列表。
将上述多个监控视频中的每两个图像集合的标识信息进行比对，生成比对列表。上述比对列表中包括多个比对，每个比对可以利用图像集合的标识信息来表示，例如可以为2-5：3-1。
步骤203，分别提取每个图像集合中至少部分图像所包含的待检目标的特征向量，并确定上述比对列表中每个比对所指示的特征向量之间的相似度。
在确定每两个目标的特征向量之间的相似度时，可以以比对列表中的比对为单位进行，利于目标检索结果的显示及后续的人工审核。可以理解的是，上述审核可以由人工来进行，也可以通过其它算法来实现，本实施例对此不做限定。
在本实施例的一些可选的实现方式中，在提取特征向量时，可以利用预设的第一神经网络分别提取多个图像集合的至少部分图像中每张图像所包含的待检目标的特征向量。
利用预设的第一神经网络可以提取每个图像集合中的至少部分图像中每张图像中所包含的待检目标的特征向量，具体的，可以利用上述第一神经网络中的多个卷积层提取每张图像中的特征向量。在得到每个图像集合的至少部分特征向量后，可以对各特征向量取平均或计算加权均值，将得到的平均向量作为该图像集合所指示的待检目标的特征向量。
在本实施例的一些可选的实现方式中，每个图像集合中的图像包括同一待检目标，也就是说，每个图像集合中的待检目标只有一个。则在生成比对列表后，上述方法还包括优化比对列表的步骤。上述优化比对列表的步骤包括：对于上述比对列表中的每个比对，确定该比对所指示的两个图像集合的第一标识信息是否相同；响应于该比对所指示的两个图像集合的第一标识信息相同，确定该比对所指示的两个图像集合中是否存在生成时刻相同的图像；和/或，响应于该比对所指示的两个图像集合中存在生成时刻相同的图像，则删除该比对，以优化比对列表。
检测比对列表中的每个比对所指示的图像集合的第一标识信息是否相同，如果相同，则说明该比对所指示的两个图像集合属于同一视频源。在确定两个图像集合属于同一视频源后，再检测两个图像集合中是否存在生成时刻相同的图像，如果存在，则说明上述两个图像集合中存在至少一帧图像中存在上述两个图像集合所指示的两个待检目标，则这两个待检目标不可能为同一目标，将此比对删除，以优化比对列表。
在本实施例的一些可选的实现方式中，上述优化比对列表的步骤还可以包括以下步骤：根据每个图像集合中每张图像的生成时刻，确定每个图像集合的平均生成时刻；对于比对列表中的每个比对，确定该比对指示的两个图像集合的平均生成时刻之差是否大于预设时长；响应于该比对指示的两个图像集合的平均生成时刻之差大于预设时长，删除该比对，以优化比对列表。
根据每个图像集合中每帧图像的生成时刻，可以确定每个图像集合的平均生成时刻。检测比对列表中每个比对的两个图像集合的平均生成时刻之差是否大于预设时长。此处，当视频源为监控视频时，预设时长可以是根据实际的监控摄像头所处的位置以及待检目标的正常行走速度而确定的。以待检目标为行人来举例说明，如果两个图像集合的平均生成时刻大于预设时长，则说明该比对的两个图像集合所指示的行人为同一个行人的概率较小，则将该比对删除。举例来说，位于同一街道的两个监控摄像头，其监控范围相邻，每个监控摄像头能够监控此街道的长度为150米，则两个监控摄像头能够监测300米长度的街道。正常行人的行走速度大约为1米/秒，假设该行人走过上述300米的监控范围，大约需要300秒。则在两个监控视频内得到的两个图像集合之间的平均生成时刻之差大约为150秒，此处可以设置预设时长为180秒，当上述平均生成时刻之差大于180秒时，认为上述两个行人不是同一个行人。
在本实施例的一些可选的实现方式中，步骤103中在确定相似度排名信息时，还可以通过以下步骤来实现：确定比对列表中每个比对所指示的两个特征向量之间的相似度；确定每个待检目标的相似度集合；将相似度集合中的每个相似度按照由大到小或由小到大的顺序进行排列，确定每个待检目标在各自所属的图像集合中的相似度排名信息。
在确定了比对列表后，由于每个比对指示的是两个图像集合，可以首先确定每个图像集合的特征向量，然后确定每两个图像集合的特征向量之间的相似度，则每个比对对应一个相似度。然后确定每个待检目标的相似度集合，上述相似度集合包括比对列表中包含了该待检目标的比对对应的相似度。在得到每个待检目标的相似度集合后，可以将每个相似度按照由大到小或由小到大的顺序进行排列，确定每个待检目标在各自所属的图像集合中的相似度排名信息。举例来说，比对列表中的一个比对为2-5：3-1，且共有10个图像集合，现得到图像集合2-5的由小到大的距离排序为：2-1、1-3、1-2、3-2、2-4、3-1、2-2、2-3、1-1，则图像集合3-1在上述距离排序中的排名为第6名。同理，在得到图像集合3-1的距离排序后，还可以确定图像集合2-5在此距离排序中的排名。
本实现方式中，每个图像集合的特征向量可以由该图像集合中至少部分包含待检目标的图像的特征向量加权得到。
在本实施例的一些可选的实现方式中，步骤104中在确定每两个特征向量所指示的待检目标为同一目标的概率时，具体可以通过图2中未示出的以下步骤来实现：将每两个特征向量之间的相似度以及该两个特征向量指示的待检目标在各自的相似度排序中的排名信息输入预设的分类器，基于上述分类器确定每两个特征向量所指示的待检目标为同一目标的概率。
本实现方式中，可以采用分类器来确定两个待检目标是否为同一目标。上述预设的分类器可以是各种可以基于数值输出概率的分类器，例如可以是支持向量机分类器。
在本实施例的一些可选的实现方式中，上述分类器可以通过图2中未示出的以下步骤来建立：获取预先标注的多个图像集合；提取每个图像集合所包含的目标的特征向量，并确定每两个特征向量之间的相似度；根据每两个特征向量之间的相似度，确定每个特征向量与其他特征向量之间的相似度排序；根据上述相似度排序，确定每两个特征向量在各自的相似度排序中的排名；根据多个图像集合的标注信息、每两个特征向量之间的相似度以及上述排名训练分类器。
其中，上述多个图像集合中标注的信息用于表示多个图像集合中包括两个目标是否为同一目标，也就是说，上述多个图像集合中即包括两个目标为同一目标的多个图像集合，还包括两个目标不为同一目标的多个图像集合。提取每个图像集合所包含的目标的特征向量，然后计算每两个特征向量之间的相似度，将属于同一个待检目标的相似度进行排序，得到相似度排序。确定上述相似度排序中，每两个特征向量在各自的相似度排序中的排名。例如，两个特征向量分别标记为1和5，共有10个特征向量，则在确定了特征向量1的相似度排序后，可以确定特征向量5在上述相似度排序中的排名；同理，在确定了特征向量5的相似度排序后，可以确定特征向量1在上述相似度排序中的排名。在得到上述排名后，利用上述多个图像集合的标注信息、每两个特征向量之间的相似度以及上述排名训练分类器，就可以得到预设的分类器。也就是说，利用特征向量1和特征向量5之间的相似度、特征向量1在特征向量5的相似度排序中的排名以及特征向量5在特征向量1的相似度排序中的排名以及标注结果(特征向量1所指示的目标与特征向量5所指示的目标是否为同一目标)训练分类器，经过这样的多次训练，就可以得到预设的分类器。
本实施例中，对于多个图像集合而言，其可能包含大量无用的图像，也就是说，多个图像集合中可能只有少部分图像所包含的目标为同一目标。如果每个图像集合中的每张图像都需要标注人员进行标注的话，工作量非常大。本实现方式与图1所示实施例结合后，通过将两个待检目标极有可能为同一目标的图像输出给标注人员，可以大大减少了标注人员的工作量。同时，在标注人员对上述输出信息进行确认后，可以将确认后的图像用于分类器的训练，还可以提高分类器训练的准确性。
本申请的上述实施例提供的目标检索方法，在提取待检目标的特征向量后，通过构建比对列表，可以使检索结果清晰明了；同时通过优化比对列表，可以有效减少后续计算的工作量，提高计算效率。
继续参见图3，图3是根据本实施例的目标检索方法的获取多个图像集合的流程300。如图3所示，本实施例中，可以通过以下步骤来获取多个图像集合：
步骤301，获取多个视频源。
本实施例中，上述视频源可以是各种包含了至少一个待检目标的视频数据，每个视频数据可以包括多张图像。每个视频源可以包括至少一个图像集合。
步骤302，利用预设的第二神经网络检测多个视频源中的至少部分图像，确定上述至少部分图像中的每张图像所包含的待检目标。
本实施例中，可以利用预设的第二神经网络对获取的多个视频源中的至少部分图像进行检测，来确定上述至少部分图像中的每张图像所包含的待检目标。上述预设的第二神经网络可以是经过训练的卷积神经网络，可以检测输入的图像中的待检目标。
步骤303，利用最小外接矩形框对检测出的每个待检目标进行标注。
在检测出每帧图像中的目标后，可以对检测出的每个目标进行标注。在标注时，可以利用各种标注框进行标注，例如圆形、矩形、椭圆形等等。本实施例中，可以采用检测出的目标的最小外接矩形对检测出的每个目标进行标注。可以理解的是，本实施例中，在对检测出的目标进行标注时，还可以首先确定检测出的目标的清晰度是否满足要求，如果不满足要求，可以将该图像剔除，以保证标注出来的图像的清晰度都较好。
步骤304，裁剪各标注区域，得到与每个待检目标对应的裁剪图像集合。
在对各目标进行标注后，可以裁剪各标注区域，得到与每个目标对应的裁剪图像集合。可以理解的是，每帧裁剪图像中只包含一个目标，且每个裁剪图像集合中每帧图像包含同一目标。
步骤305，确定每个裁剪图像集合中包含的裁剪图像的数量以及每张裁剪图像的以下参数：沿第一方向的第一像素数量、沿第二方向的第二像素数量、上述第一像素数量与上述第二像素数量的比值。
由于每张裁剪图像均为矩形，所以可以确定每张裁剪图像沿长度方向的第一像素数量以及沿宽度方向的第二像素数量，也可以确定长度方向的第一像素数量与宽度方向的第二像素数量的比值。其中，上述第一方向、第二方向分别为长度方向和宽度方向的一种。本实施例中，还可以确定每个裁剪图像集合中包含的裁剪图像的数量，这样可以将数量过少的裁剪图像集合删除。这样，在建立比对列表时，可以有效地减少比对列表中比对的数量，减小了计算量。
步骤306，选取每个裁剪图像集合中满足第二预设条件的预设数量张裁剪图像，构成新的图像集合。
为了使得裁剪图像集合中的每张图像都能清楚的反映目标的特征，本实施例中，可以对裁剪图像集合中的各裁剪图像进行筛选。上述筛选可以是选取长度方向的第一像素数量大于某一数值、宽度方向的第二像素数量大于某一数值、且裁剪图像的长宽比大于某一数值的裁剪图像，例如可以选取长度方向大于60个像素、宽度方向大于30个像素、长宽比大于2的裁剪图像。可以理解的是，在筛选时还可以根据图像的清晰度、图像的完整性等因素来筛选。
同时为了提高后续的运算速度，可以从筛选后的裁剪图像集合中选取预设数量张裁剪图像，构成新的图像集合。上述预设数量可以根据实际应用需要进行设定，本实施例对此不做限定。例如可以是10张或20张具有代表性了的图像。
本申请的上述实施例提供的目标检索方法，减小了每个目标的图像的尺寸，同时减少了每个图像集合中图像的数量，能够有效地提高后续的运算效率。
进一步参考图4，作为对上述各图所示方法的实现，本申请提供了一种目标检索装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图4所示，本实施例的目标检索装置400包括：图像集合获取单元401、特征向量提取单元402、相似度确定单元403以及概率确定单元404。
其中，图像集合获取单元401，用于获取多个图像集合。
其中，每个图像集合包括至少一张含有至少一待检目标的图像。
特征向量提取单元402，用于分别提取多个图像集合中至少部分图像所包含的待检目标的特征向量。
相似度确定单元403，用于在提取的至少部分特征向量中，分别确定每两个特征向量的相似度以及该相似度在该两个特征向量指示的待检目标所属的图像集合中的相似度排名信息。
概率确定单元404，用于根据各相似度和各相似度排名信息，确定每两个特征向量所指示的待检目标为同一目标的概率。
在本实施例的一些可选的实现方式中，上述装置400还可以包括图4中未示出的提示信息生成单元，用于响应于存在两个特征向量所指示的待检目标为同一目标的概率满足第一预设条件，生成用于询问该两个特征向量是否指示同一目标的提示信息。
在本实施例的一些可选的实现方式中，上述第一预设条件包括以下至少之一：上述概率大于预定概率阈值；上述概率位于所有概率从大到小排序的前预定比例范围。
在本实施例的一些可选的实现方式中，上述图像集合来源于视频源。上述特征向量提取单元402可以进一步包括图4中未示出的标识信息获取模块、比对列表生成模块以及特征向量提取模块。
标识信息获取模块，用于获取每个图像集合的标识信息。
上述标识信息包括该图像集合所属的视频源的第一标识信息以及该图像集合在所属的视频源中的第二标识信息。
比对列表生成模块，用于将每两个图像集合的标识信息进行比对，生成比对列表。
特征向量提取模块，用于分别提取每个图像集合中至少部分图像所包含的待检目标的特征向量，并确定比对列表中每个比对所指示的特征向量之间的相似度。
在本实施例的一些可选的实现方式中，每个图像集合中的图像包括同一待检目标。上述特征向量提取单元402还可以包括图4中未示出的比对列表优化模块。上述比对列表优化模块用于：对于上述比对列表中的每个比对，确定该比对所指示的两个图像集合的第一标识信息是否相同；响应于该比对所指示的两个图像集合的第一标识信息相同，确定该比对所指示的两个图像集合中是否存在生成时刻相同的图像；和/或，响应于该比对所指示的两个图像集合中存在生成时刻相同的图像，则删除该比对，以优化上述比对列表。
在本实施例的一些可选的实现方式中，上述比对列表优化模块用于：根据每个图像集合中每张图像的生成时刻，确定每个图像集合的平均生成时刻；对于上述比对列表中的每个比对，确定该比对指示的两个图像集合的平均生成时刻之差是否大于预设时长；响应于该比对指示的两个图像集合的平均生成时刻之差大于预设时长，删除该比对，以优化上述比对列表。
在本实施例的一些可选的实现方式中，上述特征向量提取单元402还可以进一步用于：利用预设的第一神经网络分别提取上述多个图像集合的上述至少部分图像中每张图像所包含的待检目标的特征向量。
在本实施例的一些可选的实现方式中，上述相似度确定单元403可以进一步包括图4中未示出的相似度确定模块、相似度集合确定模块以及相似度集合排名模块。
其中，相似度确定模块，用于确定比对列表中每个比对所指示的两个特征向量之间的相似度。
相似度集合确定模块，用于确定每个待检目标的相似度集合，其中，上述相似度集合包括比对列表中包含了该待检目标的比对对应的相似度。
相似度集合排名模块，用于将相似度集合中的每个相似度按照由大到小或由小到大的顺序进行排列，确定每个待检目标在各自所属的图像集合中的相似度排名信息。
在本实施例的一些可选的实现方式中，上述概率确定单元404可以进一步用于：将每两个特征向量之间的相似度以及该两个特征向量指示的待检目标在各自的相似度排序中的排名信息输入预设的分类器，基于上述分类器确定每两个特征向量所指示的待检目标为同一目标的概率。
在本实施例的一些可选的实现方式中，上述装置400还可以包括图4中未示出的分类器建立单元。该分类器建立单元用于预先建立分类器，其包括标注图像集合获取模块、相似度确定模块、相似度排序确定模块、排名确定模块以及训练模块。
其中，标注图像集合获取模块，用于获取预先标注的多个图像集合。其中，标注的信息用于表示多个图像集合中包括两个目标是否为同一目标。
相似度确定模块，用于提取每个图像集合所包含的目标的特征向量，并确定每两个特征向量之间的相似度。
相似度排序确定模块，用于根据每两个特征向量之间的相似度，确定每个特征向量与其他特征向量之间的相似度排序。
排名确定模块，用于根据上述相似度排序，确定每两个特征向量在各自的相似度排序中的排名。
训练模块，用于根据多个图像集合的标注信息、每两个特征向量之间的相似度以及上述排名训练分类器。
在本实施例的一些可选的实现方式中，上述图像集合获取单元401可以进一步包括图4中未示出的视频源获取模块、目标检测模块以及目标标注模块。
其中，视频源获取模块，用于获取多个视频源，每个视频源包括至少一个图像集合。
目标检测模块，用于利用预设的第二神经网络检测上述多个视频源中的至少部分图像，确定上述至少部分图像中的每张图像所包含的待检目标。
目标标注模块，用于对检测出的每个待检目标进行标注，得到与每个待检目标对应的标注图像集合。
在本实施例的一些可选的实现方式中，上述目标标注模块可以进一步用于：利用最小外接矩形框对检测出的每个待检目标进行标注；裁剪各标注区域，得到与每个待检目标对应的裁剪图像集合。
在本实施例的一些可选的实现方式中，上述目标标注模块可以进一步用于：确定每个上述裁剪图像集合中包含的裁剪图像的数量以及每张裁剪图像的以下参数：沿第一方向的第一像素数量、沿第二方向的第二像素数量、上述第一像素数量与上述第二像素数量的比值，其中，上述第一方向与上述第二方向分别为上述最小外接矩形的两个相邻边长的延伸方向；选取每个裁剪图像集合中满足第二预设条件的预设数量张裁剪图像，构成新的图像集合。
本申请的上述实施例提供的目标检索装置，首先确定多个图像集合，然后提取多个图像集合中至少部分图像所包含的待检目标的特征向量，然后在提取的至少部分特征向量中，确定每两个特征向量的相似度以及每个相似度在该两个特征向量指示的待检目标所属的图像集合中的相似度排名信息，最后根据各相似度以及各相似度排名信息，确定每两个特征向量所指示的待检目标为同一目标的概率。这样，利用电子设备就可以得到不同图像中的待检目标为同一目标的概率，可以实现对目标的初步检索，降低了标注人员的工作量，提高了目标检索的效率。
应当理解，目标检索装置400中记载的单元401至单元404分别与参考图1中描述的方法中的各个步骤相对应。由此，上文针对目标检索方法描述的操作和特征同样适用于装置400及其中包含的单元，在此不再赘述。装置400的相应单元可以与服务器中的单元相互配合以实现本申请实施例的方案。
本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图5，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备500的结构示意图：如图5所示，计算机***500包括一个或多个处理器、通信部等，上述一个或多个处理器例如：一个或多个中央处理单元(CPU)501，和/或一个或多个图像处理器(GPU)513等，处理器可以根据存储在只读存储器(ROM)502中的可执行指令或者从存储部分508加载到随机访问存储器(RAM)503中的可执行指令而执行各种适当的动作和处理。通信部512可包括但不限于网卡，上述网卡可包括但不限于IB(Infiniband)网卡。
处理器可与只读存储器502和/或随机访问存储器503通信以执行可执行指令，通过总线504与通信部512相连、并经通信部512与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，获取多个图像集合，其中，每个图像集合包括至少一张含有至少一待检目标的图像；分别提取上述多个图像集合中至少部分图像所包含的待检目标的特征向量；在提取的至少部分特征向量中，分别确定每两个特征向量的相似度以及该相似度在该两个特征向量指示的待检目标所属的图像集合中的相似度排名信息；根据各相似度和各相似度排名信息，确定每两个特征向量所指示的待检目标为同一目标的概率。
此外，在RAM 503中，还可存储有装置操作所需的各种程序和数据。CPU 501、ROM502以及RAM 503通过总线504彼此相连。在有RAM 503的情况下，ROM 502为可选模块。RAM503存储可执行指令，或在运行时向ROM 502中写入可执行指令，可执行指令使处理器501执行上述通信方法对应的操作。输入/输出(I/O)接口505也连接至总线504。通信部512可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
需要说明的，如图5所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图5的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明公开的保护范围。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，获取多个图像集合，其中，每个图像集合包括至少一张含有至少一待检目标的图像；分别提取上述多个图像集合中至少部分图像所包含的待检目标的特征向量；在提取的至少部分特征向量中，分别确定每两个特征向量的相似度以及该相似度在该两个特征向量指示的待检目标所属的图像集合中的相似度排名信息；根据各相似度和各相似度排名信息，确定每两个特征向量所指示的待检目标为同一目标的概率。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。
可能以许多方式来实现本发明的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (28)

1.一种目标检索方法，其特征在于，包括：
获取多个图像集合，其中，每个图像集合包括至少一张含有至少一待检目标的图像；
分别提取所述多个图像集合中至少部分图像所包含的待检目标的特征向量；
在提取的至少部分特征向量中，分别确定每两个特征向量的相似度以及该相似度在该两个特征向量指示的待检目标所属的图像集合对应的两个相似度集合中的相似度排名信息；
根据各相似度和各相似度排名信息，确定每两个特征向量所指示的待检目标为同一目标的概率。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于存在两个特征向量所指示的待检目标为同一目标的概率满足第一预设条件，生成用于询问该两个特征向量是否指示同一目标的提示信息。
3.根据权利要求2所述的方法，其特征在于，所述第一预设条件包括以下至少之一：所述概率大于预定概率阈值；所述概率位于所有概率从大到小排序的前预定比例范围。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述图像集合来源于视频源；以及
所述分别提取所述多个图像集合中至少部分图像所包含的待检目标的特征向量，包括：
获取每个图像集合的标识信息，所述标识信息包括该图像集合所属的视频源的第一标识信息以及该图像集合在所属的视频源中的第二标识信息；
将每两个图像集合的标识信息进行比对，生成比对列表；
分别提取每个图像集合中至少部分图像所包含的待检目标的特征向量，并确定所述比对列表中每个比对所指示的特征向量之间的相似度。
5.根据权利要求4所述的方法，其特征在于，每个图像集合中的图像包括同一待检目标；以及
所述方法还包括：
对于所述比对列表中的每个比对，确定该比对所指示的两个图像集合的第一标识信息是否相同；
响应于该比对所指示的两个图像集合的第一标识信息相同，确定该比对所指示的两个图像集合中是否存在生成时刻相同的图像；和/或，响应于该比对所指示的两个图像集合中存在生成时刻相同的图像，则删除该比对，以优化所述比对列表。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据每个图像集合中每张图像的生成时刻，确定每个图像集合的平均生成时刻；
对于所述比对列表中的每个比对，确定该比对指示的两个图像集合的平均生成时刻之差是否大于预设时长；
响应于该比对指示的两个图像集合的平均生成时刻之差大于预设时长，删除该比对，以优化所述比对列表。
7.根据权利要求1-3任一项所述的方法，其特征在于，所述分别提取所述多个图像集合中至少部分图像所包含的待检目标的特征向量，包括：
利用预设的第一神经网络分别提取所述多个图像集合的所述至少部分图像中每张图像所包含的待检目标的特征向量。
8.根据权利要求4所述的方法，其特征在于，所述分别确定每两个特征向量的相似度以及该相似度在该两个特征向量指示的待检目标所属的图像集合中的相似度排名信息，包括：
确定所述比对列表中每个比对所指示的两个特征向量之间的相似度；
确定每个待检目标的相似度集合，其中，所述相似度集合包括所述比对列表中包含了该待检目标的比对对应的相似度；
将所述相似度集合中的每个相似度按照由大到小或由小到大的顺序进行排列，确定每个待检目标在各自所属的图像集合中的相似度排名信息。
9.根据权利要求8所述的方法，其特征在于，所述根据各相似度和各相似度排名信息，确定每两个特征向量所指示的待检目标为同一目标的概率，包括：
将每两个特征向量之间的相似度以及该两个特征向量指示的待检目标在各自的相似度排序中的排名信息输入预设的分类器，基于所述分类器确定每两个特征向量所指示的待检目标为同一目标的概率。
10.根据权利要求9所述的方法，其特征在于，所述分类器采用以下方法预先建立：
获取预先标注的多个图像集合，其中，标注的信息用于表示多个图像集合中包括两个目标是否为同一目标；
提取每个图像集合所包含的目标的特征向量，并确定每两个特征向量之间的相似度；
根据每两个特征向量之间的相似度，确定每个特征向量与其他特征向量之间的相似度排序；
根据所述相似度排序，确定每两个特征向量在各自的相似度排序中的排名；
根据所述多个图像集合的标注信息、每两个特征向量之间的相似度以及所述排名训练分类器。
11.根据权利要求1-3任一项所述的方法，其特征在于，所述获取多个图像集合，包括：
获取多个视频源，每个视频源包括至少一个图像集合；
利用预设的第二神经网络检测所述多个视频源中的至少部分图像，确定所述至少部分图像中的每张图像所包含的待检目标；
对检测出的每个待检目标进行标注，得到与每个待检目标对应的标注图像集合。
12.根据权利要求11所述的方法，其特征在于，所述对检测出的每个待检目标进行标注，得到与每个待检目标对应的标注图像集合，包括：
利用最小外接矩形框对检测出的每个待检目标进行标注；
裁剪各标注区域，得到与每个待检目标对应的裁剪图像集合。
13.根据权利要求12所述的方法，其特征在于，所述获取多个图像集合，包括：
确定每个所述裁剪图像集合中包含的裁剪图像的数量以及每张裁剪图像的以下参数：沿第一方向的第一像素数量、沿第二方向的第二像素数量、所述第一像素数量与所述第二像素数量的比值，其中，所述第一方向与所述第二方向分别为所述最小外接矩形的两个相邻边长的延伸方向；
选取每个裁剪图像集合中满足第二预设条件的预设数量张裁剪图像，构成新的图像集合。
14.一种目标检索装置，其特征在于，所述装置包括：
图像集合获取单元，用于获取多个图像集合，其中，每个图像集合包括至少一张含有至少一待检目标的图像；
特征向量提取单元，用于分别提取所述多个图像集合中至少部分图像所包含的待检目标的特征向量；
相似度确定单元，用于在提取的至少部分特征向量中，分别确定每两个特征向量的相似度以及该相似度在该两个特征向量指示的待检目标所属的图像集合对应的两个相似度集合中的相似度排名信息；
概率确定单元，用于根据各相似度和各相似度排名信息，确定每两个特征向量所指示的待检目标为同一目标的概率。
15.根据权利要求14所述的装置，其特征在于，所述装置还包括：
提示信息生成单元，用于响应于存在两个特征向量所指示的待检目标为同一目标的概率满足第一预设条件，生成用于询问该两个特征向量是否指示同一目标的提示信息。
16.根据权利要求15所述的装置，其特征在于，所述第一预设条件包括以下至少之一：所述概率大于预定概率阈值；所述概率位于所有概率从大到小排序的前预定比例范围。
17.根据权利要求14-16任一项所述的装置，其特征在于，所述图像集合来源于视频源；以及
所述特征向量提取单元包括：
标识信息获取模块，用于获取每个图像集合的标识信息，所述标识信息包括该图像集合所属的视频源的第一标识信息以及该图像集合在所属的视频源中的第二标识信息；
比对列表生成模块，用于将每两个图像集合的标识信息进行比对，生成比对列表；
特征向量提取模块，用于分别提取每个图像集合中至少部分图像所包含的待检目标的特征向量，并确定所述比对列表中每个比对所指示的特征向量之间的相似度。
18.根据权利要求17所述的装置，其特征在于，每个图像集合中的图像包括同一待检目标；以及
所述特征向量提取单元还包括比对列表优化模块，所述比对列表优化模块用于：
对于所述比对列表中的每个比对，确定该比对所指示的两个图像集合的第一标识信息是否相同；
响应于该比对所指示的两个图像集合的第一标识信息相同，确定该比对所指示的两个图像集合中是否存在生成时刻相同的图像；和/或，响应于该比对所指示的两个图像集合中存在生成时刻相同的图像，则删除该比对，以优化所述比对列表。
19.根据权利要求17所述的装置，其特征在于，所述特征向量提取单元还包括比对列表优化模块，所述比对列表优化模块用于：
根据每个图像集合中每张图像的生成时刻，确定每个图像集合的平均生成时刻；
对于所述比对列表中的每个比对，确定该比对指示的两个图像集合的平均生成时刻之差是否大于预设时长；
响应于该比对指示的两个图像集合的平均生成时刻之差大于预设时长，删除该比对，以优化所述比对列表。
20.根据权利要求14-16任一项所述的装置，其特征在于，所述特征向量提取单元进一步用于：
利用预设的第一神经网络分别提取所述多个图像集合的所述至少部分图像中每张图像所包含的待检目标的特征向量。
21.根据权利要求17所述的装置，其特征在于，所述相似度确定单元包括：
相似度确定模块，用于确定所述比对列表中每个比对所指示的两个特征向量之间的相似度；
相似度集合确定模块，用于确定每个待检目标的相似度集合，其中，所述相似度集合包括所述比对列表中包含了该待检目标的比对对应的相似度；
相似度集合排名模块，用于将所述相似度集合中的每个相似度按照由大到小或由小到大的顺序进行排列，确定每个待检目标在各自所属的图像集合中的相似度排名信息。
22.根据权利要求21所述的装置，其特征在于，所述概率确定单元进一步用于：
将每两个特征向量之间的相似度以及该两个特征向量指示的待检目标在各自的相似度排序中的排名信息输入预设的分类器，基于所述分类器确定每两个特征向量所指示的待检目标为同一目标的概率。
23.根据权利要求22所述的装置，其特征在于，所述分类器通过分类器建立单元预先建立，所述分类器建立单元包括：
标注图像集合获取模块，用于获取预先标注的多个图像集合，其中，标注的信息用于表示多个图像集合中包括两个目标是否为同一目标；
相似度确定模块，用于提取每个图像集合所包含的目标的特征向量，并确定每两个特征向量之间的相似度；
相似度排序确定模块，用于根据每两个特征向量之间的相似度，确定每个特征向量与其他特征向量之间的相似度排序；
排名确定模块，用于根据所述相似度排序，确定每两个特征向量在各自的相似度排序中的排名；
训练模块，用于根据所述多个图像集合的标注信息、每两个特征向量之间的相似度以及所述排名训练分类器。
24.根据权利要求14-16任一项所述的装置，其特征在于，所述图像集合获取单元包括：
视频源获取模块，用于获取多个视频源，每个视频源包括至少一个图像集合；
目标检测模块，用于利用预设的第二神经网络检测所述多个视频源中的至少部分图像，确定所述至少部分图像中的每张图像所包含的待检目标；
目标标注模块，用于对检测出的每个待检目标进行标注，得到与每个待检目标对应的标注图像集合。
25.根据权利要求24所述的装置，其特征在于，所述目标标注模块进一步用于：
利用最小外接矩形框对检测出的每个待检目标进行标注；
裁剪各标注区域，得到与每个待检目标对应的裁剪图像集合。
26.根据权利要求25所述的装置，其特征在于，所述目标标注模块进一步用于：
确定每个所述裁剪图像集合中包含的裁剪图像的数量以及每张裁剪图像的以下参数：沿第一方向的第一像素数量、沿第二方向的第二像素数量、所述第一像素数量与所述第二像素数量的比值，其中，所述第一方向与所述第二方向分别为所述最小外接矩形的两个相邻边长的延伸方向；
选取每个裁剪图像集合中满足第二预设条件的预设数量张裁剪图像，构成新的图像集合。
27.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-13中任一所述的方法。
28.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-13中任一所述的方法。
CN201710500550.3A 2017-06-27 2017-06-27 目标检索方法、装置和电子设备 Active CN108229289B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710500550.3A CN108229289B (zh) 2017-06-27 2017-06-27 目标检索方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710500550.3A CN108229289B (zh) 2017-06-27 2017-06-27 目标检索方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN108229289A CN108229289A (zh) 2018-06-29
CN108229289B true CN108229289B (zh) 2021-02-05

Family

ID=62657338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710500550.3A Active CN108229289B (zh) 2017-06-27 2017-06-27 目标检索方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN108229289B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929546B (zh) * 2018-09-19 2022-11-08 北京优酷科技有限公司 人脸比对方法及装置
CN110929545A (zh) * 2018-09-19 2020-03-27 传线网络科技（上海）有限公司 人脸图像的整理方法及装置
CN110209895B (zh) * 2019-06-06 2023-09-05 创新先进技术有限公司 向量检索方法、装置和设备
CN110955792A (zh) * 2019-12-13 2020-04-03 云粒智慧科技有限公司 一种基于图片的搜索方法、装置、电子设备及存储介质
CN111444366B (zh) * 2020-04-10 2024-02-20 Oppo广东移动通信有限公司 图像分类方法、装置、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7130849B2 (en) * 2002-02-05 2006-10-31 Hitachi, Ltd. Similarity-based search method by relevance feedback
CN106354735A (zh) * 2015-07-22 2017-01-25 杭州海康威视数字技术股份有限公司 一种图像中目标的检索方法和装置
CN106682095A (zh) * 2016-12-01 2017-05-17 浙江大学 基于图的主题描述词预测及排序方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8566321B2 (en) * 2011-03-11 2013-10-22 Amco Llc Relativistic concept measuring system for data clustering
US8831358B1 (en) * 2011-11-21 2014-09-09 Google Inc. Evaluating image similarity
CN104063719B (zh) * 2014-06-27 2018-01-26 深圳市赛为智能股份有限公司 基于深度卷积网络的行人检测方法及装置
CN105095884B (zh) * 2015-08-31 2018-11-13 桂林电子科技大学 一种基于随机森林支持向量机的行人识别***及处理方法
CN106778464A (zh) * 2016-11-09 2017-05-31 深圳市深网视界科技有限公司 一种基于深度学习的行人重识别方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7130849B2 (en) * 2002-02-05 2006-10-31 Hitachi, Ltd. Similarity-based search method by relevance feedback
CN106354735A (zh) * 2015-07-22 2017-01-25 杭州海康威视数字技术股份有限公司 一种图像中目标的检索方法和装置
CN106682095A (zh) * 2016-12-01 2017-05-17 浙江大学 基于图的主题描述词预测及排序方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Spatial reasoning and similarity retrieval of images using 2D C-string knowledge representation;Suh-Yin Lee等;《Pattern Recognition》;19920331;第25卷(第3期);第305-318页 *
基于多相似度融合图像检索技术研究;石宽;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150815(第8期);第I138-1285页 *

Also Published As

Publication number Publication date
CN108229289A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
CN108229289B (zh) 目标检索方法、装置和电子设备
CN109284729B (zh) 基于视频获取人脸识别模型训练数据的方法、装置和介质
US9014467B2 (en) Image processing method and image processing device
Peng et al. RGBD salient object detection: A benchmark and algorithms
US9652694B2 (en) Object detection method, object detection device, and image pickup device
JP7038744B2 (ja) 顔画像検索方法およびシステム、撮影装置、ならびにコンピュータ記憶媒体
US10438050B2 (en) Image analysis device, image analysis system, and image analysis method
Ham et al. Automated content-based filtering for enhanced vision-based documentation in construction toward exploiting big visual data from drones
CN110532970B (zh) 人脸2d图像的年龄性别属性分析方法、***、设备和介质
JP5351958B2 (ja) デジタルコンテンツ記録のための意味論的イベント検出
CN114258559A (zh) 用于标识具有不受控制的光照条件的图像中的肤色的技术
US9418297B2 (en) Detecting video copies
US9626577B1 (en) Image selection and recognition processing from a video feed
CN108229418B (zh) 人体关键点检测方法和装置、电子设备、存储介质和程序
US8374454B2 (en) Detection of objects using range information
CN110059666B (zh) 一种注意力检测方法及装置
JP2015082245A (ja) 画像処理装置、画像処理方法及びプログラム
JP5936561B2 (ja) 画像における外観及びコンテキストに基づく物体分類
CN113496208B (zh) 视频的场景分类方法及装置、存储介质、终端
CN115115825B (zh) 图像中的对象检测方法、装置、计算机设备和存储介质
US20170053172A1 (en) Image processing apparatus, and image processing method
CN117809124B (zh) 基于多特征融合的医学图像关联调用方法及***
Shi et al. Phenotyping multiple maize ear traits from a single image: Kernels per ear, rows per ear, and kernels per row
CN114005140A (zh) 一种人员识别方法、装置、设备、行人监控***及存储介质
CN110019951B (zh) 一种生成视频缩略图的方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant