CN111860559A - 图像处理方法、装置、电子设备和存储介质 - Google Patents
图像处理方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111860559A CN111860559A CN201911404681.7A CN201911404681A CN111860559A CN 111860559 A CN111860559 A CN 111860559A CN 201911404681 A CN201911404681 A CN 201911404681A CN 111860559 A CN111860559 A CN 111860559A
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- matching degree
- candidate object
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种图像处理方法、装置、电子设备和存储介质，所述方法包括：获取待处理视频中的多帧图像；确定所述多帧图像中的不同帧图像之间的候选对象匹配度集合；所述候选对象匹配度集合中的每个候选对象匹配度是指位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的匹配度；根据所述候选对象匹配度集合，从候选对象中选取对应的所述匹配度符合预设条件的至少一个目标对象；针对所述至少一个目标对象中的每个目标对象，从该目标对象所在的不同帧图像中选取一帧图像，从选取的一帧图像中获取该目标对象的特征信息。本申请实施例能够提高设备的利用率。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置、电子设备和存储介质。
背景技术
摄像头获取到视野中的视频后，将视频中的每一帧图像输入到机器学习模型进行处理，得到每一帧图像中包括的对象。
机器学习模型在对视频中的各帧图像进行处理时，往往会对视频序列中的运动对象和静止对象同时进行处理，当视频序列中存在多个静止对象时，不同帧图像中可能存在同一个静止对象，机器学习模型会对包含相同静止对象的不同图像分别进行处理，并从不同图像中的每个图像中获取静止对象的相关信息，这样，对设备的计算性能带来浪费，降低设备的利用率。
发明内容
有鉴于此，本申请实施例的目的在于提供一种图像处理方法、装置、电子设备和存储介质，用以提高设备的利用率。
第一方面，本申请实施例提供了一种图像处理方法，该方法包括：
获取待处理视频中的多帧图像；
确定所述多帧图像中的不同帧图像之间的候选对象匹配度集合；所述候选对象匹配度集合中的每个候选对象匹配度是指位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的匹配度；
根据所述候选对象匹配度集合，从候选对象中选取对应的所述匹配度符合预设条件的至少一个目标对象；
针对所述至少一个目标对象中的每个目标对象，从该目标对象所在的不同帧图像中选取一帧图像，从选取的一帧图像中获取该目标对象的特征信息。
在一种实施方式中，所述匹配度包括图像匹配度和距离匹配度，根据所述候选对象匹配度集合，从候选对象中选取对应的所述匹配度符合预设条件的至少一个目标对象，包括：
将对应的图像匹配度大于第一匹配度阈值、且对应的距离匹配度大于第二匹配度阈值的候选对象确定为所述至少一个目标对象。
在一种实施方式中，根据以下步骤确定所述距离匹配度：
确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象分别对应的图像位置区域之间的重叠面积；
确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象分别对应的图像位置区域的面积之和；
基于所述重叠面积与所述面积之和，确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度。
在一种实施方式中，基于所述重叠面积与所述面积之和，确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度，包括：
将所述重叠面积与所述面积之和的比值作为位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度；或者，
确定所述面积之和与所述重叠面积的差值；
将所述重叠面积和所述差值的比值作为位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度。
在一种实施方式中，根据以下步骤确定所述图像匹配度：
提取多帧图像中的每帧图像中的候选对象的特征向量；
基于位于一帧图像中的一个候选对象的特征向量，和位于另一帧图像中的一个候选对象的特征向量，确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象的图像匹配度。
在一种实施方式中，从该目标对象所在的不同帧图像中选取一帧图像，包括：
分别确定该目标对象在不同帧图像中的每帧图像中的面积；
将对应的所述面积最大的一帧图像确定为选取的一帧图像。
在一种实施方式中，还包括：
确定不符合所述预设条件的非目标对象；
从所述非目标对象所在的不同图像中分别提取所述非目标对象的特征信息。
在一种实施方式中，还包括：
从所述非目标对象中，确定图像匹配度大于第一匹配度阈值、距离匹配度小于或者等于第二匹配度阈值的第一对象；
从第一对象所在的不同帧图像中选择一帧图像，从选取的一帧图像中确定所述第一对象的特征信息。
在一种实施方式中，还包括：
获取用户端的信息查询请求；所述信息查询请求中携带有待查询对象对应的图像；
基于所述待查询对象对应的图像，以及预先提取的各个所述目标对象和非目标对象的特征信息，生成查询结果。
第二方面，本申请实施例提供了一种图像处理装置，该装置包括：
获取模块，用于获取待处理视频中的多帧图像；
确定模块，用于确定所述多帧图像中的不同帧图像之间的候选对象匹配度集合；所述候选对象匹配度集合中的每个候选对象匹配度是指位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的匹配度；
选取模块，用于根据所述候选对象匹配度集合，从候选对象中选取对应的所述匹配度符合预设条件的至少一个目标对象；
提取模块，用于针对所述至少一个目标对象中的每个目标对象，从该目标对象所在的不同帧图像中选取一帧图像，从选取的一帧图像中获取该目标对象的特征信息。
在一种实施方式中，所述匹配度包括图像匹配度和距离匹配度，所述选取模块用于根据以下步骤从候选对象中选取对应的所述匹配度符合预设条件的至少一个目标对象：
将对应的图像匹配度大于第一匹配度阈值、且对应的距离匹配度大于第二匹配度阈值的候选对象确定为所述至少一个目标对象。
在一种实施方式中，所述确定模块用于根据以下步骤确定所述距离匹配度：
确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象分别对应的图像位置区域之间的重叠面积；
确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象分别对应的图像位置区域的面积之和；
基于所述重叠面积与所述面积之和，确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度。
在一种实施方式中，所述确定模块用于根据一下步骤确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度：
将所述重叠面积与所述面积之和的比值作为位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度；或者，
确定所述面积之和与所述重叠面积的差值；
将所述重叠面积和所述差值的比值作为位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度。
在一种实施方式中，所述确定模块用于根据以下步骤确定所述图像匹配度：
提取多帧图像中的每帧图像中的候选对象的特征向量；
基于位于一帧图像中的一个候选对象的特征向量，和位于另一帧图像中的一个候选对象的特征向量，确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象的图像匹配度。
在一种实施方式中，所述选取模块用于根据以下步骤从该目标对象所在的不同帧图像中选取一帧图像：
分别确定该目标对象在不同帧图像中的每帧图像中的面积；
将对应的所述面积最大的一帧图像确定为选取的一帧图像。
在一种实施方式中，所述确定模块还用于：
确定不符合所述预设条件的非目标对象；
所述提取模块还用于：
从所述非目标对象所在的不同图像中分别提取所述非目标对象的特征信息。
在一种实施方式中，所述确定模块还用于：
从所述非目标对象中，确定图像匹配度大于第一匹配度阈值、距离匹配度小于或者等于第二匹配度阈值的第一对象；
所述提取模块还用于：
从第一对象所在的不同帧图像中选择一帧图像，从选取的一帧图像中确定所述第一对象的特征信息。
在一种实施方式中，还包括：生成模块，
所述获取模块还用于：
获取用户端的信息查询请求；所述信息查询请求中携带有待查询对象对应的图像；
所述生成模块：用于基于所述待查询对象对应的图像，以及预先提取的各个所述目标对象和非目标对象的特征信息，生成查询结果。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行上述图像处理方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述图像处理方法的步骤。
本申请实施例提供的图像处理方法，获取待处理视频中的多帧图像，确定多帧图像中的不同帧图像之间的候选对象匹配度集合，其中，候选对象匹配度集合中的每个候选对象匹配度是指位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的匹配度；根据候选对象匹配度集合，从候选对象中选取对应的匹配度符合预设条件的至少一个目标对象，针对至少一个目标对象中的每个目标对象，从该目标对象所在的不同帧图像中选取一帧图像，从选取的一帧图像中获取该目标对象的特征信息。这样，仅从包含目标对象的一帧图像中提取目标对象的特征信息，而不是从包含目标对象的各个图像中提取目标对象的特征信息，提高了设备的利用率，也提高了提取目标对象的特征信息的效率。
本申请的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的一种图像处理方法的架构示意图；
图2A示出了本申请实施例提供的一种图像中显示候选对象的第一种示意图；
图2B示出了本申请实施例提供的一种图像中显示候选对象的第二种示意图；
图3示出了本申请实施例提供的一种图像处理方法的第二种流程示意图；
图4示出了本申请实施例提供的一种图像处理方法的第三种流程示意图；
图5示出了本申请实施例提供的一种重叠区域的示意图；
图6示出了本申请实施例提供的一种图像处理装置的结构示意图；
图7示出了本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
本申请实施例的图像处理方法可以应用于图像处理的终端设备(如，服务器等)，也可以应用于其它任意具有处理功能的计算设备。在一些实施例中，上述服务器或计算设备可以包括处理器。处理器可以处理与服务请求有关的信息和/或数据，以执行本申请中描述的一个或多个功能。
相关技术中，在使用机器学习模型对视频中的图像进行处理时，由于机器学习模型中会预先设置有能够检测的对象的预设数目，在视频中包括的待检测对象的数目大于预设数目后，机器学习模型不能识别超出预设数目的待检测对象，从而会造成漏检现象。
为了便于描述，本申请提出了一种图像处理方法，获取待处理视频中的多帧图像，确定多帧图像中的不同帧图像之间的候选对象匹配度集合，其中，候选对象匹配度集合中的每个候选对象匹配度是指位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的匹配度；根据候选对象匹配度集合，从候选对象中选取对应的匹配度符合预设条件的至少一个目标对象，针对至少一个目标对象中的每个目标对象，从该目标对象所在的不同帧图像中选取一帧图像，从选取的一帧图像中获取该目标对象的特征信息。这样，仅从包含目标对象的一帧图像中提取目标对象的特征信息，而不是从包含目标对象的各个图像中提取目标对象的特征信息，提高了设备的利用率，也提高了提取目标对象的特征信息的效率。
本申请实施例提供了一种图像处理方法，如图1所示，该方法应用于终端设备中，该方法具体包括以下步骤：
S101，获取待处理视频中的多帧图像。
待处理视频可以是通过设置于建筑物的摄像设备获取的，也可以是设置在道路中的标志杆上的摄像设备获取的，其中，建筑物可以是教学楼、商场、写字楼等，摄像头可以设置在建筑物的内部，也可以设置在建筑物的外部，可以根据实际情况确定。
待处理视频中包括连续的多帧图像，连续的多帧图像形成图像序列，待处理视频中的每帧图像中包括多个候选对象，不同的拍摄场景拍摄的待处理视频中包括的候选对象的类型一般不同，不同拍摄场景中的候选对象可以是人脸、动物、车辆等，如，在道路上拍摄的待处理视频中的候选对象可以为车辆以及车辆的车牌号，在商场拍摄的待处理视频中的候选对象可以为人脸等等。
S102，确定所述多帧图像中的不同帧图像之间的候选对象匹配度集合；所述候选对象匹配度集合中的每个候选对象匹配度是指位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的匹配度。
图像匹配度集合包括图像、图像中包括的候选对象以及候选对象与候选对象之间的候选匹配度，其中，候选匹配度为两个不同的图像中的对象之间的候选匹配度，图像匹配度集合中包括的候选对象可以为静止对象和运动对象，静止对象为不同图像中包括的同一个候选对象，且同一个候选对象在不同图像中的位置相接近(参考图2A)，而运动对象为不同图像中包括的同一个候选对象，且该同一个候选对象在不同图像中的位置相差较大，参考图2B。
候选对象匹配度包括图像匹配度和距离匹配度，其中，图像匹配度表征位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的相似度，相似度越高表征两个候选对象之间的相似程度越高，说明两个候选对象为同一个对象的概率越大；距离匹配度表征位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离，距离越近表征两个候选对象在对应图像中的位置越接近，当距离越接近时，说明候选对象为静止对象的概率越大，反之，则说明候选对象为运动对象。
以下分别介绍距离匹配度和图像匹配度的确定过程。
如图3所示，根据以下步骤确定图像匹配度：
S301，提取多帧图像中的每帧图像中的候选对象的特征向量。
S302，基于位于一帧图像中的一个候选对象的特征向量，和位于另一帧图像中的一个候选对象的特征向量，确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象的图像匹配度。
在S301中，候选对象的特征向量用于表征候选对象的结构和语义，每个候选对象对应一个特征向量。
在S302中，可以通过欧式距离、曼哈顿距离、马氏距离、和汉明距离等相似度计算方法确定图像匹配度(又称相似度)，在具体实施过程中，利用欧式距离确定一个候选对象与另一个候选对象之间的图像匹配度。
在具体实施过程中，在得到多帧图像后，可以针对多帧图像中的每帧图像，将该图像输入到预设的特征向量提取模型中，得到该图像中包括的各个候选对象的特征向量。其中，特征向量提取模型可以为卷积神经网络模型、长短期记忆网络模型等模型。
每得到一帧图像中包括的至少一个候选对象的特征向量，将该一帧图像作为当前帧图像，针对当前帧图像中的每一个候选对象，利用该候选对象的特征向量，以及上一帧图像中的各个候选对象的特征向量，以及欧式距离公式，计算该候选对象分别与上一帧图像中的各个候选对象之间的图像匹配度，也就是，针对当前帧图像中的每一个候选对象，将该候选对象的特征向量分别和上一帧图像中的各个候选对象的特征向量，输入到欧氏距离公式中，得到该候选对象分别与上一帧图像中的每个候选对象之间的图像匹配度。其中，利用欧式距离计算公式计算图像匹配度的过程不再这里展开叙述，在计算候选对象与候选对象之间的图像匹配度时一般从第二帧图像开始计算。
例如，以待处理视频中的第一帧图像和第二帧图像为例进行说明，第一帧图像中包括三个候选对象，分别为A1、A2和A3，第二帧图像中包括两个候选对象，分别为B1和B2，在分别提取到A1、A2、A3、B1和B2的特征向量后，针对第二帧图像中的B1，利用B1的特征向量分别和A1、A2、A3分别对应的特征向量，输入到欧式距离计算公式中，计算B1分别与A1、A2、A3之间的图像匹配度，针对第二帧图像中的B2，利用B2的特征向量分别和A1、A2、A3分别对应的特征向量，输入到欧式距离计算公式中，计算B2分别与A1、A2、A3之间的图像匹配度。
在确定图像匹配度时，可以在每提取一帧图像中包括的候选对象的特征向量时，确定图像匹配度，也可以在提取出待处理视频中的各帧图像中的候选对象的特征向量后，再确定图像匹配度，本申请不限制此执行顺序。
在提取出每帧图像中的候选对象的特征向量后，图像匹配度可以是利用当前帧图像中包括的候选对象的特征向量与上一帧图像包括的候选对象的特征向量，确定的匹配度，也可以利用当前帧图像包括的候选对象的特征向量，与当前帧图像之后的每一帧图像中包括的候选对象的特征向量，确定的匹配度，可以根据实际情况确定。其中，利用当前帧图像与之后的每一帧图像确定匹配度时，可以在提取出待处理视频中的各帧图像中的候选对象的特征向量后再执行；每两个候选对象之间的图像匹配度的确定过程与上述过程相似，此处不再进行过多说明。
当利用当前帧图像与上一帧图像确定图像匹配度时，若当前帧图像中出现了一个候选对象未包含在上一帧图像，但是该一个候选对象可能在上一帧图像之前的图像中出现过，那么，在得到当前帧图像中的每个候选对象对应的图像匹配度后，若第一候选对象对应的图像匹配度小于第一设定匹配度阈值，则针对第一候选对象，利用该第一候选对象的特征向量与上一帧图像之前的图像中包括的候选对象的特征向量，计算该第一候选对象，与上一帧图像之前的图像中包括的候选对象之间的图像匹配度。其中，计算图像匹配度的过程不进行赘述。这样，当候选对象在之前图像被遮挡，但是在之后图像中重新出现时，利用该种方式可以得到此类候选对象的图像匹配度，减少得到的候选图像匹配度集合中包括相同的候选对象。
如图4所示，根据以下步骤确定所述距离匹配度：
S401，确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象分别对应的图像位置区域之间的重叠面积；
S402，确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象分别对应的图像位置区域的面积之和；
S403，基于所述重叠面积与所述面积之和，确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度。
在S401中，图像位置区域用于表征候选对象在图像中所处的位置，以及候选对象在图像相应位置所占的区域；重叠面积用于表征两个图像中的两个候选对象对应的图像位置区域发生重叠的区域的面积，重叠区域可以参考图5。
在S402中，面积之和可以为一帧图像中一个候选对象的图像位置区域的面积，与另一帧图像中一个候选对象的图像位置区域的面积的和值。
在S403中，具体包括以下两种实现方式：
将所述重叠面积与所述面积之和的比值作为位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度；或者，
确定所述面积之和与所述重叠面积的差值；
将所述重叠面积和所述差值的比值作为位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度。
在具体实施过程中，在计算距离匹配度时，可以利用待处理视频中的每两帧图像进行计算，也可以利用已得到图像匹配度的候选对象对应的图像进行计算，本申请对此不予限制。为了减少计算距离匹配度时的计算量，一般选择已得到图像匹配度的候选对象对应的图像进行计算，将已得到图像匹配度的候选对象对应的图像作为第一图像集，且第一图像在第一图像集中按照该第一图像在待处理视频中的时间点由小到大的顺序进行排序。
在利用第一图像集中的图像计算图像匹配度时，可选择相邻两帧第一图像进行计算，也可以计算第一图像集中每两帧图像之间距离匹配度，可以根据实际情况确定。在具体实施过程中，考虑到可能存在多个图像中包括同一候选对象，那么在计算距离匹配度时，计算每两帧图像之间的距离匹配度的计算量比较大，为了减少计算量，可以利用相邻两帧图像计算候选对象之间的距离匹配度，以下介绍距离匹配度的计算过程。
确定图像匹配度的方式一：
在得到图像匹配度后，从第一图像集中选取相邻两帧图像，计算位于一帧第一图像中的一个候选对象，与位于另一帧第一图像中的一个候选对象分别对应的图像位置区域之间的重叠面积，以及，计算确定位于一帧第一图像中的一个候选对象，与位于另一帧第一图像中的一个候选对象分别对应的图像位置区域的面积之和，计算该面积之和与重叠面积的差值，计算重叠面积和该差值的比值，将该比值作为位于一帧第一图像中的一个候选对象，与位于另一帧第一图像中的一个候选对象之间的距离匹配度。
例如，两帧第一图像分别为T1和T2，图像T1中包括的候选对象A1，图像T2中包括的候选对象为A2，候选对象A1在图像T1中对应的图像位置区域的面积为S1，候选对象A2在图像T2中对应的图像位置区域的面积为S2，候选对象A1与候选对象A2之间的重叠面积为S0，候选对象A1与候选对象A2之间的距离匹配度为S0/(S1+S2-S0)。
确定图像匹配度的方式二：
在得到图像匹配度后，从第一图像集中选取相邻两帧图像，计算位于一帧第一图像中的一个候选对象，与位于另一帧第一图像中的一个候选对象分别对应的图像位置区域之间的重叠面积，以及，计算确定位于一帧第一图像中的一个候选对象，与位于另一帧第一图像中的一个候选对象分别对应的图像位置区域的面积之和，计算重叠面积和面积之和的比值，将该比值作为位于一帧第一图像中的一个候选对象，与位于另一帧第一图像中的一个候选对象之间的距离匹配度。
例如，两帧第一图像分别为T1和T2，图像T1中包括的候选对象A1，图像T2中包括的候选对象为A2，候选对象A1在图像T1中对应的图像位置区域的面积为S1，候选对象A2在图像T2中对应的图像位置区域的面积为S2，候选对象A1与候选对象A2之间的距离匹配度为S0/(S1+S2)。
S103，根据所述候选对象匹配度集合，从候选对象中选取对应的所述匹配度符合预设条件的至少一个目标对象；
预设条件为图像匹配度大于第一匹配度阈值、且距离匹配度大于第二匹配度阈值，其中，第一匹配度阈值和第二匹配度阈值一般为预先设置的，可以根据实际情况设置。
符合预设条件的目标对象一般为静止对象。
在执行S103时，可以将对应的图像匹配度大于第一匹配度阈值、且对应的距离匹配度大于第二匹配度阈值的候选对象确定为所述至少一个目标对象。
在具体实施过程中，在确定到候选对象匹配度集合后，从候选对象匹配度集合中，选择对应的图像匹配度大于第一匹配度阈值、且对应的距离匹配度大于第二匹配度阈值的至少一个候选对象，将选择的至少一个候选对象确定为至少一个目标对象。
例如，候选对象匹配度集合中包括的图像匹配度为α1、α2、α3……α10，距离匹配度为β1、β2、β3……β10，第一匹配度阈值为α0，第二匹配度阈值为β0，若α1、α2、α3均大于α0，β1、β2、β3均大于第二匹配度阈值β0，α1、α2、α3、β1、β2、β3对应的候选对象为A1、A2、A3、A4，则将A1、A2、A3、A4确定为目标对象。
S104，针对所述至少一个目标对象中的每个目标对象，从该目标对象所在的不同帧图像中选取一帧图像，从选取的一帧图像中获取该目标对象的特征信息。
这里，特征信息包括目标对象对应的图像块、目标对象的属性信息、包括目标对象的图像在待处理视频中的位置、待处理视频的获取时间、以及获取待处理视频的摄像设备的位置信息等信息，其中，目标对象对应的图像块可以为包括目标对象的图像，目标对象的属性信息包括目标对象的形状、颜色、结构等信息，包括目标对象的图像在待处理视频中的位置为包括目标对象的图像在待处理视频中时间点，待处理视频的获取时间为摄像设备采集待处理视频的时间，获取待处理视频的摄像设备的位置信息可以为摄像设备所处位置的GPS信息。
符合预设条件的目标对象在待处理视频中基本保持位置不变的候选对象，但是，当候选对象在待处理视频中发生轻微晃动时，认为该待处理对象为静止对象，例如，当候选对象为人时，人可能在原地晃动，那么，此时认为该人也为静止对象。
在从目标对象所在的不同帧图像中选取一帧图像时，可以从包含该目标图像的不同图像中任意选取一帧图像，考虑到当目标对象距离摄像设备越近时，摄像设备拍摄目标对象越大、且包含目标对象的图像的清晰度越高，为了提高提取的目标对象的特征信息的准确度，在选取一帧图像时，选取包含的目标对象的面积最大的图像，即，根据下方式从不同图像中选取一帧图像：
确定该目标对象在不同帧图像中的每帧图像中的面积；
将对应的所述面积最大的一帧图像确定为选取的一帧图像。
具体地，面积为目标对象在图像中所占区域的面积。
在具体实施过程中，在得到至少一个目标对象后，针对每个目标对象，确定包含该目标对象的不同帧图像(至少两帧图像)，分别确定该目标对象在不同帧图像中的每帧图像中的面积，将最大面积对应的一帧图像确定为选取的一帧图像。
例如，以目标对象A为例进行说明，包含目标对象A的图像为T1、T2、T3、T4，目标对象A在T1中的面积为S1、目标对象A在T2中的面积为S2、目标对象A在T3中的面积为S3和目标对象A在T4中的面积为S4，目标对象A在T3中的面积S3为最大的面积，则图像T3为确定的一帧图像。
在确定一帧图像后，从该一帧图像中提取目标对象的特征信息，可以通过机器学习模型从该一帧图像中提取目标对象的特征信息，也可以通过信息提取算法从该一帧图像中提取目标对象的特征信息，本申请对此不予限制。
在将符合预设条件的候选对象确定为目标对象后，可以将不符合预设条件的候选对象确定为非目标对象，从所述非目标对象所在的图像中提取所述非目标对象的特征信息。其中，非目标对象的特征信息包括非目标对象对应的图像块、非目标对象的属性信息、包括非目标对象的图像在待处理视频中的位置、待处理视频的获取时间、以及获取待处理视频的摄像设备的位置信息等信息。
非目标对象一般为运动对象，非目标对象的图像匹配度小于或者等于第一预设阈值、且距离匹配度大于第二匹配度阈值的候选对象，或者，非目标对象的图像匹配度小于或者等于第一预设阈值、且距离匹配度小于第二匹配度阈值的候选对象。
非目标对象可以包含在一帧图像中，也可以包含在多帧图像中，比如，图像匹配度小于或者等于第一预设阈值、且距离匹配度大于第二匹配度阈值的候选对象，该非目标对象包含在待处理视频中的多帧图像中；图像匹配度小于或者等于第一预设阈值、且距离匹配度小于第二匹配度阈值的候选对象是，该非目标对象仅包含在一帧图像中。
针对非目标对象包含在一帧图像中的情况，从一帧图像中提取非目标对象的特征信息，可以通过机器学习模型从一帧图像中提取非目标对象的特征信息，也可以通过信息提取算法从一帧图像中提取非目标对象的特征信息，本申请对此不与限制。
针对非目标对象包含在多帧图像中的情况，从非目标对象中，确定图像匹配度大于第一匹配度阈值、距离匹配度小于或者等于第二匹配度阈值的第一对象；从第一对象所在的不同帧图像中选择一帧图像，从选取的一帧图像中确定所述第一对象的特征信息。
针对多帧图像中包括的非目标对象(运动对象)，可以从非目标对象所在的不同帧图像中分别提取非目标对象的特征信息，在非目标对象为车牌或人脸时，也可以从非目标对象所在的不同帧图像中选择任意一帧图像。
在从非目标对象所在的不同帧图像中选择一帧图像时，考虑到包含该运动对象的多帧图像中的场景一般为候选对象朝向摄像设备由远及近的运动，那么，越靠近摄像设备时，摄像设备拍摄的候选对象越清晰，也就是，非目标对象在图像中所占的面积最大，那么提取得到的特征信息的准确度越高，因此，在从包含非目标对象的不同帧图像中提取一帧图像中，首先，确定每帧图像包含的非目标对象的面积，将面积最大的一帧图像确定为最终提取特征信息的图像，这样，提取得到的非目标对象(第一对象)的特征信息的准确度较高。其中，特征信息的提取过程可以参考上述目标对象的特征信息的提取过程。
在将第一对象的面积最大图像作为最终提取特征信息的图像时，该图像中可能仅包含部分第一对象，也就是，第一对象在最终提取特征信息的图像中并不完整，为了保证第一对象的完整性，在选择该一帧图像时，结合面积和图像匹配度进行选择，即，在对应的图像匹配度最大的两帧图像中，选择面积最大的图像，将最终选择的该一帧图像作为最终提取特征信息的图像。
终端设备中在提取得到目标对象的特征信息和非目标对象的特征信息后，可以将目标对象的特征信息和非目标对象的特征信息存储在终端设备的数据表中，或者数据库中，以便于利用数据库中的特征信息和数据表中的特征进行嫌疑人查找、丢失儿童查找、车辆查找等等，可以根据实际情况确定。
以下结合特征信息的应用场景进行介绍：
获取用户端的信息查询请求；所述信息查询请求中携带有待查询对象对应的图像；
基于所述待查询对象对应的图像，以及预先提取的各个所述目标对象和非目标对象的特征信息，生成查询结果。
这里，待查询对象可以为嫌疑人、丢失人口、丢失车辆等等，对应不同的应用场景待查询对象不同。
在具体实施过程中，在获取到用户端的待查询对象的图像后，利用待查询对象的图像以及预先提取的各个目标对象的图像块、非目标对象的图像块，从目标对象和非目标对象中，确定与待查询对象匹配的对象，也就是，比对待查询对象的图像特征和数据库中目标对象的图像特征、非目标对象的图像特征，若数据库中存在目标对象或非目标对象的图像特征与待查询对象的图像特征相同，则可以为该待查询对象确定匹配对象，进一步，从数据库中提取该匹配对象对应的特征信息，将提取的特征信息作为最终的查询结果，并将该查询结果反馈给用户端。这样，可以为用户端快速定位到待查询对象在历史时间点出现的位置，以及为用户端提供待查询对象的相关信息。
本申请实施例提供的图像处理方法，获取待处理视频中的多帧图像，确定多帧图像中的不同帧图像之间的候选对象匹配度集合，其中，候选对象匹配度集合中的每个候选对象匹配度是指位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的匹配度；根据候选对象匹配度集合，从候选对象中选取对应的匹配度符合预设条件的至少一个目标对象，针对至少一个目标对象中的每个目标对象，从该目标对象所在的不同帧图像中选取一帧图像，从选取的一帧图像中获取该目标对象的特征信息。这样，仅从包含目标对象的一帧图像中提取目标对象的特征信息，而不是从包含目标对象的各个图像中提取目标对象的特征信息，提高了设备的利用率，也提高了提取目标对象的特征信息的效率。
基于同一发明构思，本申请实施例中还提供了图像处理方法对应的图像处理装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述图像处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
本申请实施例提供了一种图像处理装置，如图6所示，该装置包括：
获取模块61，用于获取待处理视频中的多帧图像；
确定模块62，用于确定所述多帧图像中的不同帧图像之间的候选对象匹配度集合；所述候选对象匹配度集合中的每个候选对象匹配度是指位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的匹配度；
选取模块63，用于根据所述候选对象匹配度集合，从候选对象中选取对应的所述匹配度符合预设条件的至少一个目标对象；
提取模块64，用于针对所述至少一个目标对象中的每个目标对象，从该目标对象所在的不同帧图像中选取一帧图像，从选取的一帧图像中获取该目标对象的特征信息。
在一种实施方式中，所述匹配度包括图像匹配度和距离匹配度，所述选取模块63用于根据以下步骤从候选对象中选取对应的所述匹配度符合预设条件的至少一个目标对象：
将对应的图像匹配度大于第一匹配度阈值、且对应的距离匹配度大于第二匹配度阈值的候选对象确定为所述至少一个目标对象。
在一种实施方式中，所述确定模块62用于根据以下步骤确定所述距离匹配度：
确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象分别对应的图像位置区域之间的重叠面积；
确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象分别对应的图像位置区域的面积之和；
基于所述重叠面积与所述面积之和，确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度。
在一种实施方式中，所述确定模块62用于根据一下步骤确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度：
将所述重叠面积与所述面积之和的比值作为位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度；或者，
确定所述面积之和与所述重叠面积的差值；
将所述重叠面积和所述差值的比值作为位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度。
在一种实施方式中，所述确定模块62用于根据以下步骤确定所述图像匹配度：
提取多帧图像中的每帧图像中的候选对象的特征向量；
基于位于一帧图像中的一个候选对象的特征向量，和位于另一帧图像中的一个候选对象的特征向量，确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象的图像匹配度。
在一种实施方式中，所述选取模块63用于根据以下步骤从该目标对象所在的不同帧图像中选取一帧图像：
分别确定该目标对象在不同帧图像中的每帧图像中的面积；
将对应的所述面积最大的一帧图像确定为选取的一帧图像。
在一种实施方式中，所述确定模块62还用于：
确定不符合所述预设条件的非目标对象；
所述提取模块64还用于：
从所述非目标对象所在的图像中提取所述非目标对象的特征信息。
在一种实施方式中，所述确定模块62还用于：
从所述非目标对象中，确定图像匹配度大于第一匹配度阈值、距离匹配度小于或者等于第二匹配度阈值的第一对象；
所述提取模块64还用于：
从第一对象所在的不同帧图像中选择一帧图像，从选取的一帧图像中确定所述第一对象的特征信息。
在一种实施方式中，还包括：生成模块65，
所述获取模块61还用于：
获取用户端的信息查询请求；所述信息查询请求中携带有待查询对象对应的图像；
所述生成模块65：用于基于所述待查询对象对应的图像，以及预先提取的各个所述目标对象和非目标对象的特征信息，生成查询结果。
本申请实施例还提供了一种电子设备70，如图7所示，为本申请实施例提供的电子设备70结构示意图，包括：处理器71、存储器72、和总线73。所述存储器72存储有所述处理器71可执行的机器可读指令(比如，图6中的装置中获取模块61、确定模块62、选取模块63和提取模块64对应的执行指令等)，当电子设备70运行时，所述处理器71与所述存储器72之间通过总线73通信，所述机器可读指令被所述处理器71执行时执行如下处理：
获取待处理视频中的多帧图像；
确定所述多帧图像中的不同帧图像之间的候选对象匹配度集合；所述候选对象匹配度集合中的每个候选对象匹配度是指位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的匹配度；
根据所述候选对象匹配度集合，从候选对象中选取对应的所述匹配度符合预设条件的至少一个目标对象；
针对所述至少一个目标对象中的每个目标对象，从该目标对象所在的不同帧图像中选取一帧图像，从选取的一帧图像中获取该目标对象的特征信息。
一种可能的实施方式中，处理器71执行的指令中，所述匹配度包括图像匹配度和距离匹配度，根据所述候选对象匹配度集合，从候选对象中选取对应的所述匹配度符合预设条件的至少一个目标对象，包括：
将对应的图像匹配度大于第一匹配度阈值、且对应的距离匹配度大于第二匹配度阈值的候选对象确定为所述至少一个目标对象。
一种可能的实施方式中，处理器71执行的指令中，根据以下步骤确定所述距离匹配度：
确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象分别对应的图像位置区域之间的重叠面积；
确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象分别对应的图像位置区域的面积之和；
基于所述重叠面积与所述面积之和，确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度。
一种可能的实施方式中，处理器71执行的指令中，基于所述重叠面积与所述面积之和，确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度，包括：
将所述重叠面积与所述面积之和的比值作为位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度；或者，
确定所述面积之和与所述重叠面积的差值；
将所述重叠面积和所述差值的比值作为位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度。
一种可能的实施方式中，处理器71执行的指令中，根据以下步骤确定所述图像匹配度：
提取多帧图像中的每帧图像中的候选对象的特征向量；
基于位于一帧图像中的一个候选对象的特征向量，和位于另一帧图像中的一个候选对象的特征向量，确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象的图像匹配度。
一种可能的实施方式中，处理器71执行的指令中，从该目标对象所在的不同帧图像中选取一帧图像，包括：
分别确定该目标对象在不同帧图像中的每帧图像中的面积；
将对应的所述面积最大的一帧图像确定为选取的一帧图像。
一种可能的实施方式中，处理器71执行的指令中，还包括：
确定不符合所述预设条件的非目标对象；
从所述非目标对象所在的图像中提取所述非目标对象的特征信息。
一种可能的实施方式中，处理器71执行的指令中，从所述非目标对象中，确定图像匹配度大于第一匹配度阈值、距离匹配度小于或者等于第二匹配度阈值的第一对象；
从第一对象所在的不同帧图像中选择一帧图像，从选取的一帧图像中确定所述第一对象的特征信息。
一种可能的实施方式中，处理器71执行的指令中，还包括：
获取用户端的信息查询请求；所述信息查询请求中携带有待查询对象对应的图像；
基于所述待查询对象对应的图像，以及预先提取的各个所述目标对象和非目标对象的特征信息，生成查询结果。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述路网数据处理方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述图像处理方法，用于解决现有技术设备利用率低的问题，图像处理方法，获取待处理视频中的多帧图像，确定多帧图像中的不同帧图像之间的候选对象匹配度集合，其中，候选对象匹配度集合中的每个候选对象匹配度是指位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的匹配度；根据候选对象匹配度集合，从候选对象中选取对应的匹配度符合预设条件的至少一个目标对象，针对至少一个目标对象中的每个目标对象，从该目标对象所在的不同帧图像中选取一帧图像，从选取的一帧图像中获取该目标对象的特征信息。这样，仅从包含目标对象的一帧图像中提取目标对象的特征信息，而不是从包含目标对象的各个图像中提取目标对象的特征信息，提高了设备的利用率，也提高了提取目标对象的特征信息的效率。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个路网单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者路网设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (20)
1.一种图像处理方法，其特征在于，该方法包括：
获取待处理视频中的多帧图像；
确定所述多帧图像中的不同帧图像之间的候选对象匹配度集合；所述候选对象匹配度集合中的每个候选对象匹配度是指位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的匹配度；
根据所述候选对象匹配度集合，从候选对象中选取对应的所述匹配度符合预设条件的至少一个目标对象；
针对所述至少一个目标对象中的每个目标对象，从该目标对象所在的不同帧图像中选取一帧图像，从选取的一帧图像中获取该目标对象的特征信息。
2.如权利要求1所述的图像处理方法，其特征在于，所述匹配度包括图像匹配度和距离匹配度，根据所述候选对象匹配度集合，从候选对象中选取对应的所述匹配度符合预设条件的至少一个目标对象，包括：
将对应的图像匹配度大于第一匹配度阈值、且对应的距离匹配度大于第二匹配度阈值的候选对象确定为所述至少一个目标对象。
3.如权利要求2所述的图像处理方法，其特征在于，根据以下步骤确定所述距离匹配度：
确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象分别对应的图像位置区域之间的重叠面积；
确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象分别对应的图像位置区域的面积之和；
基于所述重叠面积与所述面积之和，确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度。
4.如权利要求3所述的图像处理方法，其特征在于，基于所述重叠面积与所述面积之和，确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度，包括：
将所述重叠面积与所述面积之和的比值作为位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度；或者，
确定所述面积之和与所述重叠面积的差值；
将所述重叠面积和所述差值的比值作为位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度。
5.如权利要求2所述的图像处理方法，其特征在于，根据以下步骤确定所述图像匹配度：
提取多帧图像中的每帧图像中的候选对象的特征向量；
基于位于一帧图像中的一个候选对象的特征向量，和位于另一帧图像中的一个候选对象的特征向量，确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象的图像匹配度。
6.如权利要求1所述的图像处理方法，其特征在于，从该目标对象所在的不同帧图像中选取一帧图像，包括：
分别确定该目标对象在不同帧图像中的每帧图像中的面积；
将对应的所述面积最大的一帧图像确定为选取的一帧图像。
7.如权利要求1所述的图像处理方法，其特征在于，还包括：
确定不符合所述预设条件的非目标对象；
从所述非目标对象所在的图像中提取所述非目标对象的特征信息。
8.如权利要求7所述的图像处理方法，其特征在于，还包括：
从所述非目标对象中，确定图像匹配度大于第一匹配度阈值、距离匹配度小于或者等于第二匹配度阈值的第一对象；
从第一对象所在的不同帧图像中选择一帧图像，从选取的一帧图像中确定所述第一对象的特征信息。
9.如权利要求7所述的图像处理方法，其特征在于，还包括：
获取用户端的信息查询请求；所述信息查询请求中携带有待查询对象对应的图像；
基于所述待查询对象对应的图像，以及预先提取的各个所述目标对象和非目标对象的特征信息，生成查询结果。
10.一种图像处理装置，其特征在于，该装置包括：
获取模块，用于获取待处理视频中的多帧图像；
确定模块，用于确定所述多帧图像中的不同帧图像之间的候选对象匹配度集合；所述候选对象匹配度集合中的每个候选对象匹配度是指位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的匹配度；
选取模块，用于根据所述候选对象匹配度集合，从候选对象中选取对应的所述匹配度符合预设条件的至少一个目标对象；
提取模块，用于针对所述至少一个目标对象中的每个目标对象，从该目标对象所在的不同帧图像中选取一帧图像，从选取的一帧图像中获取该目标对象的特征信息。
11.如权利要求10所述的图像处理装置，其特征在于，所述匹配度包括图像匹配度和距离匹配度，所述选取模块用于根据以下步骤从候选对象中选取对应的所述匹配度符合预设条件的至少一个目标对象：
将对应的图像匹配度大于第一匹配度阈值、且对应的距离匹配度大于第二匹配度阈值的候选对象确定为所述至少一个目标对象。
12.如权利要求11所述的图像处理装置，其特征在于，所述确定模块用于根据以下步骤确定所述距离匹配度：
确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象分别对应的图像位置区域之间的重叠面积；
确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象分别对应的图像位置区域的面积之和；
基于所述重叠面积与所述面积之和，确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度。
13.如权利要求12所述的图像处理装置，其特征在于，所述确定模块用于根据一下步骤确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度：
将所述重叠面积与所述面积之和的比值作为位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度；或者，
确定所述面积之和与所述重叠面积的差值；
将所述重叠面积和所述差值的比值作为位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象之间的距离匹配度。
14.如权利要求11所述的图像处理装置，其特征在于，所述确定模块用于根据以下步骤确定所述图像匹配度：
提取多帧图像中的每帧图像中的候选对象的特征向量；
基于位于一帧图像中的一个候选对象的特征向量，和位于另一帧图像中的一个候选对象的特征向量，确定位于一帧图像中的一个候选对象，与位于另一帧图像中的一个候选对象的图像匹配度。
15.如权利要求10所述的图像处理装置，其特征在于，所述选取模块用于根据以下步骤从该目标对象所在的不同帧图像中选取一帧图像：
分别确定该目标对象在不同帧图像中的每帧图像中的面积；
将对应的所述面积最大的一帧图像确定为选取的一帧图像。
16.如权利要求10所述的图像处理装置，其特征在于，所述确定模块还用于：
确定不符合所述预设条件的非目标对象；
所述提取模块还用于：
从所述非目标对象所在的图像中提取所述非目标对象的特征信息。
17.如权利要求16所述的图像处理装置，其特征在于，所述确定模块还用于：
从所述非目标对象中，确定图像匹配度大于第一匹配度阈值、距离匹配度小于或者等于第二匹配度阈值的第一对象；
所述提取模块还用于：
从第一对象所在的不同帧图像中选择一帧图像，从选取的一帧图像中确定所述第一对象的特征信息。
18.如权利要求16所述的图像处理装置，其特征在于，还包括：生成模块，
所述获取模块还用于：
获取用户端的信息查询请求；所述信息查询请求中携带有待查询对象对应的图像；
所述生成模块：用于基于所述待查询对象对应的图像，以及预先提取的各个所述目标对象和非目标对象的特征信息，生成查询结果。
19.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至9任一所述图像处理方法的步骤。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至9任一所述图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911404681.7A CN111860559A (zh) | 2019-12-31 | 2019-12-31 | 图像处理方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911404681.7A CN111860559A (zh) | 2019-12-31 | 2019-12-31 | 图像处理方法、装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111860559A true CN111860559A (zh) | 2020-10-30 |
Family
ID=72970795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911404681.7A Pending CN111860559A (zh) | 2019-12-31 | 2019-12-31 | 图像处理方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860559A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113378958A (zh) * | 2021-06-24 | 2021-09-10 | 北京百度网讯科技有限公司 | 自动标注方法、装置、设备、存储介质及计算机程序产品 |
| CN113838110A (zh) * | 2021-09-08 | 2021-12-24 | 重庆紫光华山智安科技有限公司 | 目标检测结果的校验方法、装置、存储介质和电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886117A (zh) * | 2019-01-21 | 2019-06-14 | 青岛海信网络科技股份有限公司 | 一种目标行为检测的方法和设备 |
| JPWO2018073848A1 (ja) * | 2016-10-19 | 2019-06-27 | 日本電気株式会社 | 画像処理装置、滞留物体追跡システム、画像処理方法および記録媒体 |
| CN110287778A (zh) * | 2019-05-15 | 2019-09-27 | 北京旷视科技有限公司 | 一种图像的处理方法、装置、终端及存储介质 |
| CN110610510A (zh) * | 2019-08-29 | 2019-12-24 | Oppo广东移动通信有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
-
2019
- 2019-12-31 CN CN201911404681.7A patent/CN111860559A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2018073848A1 (ja) * | 2016-10-19 | 2019-06-27 | 日本電気株式会社 | 画像処理装置、滞留物体追跡システム、画像処理方法および記録媒体 |
| CN109886117A (zh) * | 2019-01-21 | 2019-06-14 | 青岛海信网络科技股份有限公司 | 一种目标行为检测的方法和设备 |
| CN110287778A (zh) * | 2019-05-15 | 2019-09-27 | 北京旷视科技有限公司 | 一种图像的处理方法、装置、终端及存储介质 |
| CN110610510A (zh) * | 2019-08-29 | 2019-12-24 | Oppo广东移动通信有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113378958A (zh) * | 2021-06-24 | 2021-09-10 | 北京百度网讯科技有限公司 | 自动标注方法、装置、设备、存储介质及计算机程序产品 |
| CN113838110A (zh) * | 2021-09-08 | 2021-12-24 | 重庆紫光华山智安科技有限公司 | 目标检测结果的校验方法、装置、存储介质和电子设备 |
| CN113838110B (zh) * | 2021-09-08 | 2023-09-05 | 重庆紫光华山智安科技有限公司 | 目标检测结果的校验方法、装置、存储介质和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110147717B (zh) | 一种人体动作的识别方法及设备 | |
| US11200682B2 (en) | Target recognition method and apparatus, storage medium, and electronic device | |
| JP7282851B2 (ja) | 装置、方法及びプログラム | |
| CN107808111B (zh) | 用于行人检测和姿态估计的方法和装置 | |
| Vieira et al. | On the improvement of human action recognition from depth map sequences using space–time occupancy patterns | |
| CN108256404B (zh) | 行人检测方法和装置 | |
| CN111667001B (zh) | 目标重识别方法、装置、计算机设备和存储介质 | |
| TW202135002A (zh) | 動作識別方法及電子設備、電腦可讀儲存介質 | |
| CN111445526A (zh) | 一种图像帧之间位姿的估计方法、估计装置和存储介质 | |
| CN109063776B (zh) | 图像再识别网络训练方法、装置和图像再识别方法及装置 | |
| CN111914775A (zh) | 活体检测方法、装置、电子设备及存储介质 | |
| CN111598067B (zh) | 视频中重识别训练方法、重识别方法及存储装置 | |
| CN111400550A (zh) | 一种目标运动轨迹构建方法、设备以及计算机存储介质 | |
| CN112818955A (zh) | 一种图像分割方法、装置、计算机设备以及存储介质 | |
| CN112381071A (zh) | 一种视频流中目标的行为分析方法、终端设备及介质 | |
| CN111860559A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN111429476A (zh) | 确定目标人物行动轨迹的方法和装置 | |
| CN113610918A (zh) | 位姿计算方法和装置、电子设备、可读存储介质 | |
| JP2022549661A (ja) | 画像処理方法、装置、機器、記憶媒体およびコンピュータプログラム | |
| CN111881740A (zh) | 人脸识别方法、装置、电子设备及介质 | |
| CN113610967B (zh) | 三维点检测的方法、装置、电子设备及存储介质 | |
| CN111476189A (zh) | 一种身份识别方法和相关装置 | |
| CN114511810A (zh) | 异常事件检测方法及装置、计算机设备、存储介质 | |
| CN111104915B (zh) | 一种同行分析方法、装置、设备和介质 | |
| CN112949539A (zh) | 一种基于摄像头位置的行人重识别交互检索方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |