CN110222789B - 图像识别方法及存储介质 - Google Patents

Abstract

本发明公开了一种图像识别方法及存储介质，属于图像处理技术领域。本发明实施例中对于目标对象的图像集合中多个图像，可以根据每个图像的至少一项信息，来获取每个图像的权重，基于每个图像的权重将多个图像的图像特征进行加权求和，得到融合特征，进而可以直接基于融合特征与待识别图像的图像特征进行匹配，以实现图像识别，无需进行多次对比，提高了图像识别效率，且该融合特征基于多个图像的图像特征得到，能够体现不同场景、不同光照或不同角度下的目标对象，以此作为图像识别依据，提高了图像识别的准确性。

Description

图像识别方法及存储介质

技术领域

本发明涉及图像处理技术领域，特别涉及一种图像识别方法及存储介质。

背景技术

随着图像处理技术的发展，图像识别技术被应用于越来越多的场景中。例如，在门禁、考勤、支付、路径导航、监控、自然资源分析、生理病变等许多场景中均可以通过图像识别技术实现相应功能。

目前，图像识别技术通常是预先采集有目标对象的一个图像或多个图像，将其作为参考，当采集到待识别图像时，可以将待识别图像和该一个图像进行对比，或将待识别图像分别和多个图像进行对比，以确定待识别图像中的对象是否为目标对象。

将一个图像作为参考时，该图像并不能体现不同场景、不同光照或不同角度下的目标对象，可能导致识别结果的准确性差。在将多个图像作为参考时，对比过程需要分别与多个图像进行对比，对比时间长，识别效率低，且与多个图像进行对比来确定识别结果，识别结果的准确性也无法保证，可能出现误识别的现象。

发明内容

本发明实施例提供了一种图像识别方法及存储介质，可以解决相关技术中准确性差和效率低的问题。所述技术方案如下：

一方面，提供了一种图像识别方法，所述方法包括：

对目标对象的图像集合中的多个图像进行特征提取，得到所述多个图像的图像特征；

根据从每个图像被添加至所述图像集合中的时间，所述每个图像的图像特征与所述每个图像被添加至所述图像集合之前的融合特征的相似度，所述每个图像的图像质量，所述每个图像的图像特征与所述图像集合中多个图像的图像特征的聚类中心之间的位置关系指示信息组成的群组中选择的至少一项，获取所述每个图像的权重；

基于所述每个图像的权重，对所述多个图像的图像特征进行加权求和，得到所述图像集合的融合特征；

当提取到待识别图像的图像特征时，将所述待识别图像的图像特征与所述融合特征进行匹配，以识别所述待识别图像中的对象是否为所述目标对象。

一方面，提供了一种图像识别装置，所述装置包括：

提取模块，用于对目标对象的图像集合中的多个图像进行特征提取，得到所述多个图像的图像特征；

获取模块，用于根据从每个图像被添加至所述图像集合中的时间，所述每个图像的图像特征与所述每个图像被添加至所述图像集合之前的融合特征的相似度，所述每个图像的图像质量，所述每个图像的图像特征与所述图像集合中多个图像的图像特征的聚类中心之间的位置关系指示信息组成的群组中选择的至少一项，获取所述每个图像的权重；

融合模块，用于基于所述每个图像的权重，对所述多个图像的图像特征进行加权求和，得到所述图像集合的融合特征；

识别模块，用于当提取到待识别图像的图像特征时，将所述待识别图像的图像特征与所述融合特征进行匹配，以识别所述待识别图像中的对象是否为所述目标对象。

在一种可能实现方式中，所述图像集合包括第一图像和第二图像，所述第一图像为图像识别前获取得到的原始图像，所述第二图像为图像识别过程中满足条件时被添加至图像集合中的图像，所述第一图像的权重和所述第二图像的权重不同。

在一种可能实现方式中，所述目标对象的图像集合中第二图像的采集时间距离当前***时间的时长小于时长阈值。

在一种可能实现方式中，所述装置还包括：

删除模块，用于当所述图像集合中的任一第二图像的采集时间距离当前***时间的时长大于或等于时长阈值时，将所述图像集合中的所述任一第二图像删除。

在一种可能实现方式中，所述识别模块用于：

将所述待识别图像的图像特征与所述融合特征进行匹配，得到所述待识别图像的图像特征与所述融合特征的相似度；

当所述相似度大于第一相似度阈值时，确定所述待识别图像中的对象为所述目标对象。

在一种可能实现方式中，所述装置还包括：

第一添加模块，用于当所述相似度大于第二相似度阈值时，将所述待识别图像添加至所述目标对象的图像集合中，所述第二相似度阈值大于第一相似度阈值。

在一种可能实现方式中，所述装置还包括：

第二添加模块，用于获取所述待识别图像的图像质量，当所述相似度大于第二相似度阈值，且所述图像质量大于质量阈值时，将所述待识别图像添加至所述目标图像的图像集合中，所述第二相似度阈值大于第一相似度阈值。

在一种可能实现方式中，所述获取模块还用于获取目标时间段内采集得到的待添加至图像集合中的多个待识别图像的数量；

所述装置还包括：

第三添加模块，用于当所述数量大于数量阈值时，根据从所述多个待识别图像的图像特征与图像集合的融合特征的相似度，所述多个待识别图像的图像质量组成的群组中选择的至少一项，从所述多个待识别图像中，选择目标数量的待识别图像添加至所述图像集合中。

在一种可能实现方式中，所述第三添加模块用于：

根据从所述多个待识别图像的图像特征与图像集合的融合特征的相似度，所述多个待识别图像的图像质量组成的群组中选择的至少一项，从所述多个待识别图像中选择多个候选待识别图像；

从所述多个候选待识别图像中，随机选择目标数量的候选待识别图像添加至所述图像集合中。

一方面，提供了一种计算机设备，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条指令，所述指令由所述一个或多个处理器加载并执行以实现所述图像识别方法所执行的操作。

一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现所述图像识别方法所执行的操作。

本发明实施例中对于图像集合中的多个图像，可以根据每个图像的至少一项信息，来获取每个图像的权重，基于每个图像的权重将多个图像的图像特征进行加权求和，得到融合特征，进而可以直接基于融合特征与待识别图像的图像特征进行匹配，以实现图像识别，无需进行多次对比，提高了图像识别效率，且该融合特征基于多个图像的图像特征得到，能够体现不同场景、不同光照或不同角度下的目标对象，以此作为图像识别依据，提高了图像识别的准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种图像识别方法的实施环境；

图2是本发明实施例提供的一种图像识别方法的实施环境；

图3是本发明实施例提供的一种图像识别方法的流程图；

图4是本发明实施例提供的一种图像识别方法的流程图；

图5是本发明实施例提供的一种图像识别装置的结构示意图；

图6是本发明实施例提供的一种终端的结构示意图；

图7是本发明实施例提供的一种服务器的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

图1和图2均是本发明实施例提供的一种图像识别方法的实施环境，图1和图2分别提供了两种实施环境，两种实施环境包括的设备数目或类型可以不同，通过设备来实现图像识别方法的具体流程也可以不同。该图像识别方法可以应用于各种场景，例如，门禁、考勤或支付、路径导航、监控、自然资源分析、生理病变等许多场景中，下述图1和图2中仅以对用户人脸进行识别，以确定用户身份为例进行说明。

参见图1，实施环境中可以包括一个计算机设备，该计算机设备可以为终端，也可以为服务器。该计算机设备可以具有图像采集功能和图像识别功能。在一种可能实现方式中，该计算机设备可以采集图像，基于获取到的图像集合的融合特征，对采集到的图像进行识别，以确定该图像中的对象是否与图像集合中的目标对象相同。

参见图2，实施环境中可以包括图像采集设备101和计算机设备102，该图像采集设备101和计算机设备102可以通过有线或无线网络进行连接。其中，图像采集设备101可以具有图像采集功能，计算机设备102可以具有图像识别功能。在一种可能实现方式中，图像采集设备101可以采集图像，并将采集到的图像发送至计算机设备102，计算机设备102接收到图像后，即可基于获取到的图像集合的融合特征，对其进行识别。需要说明的是，该图像采集设备101和计算机设备102可以为终端，也可以为服务器，本发明实施例对此不作限定。

上述提供了两种实施环境，本领域的技术人员可以根据实际应用场景和各个设备的计算能力进行设置，本发明实施例对具体采用哪种实施环境不作限定。

图3是本发明实施例提供的一种图像识别方法的流程图，该方法应用于计算机设备中，在本发明实施例中，仅以上述图1所示的实施环境为例进行说明，计算机设备具有图像采集功能和图像识别功能，该计算机设备采集图像并进行图像识别。参见图3，该方法可以包括以下步骤：

301、计算机设备获取目标对象的图像集合。

在本发明实施例中，计算机设备可以获取目标对象的图像集合，该图像集合可以包括多个图像，该多个图像可以作为目标对象的图像参考。计算机设备可以通过该图像集合来对目标对象进行准确描述，得到该图像集合的融合特征，在需要进行图像识别时，可以基于该图像集合的融合特征来确定待识别图像中的对象是否为该目标对象。

计算机设备可以获取目标对象的图像集合，以获取融合特征。在一种可能实现方式中，该图像集合可以存储于该计算机设备中，计算机设备可以从本地存储信息中获取该目标对象的图像集合。在另一种可能实现方式中，该图像集合也可以存储于其他计算机设备中，计算机设备可以在需要获取融合特征时，从该其他计算机设备处获取目标对象的图像集合。

其中，该图像集合的具体存储地址可以由相关技术人员根据实际应用场景和计算机设备的计算能力进行设置，上述提供了两种可能实现方式，本发明式实施例对具体采用哪种实现方式不作限定。

302、计算机设备对该目标对象的图像集合中的多个图像进行特征提取，得到该多个图像的图像特征。

计算机设备获取到目标对象的图像集合后，可以先对该图像集合中的多个图像进行特征提取，得到每个图像的图像特征，从而可以继续执行下述步骤303和步骤304，对图像特征进行融合，以融合特征的形式来表示该目标对象。

具体地，该计算机设备提取图像特征的过程可以通过特征提取算法实现，也可以通过神经网络模型来实现。在一种可能实现方式中，图像的类型不同时，或图像识别需求不同时，计算机设备所采用的特征提取算法可以不同。

例如，特征提取算法可以包括尺度不变特征变换(Scale-invariant featuretransform，SIFT)、快速鲁棒特征(Speed Up Robust Features，SURF)、二进制鲁棒不变可伸缩关键点(Binary Robust Invariant Scalable Keypoints，BRISK)、定向快速转换描述子(Oriented FAST and Rotated BRIEF，ORB)算法。又例如，对人脸图像进行特征提取时，可以采用第一特征提取算法，对风景图像进行特征提取时，可以采用第二特征提取算法。

在一种可能实现方式中，对于每个图像，计算机设备进行特征提取后，可以得到一个多维度的特征向量，该特征在特征空间中可以表现为一个多维度的点。

303、计算机设备根据从该每个图像被添加至该图像集合中的时间，该每个图像的图像特征与该每个图像被添加至该图像集合之前的融合特征的相似度，该每个图像的图像质量，该每个图像的图像特征与图像集合中多个图像的图像特征的聚类中心之间的位置关系指示信息组成的群组中选择的至少一项，获取该每个图像的权重。

计算机设备对多个图像进行特征提取后，即可将多个图像的图像特征融合，在融合过程中，每个图像可以对应有权重，图像的权重不同时，融合后得到的融合特征则可能不同。在一个可能实施例中，不同图像对融合特征的影响不同，则可以设置有不同图像的权重可以不同。计算机设备可以先执行该步骤303，获取每个图像的权重，再执行下述步骤304，以进行特征融合。

每个图像的图像特征均是用于表示目标对象的，该目标对象可能会随着时间变化而变化，例如，随着时间的变化，人的外貌可能会发生变化。在一种可能实现方式中，该每个图像被添加至图像集合中的时间距离当前***时间的时长越大，该图像的权重越小。例如，人的旧照对融合特征的影响小一些，人的近照对融合特征的影响大一些，这样得到的融合特征更符合人当前的状态。

在不同的光照条件下、不同场景下或不同角度下拍摄得到的图像中目标对象也可能不同，例如，有些角度或光照条件下，人当时的脸型或外貌可能和平时不一样。人的表情不同时，五官位置或形状则也可能会不同。

任一图像被添加至图像集合之前与之前的融合特征进行比较，相似度越大，则说明该任一图像越能代表该目标对象，该任一图像的权重可以越大。

在拍摄条件不佳时，图像清晰度可能不好，又或者人脸识别场景中人脸很小或不是人脸的正面等，可能导致图像质量不佳，则将该图像作为参考进行图像识别时识别精确度则可能不好，图像质量越大的图像的权重可以越大，以提高融合特征的准确性。

任一图像的图像特征与聚类中心的距离较小时，该图像特征越能代表目标对象，则可以通过该任一图像的图像特征与聚类中心的距离来衡量该任一图像的图像特征与目标对象的符合程度。可以理解地，该距离越小，该任一图像的权重越大。如果该距离大于距离阈值或位置关系指示信息大于目标阈值，该任一图像的图像特征可能为一个离群点，也即是，该图像特征与其他图像的图像特征之间差距比较大，则可以使得该任一图像的图像特征对融合特征的影响小一些，则可以将该任一图像的权重设置的小一些，或将权重设置为0。

在一种可能实现方式中，终端还可以在执行该步骤303之前，基于该任一图像的图像特征与聚类中心之间的位置关系指示信息，当该位置关系指示信息大于目标阈值时，将该任一图像去除，基于该任一图像之外的图像进行特征融合。当然，该位置关系指示信息可以为上述距离，也可以为其他形式的信息，例如，孤立森林(isolation forest)算法中的迭代次数，本发明实施例对此不作限定。

通过上述一种或几种因素，来确定图像的权重，可以准确评估每个图像对融合特征的影响，提高融合特征的准确性。具体采用哪几种因素，可以由相关技术人员根据实际场景或计算机设备的计算能力进行设置，本发明实施例对此不作限定。

304、计算机设备基于该每个图像的权重，对该多个图像的图像特征进行加权求和，得到该图像集合的融合特征。

在得到每个图像的权重后，计算机设备可以对多个图像的图像特征进行加权求和，得到融合特征，以该融合特征来表征目标对象，进行后续的图像识别步骤。

例如，该特征融合的过程可以通过下述公式实现：

其中，f为图像集合的融合特征，n为图像集合中的图像的数量，为正整数，i为图像的标识，w_i为图像集合中的第i个图像的权重，f_i为图像集合中的第i个图像的图像特征。

在一些实施例中，该图像集合可以包括第一图像和第二图像，其中，该第一图像为图像识别前获取得到的原始图像，该第二图像为图像识别过程中满足条件时被添加至图像集合中的图像，该第一图像的权重和该第二图像的权重不同。

在一个具体的可能实施例中，该第一图像的权重为1，该第二图像的权重为图像识别过程中得到的该第二图像与图像集合的融合特征的相似度。该第一图像为进行图像识别采集的原始图像，可以认为这部分图像是能够确定图像中的对象为目标对象的图像，因而，这部分图像的权重可以设置为1，第二图像为图像识别过程中添加至图像集合的图像，则第二图像在识别过程中也可能具有一定误差，可以根据该相似度，来评估该第二图像中的对象为目标对象的可能性，进而减少第二图像对融合特征的影响。

在这些实施例中，该图像集合的来源可以通过下述步骤一至步骤四实现：

步骤一、计算机设备获取一个第一图像或包括多个第一图像的原始图像集合。

步骤二、当提取到待识别图像的图像特征时，计算机设备基于第一图像的图像特征，或基于原始图像集合的融合特征，对待识别图像进行识别。

步骤三、当识别结果指示待识别图像满足条件时，将待识别图像作为第二图像添加至原始图像集合中得到该目标对象的图像集合。

步骤四、当再次提取到待识别图像的图像特征时，基于添加第二图像后的图像集合的融合特征，对再次提取到的待识别图像进行识别。

在该步骤一至步骤四中，可以理解地，在图像识别前，采集第一图像作为目标对象的图像参考，该第一图像的数量可以为一个，也可以为多个。在得到图像参考后，可以基于图像参考进行图像识别，在图像识别过程中，有些待识别图像识别后发现可以作为目标对象的图像参考，从而将其添加至图像参考所在的集合中，得到更新后的图像集合，再基于更新后的图像集合进行图像识别。

在图像识别过程中，可以有选择地基于采集到的待识别图像对图像集合进行更新，以使得图像集合更完善，包含该目标对象更多场景、更多角度或更多光照条件下的状态，从而也可以有效提高图像识别结果的准确性。

其中，在步骤二中，在第一图像的数量为多个的情况下，计算机设备可以基于多个第一图像的权重对多个第一图像的多个第一图像的图像特征进行融合，得到原始图像集合的融合特征。步骤三后，计算机设备也可以再获取更新后的图像集合的融合特征。

需要说明的是，在图像集合的来源相关内容中，已经对将待识别图像添加至图像集合中，对图像集合进行更新的过程进行了说明，具体在待识别图像满足哪种条件时执行该更新步骤，以及如何对图像集合进行维护的过程，可以参考下述步骤306，在此并不作过多说明。

305、当计算机设备采集到待识别图像时，计算机设备对该待识别图像进行特征提取，得到该待识别图像的图像特征。

计算机设备得到目标对象的融合特征后，在采集到待识别图像，有图像识别需求时，可以基于融合特征进行图像识别。计算机设备可以提取待识别图像的图像特征，以该图像特征作为待识别图像中的对象的表征进行下述步骤306中的特征对比，该特征提取过程可以与上述步骤302所示的特征提取过程同理，在此不多做赘述。

在一些可能场景中，计算机设备可以获取多个目标对象的图像集合，执行上述步骤302至步骤304，得到每个图像集合的融合特征，再基于该多个图像集合的融合特征，来对待识别图像进行识别，以确定待识别图像中的对象为哪个目标对象，本发明实施例对具体应用场景不作限定。

306、计算机设备将该待识别图像的图像特征与该图像集合的融合特征进行匹配，以识别该待识别图像中的对象是否为该目标对象。

计算机设备提取了待识别图像的图像特征后，即可判断该图像特征与图像集合的融合特征之间的关系，从而根据该关系，来确定待识别图像中的对象与目标对象的关系。

在一种可能实现方式中，该关系可以通过相似度来表示，该特征匹配的过程可以通过下述步骤一和步骤二实现：

步骤一、计算机设备将该待识别图像的图像特征与该融合特征进行匹配，得到该待识别图像的图像特征与该融合特征的相似度。

步骤二、当该相似度大于第一相似度阈值时，计算机设备确定该待识别图像中的对象为该目标对象。

当然，该步骤二中仅示出了待识别图像中的对象为目标对象的情况，当该相似度小于或等于第一相似度阈值时，计算机设备可以确定该待识别图像中的对象不是该目标对象。在一些可能场景中，计算机设备还可以将该待识别图像的图像特征与其他目标对象的融合特征进行匹配，过程同理，在本发明实施例中对此不作限定。

该步骤305和步骤306为当提取到待识别图像的图像特征时，将该待识别图像的图像特征与该融合特征进行匹配，以识别该待识别图像中的对象是否为该目标对象的过程，该待识别图像还可以由其他计算机设备采集并发送至该计算机设备，本发明实施例对此不作限定。

在一些实施例中，在对待识别图像进行图像识别后，还可以判断该待识别图像是否可以作为第二图像添加至图像集合中，具体地，当该待识别图像的特征与该融合特征的匹配结果满足目标条件时，将该待识别图像添加至该目标对象的图像集合中。该目标条件可以由相关技术人员根据需求进行设置，下述仅以两种目标条件为例进行说明，参见方式一和方式二。

方式一、当该相似度大于第二相似度阈值时，计算机设备将该待识别图像添加至该目标对象的图像集合中，该第二相似度阈值大于第一相似度阈值。

在方式一中，计算机设备可以根据相似度与第二相似度阈值的关系来确定是否将待识别图像添加至图像集合中。该第二相似度阈值大于第一相似度阈值，在确定待识别图像中的对象为目标对象的情况下，将识别准确性更高的待识别图像添加至图像集合，保证了图像集合中的图像中的对象为目标对象的准确性，不会将误识别的待识别图像添加至图像集合，保证了图像集合的融合特征的准确性。同时，对图像集合进行了更新，使得图像集合中的图像的采集时间更近，也丰富了图像集合中的图像的场景、角度或光照条件等，使得图像集合的融合特征从多方面表征目标对象，提高图像识别的准确性和效率。

方式二、计算机设备获取该待识别图像的图像质量，当该相似度大于该第二相似度阈值，且该图像质量大于质量阈值时，将该待识别图像添加至该目标图像的图像集合中。

在方式二中，计算机设备除了相似度，还可以判断待识别图像的图像质量，可以理解地，如果一个待识别图像的图像质量较差，我们虽然通过精确的图像识别，识别出图像中的对象为目标对象，相似度稍小，但如果相似度较大，将其作为图像参考，可能会导致图像集合的融合特征变得不够准确，因而，可以在确定是否将其添加至图像集合时还可以参考图像质量。

需要说明的是，上述第一相似度阈值、第二相似度阈值、质量阈值等均可以由相关技术人员根据需求进行设置，本发明实施例对此不作限定。例如，在一个具体示例中，通过实验可以发现，第二相似度阈值为第一相似度阈值的1.25倍时，效果最佳。因而，可以根据实验结果设置第一相似度阈值和第二相似度阈值。

通过上述方式一或方式二，可以判断是否将待识别图像添加至图像集合中，在此基础上，计算机设备还可以为图像集合中的图像数量进行数量限制，从而保证图像集合中的数量不会过大，从而无需消耗过多的计算资源，也避免出现图像集合中的图像数量过大导致融合特征出现“平均脸”效应，不会出现基于融合特征进行图像识别容易识别为其他对象的情况，保证图像识别的准确性。

在一种可能实现方式中，计算机设备可以获取目标时间段内采集得到的待添加至图像集合中的多个待识别图像的数量，当该数量大于数量阈值时，根据从该多个待识别图像的图像特征与图像集合的融合特征的相似度，该多个待识别图像的图像质量组成的群组中选择的至少一项，从该多个待识别图像中，选择目标数量的待识别图像添加至该图像集合中。

也即是，在更新图像集合时，可以考虑目标时间段内采集到的图像，从中选取一定数量的图像来实现更新过程，该目标数量也即是目标时间段内添加至图像集合中的图像的最大数量。该目标数量可以由相关技术人员根据需求进行设置，本发明实施例对此不作限定。

上述从多个待识别图像中选择目标数量的待识别图像添加至图像集合的过程中，计算机设备可以通过相似度筛选图像，也可以通过图像质量筛选图像，还可以综合考虑两者来筛选图像。

在一个具体的可能实施例中，计算机设备还可以先根据从该多个待识别图像的图像特征与图像集合的融合特征的相似度，该多个待识别图像的图像质量组成的群组中选择的至少一项，从多个待识别图像中选择多个候选待识别图像，再从多个候选待识别图像中，随机选择目标数量的候选待识别图像添加至图像集合中。

例如，在一个具体示例中，目标时间段的时长可以为一天，一天内，计算机设备可能采集到N个待识别图像，其中，M个待识别图像满足添加至图像集合的目标条件，计算机设备可以根据该M个待识别图像的图像特征与融合特征的相似度进行排序，选择相似度大的70％的待识别图像，进而从70％的待识别图像中随机选择L个待识别图像添加至图像集合中。其中，N，M，L均可以为正整数或零。

在一些实施例中，该图像集合中的图像数量还可以通过一种遗忘机制来实现，计算机设备可以选择该遗忘机制或上述数量控制方式中任一种，也可以同时执行两种，来对图像数量进行控制。

具体地，该目标对象的图像集合中第二图像的采集时间距离当前***时间的时长小于时长阈值。当该图像集合中的任一第二图像的采集时间距离当前***时间的时长大于或等于时长阈值时，计算机设备可以将该图像集合中的该任一第二图像删除。

例如，在一个具体示例中，结合两种数量控制方式，可以设置有第二图像为距离当前***时间X天内的图像，在添加第X+1天的待识别图像时，可以将第一天添加至图像集合的待识别图像删除。另外，还可以设置有：目标数量为Y。则图像集合中第二图像的数量不会超过X*Y。其中，X，Y均可以为正整数。通过上述数量控制方式，可以保证该第二图像的数量不会超过一定数量，避免出现“平均脸”效应，提高融合特征的准确性。当然，也保证了图像集合中的图像是可更新的、高质量的、兼顾差异性的。

上述图像识别方法可以通过识别模型来实现，该识别模型可以为深度学习模型，在一个具体示例中，以人脸识别为例，参见图4，计算机设备可以根据训练集合(训练样本，也即是样本图像集合)训练深度学习模型，该深度学习模型用于后续抽取特征，在图像识别前，可以获取原始注册集(原始图像集合)，该原始注册集包括的图像即为上述第一图像，计算机设备可以根据原始注册集计算用户的原始融合特征，当用户使用识别***时，可以根据特征挑选策略，挑选合适的识别照加入注册集，也即是，在图像识别过程中，可以选择合适的待识别图像添加至图像集合。计算机设备可以检查注册集是否更新，若某些用户注册集发生变动，可以重新计算并更新融合特征。

需要说明的是，该计算机设备可以在将待识别图像添加至图像集合时实时执行重新计算融合特征的步骤，也可以周期性检测图像集合是否更新，当检测结果指示图像集合发生了更新时，可以重新计算融合特征。

人脸识别是近些年来深度学习的一个重要应用场景，在安防、金融等领域都十分重要。人脸识别***一直面临着一个巨大的挑战：如何在控制低误识别率的情况下，适应不同场景、角度、光照下的识别要求，尤其是大规模识别***中由于注册人数的增多，识别***要既能够区分本身长得相似的人，还要在各种环境下都识别良好。在人脸识别应用中，本发明通过上述特征选择和特征融合过程可以有效改善识别效果。通过精心挑选识别照(待识别图像)加入注册集(图像集合)并融合的方法，使识别***在不同场景、角度、光照、用户表情保持高通过率、低误识别率，且能够适应用户外貌的变化，无需重新注册。

本发明实施例中对于图像集合中的多个图像，可以根据每个图像的至少一项信息，来获取每个图像的权重，基于每个图像的权重将多个图像的图像特征进行加权求和，得到融合特征，进而可以直接基于融合特征与待识别图像的图像特征进行匹配，以实现图像识别，无需进行多次对比，提高了图像识别效率，且该融合特征基于多个图像的图像特征得到，能够体现不同场景、不同光照或不同角度下的目标对象，以此作为图像识别依据，提高了图像识别的准确性。

上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。

图5是本发明实施例提供的一种图像识别装置的结构示意图，参见图5，该装置包括：

提取模块501，用于对目标对象的图像集合中的多个图像进行特征提取，得到该多个图像的图像特征；

获取模块502，用于根据从每个图像被添加至该图像集合中的时间，该每个图像的图像特征与该每个图像被添加至该图像集合之前的融合特征的相似度，该每个图像的图像质量，该每个图像的图像特征与该图像集合中多个图像的图像特征的聚类中心之间的位置关系指示信息组成的群组中选择的至少一项，获取该每个图像的权重；

融合模块503，用于基于该每个图像的权重，对该多个图像的图像特征进行加权求和，得到该图像集合的融合特征

识别模块504，用于当提取到待识别图像的图像特征时，将该待识别图像的图像特征与该融合特征进行匹配，以识别该待识别图像中的对象是否为该目标对象。

在一种可能实现方式中，该图像集合包括第一图像和第二图像，该第一图像为图像识别前获取得到的原始图像，该第二图像为图像识别过程中满足条件时被添加至图像集合中的图像，该第一图像的权重和该第二图像的权重不同。

在一种可能实现方式中，该目标对象的图像集合中第二图像的采集时间距离当前***时间的时长小于时长阈值。

在一种可能实现方式中，该装置还包括：

删除模块，用于当该图像集合中的任一第二图像的采集时间距离当前***时间的时长大于或等于时长阈值时，将该图像集合中的该任一第二图像删除。

在一种可能实现方式中，该识别模块504用于：

将该待识别图像的图像特征与该融合特征进行匹配，得到该待识别图像的图像特征与该融合特征的相似度；

当该相似度大于第一相似度阈值时，确定该待识别图像中的对象为该目标对象。

在一种可能实现方式中，该装置还包括：

第一添加模块，用于当该相似度大于第二相似度阈值时，将该待识别图像添加至该目标对象的图像集合中，该第二相似度阈值大于第一相似度阈值。

在一种可能实现方式中，该装置还包括：

第二添加模块，用于获取该待识别图像的图像质量，当该相似度大于第二相似度阈值，且该图像质量大于质量阈值时，将该待识别图像添加至该目标图像的图像集合中，该第二相似度阈值大于第一相似度阈值。

在一种可能实现方式中，该获取模块502还用于获取目标时间段内采集得到的待添加至图像集合中的多个待识别图像的数量；

该装置还包括：

第三添加模块，用于当该数量大于数量阈值时，根据从该多个待识别图像的图像特征与图像集合的融合特征的相似度，该多个待识别图像的图像质量组成的群组中选择的至少一项，从该多个待识别图像中，选择目标数量的待识别图像添加至该图像集合中。

在一种可能实现方式中，该第三添加模块用于：

根据从该多个待识别图像的图像特征与图像集合的融合特征的相似度，该多个待识别图像的图像质量组成的群组中选择的至少一项，从该多个待识别图像中选择多个候选待识别图像；

从该多个候选待识别图像中，随机选择目标数量的候选待识别图像添加至该图像集合中。

本发明实施例提供的装置，对于图像集合中的多个图像，可以根据每个图像的至少一项信息，来获取每个图像的权重，基于每个图像的权重将多个图像的图像特征进行加权求和，得到融合特征，进而可以直接基于融合特征与待识别图像的图像特征进行匹配，以实现图像识别，无需进行多次对比，提高了图像识别效率，且该融合特征基于多个图像的图像特征得到，能够体现不同场景、不同光照或不同角度下的目标对象，以此作为图像识别依据，提高了图像识别的准确性。

需要说明的是：上述实施例提供的图像识别装置在识别图像时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像识别装置与图像识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述计算机设备可以为下述图6所示的终端，也可以为下述图7所示的服务器，本发明实施例对此不作限定。

图6是本发明实施例提供的一种终端的结构示意图。该终端600可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端600包括有：一个或多个处理器601和一个或多个存储器602。

处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器601所执行以实现本发明中方法实施例提供的图像识别方法。

在一些实施例中，终端600还可选包括有：***设备接口603和至少一个***设备。处理器601、存储器602和***设备接口603之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口603相连。具体地，***设备包括：射频电路604、显示屏605、摄像头606、音频电路607、定位组件608和电源609中的至少一种。

***设备接口603可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和***设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和***设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路604包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本发明对此不加以限定。

显示屏605用于显示UI(UserInterface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时，显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时，显示屏605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏605可以为一个，设置终端600的前面板；在另一些实施例中，显示屏605可以为至少两个，分别设置在终端600的不同表面或呈折叠设计；在再一些实施例中，显示屏605可以是柔性显示屏，设置在终端600的弯曲表面上或折叠面上。甚至，显示屏605还可以设置成非矩形的不规则图形，也即异形屏。显示屏605可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件606用于采集图像或视频。可选地，摄像头组件606包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器601进行处理，或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路607还可以包括耳机插孔。

定位组件608用于定位终端600的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System，全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。

电源609用于为终端600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于：加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。

加速度传感器611可以检测以终端600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号，控制显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器612可以检测终端600的机体方向及转动角度，陀螺仪传感器612可以与加速度传感器611协同采集用户对终端600的3D动作。处理器601根据陀螺仪传感器612采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器613可以设置在终端600的侧边框和/或显示屏605的下层。当压力传感器613设置在终端600的侧边框时，可以检测用户对终端600的握持信号，由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在显示屏605的下层时，由处理器601根据用户对显示屏605的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器614用于采集用户的指纹，由处理器601根据指纹传感器614采集到的指纹识别用户的身份，或者，由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器601授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置终端600的正面、背面或侧面。当终端600上设置有物理按键或厂商Logo时，指纹传感器614可以与物理按键或厂商Logo集成在一起。

光学传感器615用于采集环境光强度。在一个实施例中，处理器601可以根据光学传感器615采集的环境光强度，控制显示屏605的显示亮度。具体地，当环境光强度较高时，调高显示屏605的显示亮度；当环境光强度较低时，调低显示屏605的显示亮度。在另一个实施例中，处理器601还可以根据光学传感器615采集的环境光强度，动态调整摄像头组件606的拍摄参数。

接近传感器616，也称距离传感器，通常设置在终端600的前面板。接近传感器616用于采集用户与终端600的正面之间的距离。在一个实施例中，当接近传感器616检测到用户与终端600的正面之间的距离逐渐变小时，由处理器601控制显示屏605从亮屏状态切换为息屏状态；当接近传感器616检测到用户与终端600的正面之间的距离逐渐变大时，由处理器601控制显示屏605从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图6中示出的结构并不构成对终端600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

图7是本发明实施例提供的一种服务器的结构示意图，该服务器700可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(central processing units，CPU)701和一个或多个的存储器702，其中，该一个或多个存储器702中存储有至少一条指令，该至少一条指令由该一个或多个处理器701加载并执行以实现上述各个方法实施例提供的图像识别方法。当然，该服务器700还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器700还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由处理器执行以完成上述实施例中的图像识别方法。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random AccessMemory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

上述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像识别方法，其特征在于，所述方法包括：

对目标对象的图像集合中的多个图像进行特征提取，得到所述多个图像的图像特征；

根据从每个图像被添加至所述图像集合中的时间，所述每个图像的图像特征与所述每个图像被添加至所述图像集合之前的融合特征的相似度，所述每个图像的图像质量，所述每个图像的图像特征与所述图像集合中多个图像的图像特征的聚类中心之间的位置关系指示信息组成的群组中选择的至少一项，获取所述每个图像的权重；

基于所述每个图像的权重，对所述多个图像的图像特征进行加权求和，得到所述图像集合的融合特征；

当提取到待识别图像的图像特征时，将所述待识别图像的图像特征与所述融合特征进行匹配，以识别所述待识别图像中的对象是否为所述目标对象。

2.根据权利要求1所述的方法，其特征在于，所述图像集合包括第一图像和第二图像，所述第一图像为图像识别前获取得到的原始图像，所述第二图像为图像识别过程中满足条件时被添加至图像集合中的图像，所述第一图像的权重和所述第二图像的权重不同。

3.根据权利要求2所述的方法，其特征在于，所述目标对象的图像集合中第二图像的采集时间距离当前***时间的时长小于时长阈值。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

当所述图像集合中的任一第二图像的采集时间距离当前***时间的时长大于或等于时长阈值时，将所述图像集合中的所述任一第二图像删除。

5.根据权利要求1所述的方法，其特征在于，所述将所述待识别图像的图像特征与所述融合特征进行匹配，以识别所述待识别图像中的对象是否为所述目标对象，包括：

将所述待识别图像的图像特征与所述融合特征进行匹配，得到所述待识别图像的图像特征与所述融合特征的相似度；

当所述相似度大于第一相似度阈值时，确定所述待识别图像中的对象为所述目标对象。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

当所述相似度大于第二相似度阈值时，将所述待识别图像添加至所述目标对象的图像集合中，所述第二相似度阈值大于第一相似度阈值。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

获取所述待识别图像的图像质量；

当所述相似度大于第二相似度阈值，且所述图像质量大于质量阈值时，将所述待识别图像添加至所述目标图像的图像集合中，所述第二相似度阈值大于第一相似度阈值。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取目标时间段内采集得到的待添加至图像集合中的多个待识别图像的数量；

当所述数量大于数量阈值时，根据从所述多个待识别图像的图像特征与图像集合的融合特征的相似度，所述多个待识别图像的图像质量组成的群组中选择的至少一项，从所述多个待识别图像中，选择目标数量的待识别图像添加至所述图像集合中。

9.根据权利要求8所述的方法，其特征在于，所述根据从所述多个待识别图像的图像特征与图像集合的融合特征的相似度，所述多个待识别图像的图像质量组成的群组中选择的至少一项，从所述多个待识别图像中，选择目标数量的待识别图像添加至所述图像集合中，包括：

根据从所述多个待识别图像的图像特征与图像集合的融合特征的相似度，所述多个待识别图像的图像质量组成的群组中选择的至少一项，从所述多个待识别图像中选择多个候选待识别图像；

从所述多个候选待识别图像中，随机选择目标数量的候选待识别图像添加至所述图像集合中。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至权利要求9任一项所述的图像识别方法所执行的操作。

Images