CN109063790A - 对象识别模型优化方法、装置和电子设备 - Google Patents

对象识别模型优化方法、装置和电子设备 Download PDF

Info

Publication number
CN109063790A
CN109063790A CN201811132102.3A CN201811132102A CN109063790A CN 109063790 A CN109063790 A CN 109063790A CN 201811132102 A CN201811132102 A CN 201811132102A CN 109063790 A CN109063790 A CN 109063790A
Authority
CN
China
Prior art keywords
image
object identifying
identifying model
cluster
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811132102.3A
Other languages
English (en)
Other versions
CN109063790B (zh
Inventor
宋俍辰
汪成
张骞
黄畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Horizon Robotics Technology Research and Development Co Ltd
Original Assignee
Beijing Horizon Robotics Technology Research and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Horizon Robotics Technology Research and Development Co Ltd filed Critical Beijing Horizon Robotics Technology Research and Development Co Ltd
Priority to CN201811132102.3A priority Critical patent/CN109063790B/zh
Publication of CN109063790A publication Critical patent/CN109063790A/zh
Application granted granted Critical
Publication of CN109063790B publication Critical patent/CN109063790B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种对象识别模型优化方法、装置和电子设备。该方法包括:基于对象识别模型提取多幅图像各自对应的特征向量;基于所述特征向量确定所述多幅图像中每两幅图像之间的距离以获得距离矩阵;基于所述距离矩阵对所述多幅图像进行聚类;以及,基于聚类后的所述多幅图像优化所述对象识别模型。这样,可以高效和稳定地获得具有良好性能的对象识别模型。

Description

对象识别模型优化方法、装置和电子设备
技术领域
本申请涉及模型优化领域,且更为具体地,涉及一种对象识别模型优化方法、对象识别模型优化装置和电子设备。
背景技术
近年来,由于行人再识别技术在智能监控***中的应用,该问题已成为计算机视觉研究领域的重点之一。行人再识别需要通过判断某个摄像头拍摄到的目标行人与在不同时刻由另一非重叠视域的摄像头拍摄的行人是否为同一行人。
目前,越来越多的行人再识别***采用深度神经网络模型用于行人识别,但是在现实中,行人再识别***会面临各种各样的环境,而其中大量场景是在模型训练时未加入考虑的内容。例如,在南方某个街头采集数据并训练好深度神经网络模型,可能在北方的冬天街头实际场景有雪景干扰。或者,利用室外街头的数据训练深度神经网络模型后,在室内实际应用时有场景光照变化,这些不同的场景环境均会导致模型精度显著下降。
因此,期望提供改进的模型优化方案。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种对象识别模型优化方法、装置和电子设备,其通过使用基于图像的特征向量所确定的图像间距离对图像进行聚类,并使用聚类后的图像优化模型,从而高效和稳定地获得具有良好性能的对象识别模型。
根据本申请的一个方面,提供了一种对象识别模型优化方法,包括:基于对象识别模型提取多幅图像各自对应的特征向量;基于所述特征向量确定所述多幅图像中每两幅图像之间的距离以获得距离矩阵;基于所述距离矩阵对所述多幅图像进行聚类;以及,基于聚类后的所述多幅图像优化所述对象识别模型。
根据本申请的另一方面,提供了一种对象识别模型优化装置,包括:特征向量提取单元,用于基于对象识别模型提取多幅图像各自对应的特征向量;距离矩阵获得单元,用于基于所述特征向量提取单元所提取的特征向量确定所述多幅图像中每两幅图像之间的距离以获得距离矩阵;图像聚类单元,用于基于所述距离矩阵获得单元所获得的距离矩阵对所述多幅图像进行聚类;以及,模型优化单元,用于基于所述图像聚类单元聚类后的所述多幅图像优化所述对象识别模型。
根据本申请的再一方面,提供了一种电子设备,包括:处理器;以及,存储器,在所述存储器中存储有计算机程序指令,所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的对象识别模型优化方法。
根据本申请的又一方面,提供了一种计算机可读介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的对象识别模型优化方法。
与现有技术相比,本申请提供的对象识别模型优化方法、装置和电子设备可以基于对象识别模型提取多幅图像各自对应的特征向量;基于所述特征向量确定所述多幅图像中每两幅图像之间的距离以获得距离矩阵;基于所述距离矩阵对所述多幅图像进行聚类;以及,基于聚类后的所述多幅图像优化所述对象识别模型。这样,通过使用基于图像的特征向量所确定的图像间距离对图像进行聚类,并使用聚类后的图像优化模型,由于充分利用了容易得到的大量未标记图像并筛选掉了置信度较低的图像,可以高效和稳定地获得具有良好性能的对象识别模型。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的对象识别模型优化方法的应用场景的示意图。
图2图示了根据本申请实施例的对象识别模型优化方法的流程图。
图3图示了根据本申请实施例的多个摄像头的拍摄图像的示例的示意图。
图4图示了根据本申请实施例的对象识别模型的优化过程的流程图。
图5图示了根据本申请实施例的对象识别模型优化方法应用于行人再识别***的示例的流程图。
图6图示了根据本申请实施例的对象识别模型优化装置的框图。
图7图示了根据本申请实施例的电子设备的框图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
申请概述
如上所述,在目前使用深度神经网络模型的行人再识别***中,不同的场景环境会导致模型精度显著下降。
针对该问题,现有的技术方案主要分为两种。一种是在新场景中获取新的数据后,投入新的人力进行标注,将已有的深度神经网络模型用新数据进行微调和重新训练。但是,投入新的人力进行标记消耗资源太大,每一个新的行人再识别***投入使用,都需要判定是否数据重新标注,如果需要重新标注,不仅拖慢***上线时间,而且需要大量人力开展工作。
第二是利用现有的深度生成网络技术,将有标记的行人图像进行图像风格迁移,得到新的场景下的图像。但是,现有的深度生成网络技术仍然不够成熟,生成的图像效果质量较差,若用这些生成图像对行人再识别***的深度神经网络模型进行微调和重新训练,在新场景下带来的精度提升十分有限。同时,利用深度生成网络技术也未能利用大量的未标记数据资源。
基于上述技术问题,本申请的基本构思是计算图像的特征向量,并基于所述特征向量生成的图像间的距离矩阵,通过所述距离矩阵对图像进行聚类,并使用聚类后的图像优化模型。这样,由于充分利用了容易得到的大量未标记图像并筛选掉了置信度较低的图像,可以高效和稳定地获得具有良好性能的对象识别模型。
具体地,本申请提供的对象识别模型优化方法、装置和电子设备首先基于对象识别模型提取多幅图像各自对应的特征向量,然后基于所述特征向量确定所述多幅图像中每两幅图像之间的距离以获得距离矩阵,再基于所述距离矩阵对所述多幅图像进行聚类,最后基于聚类后的所述多幅图像优化所述对象识别模型。
因此,本申请的对象识别模型优化方法、装置和电子设备在遇到新的场景环境且模型的性能下降时,无需花费大量人力进行重新标注,而可以直接利用容易得到的大量未标记图像数据。并且,通过聚类筛选掉置信度较低的图像,然后利用剩下的图像去优化对象识别模型,相比使用尚不成熟的生成模型更加稳定可靠,且适合大规模地投入实际使用。
这里,本领域技术人员可以理解,本申请的方案中的对象识别模型不仅限于行人再识别***,而是可以是用于识别任何对象的识别模型,例如在智能驾驶领域中用于识别车辆、道路标志等的识别模型等。因此,本申请的方案可以适用于在任何训练以外的新场景下模型性能下降的情况下模型的优化,而并不限于特定的识别模型或者识别***。
在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性***
图1图示了根据本申请实施例的优化方法的应用场景的示意图。
如图1所示,对象识别模型可包括深度神经网络模型100。当多个图像采集装置从一个位置处移到另一个位置时,移动后的位置所在的场景可视为本申请中所述的新场景。多个图像采集装置可在该新场景下采集大量未标记的图像IM,将其通过深度神经网络模型100提取特征向量,并通过特征向量计算所述图像IM的距离矩阵110,这里,IM表示采集的多幅图像。需要说明的是,对象识别模型中还可以包含识别模型需要的其它功能模块,本申请在此不详述。
然后,基于所述距离矩阵110通过聚类模块120对所述图像IM进行聚类,以得到聚类后的图像IN1,IN2,…,这里,IN1,IN2,…分别表示聚类后的一个类别的图像,其可以是一幅图像,也可以是多幅图像。接下来,通过所述聚类后的图像IN1,IN2,…来优化所述深度神经网络模型100,从而使得所述深度神经网络模型100可以针对新场景的图像具有良好的识别性能。
下面,将详细说明根据本申请实施例的对象识别模型优化方法。
示例性方法
图2图示了根据本申请实施例的对象识别模型优化方法的流程图。
如图2所示,根据本申请实施例的对象识别模型优化方法包括:S210,基于对象识别模型提取多幅图像各自对应的特征向量;S220,基于所述特征向量确定所述多幅图像中每两幅图像之间的距离以获得距离矩阵;S230,基于所述距离矩阵对所述多幅图像进行聚类;以及S240,基于聚类后的所述多幅图像优化所述对象识别模型。
在步骤S210中,基于对象识别模型提取多幅图像各自对应的特征向量。这里,如上所述,本申请实施例的对象识别模型优化方法适用于对象识别模型针对大量未标记的图像数据进行对象识别,因此,期望所采集的图像适于深度神经网络模型的训练。
以新场景下的行人图像数据为例,期望所设置的多个图像采集装置,以多个图像采集装置为多个摄像头为例进行说明,多个摄像头布设的位置使得多个摄像头的覆盖范围不完全重合但是多个摄像头的地理拓扑位置上尽可能靠近,从而尽可能满足实际应用需求的覆盖范围,以保证存在某些行人可以出现不同摄像头采集到的图像数据下。并且,在设置好多个摄像头的位置之后,开启多个摄像头采集行人图像数据,具体地,多个摄像头在某一相同的时间段内进行行人图像数据的采集,以保证在该时间段内有相同行人通过多个摄像头的某些摄像头。
图3图示了根据本申请实施例的多个摄像头的拍摄图像的示例的示意图。如图3所示,以多个摄像头具体为3个摄像头为例进行说明,在3个摄像头分别拍摄的图像I1、I2和I3中,包含有同一待识别的行人,且所述行人在多个图像I1、I2和I3中具有不同的位置。
也就是,在根据本申请实施例的对象识别模型优化方法中,在基于对象识别模型提取多幅图像各自对应的特征向量之前进一步包括:在预定时间段内控制多个图像采集设备采集所述多幅图像,以使得所述对象识别模型所识别的对象包含在所述多个图像采集设备中的不同图像采集设备采集的图像中。
这样,由于多个不同图像采集设备所采集的多幅图像中包含同一待识别对象,且所述同一待识别对象在所述多幅图像中的位姿和背景不尽相同,可以提高对象识别模型的训练的有效性。
此外,在根据本申请实施例的对象识别模型优化方法中,在基于对象识别模型提取多幅图像各自对应的特征向量之前进一步包括:确定环境信息和/或地理位置信息;以及,当所述环境信息和/或所述地理位置信息符合预设条件时,控制多个图像采集设备采集所述多幅图像。
也就是,根据本申请实施例的对象识别模型优化方法尤其适用于新场景下的对象识别模型的优化,因为在上述新场景下图像中可能出现一些之前的训练图像中未出现过的要素,比如气候要素,光线要素等。因此,通过确定环境信息和/或地理位置信息是否符合预设条件,可以仅针对新场景优化所述对象识别模型,从而提高所述对象识别模型的优化的针对性,避免在不需要的情况下进行模型优化从而浪费***资源。
接下来,针对图像采集设备采集到的多幅图像,利用已有的基于深度神经网络的对象识别模型提取每幅图像的特征向量。
在步骤S220中,基于所述特征向量确定所述多幅图像中每两幅图像之间的距离以获得距离矩阵。例如,可以基于每幅图像的特征向量,计算多幅图像两两之间的欧式距离、余弦相似性等,以得到所述多幅图像对应的距离矩阵。
在步骤S230,基于所述距离矩阵对所述多幅图像进行聚类。具体地,可以根据距离矩阵利用各种聚类算法对所述多幅图像进行聚类。例如,所述聚类算法可以是DBSCAN(Density-Based Spatial Clustering of Applications with Noise,具有噪声的基于密度的聚类方法)或K-Means(K-均值算法)。此外,所使用的聚类算法的参数需要根据实际场景设定,例如在使用K-Means算法的情况下,其参数K设置为实际场景中的待识别对象,例如人群中的人的大致数量。
并且,在根据本申请实施例的对象识别模型优化方法中,可以采用离线聚类的方式,这样,通过基于所述距离矩阵进行离线聚类,即利用聚类算法将这些特征向量分为几个不同的类别,可以实现将新采集的包含待识别对象的图像按相似度进行分类的效果。
在步骤S240,基于聚类后的所述多幅图像优化所述对象识别模型。
具体地,通过对所述多幅图像进行聚类,可以确定所述多幅图像的多个类别,且每个类别包括一幅或者多幅图像,表现为聚类后的图像具有至少一个标签信息。这里,标签信息用于表示聚类后的图像的类别,以行人图像为例,可以用于表示多幅行人图像是否对应于同一行人。然后,可以基于所述至少一个标签信息以及所述至少一个标签信息对应的同类图像优化所述对象识别模型。
也就是,在根据本申请实施例的对象识别模型优化方法中,基于聚类后的所述多幅图像优化所述对象识别模型包括:基于所述聚类后的多幅图像的聚类信息确定所述聚类后的图像的至少一个标签信息;以及,基于所述至少一个标签信息以及所述至少一个标签信息对应的同类图像优化所述对象识别模型。
这样,通过基于聚类后的图像的标签信息来通过使用同类图像优化所述对象识别模型,可以使得所述图像识别模型的训练过程高效和稳定。
另外,针对基于标签信息获得的同类图像,还可以进一步进行筛选,以去除置信度较低的图像。具体地,可以计算每幅图像与其聚类中心的距离,并根据预设阈值,只选择距离小于此预设阈值的图像。
也就是,在根据本申请实施例的对象识别模型优化方法中,基于所述至少一个标签信息以及该至少一个标签信息对应的同类图像优化所述对象识别模型包括:确定所述同类图像中的每个图像与其聚类中心的距离是否小于或等于预定阈值;以及,响应于确定所述同类图像中的一个或多个图像与其所述聚类中心的距离小于或等于预定阈值,以所述一个或多个图像优化所述对象识别模型。
因此,通过进一步筛选置信度高的图像以用于所述对象识别模型的训练,可以进一步提高所述对象识别模型的训练的效率和稳定性。
此外,所述预设阈值可以是硬阈值或者软阈值,硬阈值即为某个最大距离值,对聚类后数据每个类别均用此阈值进行筛选;而软阈值为比例值T,对聚类后数据每个类别中,只选择距离聚类中心前百分之T的数据。也就是,所述预定阈值可以是固定阈值,或者是设置为所述聚类的类别中图像数目的预定比例的阈值。
也就是说,通过设置不同的阈值,可以提高本申请实施例的方案中数据利用的灵活性,从而有效地利用未标记的大量图像数据。
图4图示了根据本申请实施例的对象识别模型的优化过程的流程图。如图4所示,所述优化过程包括:S310,基于所述聚类后的多幅图像的聚类信息确定所述聚类后的图像的至少一个标签信息;S320,确定所述同类图像中的每个图像与其聚类中心的距离是否小于或等于预定阈值;S330,响应于步骤S320中的判定为“是”,即,所述同类图像中的一个或多个图像与其聚类中心的距离小于或等于预定阈值,选择所述一个或多个图像作为优化候选图像;S340,响应于步骤S320中的判定为“否”,即,所述同类图像中的一个或多个其它图像与其聚类中心的距离大于预定阈值,丢弃所述一个或多个其它图像;以及S350,以所述一个或多个优化候选图像来优化所述对象识别模型。
此外,在根据本申请实施例的对象识别模型优化方法中,利用筛选后的图像数据以及其类别信息,可以以较小的学习率对对象识别模型,例如行人再识别***中的深度神经网络模型进行微调和重新训练。也就是说,在优化所述对象识别模型的过程中,学习率可以小于初始获得的已知深度神经网络模型训练时的学习率。例如,优化时的学习率可以设为原始学习率的千分之一,总共进行十次迭代。
因此,在根据本申请实施例的对象识别模型优化方法中,基于聚类后的所述多幅图像优化所述对象识别模型包括:以小于所述对象识别模型的初始学习率的优化学习率重新训练所述对象识别模型。
因为在本申请实施例中,通过对多幅图像进行聚类从而去除了置信度低的图像,可以降低重新训练时的学习率。并且,通过降低重新训练时的学习率,可以提高所述对象识别模型的训练效率。
图5图示了根据本申请实施例的对象识别模型优化方法应用于行人再识别***的示例的流程图。
如图5所示,首先在步骤S410,采集新场景下的行人图像数据;在步骤S420,利用已有的行人再识别***中的深度神经网络模型提取特征向量,并计算距离矩阵,这里的行人再识别***对应于上面所述的对象识别模型,且所述行人再识别***包含所述深度神经网络模型;在步骤S430,根据特征向量和距离矩阵对行人图像数据进行离线聚类;在步骤S440,根据预设阈值对聚类后的数据进行筛选;最后,在步骤S450,利用余下的行人图像数据以及聚类信息,对行人再识别***中的深度神经网络模型进行微调和训练。
这样,通过利用新场景下部署的摄像头采集到的图像并结合离线聚类技术对行人再识别***中的深度神经网络模型进行更新,可以快速高效且稳定的让行人再识别***在新环境中有较好的性能。
示例性装置
图6图示了根据本申请实施例的对象识别模型优化装置的框图。
如图6所示,根据本申请实施例的对象识别模型优化装置500包括:特征向量提取单元510,用于基于对象识别模型提取多幅图像各自对应的特征向量;距离矩阵获得单元520,用于基于所述特征向量提取单元510所提取的特征向量确定所述多幅图像中每两幅图像之间的距离以获得距离矩阵;图像聚类单元530,用于基于所述距离矩阵获得单元520所获得的距离矩阵对所述多幅图像进行聚类;以及模型优化单元540,用于基于所述图像聚类单元530聚类后的所述多幅图像优化所述对象识别模型。
在一个示例中,在上述对象识别模型优化装置500中,所述模型优化单元540包括:确定子单元,用于基于所述图像聚类单元聚类后的多幅图像的聚类信息确定所述聚类后的图像的至少一个标签信息;以及,优化子单元,用于基于所述确定子单元确定的所述至少一个标签信息以及所述至少一个标签信息对应的同类图像优化所述对象识别模型。
在一个示例中,在上述对象识别模型优化装置500中,所述优化子单元具体用于:确定所述同类图像中的每个图像与其聚类中心的距离是否小于或等于预定阈值;以及,响应于确定所述同类图像中的一个或多个图像与其所述聚类中心的距离小于或等于预定阈值,以所述一个或多个图像优化所述对象识别模型。
在一个示例中,在上述对象识别模型优化装置500中,进一步包括:第一采集控制单元,用于在所述特征向量提取单元基于对象识别模型提取多幅图像各自对应的特征向量之前,在预定时间段内控制多个图像采集设备采集所述多幅图像,以使得所述对象识别模型所识别的对象包含在所述多个图像采集设备中的不同图像采集设备采集的图像中。
在一个示例中,在上述对象识别模型优化装置500中,进一步包括:采集判定单元,用于在所述特征向量提取单元基于对象识别模型提取多幅图像各自对应的特征向量之前,确定环境信息和/或地理位置信息;以及,第二采集控制单元,用于当所述采集判定单元确定所述环境信息和/或所述地理位置信息符合预设条件时,控制多个图像采集设备采集所述多幅图像。
这里,本领域技术人员可以理解,上述对象识别模型优化装置500中的各个单元和模块的具体功能和操作已经在上面参考图2到图5的对象识别模型优化方法的描述中得到了详细介绍,并因此,将省略其重复描述。
如上所述,根据本申请实施例的对象识别模型优化装置500可以实现在各种终端设备中,例如用于运行行人再识别***的服务器,或者用于识别行人的智能摄像头等。在一个示例中,根据本申请实施例的对象识别模型优化装置500可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该对象识别模型优化装置500可以是该终端设备的操作***中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该对象识别模型优化装置500同样可以是该终端设备的众多硬件模块之一。
替换地,在另一示例中,该对象识别模型优化装置500与该终端设备也可以是分立的设备,并且该对象识别模型优化装置500可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
示例性电子设备
下面,参考图7来描述根据本申请实施例的电子设备。
图7图示了根据本申请实施例的电子设备的框图。
如图7所示,电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器11可以运行所述程序指令,以实现上文所述的本申请的各个实施例的对象识别模型优化方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如特征向量、距离矩阵、聚类信息等各种内容。
在一个示例中,电子设备10还可以包括:输入装置13和输出装置14,这些组件通过总线***和/或其他形式的连接机构(未示出)互连。
例如,该输入装置13可以是图像采集设备,例如按照上述方式布置的多个摄像头,从而获取包含待识别对象的多幅图像。此外,该输入装置13还可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息,包括经过优化后的对象识别模型,以及所述对象识别模型对于待识别对象的识别结果等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图7中仅示出了该电子设备10中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的对象识别模型优化方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的对象识别模型优化方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (14)

1.一种对象识别模型优化方法,包括:
基于对象识别模型提取多幅图像各自对应的特征向量;
基于所述特征向量确定所述多幅图像中每两幅图像之间的距离以获得距离矩阵;
基于所述距离矩阵对所述多幅图像进行聚类;以及
基于聚类后的所述多幅图像优化所述对象识别模型。
2.如权利要求1所述的对象识别模型优化方法,其中,基于聚类后的所述多幅图像优化所述对象识别模型包括:
基于所述聚类后的多幅图像的聚类信息确定所述聚类后的图像的至少一个标签信息;以及
基于所述至少一个标签信息以及该至少一个标签信息对应的同类图像优化所述对象识别模型。
3.如权利要求2所述的对象识别模型优化方法,其中,基于所述至少一个标签信息以及该至少一个标签信息对应的同类图像优化所述对象识别模型包括:
确定所述同类图像中的每个图像与其聚类中心的距离是否小于或等于预定阈值;以及
响应于确定所述同类图像中的一个或多个图像与其所述聚类中心的距离小于或等于预定阈值,以所述一个或多个图像优化所述对象识别模型。
4.如权利要求3所述的对象识别模型优化方法,其中,所述预定阈值是固定阈值或者设置为所述聚类的类别中图像数目的预定比例的阈值。
5.如权利要求1所述的对象识别模型优化方法,其中,在基于对象识别模型提取多幅图像各自对应的特征向量之前进一步包括:
在预定时间段内控制多个图像采集设备采集所述多幅图像,以使得所述对象识别模型所识别的对象包含在所述多个图像采集设备中的不同图像采集设备采集的图像中。
6.如权利要求1所述的对象识别模型优化方法,其中,基于聚类后的所述多幅图像优化所述对象识别模型包括:
以小于所述对象识别模型的初始学习率的优化学习率重新训练所述对象识别模型。
7.如权利要求1到6中任意一项所述的对象识别模型优化方法,在基于对象识别模型提取多幅图像各自对应的特征向量之前进一步包括:
确定环境信息和/或地理位置信息;以及
当所述环境信息和/或所述地理位置信息符合预设条件时,控制多个图像采集设备采集所述多幅图像。
8.一种对象识别模型优化装置,包括:
特征向量提取单元,用于基于对象识别模型提取多幅图像各自对应的特征向量;
距离矩阵获得单元,用于基于所述特征向量提取单元所提取的特征向量确定所述多幅图像中每两幅图像之间的距离以获得距离矩阵;
图像聚类单元,用于基于所述距离矩阵获得单元所获得的距离矩阵对所述多幅图像进行聚类;以及
模型优化单元,用于基于所述图像聚类单元聚类后的所述多幅图像优化所述对象识别模型。
9.如权利要求8所述的对象识别模型优化装置,其中,所述模型优化单元包括:
确定子单元,用于基于所述图像聚类单元聚类后的多幅图像的聚类信息确定所述聚类后的图像的至少一个标签信息;以及
优化子单元,用于基于所述确定子单元确定的所述至少一个标签信息以及所述至少一个标签信息对应的同类图像优化所述对象识别模型。
10.如权利要求9所述的对象识别模型优化装置,其中,所述优化子单元具体用于:
确定所述同类图像中的每个图像与其聚类中心的距离是否小于或等于预定阈值;以及
响应于确定所述同类图像中的一个或多个图像与其所述聚类中心的距离小于或等于预定阈值,以所述一个或多个图像优化所述对象识别模型。
11.如权利要求8所述的对象识别模型优化装置,进一步包括:
第一采集控制单元,用于在所述特征向量提取单元基于对象识别模型提取多幅图像各自对应的特征向量之前,在预定时间段内控制多个图像采集设备采集所述多幅图像,以使得所述对象识别模型所识别的对象包含在所述多个图像采集设备中的不同图像采集设备采集的图像中。
12.如权利要求8到11中任意一项所述的对象识别模型优化装置,进一步包括:
采集判定单元,用于在所述特征向量提取单元基于对象识别模型提取多幅图像各自对应的特征向量之前,确定环境信息和/或地理位置信息;以及
第二采集控制单元,用于当所述采集判定单元确定所述环境信息和/或所述地理位置信息符合预设条件时,控制多个图像采集设备采集所述多幅图像。
13.一种电子设备,包括:
处理器;以及
存储器,在所述存储器中存储有计算机程序指令,所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-7中任一项所述的对象识别模型优化方法。
14.一种计算机可读介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-7中任一项所述的对象识别模型优化方法。
CN201811132102.3A 2018-09-27 2018-09-27 对象识别模型优化方法、装置和电子设备 Active CN109063790B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811132102.3A CN109063790B (zh) 2018-09-27 2018-09-27 对象识别模型优化方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811132102.3A CN109063790B (zh) 2018-09-27 2018-09-27 对象识别模型优化方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN109063790A true CN109063790A (zh) 2018-12-21
CN109063790B CN109063790B (zh) 2021-03-16

Family

ID=64766068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811132102.3A Active CN109063790B (zh) 2018-09-27 2018-09-27 对象识别模型优化方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN109063790B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175546A (zh) * 2019-05-15 2019-08-27 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110348422A (zh) * 2019-07-18 2019-10-18 北京地平线机器人技术研发有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN110377775A (zh) * 2019-07-26 2019-10-25 Oppo广东移动通信有限公司 一种图片审核方法及装置、存储介质
CN111723609A (zh) * 2019-03-20 2020-09-29 杭州海康威视数字技术股份有限公司 模型优化方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366387A (zh) * 2012-02-28 2013-10-23 索尼公司 在用于显示图像的聚类技术之间进行的选择
CN107301380A (zh) * 2017-06-01 2017-10-27 华南理工大学 一种用于视频监控场景中行人重识别的方法
CN108108754A (zh) * 2017-12-15 2018-06-01 北京迈格威科技有限公司 重识别网络的训练、重识别方法、装置和***
US20180204111A1 (en) * 2013-02-28 2018-07-19 Z Advanced Computing, Inc. System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366387A (zh) * 2012-02-28 2013-10-23 索尼公司 在用于显示图像的聚类技术之间进行的选择
US20180204111A1 (en) * 2013-02-28 2018-07-19 Z Advanced Computing, Inc. System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform
CN107301380A (zh) * 2017-06-01 2017-10-27 华南理工大学 一种用于视频监控场景中行人重识别的方法
CN108108754A (zh) * 2017-12-15 2018-06-01 北京迈格威科技有限公司 重识别网络的训练、重识别方法、装置和***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘彩红: "一种优化BP神经网络训练样本的方法", 《重庆师范大学学报》 *
覃正等编: "《2008中国发展进程中的管理科学与工程》", 31 May 2008, 上海财经大学出版社 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723609A (zh) * 2019-03-20 2020-09-29 杭州海康威视数字技术股份有限公司 模型优化方法、装置、电子设备及存储介质
CN111723609B (zh) * 2019-03-20 2024-01-26 杭州海康威视数字技术股份有限公司 模型优化方法、装置、电子设备及存储介质
CN110175546A (zh) * 2019-05-15 2019-08-27 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
JP2021528715A (ja) * 2019-05-15 2021-10-21 シェンチェン センスタイム テクノロジー カンパニー リミテッドShenzhen Sensetime Technology Co.,Ltd 画像処理方法及び装置、電子機器並びに記憶媒体
JP7128906B2 (ja) 2019-05-15 2022-08-31 シェンチェン センスタイム テクノロジー カンパニー リミテッド 画像処理方法及び装置、電子機器並びに記憶媒体
CN110348422A (zh) * 2019-07-18 2019-10-18 北京地平线机器人技术研发有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN110377775A (zh) * 2019-07-26 2019-10-25 Oppo广东移动通信有限公司 一种图片审核方法及装置、存储介质

Also Published As

Publication number Publication date
CN109063790B (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
Chen et al. An edge traffic flow detection scheme based on deep learning in an intelligent transportation system
CN110472531B (zh) 视频处理方法、装置、电子设备及存储介质
CN111797893B (zh) 一种神经网络的训练方法、图像分类***及相关设备
Lecoutre et al. Recognizing art style automatically in painting with deep learning
CN112069929B (zh) 一种无监督行人重识别方法、装置、电子设备及存储介质
CN110163236B (zh) 模型的训练方法和装置、存储介质、电子装置
CN109063790A (zh) 对象识别模型优化方法、装置和电子设备
CN112131978B (zh) 一种视频分类方法、装置、电子设备和存储介质
JP2017062781A (ja) 深層cnnプーリング層を特徴として用いる、類似度に基づく重要な対象の検知
CN111052128B (zh) 用于检测和定位视频中的对象的描述符学习方法
CN113807399A (zh) 一种神经网络训练方法、检测方法以及装置
CN111738403B (zh) 一种神经网络的优化方法及相关设备
CN114387499A (zh) 一种海岛滨海湿地水鸟识别方法、分布查询***及介质
CN110516707B (zh) 一种图像标注方法及其装置、存储介质
JP6787831B2 (ja) 検索結果による学習が可能な対象検出装置、検出モデル生成装置、プログラム及び方法
JP2023176023A (ja) 分散型データ分析のためのシステムおよび方法
CN112068555A (zh) 一种基于语义slam方法的语音控制型移动机器人
CN112052818A (zh) 无监督域适应的行人检测方法、***及存储介质
CN111708913A (zh) 一种标签生成方法、设备及计算机可读存储介质
Shah et al. Efficient portable camera based text to speech converter for blind person
CN110866564A (zh) 多重半监督图像的季节分类方法、***、电子设备和介质
CN110458022A (zh) 一种基于域适应的可自主学习目标检测方法
Hammam et al. Real-time multiple spatiotemporal action localization and prediction approach using deep learning
Wang et al. Action recognition using edge trajectories and motion acceleration descriptor
CN113705293A (zh) 图像场景的识别方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant