CN110969072A - 模型优化方法、设备及图像分析*** - Google Patents

模型优化方法、设备及图像分析*** Download PDF

Info

Publication number
CN110969072A
CN110969072A CN201910556196.5A CN201910556196A CN110969072A CN 110969072 A CN110969072 A CN 110969072A CN 201910556196 A CN201910556196 A CN 201910556196A CN 110969072 A CN110969072 A CN 110969072A
Authority
CN
China
Prior art keywords
detection model
image
analysis result
user
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910556196.5A
Other languages
English (en)
Other versions
CN110969072B (zh
Inventor
谭晶晶
户军
许毅
张记伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision System Technology Co Ltd
Original Assignee
Hangzhou Hikvision System Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision System Technology Co Ltd filed Critical Hangzhou Hikvision System Technology Co Ltd
Publication of CN110969072A publication Critical patent/CN110969072A/zh
Application granted granted Critical
Publication of CN110969072B publication Critical patent/CN110969072B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种模型优化方法、设备及图像分析***,属于图像监控领域。所述方法包括:在第一图像采集设备采集的多张图像中获取备选图像,在备选图像中选择训练样本,基于训练样本对所述第一用户端设备的检测模型进行训练,所述第一用户端设备的检测模型用于对所述第一图像采集设备所采集的图像进行检测;当训练后的检测模型优于所述检测模型时,采用训练后的检测模型更新第一用户端设备的检测模型。解决了训练得到的检测模型无法与用户端设备所对应的图像分析场景适配的问题,提高了优化后的检测模型的可靠性。

Description

模型优化方法、设备及图像分析***
本申请要求于2018年9月30日提交的申请号为201811161087.5、发明名称为“模型优化方法、设备及图像分析***”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本发明涉及视频监控领域,特别涉及一种模型优化方法、设备及图像分析***。
背景技术
图像分析***正广泛应用于安防、交通、科研以及娱乐等多种领域,基于大数据的图像分析***可以包括中心管理服务器(英文:Central Management Server;缩写:CMS)、多个用户端设备,每个用户端设备管理一种图像分析场景下的多个图像采集设备。图像采集设备可以将采集到的图像发送至对应的用户端设备,由该用户端设备自动分析出关键信息以供图像监控人员处理。
相关技术中,CMS根据预先建立的图像库来建立检测模型,将该检测模型发送至各个用户端设备中,每个用户端设备基于该检测模型对其管理的图像采集设备所采集的图像进行分析。该图像库可以基于该多个用户端设备所提供的图像不断更新。在某一用户端设备提出模型优化需求时,CMS可以在该图像库中获取多个训练样本,然后基于该多个训练样本对该检测模型进行训练,将训练后的检测模型作为优化后的模型来更新该用户端设备中的检测模型。
但是,相关技术中训练得到的检测模型无法与用户端设备所对应的图像分析场景适配,因此,优化后的模型的可靠性较低。
发明内容
本发明实施例提供了一种模型优化方法、设备及图像分析***,可以解决相关技术中优化后的模型的可靠性较低的问题。所述技术方案如下:
根据本发明的第一方面,提供了一种模型优化方法,所述方法包括:
在第一图像采集设备所采集的多张图像中获取备选图像,所述第一图像采集设备为第一用户端设备所管理的图像采集设备;
在所述备选图像中选择训练样本,并将所述训练样本添加至所述第一用户端设备对应的训练样本库中;
基于所述训练样本库中的样本,对所述第一用户端设备的检测模型进行训练,得到训练后的检测模型,所述第一用户端设备的检测模型用于对所述第一图像采集设备所采集的图像进行检测;
当所述训练后的检测模型优于所述检测模型时,采用所述训练后的检测模型更新所述第一用户端设备的检测模型。
可选的,所述在第一图像采集设备所采集的多张图像中获取备选图像,包括:
将所述多张图像分别输入所述检测模型;
接收所述检测模型输出的每张图像的第一分析结果;
接收用户在所述第一用户端设备输入的审核指令,所述审核指令用于指示所述第一分析结果是否准确;
当所述审核指令指示任一图像的第一分析结果准确,将所述任一图像确定为备选图像,并保存所述第一分析结果。
可选的,所述在第一图像采集设备所采集的多张图像中获取备选图像,还包括:
当所述审核指令指示所述第一分析结果不准确,接收用户在所述第一用户端设备输入的第一分析结果更新指令,所述第一分析结果更新指令用于指示更新后的第一分析结果,
将包含有更新后的第一分析结果的图像确定为备选图像,并保存所述更新后的第一分析结果;
或者,当所述审核指令指示任一图像的第一分析结果不准确,将所述任一图像确定为非备选图像。
可选的,在所述采用所述训练后的检测模型更新所述第一用户端设备的检测模型之前,所述方法还包括:
在所述备选图像中选择测试图像;
基于所述测试图像,判断所述训练后的检测模型是否优于所述检测模型;
所述采用所述训练后的检测模型更新所述第一用户端设备的检测模型,包括:
当所述训练后的检测模型优于所述检测模型时,采用所述训练后的检测模型更新所述第一用户端设备的检测模型。
可选的,所述基于所述测试图像,判断所述训练后的检测模型是否优于所述检测模型,包括:
将所述测试图像输入所述训练后的检测模型,得到第二分析结果;
基于所述测试图像的第二分析结果,以及预先保存的第一分析结果,检测所述训练后的检测模型的准确性是否符合指定准确性条件;
当所述训练后的检测模型的准确性符合所述指定准确性条件时,判断所述训练后的检测模型优于所述检测模型。
可选的,所述测试图像有多张,所述基于所述测试图像的第二分析结果,以及预先保存的第一分析结果,检测所述训练后的检测模型的准确性是否符合指定准确性条件,包括:
统计第一分析结果与对应的第二分析结果相同的测试图像的第一数量;
当所述第一数量与测试图像的总数的比值大于指定比例阈值时,确定所述训练后的检测模型的准确性符合指定准确性条件;
当所述第一数量与测试图像的总数的比值不大于指定比例阈值时,确定所述训练后的检测模型的准确性不符合指定准确性条件。
可选的,所述在所述备选图像中选择训练样本,包括:
在所述备选图像中选择指定比例的图像作为训练样本;
所述在所述备选图像中选择测试图像,包括:
将所述备选图像中除所述训练样本之外的图像作为测试图像。
可选的,在所述基于所述训练样本库中的样本,对所述第一用户端设备的检测模型进行训练之前,所述方法还包括:
将所述第一用户端设备的检测模型备份;
当备份的检测模型符合删除条件时,将所述备份的检测模型删除。
可选的,所述方法由所述第一用户端设备执行,所述训练样本库存储在所述第一用户端设备本地。
根据本发明的第二方面,提供了一种模型优化装置,其特征在于,所述装置包括:
获取模块,用于在第一图像采集设备所采集的多张图像中获取备选图像,所述第一图像采集设备为第一用户端设备所管理的图像采集设备;
添加模块,用于在所述备选图像中选择训练样本,并将所述训练样本添加至所述第一用户端设备对应的训练样本库中;
训练模块,用于基于所述训练样本库中的样本,对所述第一用户端设备的检测模型进行训练,得到训练后的检测模型,所述第一用户端设备的检测模型用于对所述第一图像采集设备所采集的图像进行检测;
更新模块,用于当所述训练后的检测模型优于所述检测模型时,采用所述训练后的检测模型更新所述第一用户端设备的检测模型。
可选的,所述获取模块,用于:
将所述多张图像分别输入所述检测模型;
接收所述检测模型输出的每张图像的第一分析结果;
接收用户在所述第一用户端设备输入的审核指令,所述审核指令用于指示所述第一分析结果是否准确;
当所述审核指令指示任一图像的第一分析结果准确,将所述任一图像确定为备选图像,并保存所述第一分析结果。
可选的,所述获取模块,还用于:
当所述审核指令指示所述第一分析结果不准确,接收用户在所述第一用户端设备输入的第一分析结果更新指令,所述第一分析结果更新指令用于指示更新后的第一分析结果,
将包含有更新后的第一分析结果的图像确定为备选图像,并保存所述更新后的第一分析结果;
或者,当所述审核指令指示任一图像的第一分析结果不准确,将所述任一图像确定为非备选图像。
可选的,所述装置还包括:
选择模块,用于在所述备选图像中选择测试图像;
判断模块,用于基于所述测试图像,判断所述训练后的检测模型是否优于所述检测模型;
所述更新模块,用于当所述训练后的检测模型优于所述检测模型时,采用所述训练后的检测模型更新所述第一用户端设备的检测模型。
可选的,所述判断模块,包括:
输入子模块,用于将所述测试图像输入所述训练后的检测模型,得到第二分析结果;
检测子模块,用于基于所述测试图像的第二分析结果,以及预先保存的第一分析结果,检测所述训练后的检测模型的准确性是否符合指定准确性条件;
判断子模块,用于当所述训练后的检测模型的准确性符合所述指定准确性条件时,判断所述训练后的检测模型优于所述检测模型。
可选的,所述测试图像有多张,所述检测子模块,用于:
统计第一分析结果与对应的第二分析结果相同的测试图像的第一数量;
当所述第一数量与测试图像的总数的比值大于指定比例阈值时,确定所述训练后的检测模型的准确性符合指定准确性条件;
当所述第一数量与测试图像的总数的比值不大于指定比例阈值时,确定所述训练后的检测模型的准确性不符合指定准确性条件。
可选的,所述装置还包括:
备份模块,用于将所述第一用户端设备的检测模型备份。
可选的,所述装置还包括:
删除模块,用于当备份的检测模型符合删除条件时,将所述备份的检测模型删除。
可选的,所述模型优化装置为所述第一用户端设备,所述训练样本库存储在所述第一用户端设备本地。
根据本发明的第三方面,提供了一种图像分析***,所述图像分析***包括,所述包括第二方面所述的模型优化装置;
所述图像分析***还包括至少一个用户端设备,每个用户端设备管理至少一个图像采集设备。
根据本发明的第四方面,提供了一种计算机设备,包括处理器和存储器,
其中,所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序,实现第一方面所述的模型优化方法。
根据本发明的第五方面,提供了一种存储介质,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的模型优化方法。
本发明实施例提供的技术方案带来的有益效果是:
通过在备选图像中选择训练样本来对第一用户端设备的检测模型进行训练,以得到训练后的检测模型,由于备选图像为在第一图像采集设备所采集的多张图像中获取的图像,而该第一图像采集设备针对第一用户端设备所处的某一图像分析场景进行图像采集,因此,训练后的检测模型是针对第一用户端设备的检测模型,其可以与第一用户端设备所处的该某一图像分析场景适配,解决了相关技术中训练得到的检测模型无法与用户端设备所对应的图像分析场景适配的问题,提高了优化后的检测模型的可靠性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像分析***的示意图;
图2是本发明实施例提供的一种模型优化方法的流程图;
图3是本发明实施例提供的另一种模型优化方法的流程图;
图4是本发明实施例提供的一种基于训练样本库中的样本对第一用户端设备的检测模型进行训练以得到训练后的检测模型的方法流程图;
图5是本发明实施例提供的一种判断训练后的检测模型是否优于检测模型的方法流程图;
图6是本发明实施例提供的一种判断备份的检测模型是否符合删除条件的方法流程图;
图7是本发明实施例提供的又一种模型优化方法的方法流程图;
图8是本发明实施例提供的一种模型优化装置的框图;
图9是本发明实施例提供的另一种模型优化装置的框图;
图10是本发明实施例提供的一种判断模块的框图;
图11是本发明实施例提供的又一种模型优化装置的框图;
图12是本发明实施例提供的又一种模型优化装置的框图;
图13是本发明实施例提供的又一种模型优化装置的框图;
图14是本发明实施例提供的一种用户端设备的结构框图。
通过上述附图,已示出本发明明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围,而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
图1示出了本发明实施例所提供的模型优化方法所涉及的图像分析***10,该图像分析***10可以包括至少一个用户端设备12以及至少一个图像采集设备13,该图像分析***10可以为基于大数据的图像分析***。其中,每个用户端设备12管理至少一个图像采集设备13。图1以图像分析***10包括两个用户端设备12以及每个用户端设备12管理两个图像采集设备13为例,但并不对此进行限制。
图像采集设备13可以是摄像设备或者照相设备等能够进行图像采集的设备,例如其可以为双面摄像机或广角摄像机等。可选的,该图像采集设备可以为枪机或球机等网络摄像头(英文:Internet Protocol Camera;简称:IPC),网络摄像头可以将采集到的视频通过网络传送至与其网络连接的用户端设备。在本发明实施例中,该图像采集设备13可以安装于图像分析***所要进行图像分析的场景中,例如在应用于城管环境的图像分析***中,该图像分析***所要进行图像分析的对象可以为城市中摊贩或店铺等事件,分析的目的为确定违规事件,因此,该图像采集设备可以安装于城管巡逻的区域中。用户端设备12可以包括用户所操作的终端,在可选的实施例中,该用户端设备12还可以包括与用户所操作的终端连接的服务器。
可选的,图像分析***10还可以包括中心管理服务器14,中心管理服务器14可以是一台服务器,或者由若干台服务器组成的服务器集群,或者是一个云计算服务中心,中心管理服务器14可以提供用户端设备所需的服务并对该服务进行优化,例如,在本发明实施例提供的图像分析***中,中心管理服务器14可以根据图像分析***10所要进行图像分析的场景以及所需的分析结果,建立初始检测模型以供用户端设备使用,可选的,中心管理服务器14还可以对该初始检测模型进行优化。在其他可选的实施例中,中心管理服务器也可以视为用于提供服务的实验室设备,本发明实施例在此不做限制。
在该图像分析***10中,上述用户端设备12安装有指定客户端,中心管理服务器14可以通过该指定客户端为用户端设备提供服务。
可选的,图像分析***10还可以包括监管平台15,监管平台15可以包括用于供监管人员操作的终端,在可选的实施例中,该监管平台15还可以包括与用于供监管人员终端连接的服务器。该监管平台15用于根据其所获取的分析结果来对进行图像分析的场景进行监管,相较于用户端设备12,监管平台15为具有更高权限的用户设备,监管人员可以根据监管平台15来对分析结果进行进一步处理。
目前,图像分析***可以应用于不同的应用环境(即用途),对于每种应用环境,又存在多种图像分析场景。通常,在应用于一种应用环境的图像分析***中,对于每个图像分析场景可以配置一个用户端设备,该用户端设备可以管理一个或多个图像采集设备来进行该图像分析场景中的图像。当然,对于每一个图像分析场景也可以配置多个用户端设备。本发明实施例以每一个图像分析场景可以对应一个用户端设备为例进行说明。当每一个图像分析场景对应一个用户端设备时,每个用户端设备所执行的动作参考下述实施例。
其中,在不同的应用环境中,图像分析场景的划分不同,例如,该图像分析***应用于城管环境,其为城管图像分析***,可以采用城市划分的方式进行图像分析场景的划分。示例的,中国包括重庆市、杭州市以及天津市等多个城市,则交通图像分析***的城管环境可以包括重庆市图像分析场景、杭州市图像分析场景和天津市图像分析场景等。
在其他可选的实施例中,该图像分析***可以应用于交通环境,其可以为交通图像分析***,可以采用城市内部分区的方式进行图像分析场景的划分,示例的,西安市包括雁塔区、碑林区以及莲湖区等多个分区,则交通图像分析***的交通环境可以包括雁塔区图像分析场景、碑林区图像分析场景和莲湖区图像分析场景等。当然,本发明实施例所描述的图像分析***还可以应用于其他应用环境中,本发明实施例在此不一一列举。
目前,在每个应用环境所对应的图像分析***中,需要设置所需分析的特征参数,基于该特征参数建立检测模型,使得图像在输入该检测模型后,该检测模型输出与该特征参数匹配的分析结果,示例的,该分析结果可以包括与该特征参数匹配的目标物体以及该目标物体在图像中所在的位置。
例如,图像分析***为城管图像分析***,用于分析城市中的违规事件,该图像分析***所要进行图像分析的对象为城市中摊贩或店铺等事件。在建立检测模型时,需要设置用于表示多种违规事件类型的特征参数,然后将多种违规事件类型的多张图像作为训练样本集训练检测模型,则该检测模型的分析结果包括:图像中违规事件的类型,和/或,产生该违规事件的位置。
再例如,该图像分析***为交通图像分析***,用于分析违章车辆,该图像分析***所要进行图像分析的对象为道路中行驶的车辆。在建立检测模型时,需要设置用于表示多种违章类型的违章车辆的特征参数,然后将多种违章类型的违章车辆的多张图像作为训练样本集来训练检测模型,则该检测模型的分析结果包括:图像中违章车辆的违章类型,和/或,违章车辆的位置。
但是,在每个现有的图像分析***中,CMS所提供的每个检测模型是针对一个应用环境中的所有图像分析场景的,也即是,对于该一个应用环境,无论其包括多少种图像分析场景,CMS用于优化检测模型的训练样本均是在固定的图像库中选择得到的,最终优化后的检测模型应用于该应用环境中的各个分析场景的,无法针对用户端设备所对应的图像分析场景,因此,优化后的模型的可靠性较低,例如,容易对一些特定的图像分析场景出现过拟合的情况。
图2是本发明实施例示出的一种模型优化方法的流程图,用于图1所示的图像分析***10中,该模型优化方法可以包括如下几个步骤:
步骤201、在第一图像采集设备所采集的多张图像中获取备选图像。
该第一图像采集设备为第一用户端设备所管理的图像采集设备。例如,该第一用户端设备为前述图像分析***10中的至少一个用户端设备中的一个设备。
步骤202、在该备选图像中选择训练样本,并将训练样本添加至第一用户端设备对应的训练样本库中。
步骤203、基于训练样本库中的样本,对第一用户端设备的检测模型进行训练,得到训练后的检测模型。
该第一用户端设备的检测模型用于对第一图像采集设备所采集的图像进行检测。
步骤204、当训练后的检测模型优于该检测模型时,采用训练后的检测模型更新第一用户端设备的检测模型。
综上所述,本发明实施例所提供的模型优化方法,在备选图像中选择训练样本来对第一用户端设备的检测模型进行训练,以得到训练后的检测模型,由于备选图像为在第一图像采集设备所采集的多张图像中获取的图像,而该第一图像采集设备针对第一用户端设备所处的某一图像分析场景进行图像采集,因此,训练后的检测模型可以与该某一图像分析场景适配,解决了相关技术中训练得到的检测模型无法与用户端设备所对应的图像分析场景适配的问题,提高了优化后的检测模型的可靠性。
以下以一个可选实现方式来对上述模型优化方法进行进一步介绍。若采用本发明实施例所提供的模型优化方法来优化中国全国城管图像分析***中的检测模型,以全国的城管环境包括重庆市图像分析场景、杭州市图像分析场景以及天津市图像分析场景这三个图像分析场景为例,假设该三个图像分析场景与三个用户端设备一一对应,分别为第一用户端设备、第二用户端设备以及第三用户端设备,其中,第一用户端设备可以对应管理重庆市图像分析场景中的第一图像采集设备、第二用户端设备可以对应管理杭州市图像分析场景中的第二图像采集设备以及第三用户端设备可以对应管理天津市图像分析场景中的第三图像采集设备等。以重庆市图像分析场景为例,第一图像采集设备所采集的多张图像均为重庆市图像分析场景中的多张图像,从该多张图像中获取备选图像,进而挑选出训练样本来训练该重庆市图像分析场景所对应的检测模型,训练后的检测模型可以针对该重庆市图像分析场景,若第一图像采集设备继续将采集到的图像输入该检测模型后,该检测模型输出的分析结果更加适配于该重庆市图像分析场景,使得该检测模型更具有针对性,可靠性更高,依次类推可以训练得到针对杭州市图像分析场景的检测模型以及针对天津市图像分析场景的检测模型。
需要说明的是,前述模型优化方法可以由前述至少一个用户端设备中的任一用户端设备执行,或者由中心管理服务器执行,检测模型可以是中心管理服务器发送的初始检测模型,本发明实施例以以下两种可选实现方式为例进行说明。
在第一种可选实现方式中,前述模型优化方法由第一用户端设备执行,该第一用户端设备为模型优化***的至少一个用户端设备中的任一用户设备,则请参考图3,该图3示出了本发明实施例提供的另一种模型优化方法的流程图,该模型优化方法可以包括依次执行的多轮模型优化过程,本发明实施例以一轮模型优化过程为例进行说明,本发明实施例在实际实现时,每一轮模型优化过程均可以参考该轮模型优化过程,本发明实施例对此不再赘述,该模型优化方法包括:
步骤301、第一用户端设备将第一图像采集设备所采集的多张图像分别输入第一用户端设备的检测模型。
其中,第一图像采集设备可以为第一用户端设备所管理的图像采集设备。该第一图像采集设备可以以固定频率采集其所在的场景下的图像,并实时传送至第一用户端设备,或者,当该图像采集设备以固定频率采集其所在的场景下的图像数量到达固定阈值时,再将该数量的图像传送至第一用户端设备,本发明实施例在此不做限制。该第一用户端设备的检测模型用于对第一图像采集设备所采集的图像进行检测。
第一图像采集设备与第一用户端设备可以通过网络连接,该第一图像采集设备可以为IPC,IPC可以将采集到的视频通过网络传输至第一用户端设备。在实际实现时,第一用户端设备可以提取视频中的单帧图像,将多张单帧图像分别输入检测模型。可选的,第一用户端设备可以按照预定频率(例如每5分钟抓一帧图像)提取视频流中的单帧图像,本发明实施例在此不做限制。
当本发明实施例提供的一轮模型优化过程为第一轮模型优化过程时,该检测模型为中心管理服务器发送的初始检测模型。该初始检测模型可以由中心管理服务器建立并提供给第一用户端设备。
可选的,为了保证该初始检测模型的内存占用量较少,安装方便,中心管理服务器可以采用少量的训练样本来生成该初始检测模型,该训练样本可以为由任一图像采集设备所采集的图像或者为从互联网中获取的图像,或者通过其他方式采集的图像。可选的,为了保证建立的初始检测模型的有效性,可以人工从任一图像采集设备所采集的图像中挑选出特征明显的部分图像,然后采用检测算法来生成初始检测模型。由于在机器视觉学习中,检测算法通常指目标检测算法(例如基于滑动窗口来进行分类的目标检测算法),相应的,检测模型通常指目标检测模型。因此,初始检测模型可以基于目标检测算法建立,该目标检测算法可以有多种,例如,单次多框检测器(英文:Single Shot Multibox Detector;缩写:SSD)目标检测算法或者只需一眼(英文:You Only Look Once;缩写:YOLO)目标检测算法等,本发明实施例在此不做限制。
需要说明的是,由于图像分析***对检测模型输出的分析结果的准确性通常要求较高,因此,本发明实施例中的检测模型可以基于监督学习方法建立。
另外,当本发明实施例提供的一轮模型优化过程为第n轮模型优化过程时,n为大于1的整数,则该检测模型为对初始检测模型进行至少一次更新得到的模型。
步骤302、第一用户端设备接收检测模型输出的每张图像的第一分析结果。
第一用户端设备在将第一图像采集设备所采集的多张图像分别输入检测模型后,接收检测模型分别输出的每张图像的第一分析结果,从而实现分析结果的获取。
步骤303、第一用户端设备接收用户在第一用户端设备输入的审核指令,该审核指令用于指示第一分析结果是否准确。
该第一用户端设备可以为用户操作的终端、平板电脑或者智能手机等具有显示屏的设备,该第一用户端设备可以呈现每张图像的第一分析结果供用户审核。例如通过一个用户界面(英文:User Interface;简称:UI)来呈现检测模型输出的第一分析结果。
该第一分析结果为本轮模型优化过程中,用检测模型来分析每张图像所得到的分析结果。例如,该第一分析结果可以包括图像的目标物体的类型以及该目标物体的区域,可选的,目标物体的类型可以采取文字的形式标注在该目标物体的区域附近。
当然,对于每张图像,除了呈现检测模型输出的第一分析结果之外,该每张图像上还可以呈现采集该图像的时间以及区域等信息,本发明实施例在此不做限制。
在其他可选的实现方式中,当第一用户端设备呈现检测模型输出的第一分析结果的同时,还可以发出提示信息,提示用户对该第一分析结果进行审核,该提示信息可以以文字、声音和/或光线的形式发出,本发明实施例在此不做限制。
当第一用户端设备通过UI来呈现检测模型输出的第一分析结果之后,第一用户端设备的用户可以结合自身经验来对该第一分析结果进行审核,并操作该第一用户端设备触发第一用户端设备生成针对该第一分析结果的审核指令。
可选的,第一用户端设备的UI可以依次呈现多张图像,使得用户可以依次对该多张图像的第一分析结果进行审核,以使得第一用户端设备可以依次接收多个审核指令。当然,第一用户端设备的UI也可以一次性呈现多张图像,以供用户对该多张图像的第一分析结果进行审核,当第一用户端设备接收到该多张图像的审核指令后,再在UI上再呈现多张新的图像以供用户审核。
可选的,第一用户端设备接收审核指令的方式可以有多种,例如,在该UI中设置相应的按钮,用户通过触发该按钮向第一用户端设备发送针对该第一分析结果的审核指令。该按钮可以包括指示第一分析结果准确的准确按钮,和/或,指示该第一分析结果不准确的不准确按钮。可选的,在UI中,可以为每张图像均设置相应的按钮。
步骤304、当审核指令指示任一图像的第一分析结果准确,第一用户端设备将该任一图像确定为备选图像,并保存第一分析结果。
当第一用户端设备接收到指示任一图像的第一分析结果准确的审核指令后,第一用户端设备可以将该任一图像的确定为备选图像,并保存该第一分析结果。保存的第一分析结果为用户确定的分析结果,该分析结果可以用来对第一用户端设备的检测模型进行训练以及对训练后的检测模型的可靠性进行检验。例如,当采用某一备选图像作为训练样本时,其第一分析结果中记录的内容可以作为该训练样本的标注结果,也即是标签。
步骤305、当审核指令指示第一分析结果不准确,第一用户端设备接收用户在第一用户端设备输入的第一分析结果更新指令,该第一分析结果更新指令用于指示更新后的第一分析结果。
用户在审核确定第一分析结果不准确时,可以在触发指示第一分析结果不准确的审核指令之后,继续触发第一分析结果更新指令,相应的,第一用户端设备依次接收到审核指令和第一分析结果更新指令。其中,用户触发该第一分析结果更新指令的方式可以有多种,以下以两种方式为例进行说明:
第一种方式,用户可以直接对第一分析结果进行更新,第一用户端设备所呈现的UI中,可以设置有供用户在图像中勾选区域的功能,则该更新的方式可以包括:在图像中重新勾选区域,和/或,更新区域的文字说明,当用户在图像中重新勾选区域和/或修订区域的文字说明时,第一用户端设备可以接收到第一分析结果更新指令。
第二种方式,在第一用户端设备所呈现的UI中,设置标注有“更新第一分析结果”的按钮,当用户触发该按钮后,第一用户端设备呈现更新界面,供用户在该更新界面输入新的分析结果,相应的,第一用户端设备接收用户在第一用户端设备输入的第一分析结果更新指令。
在另一个可选的实施例中,用户在审核确定第一分析结果不准确时,可以通过同一操作触发上述审核指令和第一分析结果更新指令的生成,也即是审核指令和第一分析结果更新指令为同一指令。对于其他可选的实现方式,本发明实施例在此不做限制。
步骤306、第一用户端设备将包含有更新后的第一分析结果的图像确定为备选图像,并保存更新后的第一分析结果。
可选的,在第一用户端设备接收到第一分析结果更新指令之后,可以在UI中呈现用于提示用户是否完成第一分析结果更新的选项,当用户触发该选项之后,第一用户端设备可以将包含有更新后的第一分析结果的图像确定为备选图像,并保存更新后的第一分析结果。
步骤307、当审核指令指示任一图像的第一分析结果不准确,第一用户端设备将该任一图像确定为非备选图像。
在另一个可选的实施例中,当审核指令指示任一图像的第一分析结果不准确时,用户可以不对该第一分析结果进行更新,而是将该任一图像确定为非备选图像,该图像则不会在后续的操作中被使用。也即是,上述步骤305和步骤307可以择一执行。
上述步骤304至步骤307描述了如何确定备选图像的过程,由上述步骤可以看出,备选图像均为由第一用户端的用户审核后的图像,由于确定备选图像的过程由第一用户端的用户参与,该用户由于长期接触第一用户端设备所对应的图像分析场景中的图像,对该图像分析场景更为熟悉,使得审核的结果更准确,因此,保障了备选图像的准确性。
进一步的,在上述步骤304和步骤306之后,若图像分析***包括监管平台,则第一用户端设备可以将备选图像发送至监管平台(参考图1),以供监管人员对该备选图像进行进一步处理,例如对于城管图像分析***来来说,该监管平台可以是上报案件平台,当备选图像发送至该上报案件平台后,可以由监管人员对违规事件的类型进行处理并由上报案件平台生成案件事件。
示例的,假设该检测模型应用于城管环境的图像分析***中。该UI中呈现包含有第一分析结果的图像,该第一分析结果包括违规事件所在的区域以及该违规事件的类型,第一用户端设备的用户(如城管)可以对该第一分析结果进行审核。
当用户认为该第一分析结果准确时,可以点击UI中的“完成审核”按钮,第一用户端设备接收该按钮对应的审核指令,该审核指令可以指示该UI中呈现的第一分析结果准确,第一用户端设备可以将该图像确定为备选图像并保存该第一分析结果;当用户认为该第一分析结果中的违规事件所在的区域或者该违规事件的类型中,至少有一个不准确时,可以对该第一分析结果进行更新,该更新过程可以包括:当违规事件所在的区域不准确时,用户可以在图像中重新勾选违规事件所在区域,当违规事件的类型不准确时,用户可以重新选择UI中的违规类型,当用户重新勾选违规事件所在区域或者重新选择违规事件的类型时,上述步骤中的审核指令以及第一分析结果更新指令同时被触发,当用户认为该更新后的第一分析结果准确时,可以点击UI的“完成审核”的按钮,第一用户端设备将包含有更新后的第一分析结果的图像确定为备选图像,并保存更新后的第一分析结果,当违规事件所在的区域和类型均不准确时,可以参考前述两种更新过程,在此不再赘述。
可选的,当用户认为该第一分析结果准确时,或者当用户更新第一分析结果之后,可以触发UI下方“上报案件”按钮,将备选图像上报至监管平台。
除此之外,在该UI中图像中还可以呈现有采集该图像的图像采集设备的编号(如Camera 01)、采集该图像的时间信息(如告警时间10:00)、处理意见(如确认违规、未违规和不够立案)以及备注信息等,本发明实施例在此不进行限制。
步骤308、第一用户端设备在备选图像中选择训练样本,并将训练样本添加至第一用户端设备对应的训练样本库中。
其中,第一用户端设备在备选图像中选择测试图像时,可以选择指定比例的图像作为训练样本,当然,也可以在备选图像中选择指定数量的图像作为训练样本,本发明实施例对此不做限定。
由于第一用户端设备的用户根据自身的相关经验,对于检测模型输出的第一分析结果进行了审核,并更新了用户认为不准确的第一分析结果,保证了备选图像的准确性,也进一步保证了训练样本的准确性,由于该训练样本用来训练第一用户端设备的检测模型,因此,使得最终训练后的第一用户端设备的检测模型满足第一用户端设备的用户的个性化需求,使得训练后的检测模型更具有针对性。
例如对于城管图像分析***来说,城管图像分析***采用城市划分的方式进行图像分析场景的划分,由于每个城市的城管对于违规的判断标准均不相同:对于同一种行为,有的城市的城管可能认为该行为并未违规,有的城市的城管可能认为该行为算违规;而若对于同一种违规行为,有的城市的城管认为该违规行为属于占道经营,有的城市的城管则可能认为该违规行为属于店外经营。若采用相关技术中CMS针对该城管图像分析***建立一个统一的检测模型,使得该检测模型无法有效针对各个城市图像分析场景,而本发明实施例提供的模型优化方法中,由管理固定城市的城管作为用户,基于其对违规的判断标准来审核该城市所采集到的图像,使得训练后的检测模型更加符合该城市的城管的认知及习惯,提高了训练后的检测模型的针对性。例如,重庆市的城管可以基于该重庆市对违规的判断标准来审核重庆市图像分析场景中采集到的图像,杭州市的城管可以基于该杭州市对违规的判断标准来审核杭州市图像分析场景中采集到的图像,天津市的城管可以基于该天津市对违规的判断标准来审核天津市图像分析场景中采集到的图像,如此使得每个检测模型可以分别针对每个图像分析场景来进行训练。
可选的,该训练样本库可以为第一用户端设备的本地样本库,避免了图像资源外泄,实现图像的保密。尤其在该第一图像采集设备所采集的图像为安防图像或者涉密地点的图像等涉密图像时,由于第一用户端设备可以基于本地的训练样本库进行模型训练,无需其他外部设备参与,可以有效保证图像的安全性。且该本地样本库可以随着第一用户端设备所管理的第一图像采集设备所采集到的图像进行实时更新,时效性较强,能够保证更新后的检测模型与不断变化的第一用户端设备的具体图像分析场景更为适配。
步骤309、第一用户端设备将第一用户端设备的检测模型备份。
在本发明实施例所提供的模型优化方法中,即使后续训练出的检测模型相较于之前的检测模型进行了优化,但是也可能出现无法满足第一用户端设备的用户实际操作中的使用需求的情况。因此为了保证在该情况下,能够实现检测模型的回退,第一用户端设备可以将该第一用户端设备的检测模型(即当前还未执行训练过程的检测模型)进行备份。
进一步的,第一用户端设备也可以对所训练得到的每个检测模型均进行备份,以为后续模型优化过程提供参考。
由于备份的检测模型处于闲置状态,为了避免该备份的检测模型外泄,导致图像分析***的安全性受到危害,可以将该备份的检测模型进行加密。
步骤310、第一用户端设备基于训练样本库中的样本,对第一用户端设备的检测模型进行训练,得到训练后的检测模型。
如图4所示,步骤310可以包括如下步骤:
步骤3101、在训练样本库中的样本数量大于指定样本数量阈值时,第一用户端设备对检测模型执行至少一次训练过程,直至检测模型满足训练停止条件。
第一用户端设备对第一用户端设备的检测模型执行至少一次训练过程可以由用户主动触发,也可以在满足指定条件下,由第一用户端设备自动对检测模型执行至少一次训练过程。
可选的,该指定条件可以为训练样本库中的样本数量大于指定样本数量阈值,则,在训练样本库中的样本数量大于指定样本数量阈值时,第一用户端设备自动对检测模型执行至少一次训练过程,直至检测模型满足训练停止条件。
通过设置指定条件,可以提高模型优化方法的效率,避免过渡消耗第一用户端设备的***性能。
为了不影响用户正常使用第一用户端设备,当第一用户端设备满足指定条件时,第一用户端设备可以检测此时第一用户端设备是否处于空闲状态,当第一用户端设备处于空闲状态时,再自动对检测模型执行至少一次训练过程。
可选的,该训练停止条件可以包括:训练次数达到指定训练次数阈值,和/或,训练误差在指定范围内收敛。其中,判断训练误差是否在指定范围内收敛的方式可以有多种,例如,通过损失函数计算训练误差,再通过梯度下降算法使训练误差最小。当然,训练停止条件还可以包括其他条件,本发明实施例在此不做限制。
步骤3102、第一用户端设备获取训练后的检测模型,并清空训练样本库。
由于第一用户端设备的内存空间有限,因此,第一用户端设备可以在获取训练后的检测模型后,清空训练样本库。在将新的训练样本添加至训练样本库中时,对该训练样本库中的样本数量进行重新计数,以重新执行上述步骤3101。
步骤311、第一用户端设备在备选图像中选择测试图像。
测试图像可以用来判断由训练样本训练后的检测模型是否优于检测模型。第一用户端设备除了可以在备选图像中选择训练样本之外,还可以在备选图像中选择测试图像,该作为训练样本的图像和该作为测试图像的图像可以为同一张图像,但是,若将作为训练样本的图像再用作测试图像,由于该检测模型已经对该图像有了适应性,该测试图像则将无法准确测试出检测模型的可靠性。
因此,为了保证判断结果的准确性,测试图像和上述训练样本不同。则第一用户端设备可以将备选图像中除训练样本之外的图像作为测试图像。
步骤312、第一用户端设备基于测试图像,判断训练后的检测模型是否优于检测模型。
可选的,如图5所示,第一用户端设备判断训练后的检测模型是否优于检测模型(即未执行上述训练过程的检测模型)的步骤可以包括:
步骤3121、第一用户端设备将测试图像输入训练后的检测模型,得到第二分析结果。
与第一分析结果类似,该第二分析结果为本轮模型优化过程中,用训练后的检测模型来分析每张测试所得到的分析结果。例如,该第二分析结果可以包括图像的目标物体的类型以及该目标物体的区域。
步骤3122、第一用户端设备基于测试图像的第二分析结果,以及预先保存的第一分析结果,检测训练后的检测模型的准确性是否符合指定准确性条件。
请参考步骤304,预先保存的第一分析结果为由用户审核过的分析结果,而基于测试图像的第二分析结果为训练后的检测模型所输出的分析结果,通过比较两组分析结果,可以检测出训练后的检测模型的准确性是否符合指定准确性条件。
可选的,步骤3122可以包括:
步骤X1、第一用户端设备统计第一分析结果与对应的第二分析结果相同的测试图像的第一数量。
可选的,判断第一分析结果与对应的第二分析结果是否相同可以包括:判断第一分析结果与对应的第二分析结果的相似度是否大于预设阈值,当相似度大于预设阈值时,可以确定第一分析结果与对应的第二分析结果相同。
对应的第一分析结果与第二分析结果指的是,两者是针对同一张图像的分析结果,例如,对于同一张备选图像,在步骤304中保存了该备选图像的第一分析结果,在步骤3121中,将该备选图像输入训练后的检测模型得到第二分析结果,则该第一分析结果与第二分析结果对应。
步骤X2、当第一数量与测试图像的总数的比值大于指定比例阈值时,第一用户端设备确定训练后的检测模型的准确性符合指定准确性条件。
该指定比例阈值可以由用户预先设定,并可以进行后期调整,以满足用户的个性化需求。
步骤X3、当第一数量与测试图像的总数的比值不大于指定比例阈值时,第一用户端设备确定训练后的检测模型的准确性不符合指定准确性条件。
步骤X4、当训练后的检测模型的准确性符合指定准确性条件时,第一用户端设备判断训练后的检测模型优于检测模型。
需要说明的是,上述步骤X1至步骤X4中所描述的场景为测试图像有多张的情况,当测试图像有1张时,上述检测训练后的检测模型的准确性是否符合指定准确性条件的过程可以包括:当测试图像的第一分析结果与第二分析结果相同时,第一用户端设备确定训练后的检测模型的准确性符合指定准确性条件;当测试图像的第一分析结果与第二分析结果不同时,第一用户端设备确定训练后的检测模型的准确性不符合指定准确性条件。
步骤313、当训练后的检测模型优于检测模型时,第一用户端设备采用训练后的检测模型更新第一用户端设备的检测模型。
需要说明的是,在进行模型优化方法的过程中,会生成多种中间文件,例如会生成.xml格式的标注文件(用户对第一分析结果进行更新时生成),则在第一用户端设备采用训练后的检测模型更新第一用户端设备的检测模型之后,可以将上述中间文件进行删除,以节省内存占用量。
步骤314、当备份的检测模型符合删除条件时,第一用户端设备将备份的检测模型删除。
为了保证图像分析***的内存占用量尽量小,本发明实施例中,当备份的检测模型符合删除条件时,可以将该备份的检测侧模型进行删除,可选的,判断是否符合删除条件的步骤发生在新的一轮模型优化过程中,则如图6所示,该步骤可以包括如下步骤:
步骤3141、第一用户端设备获取第一图像采集设备所采集的多张新的图像。
步骤3142、第一用户端设备将多张新的图像分别输入训练后的检测模型。
步骤3142的相关过程可以参考上述步骤301,本发明实施例在此不做赘述。
步骤3143、第一用户端设备接收检测模型输出的每张更新的图像的第三分析结果。
步骤3143的相关过程可以参考上述步骤302,本发明实施例在此不做赘述。
与上述第一分析结果和第二分析结果类似,该第三分析结果为本轮模型优化过程中,用第一用户终端中的检测模型来分析每张测试所得到的分析结果。例如,该第三分析结果可以包括图像的目标物体的类型以及该目标物体的区域。
步骤3144、第一用户端设备接收用户在第一用户端设备输入的针对更新的图像的审核指令,该审核指令用于指示第三分析结果是否准确。
步骤3144的相关过程可以参考上述步骤303,本发明实施例在此不做赘述。
步骤3145、基于多张新的图像对应的审核指令,第一用户端设备统计多张新的图像的准确的第三分析结果在所有第三分析结果中的比例。
例如,指示第三分析结果准确的审核指令的数量为80,而第三分析结果有100个,则该比例为8/10。当然,也可以统计多张新的图像的不准确的第三分析结果在所有第三分析结果中的比例,本发明实施例在此不做限制。
步骤3146、当比例大于指定比例阈值时,第一用户端设备确定备份的检测模型符合删除条件,并将备份的检测模型删除。
例如,指定比例阈值为1/2,则,当多张新的图像的准确的第三分析结果在所有第三分析结果中的比例为8/10时,可以确定备份的检测模型符合删除条件,并将备份的检测模型删除。当然,在其他可能实施例中,也可以不对备份的检测模型进行删除,而是建档保存。
若当比例不大于指定比例阈值时,第一用户端设备可以确定备份的检测模型不符合删除条件,此时还可以将备份的检测模型重新安装于第一用户端设备中,以替换此时第一用户端设备的检测模型。
由此可以看出,本发明实施例所提供的模型优化方法中,提供了多种可以使检测模型的版本回退的方法(参考上述步骤309和步骤314),保证了图像分析***使用的灵活性,并且可以满足用户多方面的使用需求。
需要说明的是,当每一个图像分析场景配置多个用户端设备时,该多个用户端设备处于相同的图像分析场景中,因此可以共用同一检测模型,则可以在其中一个用户端设备中进行上述步骤301至步骤314所提供的模型优化方法,然后将该用户端设备中最终保留的检测模型替换其他用户端设备中的检测模型,使得该多个用户端设备均可以有针对性地分析该图像分析场景中的图像。
相关技术中,由CMS根据预先建立的图像库来建立检测模型,将该检测模型发送至各个用户端设备中,在某一用户端设备提出模型优化需求时,CMS可以在该图像库中获取多个训练样本,然后基于该多个训练样本对该检测模型进行训练,将训练后的检测模型作为优化后的模型来更新该用户端设备中的检测模型。
由于该各个用户端设备均使用CMS所建立的检测模型进行图像分析,因此,CMS建立检测模型时,为了迎合各个用户端设备的使用场景,需要采用大量的图像作为训练样本,以增加训练出来的检测模型的普适性。
在采用训练样本对检测模型进行训练之前,需要对训练样本根据检测模型的分析结果进行标注,例如,标注图像中目标事件的类型以及该目标事件的区域。当采用大量的图像作为训练样本时,CMS的工作人员对图像进行标注的过程中会消耗大量的人力。
而本发明实施例提供的模型优化方法中,由第一用户端设备的用户对图像的第一分析结果进行审核,由于用户对该第一分析结果的审核过程为用户为了保证检测模型输出的分析结果有效性而通常会执行的一个步骤,本发明实施例所提供的模型优化方法将该审核过程结合在模型优化过程中,相当于将图像标注的工作下发到各个用户处,实现模型优化的边缘化,因此,本发明实施例提供的模型优化方法相较于相关技术,简化了CMS侧对图像进行标注的过程,减少了人力成本。尤其在大数据场景中,能够有效简化了CMS侧的标注流程,显著降低人力成本。
并且,相关技术中,对于一些特定的图像分析***,例如对于城管图像分析***来说,由于用于训练的图像往往只能来自于某一些指定的图像分析场景,例如用于训练的图像主要来自重庆市图像分析场景和杭州市图像分析场景,因此,当采用大量重庆市图像分析场景和杭州市图像分析场景中的图像作为训练样本,并将基于该训练样本训练出的检测模型应用于全国各个城市图像分析场景时,会出现对于某个图像分析场景过拟合的情况,导致测模型的可靠性较低。
而本发明实施例所提供的模型优化方法,在备选图像中选择训练样本来对第一用户端设备的检测模型进行训练,以得到训练后的检测模型,由于备选图像为在第一图像采集设备所采集的多张图像中获取的图像,而该第一图像采集设备针对第一用户端设备所处的某一图像分析场景进行图像采集,因此,能够训练得到针对第一用户端设备的检测模型,训练后的检测模型可以与该某一图像分析场景适配,解决了相关技术中,由于训练样本是CMS在图像库中随机选择得到的,导致最终训练得到的检测模型无法与用户端设备所对应的图像分析场景适配的问题,提高了优化后的检测模型的可靠性。
另外,相关技术中,若将CMS所建立的检测模型安装于新的用户端设备,该新的用户端设备指的是,该用户端设备所管理的图像采集组件所采集的图像并未添加进CMS的图像库中。由于新的用户端设备对应新的图像分析场景,因此,若采用CMS所建立的检测模型来分析新的图像分析场景下的图像,会导致检测模型输出的分析结果准确率较低,此时CMS需要增加图像库中该图像分析场景下的图像,并基于该图像选择训练样本重新训练检测模型。若该新的用户端设备较多,导致CMS优化检测模型的频率较高;若该图像分析场景下的图像由于涉密而无法发送至CMS,则导致检测模型针对该图像分析场景输出的分析结果准确率较低。
而本发明实施例所提供的模型优化方法,由于在用户端设备进行模型优化,避免了CMS优化优化检测模型的频率较高的问题,也避免了由于CMS图像库无法添加该图像分析场景下的图像而导致的分析结果准确率较低的问题。
在第二种可选实现方式中,该模型优化方法由中心管理服务器执行,假设该中心管理服务器基于第一用户端设备的需求进行第一用户端设备的模型优化,该第一用户端设备为图1所示的图像分析***10中的任一用户端设备,则请参考图7,该图示出了本发明实施例提供的又一种模型优化方法的流程图,该方法包括:
步骤701、中心管理服务器在第一图像采集设备所采集的多张图像中获取备选图像。
其中,第一图像采集设备为第一用户端设备所管理的图像采集设备。
第一图像采集设备可以针对第一用户端设备所处的一个图像分析场景进行采集,因此,第一图像采集设备所采集的多张图像均为该图像分析场景下的图像,从该多张图像中获取的备选图像也均为该图像分析场景下的图像。中心管理服务器中可以建立多个图像库,每个图像库对应一个用户端设备所处图像分析场景,用于存储对应的用户端设备所处的一种图像分析场景下的多张图像。中心管理服务器从第一用户端设备的图像库中获取备选图像,以形成训练样本库。
可选的,中心管理服务器获取备选图像的方式可以有多种,本发明实施例以以下两种情况为例进行说明:
第一种、采取上述步骤301至步骤307所描述的,由第一用户端设备的用户通过第一用户端设备来对图像的第一分析结果进行审核,将审核后的图像作为备选图像,由第一用户端设备将该备选图像发送至中心管理服务器。
第二种、对第一用户端设备提供的图像库中的图像进行人工标注,以将标注的图像作为备选图像。
其中,对图像库中的图像进行标注的工作人员可以为中心管理服务器的工作人员,或者其他专门进行图像标注工作的公司的相关工作人员,在可选的实施例中,若图像分析***包括监管平台,由于监管平台的工作人员会对通过检测模型输出的图像的分析结果进行审核,则该工作人员可以将审核后的图像作为备选图像发送至中心管理服务器。
值得说明的是,若第一用户端设备所处图像分析场景为涉密场景,第一图像采集设备所采集的图像为安防图像或者涉密地点的图像等涉密图像,则前述中心管理服务器获取备选图像的过程均需要第一用户端设备授权,以避免泄密。在前述第一种情况下,备选图像为第一用户端设备发送的,在前述第二种情况下,图像库由第一用户端设备提供。这样可以保证备选图像是第一用户端设备允许中心管理服务器获取的图像。
步骤702、中心管理服务器在备选图像中选择训练样本,并将训练样本添加至第一用户端设备对应的训练样本库中。
由于备选图像为基于第一图像采集设备所采集的图像所建立的,因此,训练后的检测模型均适用于该第一图像采集设备所处的模型分析场景,如此使得训练后的检测模型更具有针对性,能够更准确地提取出该场景的图像特征,更便于准确提取与分析结果有关的特征参数,使得训练得到的检测模型可以准确地与第一用户端设备所对应的场景适配,提高了优化后的模型的可靠性。
步骤703、中心管理服务器基于训练样本库中的样本,对第一用户端设备的检测模型进行训练,得到训练后的检测模型。
该第一用户端设备的检测模型用于对第一图像采集设备所采集的图像进行检测。
在步骤703中,中心管理服务器基于训练样本库中的样本,对第一用户端设备的检测模型进行训练,得到训练后的检测模型的过程可以参考上述步骤310中的相关过程,本发明实施例对此不再赘述。
步骤704、当训练后的检测模型优于检测模型时,中心管理服务器采用训练后的检测模型更新第一用户端设备的检测模型。
在中心管理服务器采用训练后的检测模型更新第一用户端设备的检测模型之前,中心管理服务器还可以在备选图像中选择测试图像来判断由训练样本训练后的检测模型是否优于检测模型,当训练后的检测模型优于检测模型时,再用训练后的检测模型更新第一用户端设备的检测模型。
可选的,在步骤704中,中心管理服务器在备选图像中选择测试图像来判断由训练样本训练后的检测模型是否优于检测模型的过程,可以参考上述步骤311至步骤313中的相关过程,本发明实施例在此不再赘述。
可选的,为了保证检测模型可以回退到上一轮优化得到的检测模型,中心管服务器可以将发送至第一用户端设备的检测模型(包括初始检测模型和对该初始检测模型至少进行一次更新得到的模型)进行备份。而为了保证图像分析***的内存占用量尽量小,可以当备份的检测模型符合删除条件时,将该备份的检测侧模型进行删除。该判断检测模型是否符合删除条件的过程可以参考上述步骤314。当然,在其他可选的实施例中,也可以由第一用户端设备将中心管理服务器发送的检测模型进行备份,然后当备份的检测模型符合删除条件时,由第一用户端设备将该备份的检测侧模型进行删除,本发明实施例在此不做限制。
综上所述,本发明实施例所提供的模型优化方法,在备选图像中选择训练样本来对第一用户端设备的检测模型进行训练,以得到训练后的检测模型,由于备选图像为在第一图像采集设备所采集的多张图像中获取的图像,而该第一图像采集设备针对第一用户端设备所处的某一图像分析场景进行图像采集,因此,训练后的检测模型可以与该某一图像分析场景适配,解决了相关技术中训练得到的检测模型无法与用户端设备所对应的图像分析场景适配的问题,提高了优化后的检测模型的可靠性。
需要说明的是,上述第二种可选实现方式在应用时,由于第一图像采集设备所获取的多张图像可能涉密,通常第一用户端设备无法将该图像提供给中心管理服务器,而采用上述第一种可选实现方式来进行模型优化时,由于第一用户端设备可以在本地进行模型优化,因此可以直接从该多张图像中获取备选图像,并从该备选图像中选择训练样本训练第一用户端设备的检测模型,进一步提高了训练后的检测模型对第一用户端设备所处的图像分析场景的针对性。
进一步的,在上述两种可选实现方式中,对训练样本进行标注的用户可以相同也可以不同。上述两种实现方式中,进行标注的用户均为第一用户端设备的用户;或者,上述第一种可选实现方式中,进行标注的用户为第一用户端设备的用户,上述第二种可选实现方式中,进行标注的用户为CMS的工作人员。在由第一用户端设备的用户直接对该第一分析结果进行审核时,由于该用户长期接触第一用户端设备所对应的图像分析场景中的图像,对该图像分析场景更为熟悉,因此,审核的结果更准确,也即是,对训练样本进行标注的结果精确度更高,进一步保障了训练后的检测模型的准确性。并且,由于用户可以对第一分析结果进行审核,提高了用户的参与感,增强了用户体验,并且随着检测模型被不断优化,用户审核第一分析结果的过程也会越来越容易,进一步提升了用户体验。
值得说明的是,前述模型优化方法还可以由第一用户端设备以及中心管理服务器配合执行,例如,前述步骤301、302、308至314可以由中心管理服务器执行,步骤303至307由第一用户端设备执行。也即是,中心管理服务器用于进行第一用户端设备的检测模型的训练和更新过程;第一用户端设备用于进行备选图像的确定,第一用户端设备和中心管理服务器中的相关信息通过两者之间的有线或无线网络交互。第一用户端设备和中心管理服务器还可以以其他方式配合执行该模型优化方法,只要保证采用第一图像采集设备所采集的图像中获取的备选图像训练得到针对第一图像采集设备的检测模型即可。本发明实施例对此不做限定。
需要说明的是,对于不同的图像分析***来说,其中设置的图像采集设备以及用户端设备可以为相同的设备。例如,对于设置于西安市碑林区图像分析场景中的图像采集设备,也可以用作城管图像分析***中,西安市图像分析场景中的图像采集设备,用来采集西安市的违规事件。相应的,同一用户端设备可以处于不同的图像分析场景中,因此,其中可以安装有与该不同的图像分析场景一一对应的不同的检测模型,用户可以针对不同的图像分析场景选择使用第一用户端设备中不同的检测模型。前述实施例以第一用户端设备的一种检测模型的优化方法为例进行说明,第一用户端设备的其他检测模型的优化方法可以参考前述优化方法。
本发明实施例提供一种模型优化装置80,应用于图像分析***,图像分析***包括至少一个用户端设备,每个用户端设备管理至少一个图像采集设备,如图8所示,该装置80包括:
获取模块801,用于在第一图像采集设备所采集的多张图像中获取备选图像,所述第一图像采集设备为第一用户端设备所管理的图像采集设备;
添加模块802,用于在所述备选图像中选择训练样本,并将所述训练样本添加至所述第一用户端设备对应的训练样本库中;
训练模块803,用于基于所述训练样本库中的样本,对所述第一用户端设备的检测模型进行训练,得到训练后的检测模型,所述第一用户端设备的检测模型用于对所述第一图像采集设备所采集的图像进行检测;
更新模块804,用于当所述训练后的检测模型优于所述检测模型时,采用所述训练后的检测模型更新所述第一用户端设备的检测模型。
综上所述,本发明实施例所提供的模型优化装置,在备选图像中选择训练样本来对所述第一用户端设备的检测模型进行训练,以得到训练后的检测模型,由于备选图像为在第一图像采集设备所采集的多张图像中获取的图像,而该第一图像采集设备针对第一用户端设备所处的某一图像分析场景进行图像采集,因此,训练后的检测模型可以与该某一图像分析场景适配,解决了相关技术中训练得到的检测模型无法与用户端设备所对应的图像分析场景适配的问题,提高了优化后的检测模型的可靠性。
可选的,获取模块801,用于:
将所述多张图像分别输入所述检测模型;
接收所述检测模型输出的每张图像的第一分析结果;
接收用户在所述第一用户端设备输入的审核指令,所述审核指令用于指示所述第一分析结果是否准确;
当所述审核指令指示任一图像的第一分析结果准确,将所述任一图像确定为备选图像,并保存所述第一分析结果。
可选的,获取模块801,还用于:
当所述审核指令指示所述第一分析结果不准确,接收用户在所述第一用户端设备输入的第一分析结果更新指令,所述第一分析结果更新指令用于指示更新后的第一分析结果,
将包含有更新后的第一分析结果的图像确定为备选图像,并保存所述更新后的第一分析结果;
或者,当所述审核指令指示任一图像的第一分析结果不准确,将所述任一图像确定为非备选图像。
可选的,如图9所示,装置80还包括:
选择模块805,用于在所述备选图像中选择测试图像;
判断模块806,用于基于所述测试图像,判断所述训练后的检测模型是否优于所述检测模型;
更新模块804,用于当所述训练后的检测模型优于所述检测模型时,采用所述训练后的检测模型更新所述第一用户端设备的检测模型。
可选的,如图10所示,判断模块806,包括:
输入子模块8061,用于将所述测试图像输入所述训练后的检测模型,得到第二分析结果;
检测子模块8062,用于基于所述测试图像的第二分析结果,以及预先保存的第一分析结果,检测所述训练后的检测模型的准确性是否符合指定准确性条件;
判断子模块8063,用于当所述训练后的检测模型的准确性符合所述指定准确性条件时,判断所述训练后的检测模型优于所述检测模型。
可选的,所述测试图像有多张,则检测子模块8062,用于:
统计第一分析结果与对应的第二分析结果相同的测试图像的第一数量;
当所述第一数量与测试图像的总数的比值大于指定比例阈值时,确定所述训练后的检测模型的准确性符合指定准确性条件;
当所述第一数量与测试图像的总数的比值不大于指定比例阈值时,确定所述训练后的检测模型的准确性不符合指定准确性条件。
可选的,添加模块802,用于:在所述备选图像中选择指定比例的图像作为训练样本;
则选择模块805,用于:将所述备选图像中除所述训练样本之外的图像作为测试图像。
可选的,训练模块803,用于:
在所述训练样本库中的样本数量大于指定样本数量阈值时,对所述检测模型执行至少一次训练过程,直至所述检测模型满足训练停止条件;
获取训练后的检测模型,并清空所述训练样本库。
可选的,如图11所示,装置80还包括:
备份模块807,用于将所述第一用户端设备的检测模型备份;
可选的,如图12所示,装置80还包括:
删除模块808,用于当备份的检测模型符合删除条件时,将所述备份的检测模型删除。
可选的,所述删除模块808,用于:
获取第一图像采集设备所采集的多张新的图像;
将所述多张新的图像分别输入所述训练后的检测模型;
接收所述训练后的检测模型输出的每张新的图像的第三分析结果;
接收用户在第一用户端设备输入的对于所述新的图像的第三分析结果的审核指令,所述审核指令用于指示所述第三分析结果是否准确;
基于所述多张新的图像对应的审核指令,统计所述多张新的图像的准确的第三分析结果在所有所述第三分析结果中的比例;
当所述比例大于指定比例阈值时,确定所述备份的检测模型符合删除条件,并将所述备份的检测模型删除。
可选的,所述图像分析***还包括监管平台,如图13所示,所述装置80还包括:
发送模块809,用于将所述备选图像和保存的第一分析结果发送至所述监管平台。
可选的,所述图像分析***为城管图像分析***,检测模型输出的分析结果包括:所述图像中违规事件的类型,和/或,产生所述违规事件的位置。
可选的,所述图像分析***还包括:中心管理服务器,所述检测模型是所述中心管理服务器发送的初始检测模型,或者,由所述第一用户端设备对所述初始检测模型进行至少一次更新得到的模型。
综上所述,本发明实施例所提供的模型优化装置,在备选图像中选择训练样本来对所述第一用户端设备的检测模型进行训练,以得到训练后的检测模型,由于备选图像为在第一图像采集设备所采集的多张图像中获取的图像,而该第一图像采集设备针对第一用户端设备所处的某一图像分析场景进行图像采集,因此,训练后的检测模型可以与该某一图像分析场景适配,解决了相关技术中训练得到的检测模型无法与用户端设备所对应的图像分析场景适配的问题,提高了优化后的检测模型的可靠性。
本发明实施例提供一种存储介质,该存储介质可以为非易失性计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述实施例提供的任一所述的模型优化方法。
本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述方法实施例提供的模型优化方法。
本发明实施例提供一种图像分析***,包括:该图像分析***包括图8、图9和图11至13任一所述的模型优化装置。该图像分析***的其他结构及架构可以参考图1所示的图像分析***。
图14示出了本发明一个示例性实施例提供的用户端设备900的结构框图。该用户端设备900可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts GroupAudio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture ExpertsGroup Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。用户端设备900还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,用户端设备900包括有:处理器901和存储器902。
处理器901可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器901可以再集成有GPU(Graphics Processing Unit,图像处理器),GPU用于处理有关机器学习的计算操作,例如检测模型的训练和分析等。一些实施例中,处理器901可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器与GPU可以具有相同的功能,即用于处理有关机器学习的计算操作,例如检测模型的训练和分析等。
存储器902可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器901所执行以实现本申请中方法实施例提供的模型优化方法。
在一些实施例中,用户端设备900还可选包括有:***设备接口903和至少一个***设备。处理器901、存储器902和***设备接口903之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口903相连。具体地,***设备包括:射频电路904、触摸显示屏905、摄像头906、音频电路907、定位组件908和电源909中的至少一种。
***设备接口903可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器901和存储器902。在一些实施例中,处理器901、存储器902和***设备接口903被集成在同一芯片或电路板上;在一些其他实施例中,处理器901、存储器902和***设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路904用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路904包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路904还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏905用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时,显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时,显示屏905还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏905可以为一个,设置用户端设备900的前面板;在另一些实施例中,显示屏905可以为至少两个,分别设置在用户端设备900的不同表面或呈折叠设计;在再一些实施例中,显示屏905可以是柔性显示屏,设置在用户端设备900的弯曲表面上或折叠面上。甚至,显示屏905还可以设置成非矩形的不规则图形,也即异形屏。显示屏905可以为LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)显示屏。
摄像头组件906用于采集图像或视频。可选地,摄像头组件906包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器901进行处理,或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在用户端设备900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路907还可以包括耳机插孔。
定位组件908用于定位用户端设备900的当前地理位置,以实现导航或LBS(Location Based Service,基于位置的服务)。定位组件908可以是基于美国的GPS(GlobalPositioning System,全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源909用于为用户端设备900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,用户端设备900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于:加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。
加速度传感器911可以检测以用户端设备900建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号,控制触摸显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器912可以检测用户端设备900的机体方向及转动角度,陀螺仪传感器912可以与加速度传感器911协同采集用户对用户端设备900的3D动作。处理器901根据陀螺仪传感器912采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器913可以设置在用户端设备900的侧边框和/或触摸显示屏905的下层。当压力传感器913设置在用户端设备900的侧边框时,可以检测用户对用户端设备900的握持信号,由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在触摸显示屏905的下层时,由处理器901根据用户对触摸显示屏905的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器914用于采集用户的指纹,由处理器901根据指纹传感器914采集到的指纹识别用户的身份,或者,由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器901授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置用户端设备900的正面、背面或侧面。当用户端设备900上设置有物理按键或厂商Logo时,指纹传感器914可以与物理按键或厂商Logo集成在一起。
光学传感器915用于采集环境光强度。在一个实施例中,处理器901可以根据光学传感器915采集的环境光强度,控制触摸显示屏905的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏905的显示亮度;当环境光强度较低时,调低触摸显示屏905的显示亮度。在另一个实施例中,处理器901还可以根据光学传感器915采集的环境光强度,动态调整摄像头组件906的拍摄参数。
接近传感器916,也称距离传感器,通常设置在用户端设备900的前面板。接近传感器916用于采集用户与用户端设备900的正面之间的距离。在一个实施例中,当接近传感器916检测到用户与用户端设备900的正面之间的距离逐渐变小时,由处理器901控制触摸显示屏905从亮屏状态切换为息屏状态;当接近传感器916检测到用户与用户端设备900的正面之间的距离逐渐变大时,由处理器901控制触摸显示屏905从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图14中示出的结构并不构成对用户端设备900的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
值得说明的是,上述用户端设备也可以为服务器。
本发明中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
在本发明中,术语“第一”和“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上,除非另有明确的限定。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (19)

1.一种模型优化方法,其特征在于,所述方法包括:
在第一图像采集设备所采集的多张图像中获取备选图像,所述第一图像采集设备为第一用户端设备所管理的图像采集设备;
在所述备选图像中选择训练样本,并将所述训练样本添加至所述第一用户端设备对应的训练样本库中;
基于所述训练样本库中的样本,对所述第一用户端设备的检测模型进行训练,得到训练后的检测模型,所述第一用户端设备的检测模型用于对所述第一图像采集设备所采集的图像进行检测;
当所述训练后的检测模型优于所述检测模型时,采用所述训练后的检测模型更新所述第一用户端设备的检测模型。
2.根据权利要求1所述的模型优化方法,其特征在于,所述在第一图像采集设备所采集的多张图像中获取备选图像,包括:
将所述多张图像分别输入所述检测模型;
接收所述检测模型输出的每张图像的第一分析结果;
接收用户在所述第一用户端设备输入的审核指令,所述审核指令用于指示所述第一分析结果是否准确;
当所述审核指令指示任一图像的第一分析结果准确,将所述任一图像确定为备选图像,并保存所述第一分析结果。
3.根据权利要求2所述的模型优化方法,其特征在于,所述在第一图像采集设备所采集的多张图像中获取备选图像,还包括:
当所述审核指令指示所述第一分析结果不准确,接收用户在所述第一用户端设备输入的第一分析结果更新指令,所述第一分析结果更新指令用于指示更新后的第一分析结果,
将包含有更新后的第一分析结果的图像确定为备选图像,并保存所述更新后的第一分析结果;
或者,当所述审核指令指示任一图像的第一分析结果不准确,将所述任一图像确定为非备选图像。
4.根据权利要求2或3所述的模型优化方法,其特征在于,在所述采用所述训练后的检测模型更新所述第一用户端设备的检测模型之前,所述方法还包括:
在所述备选图像中选择测试图像;
基于所述测试图像,判断所述训练后的检测模型是否优于所述检测模型;
所述采用所述训练后的检测模型更新所述第一用户端设备的检测模型,包括:
当所述训练后的检测模型优于所述检测模型时,采用所述训练后的检测模型更新所述第一用户端设备的检测模型。
5.根据权利要求4所述的模型优化方法,其特征在于,所述基于所述测试图像,判断所述训练后的检测模型是否优于所述检测模型,包括:
将所述测试图像输入所述训练后的检测模型,得到第二分析结果;
基于所述测试图像的第二分析结果,以及预先保存的第一分析结果,检测所述训练后的检测模型的准确性是否符合指定准确性条件;
当所述训练后的检测模型的准确性符合所述指定准确性条件时,判断所述训练后的检测模型优于所述检测模型。
6.根据权利要求5所述的模型优化方法,其特征在于,所述测试图像有多张,所述基于所述测试图像的第二分析结果,以及预先保存的第一分析结果,检测所述训练后的检测模型的准确性是否符合指定准确性条件,包括:
统计第一分析结果与对应的第二分析结果相同的测试图像的第一数量;
当所述第一数量与测试图像的总数的比值大于指定比例阈值时,确定所述训练后的检测模型的准确性符合指定准确性条件;
当所述第一数量与测试图像的总数的比值不大于指定比例阈值时,确定所述训练后的检测模型的准确性不符合指定准确性条件。
7.根据权利要求1所述的模型优化方法,其特征在于,在所述基于所述训练样本库中的样本,对所述第一用户端设备的检测模型进行训练之前,所述方法还包括:
将所述第一用户端设备的检测模型备份;
当备份的检测模型符合删除条件时,将所述备份的检测模型删除。
8.根据权利要求1至7任一所述的模型优化方法,其特征在于,所述方法由所述第一用户端设备执行,所述训练样本库存储在所述第一用户端设备本地。
9.一种模型优化装置,其特征在于,所述装置包括:
获取模块,用于在第一图像采集设备所采集的多张图像中获取备选图像,所述第一图像采集设备为第一用户端设备所管理的图像采集设备;
添加模块,用于在所述备选图像中选择训练样本,并将所述训练样本添加至所述第一用户端设备对应的训练样本库中;
训练模块,用于基于所述训练样本库中的样本,对所述第一用户端设备的检测模型进行训练,得到训练后的检测模型,所述第一用户端设备的检测模型用于对所述第一图像采集设备所采集的图像进行检测;
更新模块,用于当所述训练后的检测模型优于所述检测模型时,采用所述训练后的检测模型更新所述第一用户端设备的检测模型。
10.根据权利要求9所述的模型优化装置,其特征在于,所述获取模块,用于:
将所述多张图像分别输入所述检测模型;
接收所述检测模型输出的每张图像的第一分析结果;
接收用户在所述第一用户端设备输入的审核指令,所述审核指令用于指示所述第一分析结果是否准确;
当所述审核指令指示任一图像的第一分析结果准确,将所述任一图像确定为备选图像,并保存所述第一分析结果。
11.根据权利要求10所述的模型优化装置,其特征在于,所述获取模块,还用于:
当所述审核指令指示所述第一分析结果不准确,接收用户在所述第一用户端设备输入的第一分析结果更新指令,所述第一分析结果更新指令用于指示更新后的第一分析结果,
将包含有更新后的第一分析结果的图像确定为备选图像,并保存所述更新后的第一分析结果;
或者,当所述审核指令指示任一图像的第一分析结果不准确,将所述任一图像确定为非备选图像。
12.根据权利要求10或11所述的模型优化装置,其特征在于,所述装置还包括:
选择模块,用于在所述备选图像中选择测试图像;
判断模块,用于基于所述测试图像,判断所述训练后的检测模型是否优于所述检测模型;
所述更新模块,用于当所述训练后的检测模型优于所述检测模型时,采用所述训练后的检测模型更新所述第一用户端设备的检测模型。
13.根据权利要求12所述的模型优化装置,其特征在于,所述判断模块,包括:
输入子模块,用于将所述测试图像输入所述训练后的检测模型,得到第二分析结果;
检测子模块,用于基于所述测试图像的第二分析结果,以及预先保存的第一分析结果,检测所述训练后的检测模型的准确性是否符合指定准确性条件;
判断子模块,用于当所述训练后的检测模型的准确性符合所述指定准确性条件时,判断所述训练后的检测模型优于所述检测模型。
14.根据权利要求13所述的模型优化装置,其特征在于,所述测试图像有多张,所述检测子模块,用于:
统计第一分析结果与对应的第二分析结果相同的测试图像的第一数量;
当所述第一数量与测试图像的总数的比值大于指定比例阈值时,确定所述训练后的检测模型的准确性符合指定准确性条件;
当所述第一数量与测试图像的总数的比值不大于指定比例阈值时,确定所述训练后的检测模型的准确性不符合指定准确性条件。
15.根据权利要求9所述的模型优化装置,其特征在于,所述装置还包括:
备份模块,用于将所述第一用户端设备的检测模型备份;
删除模块,用于当备份的检测模型符合删除条件时,将所述备份的检测模型删除。
16.根据权利要求9至15任一所述的模型优化装置,其特征在于,所述模型优化装置为所述第一用户端设备,所述训练样本库存储在所述第一用户端设备本地。
17.一种图像分析***,其特征在于,所述图像分析***包括,所述包括权利要求9至16任一所述的模型优化装置;
所述图像分析***还包括至少一个用户端设备,每个用户端设备管理至少一个图像采集设备。
18.一种计算机设备,其特征在于,包括处理器和存储器,
其中,所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序,实现权利要求1至8任一所述的模型优化方法。
19.一种存储介质,其特征在于,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至8任一所述的模型优化方法。
CN201910556196.5A 2018-09-30 2019-06-25 模型优化方法、设备及图像分析*** Active CN110969072B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811161087 2018-09-30
CN2018111610875 2018-09-30

Publications (2)

Publication Number Publication Date
CN110969072A true CN110969072A (zh) 2020-04-07
CN110969072B CN110969072B (zh) 2023-05-02

Family

ID=70029506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910556196.5A Active CN110969072B (zh) 2018-09-30 2019-06-25 模型优化方法、设备及图像分析***

Country Status (1)

Country Link
CN (1) CN110969072B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112035137A (zh) * 2020-08-12 2020-12-04 浙江大华技术股份有限公司 设备模型升级方法、装置、设备、服务器及存储介质
CN113569947A (zh) * 2021-07-27 2021-10-29 合肥阳光智维科技有限公司 电弧检测方法和***
CN113627403A (zh) * 2021-10-12 2021-11-09 深圳市安软慧视科技有限公司 一种选图推图方法、***及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015078183A1 (zh) * 2013-11-29 2015-06-04 华为技术有限公司 图像身份识别方法和相关装置及身份识别***
US20160328613A1 (en) * 2015-05-05 2016-11-10 Xerox Corporation Online domain adaptation for multi-object tracking
CN106709917A (zh) * 2017-01-03 2017-05-24 青岛海信医疗设备股份有限公司 神经网络模型训练方法、装置及***
CN107622281A (zh) * 2017-09-20 2018-01-23 广东欧珀移动通信有限公司 图像分类方法、装置、存储介质及移动终端
CN108009525A (zh) * 2017-12-25 2018-05-08 北京航空航天大学 一种基于卷积神经网络的无人机对地特定目标识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015078183A1 (zh) * 2013-11-29 2015-06-04 华为技术有限公司 图像身份识别方法和相关装置及身份识别***
US20160328613A1 (en) * 2015-05-05 2016-11-10 Xerox Corporation Online domain adaptation for multi-object tracking
CN106709917A (zh) * 2017-01-03 2017-05-24 青岛海信医疗设备股份有限公司 神经网络模型训练方法、装置及***
CN107622281A (zh) * 2017-09-20 2018-01-23 广东欧珀移动通信有限公司 图像分类方法、装置、存储介质及移动终端
CN108009525A (zh) * 2017-12-25 2018-05-08 北京航空航天大学 一种基于卷积神经网络的无人机对地特定目标识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周俊;王明军;邵乔林;: "农田图像绿色植物自适应分割方法" *
张帆;刘星;张宇;: "基于实时样本采集的个性化手写汉字输入***设计" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112035137A (zh) * 2020-08-12 2020-12-04 浙江大华技术股份有限公司 设备模型升级方法、装置、设备、服务器及存储介质
CN113569947A (zh) * 2021-07-27 2021-10-29 合肥阳光智维科技有限公司 电弧检测方法和***
CN113627403A (zh) * 2021-10-12 2021-11-09 深圳市安软慧视科技有限公司 一种选图推图方法、***及相关设备

Also Published As

Publication number Publication date
CN110969072B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN108924737B (zh) 定位方法、装置、设备及计算机可读存储介质
CN110278464B (zh) 显示榜单的方法和装置
CN111338910B (zh) 日志数据处理、显示方法、装置、设备及存储介质
CN111104980B (zh) 确定分类结果的方法、装置、设备及存储介质
CN110569220B (zh) 游戏资源文件的展示方法、装置、终端及存储介质
CN110969072B (zh) 模型优化方法、设备及图像分析***
CN110457571B (zh) 获取兴趣点信息的方法、装置、设备及存储介质
CN111127509A (zh) 目标跟踪方法、装置和计算机可读存储介质
CN110535890B (zh) 文件上传的方法和装置
CN111416996B (zh) 多媒体文件检测方法、播放方法、装置、设备及存储介质
CN111818050A (zh) 目标访问行为检测方法、***、装置、设备及存储介质
CN107944024B (zh) 一种确定音频文件的方法和装置
CN112231666A (zh) 违规帐号的处理方法、装置、终端、服务器及存储介质
CN112529871A (zh) 评价图像的方法、装置及计算机存储介质
CN110990728A (zh) 兴趣点信息的管理方法、装置、设备及存储介质
CN110768843A (zh) 网络问题分析方法、装置、终端及存储介质
CN112449308A (zh) 基于手机信号的活动人员的活动预警方法及装置
CN113099378B (zh) 定位方法、装置、设备及存储介质
CN113205069B (zh) 虚假车牌检测方法、装置及计算机存储介质
CN110336881B (zh) 执行业务处理请求的方法和装置
CN114900559A (zh) 管理***、终端、管理方法以及存储介质
CN114143280A (zh) 会话显示方法、装置、电子设备及存储介质
CN110519319B (zh) 一种***分区的方法及装置
CN107948171B (zh) 一种用户账号管理的方法和装置
CN111918084A (zh) 上麦方法、装置、服务器及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant