CN115359341B - 一种模型更新方法、装置、设备及介质 - Google Patents
一种模型更新方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115359341B CN115359341B CN202210998311.6A CN202210998311A CN115359341B CN 115359341 B CN115359341 B CN 115359341B CN 202210998311 A CN202210998311 A CN 202210998311A CN 115359341 B CN115359341 B CN 115359341B
- Authority
- CN
- China
- Prior art keywords
- model
- preset
- data
- training
- effective picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 106
- 238000012549 training Methods 0.000 claims abstract description 116
- 238000012360 testing method Methods 0.000 claims abstract description 85
- 230000003993 interaction Effects 0.000 claims abstract description 51
- 238000007405 data analysis Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 14
- 238000002372 labelling Methods 0.000 claims description 14
- 238000013480 data collection Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 7
- 230000035772 mutation Effects 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 4
- 238000012423 maintenance Methods 0.000 abstract description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 230000004044 response Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012106 screening analysis Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000010992 reflux Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种模型更新方法、装置、设备及介质，涉及人工智能领域，该方法包括：以预设数据收集周期收集目标视频数据，并利用预设数据分析方法从目标视频数据中确定有效图片；基于有效图片中目标对象的交互场景，利用预设加权平均方法为目标对象添加标注数据；将带有标注数据的有效图片输入预设的训练前模型中进行训练，并利用预设判定规则确定训练后模型是否优于训练前模型；若优于则对训练后模型进行上线测试，并基于其负反馈率确定其可信度；当可信度大于预设可信度阈值时，将其作为运行模型，并将训练前模型设置为备份状态。本发明能够分析外界负反馈的频率自动启动模型更新，只需简单的对事件响应的判断式人工交互，降低维护复杂度。
Description
技术领域
本发明涉及人工智能领域，特别涉及一种模型更新方法、装置、设备及介质。
背景技术
使用视觉传感器收集数据，并通过人工智能模型去完成一些批量化的监控任务，为自动化提供便利，是人工智能应用的一种趋势。然而，在工业界部署和落地的过程中，现有的模型部署后的更新策略大多数采用离线训练后再更新到部署环境的流程，其主要的缺陷在于需要较多的认为参与，同时需要参与人员具备一定的专业知识，而这就要求部署后的长期的现场维护，这显然是不现实的。在场景的数据回收阶段，很多***和方案往往采用云端定期收集和数据更新策略，然而，这为一些敏感场景数据的保密性带来隐患，甚至，在特定条件下，这种策略是行不通的。
为了解决这些问题，在场景监控智慧化的领域往往采用定时定期的数据回流和模型增强，这种策略是简单有效的，并且能够低成本的解决以上问题，然而，在一些只允许一次性部署的场景下，远程无法使用外网调配模型训练的情况下，模型能否自动适应场景的转变，数据收集过程中能否做出数据有效性判断很关键。
由上可见，在场景监控智慧化的过程中，如何避免出现由于定时定期的数据回流和模型增强导致模型无法自动适应场景的转变，数据收集过程中无法做出数据有效性判断的情况是本领域有待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种模型更新方法、装置、设备及介质，能够分析外界负反馈的频率自动启动模型更新，对于人工交互方面，只需要简单的对事件响应的判断式交互，涉及的专业性弱，能够降低维护复杂度。其具体方案如下：
第一方面，本申请公开了一种模型更新方法，包括：
以预设数据收集周期收集目标视频数据，并利用预设数据分析方法从所述目标视频数据中确定有效图片；
基于所述有效图片中目标对象的交互场景，并利用预设加权平均方法为所述有效图片中的目标对象添加标注数据；
将带有标注数据的有效图片作为新增样本图片输入预设的训练前模型中进行训练，以获取训练后模型；
利用预设判定规则确定所述训练后模型是否优于所述训练前模型；
若所述训练后模型优于所述训练前模型，则对所述训练后模型进行上线测试，并基于上线测试过程中所述训练后模型的负反馈率确定所述训练后模型的可信度；
当所述可信度大于预设可信度阈值时，将所述训练后模型作为运行模型，并将所述训练前模型设置为备份状态。
可选的，所述利用预设数据分析方法从所述目标视频数据中确定有效图片，包括：
利用预设帧间隔从所述目标视频数据中确定目标图片，并利用帧差法提取所述目标图片中的背景，然后利用预设高斯混合模型进行背景建模；
确定所述目标图片对应的背景二值图，并确定所述目标图片的交并比；
若所述目标图片的交并比小于预设第一阈值，则将所述目标图片确定为有效图片。
可选的，所述基于所述有效图片中目标对象的交互场景，并利用预设加权平均方法为所述有效图片中的目标对象添加标注数据，包括：
确定所述有效图片中目标对象的交互场景；
若所述有效图片中目标对象处于连续帧交互场景，则基于所述有效图片中的连续帧跟踪位置，并利用预设第一加权平均方法确定所述目标对象在所述有效图片中最后一帧的跟踪位置，基于所述连续帧跟踪位置与所述最后一帧的跟踪位置对所述有效图片中的目标对象添加标注数据；
若所述有效图片中所述目标对象处于突变交互场景，则获取标准标注位置，并基于所述标准标注位置与有效图片中的连续帧跟踪位置，利用预设第二加权平均方法确定所述目标对象在所述有效图片中最后一帧的标注位置，然后基于所述连续帧跟踪位置与所述最后一帧的跟踪位置对所述有效图片中的目标对象添加标注数据。
可选的，所述确定所述有效图片中目标对象的交互场景，包括：
利用预设数据跟踪算法确定所述有效图片中差异系数满足预设第二阈值的图片；
将差异系数小于预设第二阈值的图片确定为连续帧交互场景，并将差异系数不小于预设第二阈值的图片确定为突变交互场景。
可选的，所述获取标准标注位置，包括：
将处于突变交互场景的有效图片确定为目标有效图片发送至预设标注数据接收界面；
接收由所述预设标注数据接收界面接收的标注数据，并基于所述标注数据确定所述目标有效图片的标准标注位置。
可选的，所述利用预设判定规则确定所述训练后模型是否优于所述训练前模型，包括：
确定历史数据集，并将所述带有标注数据的有效图片作为新增样本图片加入所述历史数据集中，以确定当前数据集；所述历史数据集中包括基于预设第一划分比例划分的历史训练集与历史测试集；
利用预设第二划分比例将所述当前数据集划分为当前测试集与当前训练集，并分别利用所述历史测试集与所述当前测试集对所述训练前模型与训练后模型进行测试，以分别获取所述训练前模型与所述训练后模型对应的测试结果；
基于所述测试结果判断所述训练后模型是否优于所述训练前模型。
可选的，所述分别获取所述训练前模型与所述训练后模型对应的测试结果，包括：
分别获取所述训练前模型与所述训练后模型的历史测试平均精度与当前测试平均精度；
相应的，所述基于所述测试结果判断所述训练后模型是否优于所述训练前模型，包括：
判断所述训练后模型的历史测试平均精度与当前测试平均精度是否均大于所述训练前模型的历史测试平均精度与当前测试平均精度。
第二方面，本申请公开了一种模型更新装置，包括：
数据分析模块，用于以预设数据收集周期收集目标视频数据，并利用预设数据分析方法从所述目标视频数据中确定有效图片；
数据标注模块，用于基于所述有效图片中目标对象的交互场景，并利用预设加权平均方法为所述有效图片中的目标对象添加标注数据；
模型训练模块，用于将带有标注数据的有效图片作为新增样本图片输入预设的训练前模型中进行训练，以获取训练后模型；
模型判定模块，用于利用预设判定规则确定所述训练后模型是否优于所述训练前模型；
模型测试模块，用于若所述训练后模型优于所述训练前模型，则对所述训练后模型进行上线测试，并基于上线测试过程中所述训练后模型的负反馈率确定所述训练后模型的可信度；
模型更新模块，用于当所述可信度大于预设可信度阈值时，将所述训练后模型作为运行模型，并将所述训练前模型设置为备份状态。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述的模型更新方法。
第四方面，本申请公开了一种计算机存储介质，用于保存计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的模型更新方法的步骤。
本申请先以预设数据收集周期收集目标视频数据，并利用预设数据分析方法从所述目标视频数据中确定有效图片；基于所述有效图片中目标对象的交互场景，并利用预设加权平均方法为所述有效图片中的目标对象添加标注数据；将带有标注数据的有效图片作为新增样本图片输入预设的训练前模型中进行训练，以获取训练后模型；利用预设判定规则确定所述训练后模型是否优于所述训练前模型；若所述训练后模型优于所述训练前模型，则对所述训练后模型进行上线测试，并基于上线测试过程中所述训练后模型的负反馈率确定所述训练后模型的可信度；当所述可信度大于预设可信度阈值时，将所述训练后模型作为运行模型，并将所述训练前模型设置为备份状态。通过本实施例中提出的方法可以在对目标视频数据进行数据筛选分析与数据标注后，利用新增的样本数据对模型训练，并利用训练后模型与训练前模型进行对比测试，以在训练后模型优于训练前模型，且满足上线条件时将训练后模型作为运行模型进行使用。这样一来，本发明可以采用人工干预较少的自动样本标注方案，在不同交互场景中进行样本标注，整个方案减轻操作难度，便于模型的后期维护。另外，本方案可以自动化的管理数据更新与模型更新，并且能够有效地监测模型的迭代，在便于回溯的同时，也能保障模型对新场景的适应能力，增强模型的可用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种模型更新方法流程图；
图2为本申请提供的一种具体的模型更新方法流程图；
图3为本申请提供的一种帧差法流程图；
图4为本申请提供的一种原理框图；
图5为本申请提供的一种模型更新装置结构示意图；
图6为本申请提供的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中，在场景监控智慧化的过程中，会出现由于定时定期的数据回流和模型增强导致模型无法自动适应场景的转变，数据收集过程中无法做出数据有效性判断的情况。在本申请中，能够分析外界负反馈的频率自动启动模型更新，对于人工交互方面，只需要简单的对事件响应的简单判断式交互，涉及的专业性弱，能够降低维护复杂度。
本发明实施例公开了一种模型更新方法，参见图1所述，该方法包括：
步骤S11：以预设数据收集周期收集目标视频数据，并利用预设数据分析方法从所述目标视频数据中确定有效图片。
本实施例中可以利用通过图像传感器收集可视化的目标视频数据，在一些具体的实施方式中，可以从目标视频数据中预设帧间隔确定图片，并在预设数据分析方法对这些图片进行预处理后确定有效图片。在一些优选的实施方式中，为了减小数据冗余，同时避免突发事件相关信息的丢失，所述预设帧间隔一般采用5帧间隔。
步骤S12：基于所述有效图片中目标对象的交互场景，并利用预设加权平均方法为所述有效图片中的目标对象添加标注数据。
本实施例中，所述基于所述有效图片中目标对象的交互场景，并利用预设加权平均方法为所述有效图片中的目标对象添加标注数据，可以包括：确定所述有效图片中目标对象的交互场景；若所述有效图片中目标对象处于连续帧交互场景，则基于所述有效图片中的连续帧跟踪位置，并利用预设第一加权平均方法确定所述目标对象在所述有效图片中最后一帧的跟踪位置，基于所述连续帧跟踪位置与所述最后一帧的跟踪位置对所述有效图片中的目标对象添加标注数据；若所述有效图片中所述目标对象处于突变交互场景，则获取标准标注位置，并基于所述标准标注位置与有效图片中的连续帧跟踪位置，利用预设第二加权平均方法确定所述目标对象在所述有效图片中最后一帧的标注位置，然后基于所述连续帧跟踪位置与所述最后一帧的跟踪位置对所述有效图片中的目标对象添加标注数据。
本实施例中，所述确定所述有效图片中目标对象的交互场景，可以包括：利用预设数据跟踪算法确定所述有效图片中差异系数满足预设第二阈值的图片；将差异系数小于预设第二阈值的图片确定为连续帧交互场景，并将差异系数不小于预设第二阈值的图片确定为突变交互场景。本实施例中，所述差异系数Δ可以根据公式计算，其中，N为有效图片的数量，可根据具体场景设置，t为时刻，IoUt为t时刻对应的图片的交并比(即Intersection overUnion)。在优选的实施方式中，公式中交并比阈值可设为0.3。
具体地，本实施例中连续帧交互场景下，连续帧的跟踪结果中最后一帧的位置bboxavg可以采用第一加权平均公式确定；突变交互场景下，若人工标注的结果为/>则那么以该帧相邻的多个跟踪结果bboxt将使用如公式获得最后一帧位置。其中，bboxt为历史跟踪结果，c为有效图片中突变场景下对应的图片序号。
本实施例中，所述获取标准标注位置，可以包括：将处于突变交互场景的有效图片确定为目标有效图片发送至预设标注数据接收界面；接收由所述预设标注数据接收界面接收的标注数据，并基于所述标注数据确定所述目标有效图片的标准标注位置。
本步骤中主要依赖所述预设数据跟踪算法，在连续帧交互场景下会自动为背景与历史值差异较大的连续图片数据获得目标新位置，从而标注出部分变化有连续性的目标；对于部分突变场景下获得的数据，即突变交互场景下可以将相应的图片反馈至预设标注数据接收界面中，以便采用人机交互的方式获取人工标注的标注数据后，基于预设标注数据接收界面反馈的少量标注结果确定标注位置。
步骤S13：将带有标注数据的有效图片作为新增样本图片输入预设的训练前模型中进行训练，以获取训练后模型。
本实施例中按照步骤S11中所述预设数据收集周期收集数据，并以所述预设数据收集周期作为模型训练周期，当每一周期结束后，会将当前周期收集的新增样本图片输入当前的预设的训练前模型进行训练，以生成训练后模型。
步骤S14：利用预设判定规则确定所述训练后模型是否优于所述训练前模型。
本实施例中，所述利用预设判定规则确定所述训练后模型是否优于所述训练前模型，可以包括：确定历史数据集，并将所述带有标注数据的有效图片作为新增样本图片加入所述历史数据集中，以确定当前数据集；所述历史数据集中包括基于预设第一划分比例划分的历史训练集与历史测试集；利用预设第二划分比例将所述当前数据集划分为当前测试集与当前训练集，并分别利用所述历史测试集与所述当前测试集对所述训练前模型与训练后模型进行测试，以分别获取所述训练前模型与所述训练后模型对应的测试结果；基于所述测试结果判断所述训练后模型是否优于所述训练前模型。可以理解的是，本实施例中获取训练后模型B后，可以使训练后模型B在历史测试集a上测试，并获得结果B_a，同时，在新的当前测试集b上测试得到结果B_b,对训练前模型A在历史测试集a和当前测试集b上测试分别得到结果A_a和A_b，对比B_a和A_a的指标，以及B_b和A_a的指标，当B_a优于A_a，且B_b也优于A_a时，那么接受B模型，否则重新回到S11的数据回流阶段，调节训练集中新样本和老样本的占比，对模型进行重新训练。
本实施例中，所述分别获取所述训练前模型与所述训练后模型对应的测试结果，可以包括：分别获取所述训练前模型与所述训练后模型的历史测试平均精度与当前测试平均精度；相应的，所述基于所述测试结果判断所述训练后模型是否优于所述训练前模型，包括：判断所述训练后模型的历史测试平均精度与当前测试平均精度是否均大于所述训练前模型的历史测试平均精度与当前测试平均精度。可以理解的是，在具体的实施方式中，以目标检测任务为例，可以主要采用模型检测测试集中目标对象的位置、种类、数量，并获得mAP(即平均精度)值，根据mAP值得到衡量模型好坏的结果，其中精度召回率其中p(r)为P-R的曲线，mAP为AP在类别上的平均值，TP表示正样本识别率，FP为负样本无识别率，FN为负样本识别率。
本实施例中，所述若所述训练后模型的平均精度优于所述训练前模型之后，还包括：将所述历史数据集进行备份保存；将所述新增样本图片作为当前的历史数据集，并基于所述预设第一划分比例将所述当前的历史数据集划分为当前的历史训练集与当前的历史测试集。也即，更新：如果训练后模型被接受后，那么将新的训练集作为历史训练集，而之前的历史训练集作为备份训练集进行保存；新的测试集和历史的测试集以预设第一划分比例随机采样，组成新的测试集。在一些优选的实施方式中，所述预设第一划分比例可以是新的测试集和历史的测试集2:8。
步骤S15：若所述训练后模型优于所述训练前模型，则对所述训练后模型进行上线测试，并基于上线测试过程中所述训练后模型的负反馈率确定所述训练后模型的可信度。
步骤S16：当所述可信度大于预设可信度阈值时，将所述训练后模型作为运行模型，并将所述训练前模型设置为备份状态。
本实施例中，在接受训练后模型B后，训练后模型B进入到上线测试阶段，期间根据负反馈率获得模型B的可信度，当可信度越过阈值时，B模型替代A模型，正式上线运行，A模型进入备份状态。
本实施例中，先以预设数据收集周期收集目标视频数据，并利用预设数据分析方法从所述目标视频数据中确定有效图片；基于所述有效图片中目标对象的交互场景，并利用预设加权平均方法为所述有效图片中的目标对象添加标注数据；将带有标注数据的有效图片作为新增样本图片输入预设的训练前模型中进行训练，以获取训练后模型；利用预设判定规则确定所述训练后模型是否优于所述训练前模型；若所述训练后模型优于所述训练前模型，则对所述训练后模型进行上线测试，并基于上线测试过程中所述训练后模型的负反馈率确定所述训练后模型的可信度；当所述可信度大于预设可信度阈值时，将所述训练后模型作为运行模型，并将所述训练前模型设置为备份状态。通过本实施例中提出的方法可以在对目标视频数据进行数据筛选分析与数据标注后，利用新增的样本数据对模型训练，并利用训练后模型与训练前模型进行对比测试，以在训练后模型优于训练前模型，且满足上线条件时将训练后模型作为运行模型进行使用。这样一来，本发明可以采用人工干预较少的自动样本标注方案，在连续帧交互场景自动进行样本标注，在突变交互场景下跟踪算法无法定位目标对象的位置时，可以借助人工辅助标注的方式确定样本标注，整个方案减轻操作难度，便于模型的后期维护。另外，本方案可以自动化的管理数据更新与模型更新，并且能够有效地监测模型的迭代，在便于回溯的同时，也能保障模型对新场景的适应能力，增强模型的可用性。
图2为本申请实施例提供的一种具体的数据分析方法流程图。参见图2所示，该方法包括：
步骤S21：利用预设帧间隔从所述目标视频数据中确定目标图片，并利用帧差法提取所述目标图片中的背景，然后利用预设高斯混合模型进行背景建模。
本实施例本步骤中，在获取目标视频数据后，可以从目标视频数据中预设帧间隔确定图片，在一些优选的实施方式中，为了减小数据冗余，同时避免突发事件相关信息的丢失，所述预设帧间隔一般采用5帧间隔。
接下来会对这些图片进行预处理，预处理的目的为主要滤除图像过小，图像格式错误的图片，同时，通过连续帧背景差异性小的算法，排除图片出现异常解码的情况导致的部分内容缺失。在具体的实施方式中，可以基于帧差法提取背景，图3为本实施例提出的一种帧差法流程图，即先确定预设帧的图片，然后对图片的像素相减去绝对值，在对图片进行局部聚类后，便可以提取图片背景。
下一步会采用背景建模的方式获得一定时间段内的连续帧图片的背景图片，并通过比较背景差异值来归类样本。在较优的实施方式中，可以选择高斯混合模型，其基本公式和步骤如下：
|Xt-μi,t-1|≤2.5σi,t-1，其中Xt为像素值，μi,t-1与σi,t-1表示第i个高斯模型的均值和方差，只有当符合上面的不等式时，当第i个高斯模型符合背景要求，那么像素Xt为背景；
模型更新公式为：wk,t＝(1-α)*wk,t-1+αMk,t，其中Mk,t与α取值均为{0,1}；
匹配上的高斯模型的均值和方差的更新公式为：
ρ＝α*η(Xt|μk,σk)；
μt＝(1-ρ)*μt-1+ρ*Xt；
步骤S22：确定所述目标图片对应的背景二值图，并确定所述目标图片的交并比。
本实施例中，当背景建模完成后，通过统计视频帧It和相邻帧It-1的背景二值图M(It)和M(It-1)：
阈值采用交并比：
步骤S23：若所述目标图片的交并比小于预设第一阈值，则将所述目标图片确定为有效图片。
在优选的实施方式中，自然物体运动后的阈值为0.4，当IoUt小于预设阈值时，该帧图片t为有效图片。
本实施例中提出一种数据分析方法，即在获取目标视频数据后，先从目标视频数据中以预设帧间隔选取图片，在对图片进行预处理后，先后使用帧差法、高斯背景建模、生成背景二值图的方式从全部图片中筛选有效图片，可为后续数据标注提供有效图片的支持。
如图4所示为本身请提供的一种原理框图，本发明的整个过程包括了两个阶段：数据回流和模型增强，对照上图，分别为上图的两个虚线框部分。图中上半部分虚线框中为数据回流阶段，首先在收集数据，并对数据进行预处理后，对数据进行数据筛选(数据筛选过程分为数据分析阶段与数据标注阶段)以确定新增样本(即上述有效图片)，在确定新增样本后即进入模型增强阶段，先利用有效图片对模型进行训练，并对训练前模型与训练后模型进行对比测试，基于对比测试结果对测试集、训练集以及模型进行更新。
参见图5所示，本申请实施例公开了一种模型更新装置，具体可以包括：
数据分析模块11，用于以预设数据收集周期收集目标视频数据，并利用预设数据分析方法从所述目标视频数据中确定有效图片；
数据标注模块12，用于基于所述有效图片中目标对象的交互场景，并利用预设加权平均方法为所述有效图片中的目标对象添加标注数据；
模型训练模块13，用于将带有标注数据的有效图片作为新增样本图片输入预设的训练前模型中进行训练，以获取训练后模型；
模型判定模块14，用于利用预设判定规则确定所述训练后模型是否优于所述训练前模型；
模型测试模块15，用于若所述训练后模型优于所述训练前模型，则对所述训练后模型进行上线测试，并基于上线测试过程中所述训练后模型的负反馈率确定所述训练后模型的可信度；
模型更新模块16，用于当所述可信度大于预设可信度阈值时，将所述训练后模型作为运行模型，并将所述训练前模型设置为备份状态。
本装置先以预设数据收集周期收集目标视频数据，并利用预设数据分析方法从所述目标视频数据中确定有效图片；基于所述有效图片中目标对象的交互场景，并利用预设加权平均方法为所述有效图片中的目标对象添加标注数据；将带有标注数据的有效图片作为新增样本图片输入预设的训练前模型中进行训练，以获取训练后模型；利用预设判定规则确定所述训练后模型是否优于所述训练前模型；若所述训练后模型优于所述训练前模型，则对所述训练后模型进行上线测试，并基于上线测试过程中所述训练后模型的负反馈率确定所述训练后模型的可信度；当所述可信度大于预设可信度阈值时，将所述训练后模型作为运行模型，并将所述训练前模型设置为备份状态。通过本实施例中提出的方法可以在对目标视频数据进行数据筛选分析与数据标注后，利用新增的样本数据对模型训练，并利用训练后模型与训练前模型进行对比测试，以在训练后模型优于训练前模型，且满足上线条件时将训练后模型作为运行模型进行使用。这样一来，本发明可以采用人工干预较少的自动样本标注方案，在连续帧交互场景自动进行样本标注，在突变交互场景下跟踪算法无法定位目标对象的位置时，可以借助人工辅助标注的方式确定样本标注，整个方案减轻操作难度，便于模型的后期维护。另外，本方案可以自动化的管理数据更新与模型更新，并且能够有效地监测模型的迭代，在便于回溯的同时，也能保障模型对新场景的适应能力，增强模型的可用性。
进一步的，本申请实施例还公开了一种电子设备，图6是根据示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图6为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、显示屏24、输入输出接口25、通信接口26和通信总线27。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的模型更新方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口26能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作***221、计算机程序222及虚拟机数据223等，虚拟机数据223可以包括各种各样的数据。存储方式可以是短暂存储或者永久存储。
其中，操作***221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的模型更新方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请还公开了一种计算机可读存储介质，这里所说的计算机可读存储介质包括随机存取存储器(Random Access Memory，RAM)、内存、只读存储器(Read-OnlyMemory，ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、磁碟或者光盘或技术领域内所公知的任意其他形式的存储介质。其中，所述计算机程序被处理器执行时实现前述公开的模型更新方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的模型更新方法、装置、设备、存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种模型更新方法，其特征在于，包括：
以预设数据收集周期收集目标视频数据，并利用预设数据分析方法从所述目标视频数据中确定有效图片，其中，所述预设数据收集周期为模型训练周期；
基于所述有效图片中目标对象的交互场景，并利用预设加权平均方法为所述有效图片中的目标对象添加标注数据；
将带有标注数据的有效图片作为新增样本图片输入预设的训练前模型中进行训练，以获取训练后模型；
利用预设判定规则确定所述训练后模型是否优于所述训练前模型；
若所述训练后模型优于所述训练前模型，则对所述训练后模型进行上线测试，并基于上线测试过程中所述训练后模型的负反馈率确定所述训练后模型的可信度；
当所述可信度大于预设可信度阈值时，将所述训练后模型作为运行模型，并将所述训练前模型设置为备份状态；
其中，所述基于所述有效图片中目标对象的交互场景，并利用预设加权平均方法为所述有效图片中的目标对象添加标注数据，包括：
确定所述有效图片中目标对象的交互场景；
若所述有效图片中目标对象处于连续帧交互场景，则基于所述有效图片中的连续帧跟踪位置，并利用预设第一加权平均方法确定所述目标对象在所述有效图片中最后一帧的跟踪位置，基于所述连续帧跟踪位置与所述最后一帧的跟踪位置对所述有效图片中的目标对象添加标注数据；
若所述有效图片中所述目标对象处于突变交互场景，则获取标准标注位置，并基于所述标准标注位置与有效图片中的连续帧跟踪位置，利用预设第二加权平均方法确定所述目标对象在所述有效图片中最后一帧的标注位置，然后基于所述连续帧跟踪位置与所述最后一帧的标注位置对所述有效图片中的目标对象添加标注数据。
2.根据权利要求1所述的模型更新方法，其特征在于，所述利用预设数据分析方法从所述目标视频数据中确定有效图片，包括：
利用预设帧间隔从所述目标视频数据中确定目标图片，并利用帧差法提取所述目标图片中的背景，然后利用预设高斯混合模型进行背景建模；
确定所述目标图片对应的背景二值图，并确定所述目标图片的交并比；
若所述目标图片的交并比小于预设第一阈值，则将所述目标图片确定为有效图片。
3.根据权利要求1所述的模型更新方法，其特征在于，所述确定所述有效图片中目标对象的交互场景，包括：
利用预设数据跟踪算法确定所述有效图片中差异系数满足预设第二阈值的图片；
将差异系数小于预设第二阈值的图片确定为连续帧交互场景，并将差异系数不小于预设第二阈值的图片确定为突变交互场景。
4.根据权利要求1或3所述的模型更新方法，其特征在于，所述获取标准标注位置，包括：
将处于突变交互场景的有效图片确定为目标有效图片发送至预设标注数据接收界面；
接收由所述预设标注数据接收界面接收的标注数据，并基于所述标注数据确定所述目标有效图片的标准标注位置。
5.根据权利要求1所述的模型更新方法，其特征在于，所述利用预设判定规则确定所述训练后模型是否优于所述训练前模型，包括：
确定历史数据集，并将所述带有标注数据的有效图片作为新增样本图片加入所述历史数据集中，以确定当前数据集；所述历史数据集中包括基于预设第一划分比例划分的历史训练集与历史测试集；
利用预设第二划分比例将所述当前数据集划分为当前测试集与当前训练集，并分别利用所述历史测试集与所述当前测试集对所述训练前模型与训练后模型进行测试，以分别获取所述训练前模型与所述训练后模型对应的测试结果；
基于所述测试结果判断所述训练后模型是否优于所述训练前模型。
6.根据权利要求5所述的模型更新方法，其特征在于，所述分别获取所述训练前模型与所述训练后模型对应的测试结果，包括：
分别获取所述训练前模型与所述训练后模型的历史测试平均精度与当前测试平均精度；
相应的，所述基于所述测试结果判断所述训练后模型是否优于所述训练前模型，包括：
判断所述训练后模型的历史测试平均精度与当前测试平均精度是否均大于所述训练前模型的历史测试平均精度与当前测试平均精度。
7.一种模型更新装置，其特征在于，包括：
数据分析模块，用于以预设数据收集周期收集目标视频数据，并利用预设数据分析方法从所述目标视频数据中确定有效图片，其中，所述预设数据收集周期为模型训练周期；
数据标注模块，用于基于所述有效图片中目标对象的交互场景，并利用预设加权平均方法为所述有效图片中的目标对象添加标注数据；
模型训练模块，用于将带有标注数据的有效图片作为新增样本图片输入预设的训练前模型中进行训练，以获取训练后模型；
模型判定模块，用于利用预设判定规则确定所述训练后模型是否优于所述训练前模型；
模型测试模块，用于若所述训练后模型优于所述训练前模型，则对所述训练后模型进行上线测试，并基于上线测试过程中所述训练后模型的负反馈率确定所述训练后模型的可信度；
模型更新模块，用于当所述可信度大于预设可信度阈值时，将所述训练后模型作为运行模型，并将所述训练前模型设置为备份状态；
其中，所述基于所述有效图片中目标对象的交互场景，并利用预设加权平均方法为所述有效图片中的目标对象添加标注数据，包括：
确定所述有效图片中目标对象的交互场景；
若所述有效图片中目标对象处于连续帧交互场景，则基于所述有效图片中的连续帧跟踪位置，并利用预设第一加权平均方法确定所述目标对象在所述有效图片中最后一帧的跟踪位置，基于所述连续帧跟踪位置与所述最后一帧的跟踪位置对所述有效图片中的目标对象添加标注数据；
若所述有效图片中所述目标对象处于突变交互场景，则获取标准标注位置，并基于所述标准标注位置与有效图片中的连续帧跟踪位置，利用预设第二加权平均方法确定所述目标对象在所述有效图片中最后一帧的标注位置，然后基于所述连续帧跟踪位置与所述最后一帧的标注位置对所述有效图片中的目标对象添加标注数据。
8.一种电子设备，其特征在于，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至6任一项所述的模型更新方法。
9.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的模型更新方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210998311.6A CN115359341B (zh) | 2022-08-19 | 2022-08-19 | 一种模型更新方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210998311.6A CN115359341B (zh) | 2022-08-19 | 2022-08-19 | 一种模型更新方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115359341A CN115359341A (zh) | 2022-11-18 |
| CN115359341B true CN115359341B (zh) | 2023-11-17 |
Family
ID=84002416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210998311.6A Active CN115359341B (zh) | 2022-08-19 | 2022-08-19 | 一种模型更新方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115359341B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10209974B1 (en) * | 2017-12-04 | 2019-02-19 | Banjo, Inc | Automated model management methods |
| CN110264495A (zh) * | 2017-12-29 | 2019-09-20 | 华为技术有限公司 | 一种目标跟踪方法及装置 |
| CN110991476A (zh) * | 2019-10-18 | 2020-04-10 | 北京奇艺世纪科技有限公司 | 决策分类器的训练、音视频的推荐方法、装置及存储介质 |
| US10643104B1 (en) * | 2017-12-01 | 2020-05-05 | Snap Inc. | Generating data in a messaging system for a machine learning model |
| WO2020093694A1 (zh) * | 2018-11-07 | 2020-05-14 | 华为技术有限公司 | 生成视频分析模型的方法及视频分析*** |
| CN113780342A (zh) * | 2021-08-04 | 2021-12-10 | 杭州国辰机器人科技有限公司 | 一种基于自监督预训练的智能检测方法、装置及机器人 |
| WO2022048572A1 (zh) * | 2020-09-02 | 2022-03-10 | 杭州海康威视数字技术股份有限公司 | 目标识别方法、装置和电子设备 |
| CN114463838A (zh) * | 2021-12-29 | 2022-05-10 | 浙江大华技术股份有限公司 | 人体行为识别方法、***、电子装置和存储介质 |
| WO2022156084A1 (zh) * | 2021-01-22 | 2022-07-28 | 平安科技（深圳）有限公司 | 基于人脸和交互文本的目标对象行为预测方法及相关设备 |
-
2022
- 2022-08-19 CN CN202210998311.6A patent/CN115359341B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10643104B1 (en) * | 2017-12-01 | 2020-05-05 | Snap Inc. | Generating data in a messaging system for a machine learning model |
| US10209974B1 (en) * | 2017-12-04 | 2019-02-19 | Banjo, Inc | Automated model management methods |
| CN110264495A (zh) * | 2017-12-29 | 2019-09-20 | 华为技术有限公司 | 一种目标跟踪方法及装置 |
| EP3723046A1 (en) * | 2017-12-29 | 2020-10-14 | Huawei Technologies Co., Ltd. | Target tracking method and device |
| WO2020093694A1 (zh) * | 2018-11-07 | 2020-05-14 | 华为技术有限公司 | 生成视频分析模型的方法及视频分析*** |
| CN110991476A (zh) * | 2019-10-18 | 2020-04-10 | 北京奇艺世纪科技有限公司 | 决策分类器的训练、音视频的推荐方法、装置及存储介质 |
| WO2022048572A1 (zh) * | 2020-09-02 | 2022-03-10 | 杭州海康威视数字技术股份有限公司 | 目标识别方法、装置和电子设备 |
| WO2022156084A1 (zh) * | 2021-01-22 | 2022-07-28 | 平安科技（深圳）有限公司 | 基于人脸和交互文本的目标对象行为预测方法及相关设备 |
| CN113780342A (zh) * | 2021-08-04 | 2021-12-10 | 杭州国辰机器人科技有限公司 | 一种基于自监督预训练的智能检测方法、装置及机器人 |
| CN114463838A (zh) * | 2021-12-29 | 2022-05-10 | 浙江大华技术股份有限公司 | 人体行为识别方法、***、电子装置和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115359341A (zh) | 2022-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220277225A1 (en) | Method and device for detecting anomalies, corresponding computer program and non-transitory computer-readable medium | |
| US20190139215A1 (en) | Pipe feature identification using pipe inspection data analysis | |
| CN115122155B (zh) | 基于工业互联网大数据的机床远程诊断方法及*** | |
| CN110287917B (zh) | 基建工地的安全管控***和方法 | |
| CN111160432A (zh) | 一种面板生产制造缺陷的自动分类方法及*** | |
| CN112529109A (zh) | 一种基于无监督多模型的异常检测方法及*** | |
| CN115359341B (zh) | 一种模型更新方法、装置、设备及介质 | |
| CN113095563A (zh) | 一种人工智能模型预测结果的复审方法及装置 | |
| CN116743637A (zh) | 一种异常流量的检测方法、装置、电子设备及存储介质 | |
| US20220343113A1 (en) | Automatic model reconstruction method and automatic model reconstruction system for component recognition model | |
| CN116634493A (zh) | 告警信息的处理方法及装置、设备、计算机可读存储介质 | |
| CN115904916A (zh) | 一种硬盘故障预测的方法、装置、电子设备以及存储介质 | |
| CN115293735A (zh) | 一种无人工厂工业互联网平台监测管理方法及*** | |
| CN112152968B (zh) | 网络威胁检测方法和装置 | |
| CN114708470A (zh) | 违规图片的识别方法、介质和计算设备 | |
| CN114821396A (zh) | Lng卸车作业流程的规范性检测方法、设备及存储介质 | |
| CN117789192B (zh) | 基本输入输出***的设置项管理方法、装置、设备及介质 | |
| CN112149833A (zh) | 基于机器学习的预测方法、装置、设备和存储介质 | |
| CN116703905B (zh) | 空料检测方法、装置、电子设备和计算机可读存储介质 | |
| CN116563770B (zh) | 车辆颜色的检测方法、装置及设备和介质 | |
| CN116069964B (zh) | 设备工作状态检测方法、装置、电子设备及存储介质 | |
| CN112597994B (zh) | 候选框处理方法、装置、设备及介质 | |
| CN117112719A (zh) | 数据处理方法、装置、设备和程序产品 | |
| CN116956012A (zh) | 数据处理方法、装置、计算机可读介质及电子设备 | |
| CN115761344A (zh) | 基于深度学习vr渲染图像异常显示检测方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |