CN116958608A - 对象识别模型的更新方法、装置、设备、介质及程序产品 - Google Patents
对象识别模型的更新方法、装置、设备、介质及程序产品 Download PDFInfo
- Publication number
- CN116958608A CN116958608A CN202211678065.2A CN202211678065A CN116958608A CN 116958608 A CN116958608 A CN 116958608A CN 202211678065 A CN202211678065 A CN 202211678065A CN 116958608 A CN116958608 A CN 116958608A
- Authority
- CN
- China
- Prior art keywords
- object recognition
- target
- sample
- category
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000012549 training Methods 0.000 claims abstract description 307
- 238000000605 extraction Methods 0.000 claims description 86
- 238000012545 processing Methods 0.000 claims description 40
- 238000013507 mapping Methods 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 22
- 238000010606 normalization Methods 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 19
- 230000000694 effects Effects 0.000 abstract description 16
- 238000013473 artificial intelligence Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 20
- 238000001514 detection method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 238000012360 testing method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 235000019633 pungent taste Nutrition 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种对象识别模型的更新方法、装置、设备、介质及程序产品,涉及人工智能技术;方法包括:获取对象识别模型,该对象识别模型基于各对象识别任务的训练样本集训练得到;获取对象识别模型的类别中心参数;获取新对象识别任务的目标训练样本集;基于各训练样本集中各图像样本的样本特征、以及目标训练样本集中各图像样本的样本特征,确定目标类别中心参数;将对象识别模型的类别中心参数更新为目标类别中心参数,得到目标对象识别模型,该目标对象识别模型用于基于目标类别中心参数,识别待识别对象所归属的目标类别;通过本申请,能够提高为对象识别模型增加新对象识别任务的识别能力的实现效率,保证对象识别模型的识别效果。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种对象识别模型的更新方法、装置、设备、介质及程序产品。
背景技术
人工智能(AI,Artificial Intelligence)是计算机科学的一个综合技术,通过研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,例如自然语言处理技术以及机器学习/深度学习等几大方向,随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
对象识别(如游戏图像中游戏人物的识别)也是人工智能的一个重要应用方向。例如,通过对象识别模型实现某个对象识别任务(如某个游戏中各类别的游戏人物的识别)的对象识别。相关技术中,如果想要为对象识别模型增加新对象识别任务的识别能力,需要采用新对象识别任务的训练样本对原有的对象识别模型进行重新训练才可实现,实现效率低;且由于需要新对象识别任务的训练样本进行重新训练,还会导致原有对象识别任务的识别效果受到影响。
发明内容
本申请实施例提供一种对象识别模型的更新方法、装置、电子设备、计算机可读存储介质及计算机程序产品,能够提高为对象识别模型增加新对象识别任务的识别能力的实现效率,保证对象识别模型的识别效果。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种对象识别模型的更新方法,包括:
获取训练得到的对象识别模型,所述对象识别模型,用于识别至少一个对象识别任务中多个类别的对象;
其中,所述对象识别模型基于各所述对象识别任务的训练样本集训练得到,所述训练样本集,包括相应对象识别任务中各类别的对象的图像样本;
获取所述对象识别模型的类别中心参数,所述类别中心参数基于各所述训练样本集中各所述图像样本的样本特征确定;
获取新对象识别任务的目标训练样本集,所述目标训练样本集,包括所述新对象识别任务中多个类别的对象的图像样本;
基于各所述训练样本集中各所述图像样本的样本特征、以及所述目标训练样本集中各所述图像样本的样本特征,确定目标类别中心参数;
将所述对象识别模型的类别中心参数更新为所述目标类别中心参数,得到目标对象识别模型;
其中,所述目标对象识别模型,用于基于所述目标类别中心参数,识别待识别对象所归属的目标类别,所述目标类别为以下类别中之一:所述新对象识别任务中的多个类别、和所述至少一个对象识别任务中的多个类别。
本申请实施例还提供一种对象识别模型的更新装置,包括:
第一获取模块,用于获取训练得到的对象识别模型,所述对象识别模型,用于识别至少一个对象识别任务中多个类别的对象;
其中,所述对象识别模型基于各所述对象识别任务的训练样本集训练得到,所述训练样本集,包括相应对象识别任务中各类别的对象的图像样本;
第二获取模块,用于获取所述对象识别模型的类别中心参数,所述类别中心参数基于各所述训练样本集中各所述图像样本的样本特征确定;
第三获取模块,用于获取新对象识别任务的目标训练样本集,所述目标训练样本集,包括所述新对象识别任务中多个类别的对象的图像样本;
确定模块,用于基于各所述训练样本集中各所述图像样本的样本特征、以及所述目标训练样本集中各所述图像样本的样本特征,确定目标类别中心参数;
更新模块,用于将所述对象识别模型的类别中心参数更新为所述目标类别中心参数,得到目标对象识别模型;
其中,所述目标对象识别模型,用于基于所述目标类别中心参数,识别待识别对象所归属的目标类别,所述目标类别为以下类别中之一:所述新对象识别任务中的多个类别、和所述至少一个对象识别任务中的多个类别。
在上述方案中,所述第一获取模块,还用于获取初始对象识别模型,并获取各所述对象识别任务的训练样本集,所述训练样本集中各所述图像样本标注有相应的标签;获取各所述训练样本集中各所述图像样本的样本特征,并基于各所述训练样本集中各所述图像样本的样本特征,确定所述对象识别模型的类别中心参数;通过所述初始对象识别模型,基于所述类别中心参数,分别对各所述训练样本集中各所述图像样本进行对象识别,得到各所述图像样本的识别结果;基于各所述图像样本的所述识别结果和相应标签间的差异,更新所述初始对象识别模型的模型参数,得到所述对象识别模型,所述模型参数不同于所述类别中心参数。
在上述方案中,所述第一获取模块,还用于针对各所述对象识别任务,分别执行如下处理:获取所述对象识别任务的对象视频,所述对象视频中包括多帧视频图像;确定所述多帧视频图像中的多帧目标视频图像,所述目标视频图像包括所述对象识别任务中多个类别的对象;针对所述对象识别任务中各类别的对象,从所述多帧目标视频图像中,选取目标数量的包括所述对象的第一视频图像,并将所述第一视频图像作为相应类别的对象的图像样本;基于所述对象识别任务中各类别的对象的图像样本,构建得到所述对象识别任务的训练样本集。
在上述方案中,所述第一获取模块,还用于通过所述特征提取层,分别对各所述训练样本集中各所述图像样本进行特征提取,得到各所述图像样本的样本特征;相应的,所述第一获取模块,还用于在所述更新所述初始对象识别模型的模型参数之后,通过模型参数更新后的所述特征提取层,分别对各所述训练样本集中各所述图像样本进行特征提取,得到各所述图像样本的新样本特征;基于各所述训练样本集中各所述图像样本的新样本特征,确定所述对象识别模型的新类别中心参数;将所述对象识别模型的类别中心参数更新为所述新类别中心参数。
在上述方案中,所述训练样本集中各类别的对象的图像样本的数量为多个,所述第一获取模块,还用于从各所述训练样本集中各所述图像样本的样本特征中,确定各类别的对象对应的多个样本特征;针对各类别的对象对应的多个样本特征,基于目标数量的聚类中心,对所述多个样本特征进行聚类,得到目标数量的样本特征簇;基于各所述样本特征簇的聚类中心所对应的目标样本特征,生成所述对象识别模型的类别中心参数。
在上述方案中,所述类别中心参数包括多个子类别中心参数,所述子类别中心参数与所述至少一个对象识别任务中各类别的类别中心一一对应;所述初始对象识别模型包括特征提取层、第一对象识别层和第二对象识别层;所述第一获取模块,还用于通过所述特征提取层,分别对各所述训练样本集中各所述图像样本进行特征提取,得到各所述图像样本的样本特征;通过所述第一对象识别层,基于各所述子类别中心参数,分别对各所述训练样本集中各所述图像样本的样本特征进行第一对象识别,得到各所述图像样本中对象归属于各所述类别中心的可能程度;针对各所述图像样本,通过所述第二对象识别层,基于所述图像样本中对象归属于各所述类别中心的可能程度,确定所述图像样本中对象所归属的类别,所述图像样本中对象所归属的类别为所述识别结果。
在上述方案中,所述特征提取层包括:卷积特征提取层、池化处理层、嵌入特征提取层、特征映射层和归一化处理层;所述第一获取模块,还用于通过所述卷积特征提取层,分别对各所述训练样本集中各所述图像样本进行卷积特征处理,得到各所述图像样本的卷积特征;通过所述池化处理层,分别对各所述图像样本的卷积特征进行池化处理,得到各所述图像样本的池化特征;通过所述嵌入特征提取层,对各所述图像样本的池化特征进行嵌入特征提取处理,得到各所述图像样本的嵌入特征;通过所述特征映射层,对各所述图像样本的嵌入特征进行映射处理,得到各所述图像样本的映射特征;通过所述归一化处理层,对各所述图像样本的池化特征进行归一化处理,得到各所述图像样本的样本特征。
在上述方案中,所述对象识别任务的数量为M个,所述第一获取模块,还用于获取初始对象识别模型,并获取各所述对象识别任务的训练样本集;基于第1个对象识别任务的训练样本集,对所述初始对象识别模型进行训练,得到第1个对象识别任务的中间对象识别模型;通过第i个对象识别任务的训练样本集,对第(i-1)个对象识别任务的中间对象识别模型进行训练,得到第i个对象识别任务的中间对象识别模型;对所述i进行遍历,得到第M个对象识别任务的中间对象识别模型,并将所述第M个对象识别任务的中间对象识别模型,作为所述对象识别模型;其中,所述M和所述i为大于1的整数,所述i小于或等于所述M。
在上述方案中,所述训练样本集中各类别的对象的图像样本的数量为多个,所述目标训练样本集中各类别的对象的图像样本的数量为多个;所述确定模块,还用于从各所述训练样本集中各所述图像样本的样本特征,确定所述训练样本集中各类别的对象对应的多个样本特征,并从所述目标训练样本集中各所述图像样本的样本特征中,确定所述目标训练样本集中各类别的对象对应的多个样本特征;针对各类别的对象对应的多个样本特征,基于目标数量的聚类中心,对所述多个样本特征进行聚类,得到目标数量的样本特征簇;基于各所述样本特征簇的聚类中心所对应的目标样本特征,生成所述目标类别中心参数。
在上述方案中,所述确定模块,还用于针对各所述训练样本集分别执行如下处理:针对所述训练样本集中各所述图像样本的样本特征,确定所述图像样本的样本特征、与所述目标训练样本集中各所述图像样本的样本特征之间的特征相似度;从所述训练样本集中,筛除特征相似度满足相似度条件的所述图像样本的样本特征,得到第一训练样本集;基于各所述第一训练样本集中各所述图像样本的样本特征、以及所述目标训练样本集中各所述图像样本的样本特征,确定目标类别中心参数。
在上述方案中,所述目标类别中心参数包括多个目标子类别中心参数,所述目标子类别中心参数与目标对象识别任务中各类别的类别中心一一对应,所述目标对象识别任务包括所述至少一个对象识别任务和所述新对象识别任务;所述更新模块,还用于通过所述目标对象识别模型,基于各所述目标子类别中心参数,对待识别对象的对象图像进行第一对象识别,得到所述待识别对象归属于各所述类别中心的初始可能程度;基于各所述类别中心所对应的初始可能程度,确定所述待识别对象归属于各所述类别的可能程度;基于所述待识别对象归属于各所述类别的可能程度,确定所述待识别对象所归属的对象类别。
在上述方案中,当各所述类别的类别中心的数量为多个时,所述更新模块,还用于针对各所述类别,分别执行如下处理:从所述类别的各类别中心所对应的初始可能程度中,确定最大初始可能程度,并将所述最大初始可能程度,确定为所述待识别对象归属于所述类别的可能程度。
在上述方案中,所述更新模块,还用于从所述待识别对象归属于各所述类别的可能程度中,确定最大可能程度、以及所述最大可能程度对应的类别所在的第一识别任务,所述第一识别任务归属于所述目标对象识别任务;从所述待识别对象归属于各所述类别的可能程度中,确定所述待识别对象归属于第二识别任务中各类别的第一可能程度,并从多个所述第一可能程度中确定最大第一可能程度;其中,所述第二识别任务为,所述目标对象识别任务中除所述第一识别任务之外的识别任务;基于所述最大可能程度和所述最大第一可能程度,确定所述第一识别任务的任务熵;当所述任务熵小于任务熵阈值时,确定所述待识别对象归属于所述第一识别任务中的对象类别,所述对象类别对应所述最大可能程度。
在上述方案中,当所述任务熵不小于任务熵阈值时,所述更新模块,还用于当所述第二识别任务的数量为一个时,确定所述待识别对象归属于所述第二识别任务中的第一类别,所述第一类别对应所述最大第一可能程度。当所述第二识别任务的数量为多个时,基于所述待识别对象归属于所述第二识别任务中各类别的第一可能程度,确定所述待识别对象所归属的对象类别。
本申请实施例还提供一种电子设备,包括:
存储器,用于存储计算机可执行指令;
处理器,用于执行所述存储器中存储的计算机可执行指令时,实现本申请实施例提供的对象识别模型的更新方法。
本申请实施例还提供一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令被处理器执行时,实现本申请实施例提供的对象识别模型的更新方法。
本申请实施例还提供一种计算机程序产品,包括计算机可执行指令,所述计算机可执行指令被处理器执行时,实现本申请实施例提供的对象识别模型的更新方法。
本申请实施例具有以下有益效果:
本申请实施例提供的训练得到的对象识别模型包括一个类别中心参数,该类别中心参数是基于各训练样本集中各图像样本的样本特征确定的,无需进行模型训练即可得到。当需要对象识别模型具备新对象识别任务的识别能力时,则可以基于各训练样本集中各图像样本的样本特征、以及目标训练样本集中各图像样本的样本特征,确定目标类别中心参数,并将对象识别模型的类别中心参数更新为目标类别中心参数即可,无需对对象识别模型进行重新训练。此时所得到的目标对象识别模型既具备至少一个对象识别任务的识别能力,还具备新对象识别任务的识别能力。如此,由于无需对对象识别模型进行重新训练,1)提高了为对象识别模型增加新对象识别任务的识别能力的实现效率;2)在为对象识别模型增加新对象识别任务的识别能力的同时,也不会对对象识别模型的原有对象识别任务的识别效果造成影响,保证了对象识别模型的识别效果,提高了已增加新对象识别任务的目标对象识别模型的识别准确性。
附图说明
图1是本申请实施例提供的对象识别模型的更新***100的架构示意图;
图2是本申请实施例提供的对象识别模型的更新方法的流程示意图;
图3是本申请实施例提供的对象识别模型的更新方法的流程示意图;
图4是本申请实施例提供的对象识别模型的结构示意图;
图5是本申请实施例提供的对象识别模型的更新方法的流程示意图;
图6是本申请实施例提供的对象识别模型的更新示意图;
图7是本申请实施例提供的对象识别模型的更新方法的流程示意图;
图8是本申请实施例提供的对象识别模型的更新方法的流程示意图;
图9A是本申请实施例提供的对象识别模型的应用示意图;
图9B是本申请实施例提供的对象识别模型的应用示意图;
图10是本申请实施例提供的对象识别模型的更新装置的结构示意图;
图11是本申请实施例提供的实施对象识别模型的更新方法的电子设备500的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
1)客户端,终端中运行的用于提供各种服务的应用程序,例如支持对象识别处理的客户端。
2)响应于,用于表示所执行的操作所依赖的条件或状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。
本申请实施例提供一种对象识别模型的更新方法、装置、电子设备、计算机可读存储介质及计算机程序产品,能够提高为对象识别模型增加新对象识别任务的识别能力的实现效率,保证对象识别模型的识别效果。接下来分别进行说明。
需要说明的是,当本申请实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
下面说明本申请实施例提供的对象识别模型的更新***。参见图1,图1是本申请实施例提供的对象识别模型的更新***100的架构示意图,为实现支撑一个示例性应用,终端(示例性示出了终端400-1)通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合,使用无线或有线链路实现数据传输。
终端(例如400-1),用于响应于针对对象识别模型的模型更新指令,发送针对对象识别模型的模型更新请求至服务器200;服务器200,用于接收终端发送的模型更新请求;响应于模型更新请求,获取训练得到的对象识别模型,其中,该对象识别模型,用于识别至少一个对象识别任务中多个类别的对象;对象识别模型基于各对象识别任务的训练样本集训练得到,训练样本集包括相应对象识别任务中各类别的对象的图像样本;获取对象识别模型的类别中心参数,类别中心参数基于各训练样本集中各图像样本的样本特征确定;获取新对象识别任务的目标训练样本集,目标训练样本集,包括新对象识别任务中多个类别的对象的图像样本;基于各训练样本集中各图像样本的样本特征、以及目标训练样本集中各图像样本的样本特征,确定目标类别中心参数;将对象识别模型的类别中心参数更新为目标类别中心参数,得到目标对象识别模型;如此,得到支持至少一个对象识别任务和新对象识别任务的目标对象识别模型。
在一些实施例中,服务器200得到目标对象识别模型之后,可以主动将目标对象识别模型发送至终端,以供终端在进行对象识别处理时使用;当然,终端也可以在进行对象识别处理时,主动从服务器200获取目标对象识别模型,此时服务器200在终端主动获取时将目标对象识别模型发送至终端。
作为示例,终端(例如400-1)可以设置有支持对象识别处理的客户端。当进行对象识别处理时,用户可以通过该客户端在终端(例如400-1)触发动作识别指令;终端响应于动作识别指令,从服务器200获取目标对象识别模型;同时,获取待识别对象的对象图像;通过目标对象识别模型,基于目标类别中心参数,对对象图像进行对象识别,得到待识别对象所归属的目标类别,该目标类别为以下类别中之一:新对象识别任务中的多个类别、和至少一个对象识别任务中的多个类别。
在一些实施例中,本申请实施例提供的对象识别模型的更新方法可以由各种电子设备实施,例如,可以由终端单独实施,也可以由服务器单独实施,也可以由终端和服务器协同实施。本申请实施例提供的对象识别模型的更新方法可应用于各种场景,包括但不限于云技术、人工智能、智慧交通、辅助驾驶、游戏、音视频、图像等。
在一些实施例中,本申请实施例提供的实施对象识别模型的更新方法的电子设备可以是各种类型的终端或服务器。其中,服务器(例如服务器200)可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***。终端(例如终端400-1)可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能语音交互设备(例如智能音箱)、智能家电(例如智能电视)、智能手表、车载终端、可穿戴设备、虚拟现实(Virtual Reality,VR)设备等,但并不局限于此。终端和服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请实施例对此不做限制。
在一些实施例中,本申请实施例提供的对象识别模型的更新方法可以借助于云技术(Cloud Technology)实现。云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。云技术是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、以及应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络***的后台服务需要大量的计算资源和存储资源。作为示例,服务器(例如服务器200)还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一些实施例中,多个服务器可组成为一区块链,而服务器为区块链上的节点,区块链中的每个节点之间可以存在信息连接,节点之间可以通过信息连接进行信息传输。其中,本申请实施例提供的对象识别模型的更新方法所相关的数据(例如对象识别模型、目标对象识别模型、训练样本集、目标训练样本集等)可保存于区块链上。
在一些实施例中,终端或服务器可以通过运行计算机程序来实现本申请实施例提供的对象识别模型的更新方法,举例来说,计算机程序可以是操作***中的原生程序或软件模块;可以是本地(Native)应用程序(Application,APP),即需要在操作***中安装才能运行的程序;也可以是小程序,即只需要下载到浏览器环境中就可以运行的程序;还可以是能够嵌入至任意APP中的小程序。总而言之,上述计算机程序可以是任意形式的应用程序、模块或插件。
下面说明本申请实施例提供的对象识别模型的更新方法。在一些实施例中,本申请实施例提供的对象识别模型的更新方法可以由各种电子设备实施,例如,可由终端单独实施,也可由服务器单独实施,也可由终端和服务器协同实施。以服务器实施为例,参见图2,图2是本申请实施例提供的对象识别模型的更新方法的流程示意图,本申请实施例提供的对象识别模型的更新方法包括:
步骤101:服务器获取训练得到的对象识别模型。
其中,对象识别模型,用于识别至少一个对象识别任务中多个类别的对象;对象识别模型基于各对象识别任务的训练样本集训练得到;训练样本集,包括相应对象识别任务中各类别的对象的图像样本。
在实际应用中,用户可以通过终端所设置的客户端(例如支持对象识别模型的客户端)触发针对对象识别模型的模型更新指令,从而终端响应于该模型更新指令,发送针对对象识别模型的模型更新请求至服务器。当服务器接收到终端发送的模型更新请求时,响应于模型更新请求,获取预先训练完成的对象识别模型。该对象识别模型可以用于识别至少一个对象识别任务中多个类别的对象。该对象识别模型是分别基于各对象识别任务的训练样本集训练得到的。该对象识别任务可以是针对同一业务的图像中对象的识别任务,该业务可以是游戏业务,该不同的对象识别任务可以是不同游戏(比如游戏1、游戏2)的对象识别任务;该业务可以是视频业务,该不同的对象识别任务则可以是不同视频(比如电影1、电影2)的对象识别任务,等等。
在一些实施例中,参见图3,图3是本申请实施例提供的对象识别模型的更新方法的流程示意图。图3示出了图2中的步骤101可通过步骤1011-步骤1014实现:步骤1011,获取初始对象识别模型,并获取各对象识别任务的训练样本集,该训练样本集中各图像样本标注有相应的标签;步骤1012,获取各训练样本集中各图像样本的样本特征,并基于各训练样本集中各图像样本的样本特征,确定对象识别模型的类别中心参数;步骤1013,通过初始对象识别模型,基于类别中心参数,分别对各训练样本集中各图像样本进行对象识别,得到各图像样本的识别结果;步骤1014,基于各图像样本的识别结果和相应标签间的差异,更新初始对象识别模型的模型参数,得到对象识别模型,该模型参数不同于类别中心参数。
在步骤1011中,该图像为相应类别的对象的对象图像。每个训练样本集中各类别的对象的图像样本的样本量可以是相同的,样本量的均衡可以保证每个对象识别任务获得同等的学习机会。在步骤1012中,可以对各训练样本集中各图像样本进行提取,得到各图像样本的样本特征,在实际实施时,可以对各图像样本进行嵌入特征(即Embedding)的提取,得到样本特征。从而可以通过对各训练样本集中各图像样本的样本特征进行目标数量的聚类中心的聚类处理,得到目标数量的特征聚类簇,并将各特征聚类簇的聚类中心所对应的样本特征进行组合,得到对象识别模型的类别中心参数。在步骤1014中,针对各图像样本,基于该图像样本的识别结果和标签间的差异,确定初始对象识别模型的损失函数的值;当该损失函数的值超出预设阈值时,则基于损失函数确定初始对象识别模型的误差信号;从而可以将误差信号在初始对象识别模型中进行反向传播,并在传播的过程中更新初始对象识别模型中各个层的模型参数,以对初始对象识别模型进行训练,得到该对象识别模型。
在一些实施例中,服务器可通过如下方式获取各对象识别任务的训练样本集:针对各对象识别任务,分别执行如下处理:获取对象识别任务的对象视频,对象视频中包括多帧视频图像;确定多帧视频图像中的多帧目标视频图像,该目标视频图像包括对象识别任务中多个类别的对象;针对对象识别任务中各类别的对象,从多帧目标视频图像中,选取目标数量的包括对象的第一视频图像,并将第一视频图像作为相应类别的对象的图像样本;基于对象识别任务中各类别的对象的图像样本,构建得到对象识别任务的训练样本集。
在实际应用中,可以获取对象识别任务的对象视频,该对象视频中包括多帧视频图像,从而可以通过对各帧视频图像进行对象检测,以确定多帧视频图像中的多帧目标视频图像,该目标视频图像包括对象识别任务中多个类别的对象。该对象检测的过程可以通过对象检测模型实现,该对象检测模型可以是基于coco数据集训练的yolov3检测器,也可以采用基于业务数据(如游戏视频中各帧视频图像)预先训练好的对象检测器。从而针对对象识别任务中各类别的对象,从多帧目标视频图像中,选取目标数量的包括该对象的第一视频图像,并将第一视频图像作为相应类别的该对象的图像样本。如此,将对象识别任务中各类别的对象的图像样本进行组合,构建得到该对象识别任务的训练样本集。
在一些实施例中,初始对象识别模型包括特征提取层,服务器可通过如下方式获取各训练样本集中各图像样本的样本特征:通过特征提取层,分别对各训练样本集中各图像样本进行特征提取,得到各图像样本的样本特征。相应的,当服务器更新初始对象识别模型的模型参数之后,还可通过如下方式,更新对象识别模型的类别中心参数:通过模型参数更新后的特征提取层,分别对各训练样本集中各图像样本进行特征提取,得到各图像样本的新样本特征;基于各训练样本集中各图像样本的新样本特征,确定对象识别模型的新类别中心参数;将对象识别模型的类别中心参数更新为新类别中心参数。
在实际应用中,对象识别模型的类别中心参数可以是基于初始对象识别模型的特征提取层所提取的样本特征生成的。当在初始对象识别模型的训练过程中,初始对象识别模型的特征提取层的模型参数会发生更新,基于此,对象识别模型的类别中心参数也需要更新。即通过模型参数更新后的特征提取层,分别对各训练样本集中各图像样本进行特征提取,得到各图像样本的新样本特征,然后基于各训练样本集中各图像样本的新样本特征,确定对象识别模型的新类别中心参数,从而将对象识别模型的类别中心参数更新为新类别中心参数。
在一些实施例中,训练样本集中各类别的对象的图像样本的数量为多个,基于各训练样本集中各图像样本的样本特征,服务器可通过如下方式确定对象识别模型的类别中心参数:从各训练样本集中各图像样本的样本特征中,确定各类别的对象对应的多个样本特征;针对各类别的对象对应的多个样本特征,基于目标数量的聚类中心,对多个样本特征进行聚类,得到目标数量的样本特征簇;基于各样本特征簇的聚类中心所对应的目标样本特征,生成对象识别模型的类别中心参数。
在实际应用中,通过针对各类别的对象对应的多个样本特征,进行目标数量的聚类中心的聚类处理,得到目标数量的样本特征簇,从而将各样本特征簇的聚类中心所对应的目标样本特征,组合得到对象识别模型的类别中心参数。需要说明的是,每个类别包括至少一个类别中心,该类别中心用于表征该类别的对象的表现形式,不同的类别中心对应不同的表现形式。比如在游戏识别任务中,类别中心可以为所归属类别的游戏对象的至少一种游戏对象原型,该游戏对象原型为游戏对象的不同表现形式,比如游戏对象在发动1游戏技能、2游戏技能、3游戏技能、站立、行走时的对象标准样式,可以视作该游戏对象的5个游戏对象原型。
在一些实施例中,类别中心参数包括多个子类别中心参数,子类别中心参数与至少一个对象识别任务中各类别的类别中心一一对应;初始对象识别模型包括特征提取层、第一对象识别层和第二对象识别层。相应的,通过初始对象识别模型,服务器可通过如下方式基于类别中心参数,分别对各训练样本集中各图像样本进行对象识别,得到各图像样本的识别结果:通过特征提取层,分别对各训练样本集中各图像样本进行特征提取,得到各图像样本的样本特征;通过第一对象识别层,基于各子类别中心参数,分别对各训练样本集中各图像样本的样本特征进行第一对象识别,得到各图像样本中对象归属于各类别中心的可能程度;针对各图像样本,通过第二对象识别层,基于图像样本中对象归属于各类别中心的可能程度,确定图像样本中对象所归属的类别,该图像样本中对象所归属的类别为识别结果。
由上述实施例可知,每个子类别中心参数实际是样本特征簇的聚类中心所对应的目标样本特征。因此,在实际应用中,当基于各子类别中心参数分别对各训练样本集中各图像样本的样本特征进行第一对象识别时,可以针对各子类别中心参数,计算该子类别中心参数所对应的目标样本特征与各个图像样本的样本特征之间的相似度,将该相似度作为各图像样本中对象归属于各类别中心的可能程度。当基于图像样本中对象归属于各类别中心的可能程度,确定图像样本中对象所归属的类别时,可以将最大相似度所对应的子类别中心参数的类别中心所在的类别,确定为图像样本中对象所归属的类别。
作为示例,参见图4,图4是本申请实施例提供的对象识别模型的结构示意图。这里,对象识别模型包括特征提取层、第一对象识别层和第二对象识别层,其中,特征提取层包括:卷积特征提取层、池化处理层、嵌入特征提取层、特征映射层和归一化处理层。在实际应用中,可以通过卷积特征提取层,分别对各训练样本集中各图像样本进行卷积特征处理,得到各图像样本的卷积特征;通过池化处理层,分别对各图像样本的卷积特征进行池化处理,得到各图像样本的池化特征;通过嵌入特征提取层,对各图像样本的池化特征进行嵌入特征提取处理,得到各图像样本的嵌入特征;通过特征映射层,对各图像样本的嵌入特征进行映射处理,得到各图像样本的映射特征;通过归一化处理层,对各图像样本的池化特征进行归一化处理,得到各图像样本的样本特征。
在一些实施例中,该对象识别任务的数量为M个,这里可以依次基于各对象识别任务的训练样本集,分别对初始对象识别模型进行训练。即:获取初始对象识别模型,并获取各对象识别任务的训练样本集;基于第1个对象识别任务的训练样本集,对初始对象识别模型进行训练,得到第1个对象识别任务的中间对象识别模型;通过第i个对象识别任务的训练样本集,对第(i-1)个对象识别任务的中间对象识别模型进行训练,得到第i个对象识别任务的中间对象识别模型;对i进行遍历,得到第M个对象识别任务的中间对象识别模型,并将第M个对象识别任务的中间对象识别模型,作为对象识别模型;其中,M和i为大于1的整数,i小于或等于M。
步骤102:获取对象识别模型的类别中心参数。
其中,类别中心参数基于各训练样本集中各图像样本的样本特征确定。
在实际应用中,该类别中心参数可以是基于对象识别模型的特征提取层针对各训练样本集中各图像样本所提取的样本特征生成的。具体地,从各训练样本集中各图像样本的样本特征中,确定各类别的对象对应的多个样本特征;针对各类别的对象对应的多个样本特征,基于目标数量的聚类中心,对多个样本特征进行聚类,得到目标数量的样本特征簇;基于各样本特征簇的聚类中心所对应的目标样本特征,生成对象识别模型的类别中心参数。在实际应用中,通过针对各类别的对象对应的多个样本特征,进行目标数量的聚类中心的聚类处理,得到目标数量的样本特征簇,从而将各样本特征簇的聚类中心所对应的目标样本特征,组合得到对象识别模型的类别中心参数。
在一些实施例中,该对象识别模型的类别中心参数包括多个子类别中心参数,每个子类别中心参数与上述至少一个对象识别任务中各类别的类别中心一一对应。即,该类别中心参数用于指示:上述至少一个对象识别任务中各类别的类别中心。当基于该类别中心参数,通过对象识别模型对待识别对象进行识别时,可以得到待识别对象归属于至少一个对象识别任务中各类别的可能程度。
在另一些实施例中,该对象识别模型的类别中心参数可以由各个对象识别任务的任务类别中心参数构成。以至少一个对象识别任务中目标识别任务为例,该目标识别任务的任务类别中心参数包括多个子任务类别中心参数,该多个子任务类别中心参数包括第一子任务类别中心参数以及第二子任务类别中心参数,该第一子任务类别中心参数与目标识别任务中各类别的类别中心一一对应,该第二子任务类别中心参数对应至少一个对象识别任务除目标识别任务之外的其他识别任务。即,该目标识别任务的任务类别中心参数用于指示:目标识别任务中各类别的类别中心、以及其他识别任务的其他类别中心(即,将其他识别任务中各类别的类别中心统称为其他类别中心,不作区分)。如此,当基于对象识别模型对待识别对象进行识别时,可以分别采用对象识别任务的任务类别中心参数进行识别。而如果在对待识别对象进行识别时,预先设置了采用哪个对象识别任务(比如目标识别任务)进行识别,则可以直接采用该设置的对象识别任务的任务类别中心参数进行识别。需要说明的是,以目标识别任务的任务类别中心参数为例,当基于该任务类别中心参数,通过对象识别模型对待识别对象进行识别时,可以得到待识别对象归属于目标识别任务中各类别的可能程度、以及归属于其他识别任务的可能程度。
步骤103:获取新对象识别任务的目标训练样本集;
其中,该目标训练样本集,包括新对象识别任务中多个类别的对象的图像样本。在实际应用中,当构建目标训练样本集时,该目标训练样本集中每个类别的对象的图像样本的样本量,和训练样本集中个类别的对象的图像样本的样本量可以是相同的,也可以是不同的。该新对象识别任务不同上述至少一个对象识别任务中任一对象识别任务。
在实际应用中,可以获取新对象识别任务的新对象视频,该新对象视频中包括多帧视频图像,从而可以通过对各帧视频图像进行对象检测,以确定多帧视频图像中的多帧目标视频图像,该目标视频图像包括新对象识别任务中多个类别的对象。该对象检测的过程可以通过对象检测模型实现,该对象检测模型可以是基于coco数据集训练的yolov3检测器,也可以采用基于业务数据(如游戏视频中各帧视频图像)预先训练好的对象检测器。从而针对新对象识别任务中各类别的对象,从多帧目标视频图像中,选取目标数量的包括该对象的第二视频图像,并将第二视频图像作为相应类别的该对象的图像样本。如此,将新对象识别任务中各类别的对象的图像样本进行组合,构建得到该新对象识别任务的目标训练样本集。
步骤104:基于各训练样本集中各图像样本的样本特征、以及目标训练样本集中各图像样本的样本特征,确定目标类别中心参数。
在实际应用中,当获取到新对象识别任务的目标训练样本集之后,则可以确定该新对象识别任务的目标类别中心参数。该目标类别中心参数,可以是基于新对象识别任务的目标训练样本集中各图像样本的样本特征、以及各训练样本集中各图像样本的样本特征生成的。在一些实施例中,训练样本集中各类别的对象的图像样本的数量为多个,目标训练样本集中各类别的对象的图像样本的数量为多个。参见图5,图5是本申请实施例提供的对象识别模型的更新方法的流程示意图,图5示出了图2中的步骤104可通过步骤1041-步骤1043实现:步骤1041,从各训练样本集中各图像样本的样本特征,确定训练样本集中各类别的对象对应的多个样本特征,并从目标训练样本集中各图像样本的样本特征中,确定目标训练样本集中各类别的对象对应的多个样本特征;步骤1042,针对各类别的对象对应的多个样本特征,基于目标数量的聚类中心,对多个样本特征进行聚类,得到目标数量的样本特征簇;步骤1043,基于各样本特征簇的聚类中心所对应的目标样本特征,生成目标类别中心参数。
在步骤1041中,该各图像样本的样本特征,可以是通过对象识别模型的特征提取层对图像样本进行特征提取得到的。在步骤1042中,当基于目标数量的聚类中心,对多个样本特征进行聚类时,可以采用聚类算法(比如K-meas聚类算法)实现。在步骤1043中,可以将各样本特征簇的聚类中心所对应的目标样本特征进行组合,得到目标类别中心参数。该组合的过程可以是将各个目标样本特征进行拼接,从而得到目标类别中心参数。这里,目标类别中心参数包括多个目标子类别中心参数,目标子类别中心参数与目标对象识别任务中各类别的类别中心一一对应,目标对象识别任务包括至少一个对象识别任务和新对象识别任务,因此,每个目标子类别中心参数实际是聚类处理所得到的样本特征簇的聚类中心所对应的目标样本特征。
在一些实施例中,基于各训练样本集中各图像样本的样本特征、以及目标训练样本集中各图像样本的样本特征,服务器可通过如下方式确定目标类别中心参数:针对各训练样本集分别执行如下处理:针对训练样本集中各图像样本的样本特征,确定图像样本的样本特征、与目标训练样本集中各图像样本的样本特征之间的特征相似度;从训练样本集中,筛除特征相似度满足相似度条件的图像样本的样本特征,得到第一训练样本集;基于各第一训练样本集中各图像样本的样本特征、以及目标训练样本集中各图像样本的样本特征,确定目标类别中心参数。
在实际应用中,训练样本集中可能存在和新对象识别任务的目标训练样本集中图像样本比较相似的图像样本,为了避免相似图像样本降低新对象识别任务的识别精度,可以针对训练样本集中各图像样本的样本特征,确定图像样本的样本特征、与目标训练样本集中各图像样本的样本特征之间的特征相似度,从而从训练样本集中,筛除特征相似度满足相似度条件(比如特征相似度达到相似度阈值的图像样本、特征相似度降序排序靠前的目标数量的图像样本)的图像样本的样本特征,得到第一训练样本集。然后基于各第一训练样本集中各图像样本的样本特征、以及目标训练样本集中各图像样本的样本特征,确定目标类别中心参数。
步骤105:将对象识别模型的类别中心参数更新为目标类别中心参数,得到目标对象识别模型。
其中,该目标对象识别模型,用于基于目标类别中心参数,识别待识别对象所归属的目标类别,目标类别为以下类别中之一:新对象识别任务中的多个类别、和至少一个对象识别任务中的多个类别。
在一些实施例中,当类别中心参数用于指示:上述至少一个对象识别任务中各类别的类别中心时,该目标类别中心参数也可以用于指示:上述至少一个对象识别任务各类别和新对象识别任务中各类别的类别中心。当基于该目标类别中心参数,通过目标对象识别模型对待识别对象进行识别时,可以得到待识别对象归属于至少一个对象识别任务中各类别和新对象识别任务中各类别的可能程度。此时,将对象识别模型的类别中心参数更新为目标类别中心参数,即可得到既具备至少一个对象识别任务的识别能力,还具备新对象识别任务的识别能力的目标对象识别模型。
在另一些实施例中,当类别中心参数由各个对象识别任务的任务类别中心参数构成,其中目标识别任务的任务类别中心参数用于指示:目标识别任务中各类别的类别中心、以及其他识别任务的其他类别中心时,该目标类别中心参数也可以用于指示:新识别任务中各类别的类别中心、以及其他识别任务的其他类别中心,即该目标类别中心参数可以理解为新对象识别任务的任务类别中心参数。当基于该目标类别中心参数,通过目标对象识别模型对待识别对象进行识别时,可以得到待识别对象归属于新对象识别任务中各类别的可能程度、以及归属于其他对象识别任务的可能程度。此时,将对象识别模型的类别中心参数更新为目标类别中心参数,即得到具备新对象识别任务的识别能力的目标对象识别模型。在实际应用中,还可以将目标类别中心参数以任务类别中心参数的身份加入类别中心参数,以对对象识别模型的类别中心参数进行更新,从而在对待识别对象进行新对象识别任务的识别时,可以从更新后的类别中心参数调用目标类别中心参数进行识别。
在实际应用中,如果需要再次增加新的对象识别任务(如目标新对象识别任务),也可以通过执行上述步骤104,基于上述各训练样本集以及目标新对象识别任务的训练样本集,得到目标新对象识别任务对应的目标类别中心参数。如此,当进行对象识别时,需要执行哪个新对象识别任务,则可以通过将对象识别模型的类别中心参数,更新为相应新对象识别任务目标类别中心参数,以实现该新对象识别任务的对象识别。
例如,参见图6,图6是本申请实施例提供的对象识别模型的更新示意图。这里,对象识别模型包括卷积特征提取层(可以基于卷积神经网络构建的)、池化特征提取层、嵌入特征(Embedding)提取层、第一对象识别层(cosine-match)和第二对象识别层(Softmax层)。在实际应用中,Softmax层可以不设置需要学习的模型参数,cosine-match层可以设置一个对象识别模型的类别中心参数w。如图6所示,新增对象识别任务包括游戏识别任务1和游戏识别任务2。其中,W1用于表征:游戏识别任务1中各类别(游戏对象)所对应的多个类别中心[u1…uN]、以及其他游戏识别任务(不同于游戏识别任务1)中各类别(游戏对象)的类别中心uO;W2用于表征:游戏识别任务2中各类别(游戏对象)所对应的多个类别中心[u1…uM]、以及其他游戏识别任务(不同于游戏识别任务2)中各类别(游戏对象)的类别中心uO。
在一些实施例中,目标类别中心参数包括多个目标子类别中心参数,目标子类别中心参数与目标对象识别任务中各类别的类别中心一一对应,目标对象识别任务包括至少一个对象识别任务和新对象识别任务。参见图7,图7是本申请实施例提供的对象识别模型的更新方法的流程示意图,包括:步骤201,通过目标对象识别模型,基于各目标子类别中心参数,对待识别对象的对象图像进行第一对象识别,得到待识别对象归属于各类别中心的初始可能程度;步骤202,基于各类别中心所对应的初始可能程度,确定待识别对象归属于各类别的可能程度;步骤203,基于待识别对象归属于各类别的可能程度,确定待识别对象所归属的对象类别。
这里,由上述实施例可知,每个目标子类别中心参数实际是聚类处理所得到的样本特征簇的聚类中心所对应的目标样本特征。因此,在步骤201中,可以通过目标对象识别模型,首先对待识别对象的对象图像进行特征提取,得到对象图像特征,然后针对各目标子类别中心参数,计算该目标子类别中心参数所对应的目标样本特征与待识别对象的对象图像特征之间的相似度,将该相似度作为待识别对象归属于各类别中心的初始可能程度。在步骤202中,可以针对各类别,分别执行如下处理:从类别的各类别中心所对应的初始可能程度中,确定最大初始可能程度,并将最大初始可能程度,确定为待识别对象归属于类别的可能程度。
在一些实施例中,参见图8,图8是本申请实施例提供的对象识别模型的更新方法的流程示意图,图8示出了图7中的步骤203可通过步骤2031-步骤2034实现:步骤2031,从待识别对象归属于各类别的可能程度中,确定最大可能程度、以及最大可能程度对应的类别所在的第一识别任务,该第一识别任务归属于目标对象识别任务;步骤2032,从待识别对象归属于各类别的可能程度中,确定待识别对象归属于第二识别任务中各类别的第一可能程度,并从多个第一可能程度中确定最大第一可能程度;其中,第二识别任务为,目标对象识别任务中除第一识别任务之外的识别任务;步骤2033,基于最大可能程度和最大第一可能程度,确定第一识别任务的任务熵;步骤2034,当任务熵小于任务熵阈值时,确定待识别对象归属于第一识别任务中的对象类别,对象类别对应最大可能程度。
在实际应用中,当该任务熵越小,表征待识别对象归属于第一识别任务中的对象类别中的可能性越大。因此,可以预先设置一个任务熵阈值,当待识别对象对应的任务熵小于任务熵阈值时,则确定待识别对象归属于第一识别任务中的对象类别。这里,任务熵可通过如下公式得到:任务熵=-a*ln(a)-b*ln(b),其中,a为最大第一可能程度,b为最大可能程度。
在一些实施例中,当任务熵不小于任务熵阈值时,服务器可通过如下方式确定待识别对象所归属的对象类别:当第二识别任务的数量为一个时,确定待识别对象归属于第二识别任务中的第一类别,该第一类别对应最大第一可能程度。当第二识别任务的数量为多个时,基于待识别对象归属于第二识别任务中各类别的第一可能程度,确定待识别对象所归属的对象类别。在实际应用中,当第二识别任务的数量为多个时,也可以采用步骤203的实现方式,确定待识别对象是否归属于第二识别任务中某个类别,以及确定待识别对象具体所归属的第二识别任务中的对象类别。而如果采用步骤203的实现方式,确定第二识别任务的任务熵不小于任务熵阈值(表征待识别对象不归属于第二识别任务)时,采用第一识别任务的任务熵不小于任务熵阈值时所执行的后续处理,对第二识别任务的任务熵不小于任务熵阈值时进行后续处理;以此类推,确定待识别对象所归属的目标识别任务中的目标对象类别。
应用本申请上述实施例,该训练得到的对象识别模型包括一个类别中心参数,该类别中心参数是基于各训练样本集中各图像样本的样本特征确定的,无需进行模型训练即可得到。当需要对象识别模型具备新对象识别任务的识别能力时,则可以基于各训练样本集中各图像样本的样本特征、以及目标训练样本集中各图像样本的样本特征,确定目标类别中心参数,并将对象识别模型的类别中心参数更新为目标类别中心参数即可,无需对对象识别模型进行重新训练。此时所得到的目标对象识别模型既具备至少一个对象识别任务的识别能力,还具备新对象识别任务的识别能力。如此,由于无需对对象识别模型进行重新训练,1)提高了为对象识别模型增加新对象识别任务的识别能力的实现效率;2)在为对象识别模型增加新对象识别任务的识别能力的同时,也不会对对象识别模型的原有对象识别任务的识别效果造成影响,保证了对象识别模型的识别效果,提高了已增加新对象识别任务的目标对象识别模型的识别准确性。
下面将说明本申请实施例在一个实际的应用场景中的示例性应用。在说明本申请实施例之前,首先说明相关技术中的对象识别模型。在相关技术中,针对不同的对象识别任务(比如不同的游戏中各类别的游戏对象的识别),通常采用各对象识别任务的训练样本训练一个对象识别模型来实现,当有新对象识别任务加入时,则采用新对象识别任务的训练样本对对象识别模型进行重新训练,才能使得对象识别模型具备新对象识别任务的识别能力,实现过程效率低;且由于新对象识别任务的重新训练,会导致原有对象识别任务的识别效果受影响。
基于此,本申请实施例提供一种对象识别模型的更新方法,以至少解决上述相关技术中存在的问题。在一些实施例中,该对象识别模型可以用于至少一个游戏识别任务中各类别的游戏对象的识别。接下来进行详细说明。
(1)对象检测。这里,采用对象检测模型对对象视频(比如包含游戏对象的游戏视频)中各帧视频图像进行对象检测,为后续提取各类别的对象的Embedding提供对象截图(即对象的图像样本)。在实际应用中,对象检测模型可以采用开源的基于coco数据集训练的yolov3检测器,也可以采用基于业务数据(如游戏视频中各帧视频图像)预先训练好的对象检测器。
(2)对象识别模型的搭建。这里,可以采用机器学习中的深度学习方法构建对象识别模型。2.1)为实现对象识别模型的快速识别,本申请实施例中的对象识别模型基于嵌入特征(Embedding)提取模型,在嵌入特征提取模型之上构建对象识别模型。如此,本申请实施例中的对象识别模型,可以不用对待识别对象的对象图像从底层开始进行特征提取,减少推理计算资源的占用,有利于新对象识别任务的快速增加,故本申请实施例中的嵌入特征提取模型所提取的Embedding具备跨对象识别任务的表征能力。
2.2)为了在有限样本数据下实现快速为对象识别模型增加新对象识别任务,对象识别模型的对象识别层可以设计尽量少的待学习参数,这是由于待学习参数越多,需要的样本数据越大,而新对象识别任务可利用的样本数据往往是有限的,未必能支持过多待学习参数的学习需求。
2.3)对象识别模型需要具备区分多个不同对象识别任务下目标识别任务中对象与背景识别任务中对象的能力。例如,对于游戏识别任务1,所有非游戏识别任务1的其他游戏识别任务中的对象都属于背景识别任务中的对象。即,本申请实施例中的对象识别模型具备域外数据识别能力,从而能够支持对象与对象识别任务间关系的判断。
2.4)针对对象识别模型增加新对象识别任务是一个动态过程。比如,对象识别模型支持1个对象识别任务中n1类对象的识别,接着通过本申请实施例提供的对象识别模型更新方法,可以为对象识别模型增加一个新对象识别任务(用于新对象识别任务中n2类对象的识别),从而使得对象识别模型支持2个对象识别任务的识别,以此类推,可以支持更多对象识别任务的识别。而针对此,相关技术中是先训练1个对象识别任务中n1类对象的对象分类模型,在增加新对象识别任务时,则训练(n1+n2)类对象的对象分类模型,以此类推;但是相关技术中由于模型分类分支参数(由n1类变为(n1+n2)类)被重新改变,导致(n1+n2)类对象的对象分类模型对n1类对象的模型分类效果,对比n1类对象分类模型对n1类对象的模型分类效果发生了较大变化,存在部分类别的对象分类效果变差的情况。故在本申请实施例中,在保持n1类对象的分类不变的情况下,通过新增n2类对象的分类的分支,使得新对象识别任务对现有对象识别任务的影响更可控,且无需重复训练,效率高,更有利于后续针对性优化特定对象识别任务的业务升级及维护。
(3)对象识别模型的模型结构。在实际应用中,对象识别模型是在嵌入特征提取模型之上构建的,嵌入特征提取模型的结构如表1(基础特征提取层)和表2(Embedding特征提取层)所示,对象识别模型的结构如表3所示。其中,表1所示基础特征提取层的输入为待识别对象的对象图像,表1所示基础特征提取层的输出为表2所示Embedding特征提取层的输入,表2所示Embedding特征提取层的输出为表3所示对象识别模型的输入,表3所示对象识别模型的输出为待识别对象的对象类别。这里,嵌入特征提取模型包括上述卷积特征提取层(表1所示的Conv1-Conv5)、池化特征提取层(表2所示的pool层)和嵌入特征提取层(表2所示的Embedding层)。
表1ResNet-101基础特征提取层的结构表
Layer name | Output size | Layer |
Pool | 1x2048 | Pooling layer |
Embedding | 1x128 | Full connected layer |
表2Embedding特征提取层的结构表
这里,表2所示Embedding特征提取层的输入为上述表1所示基础特征提取层的输出。在实际应用中,该Embedding特征提取层可以用于提取对象排重时所需的对象Embedding,如游戏对象排重时的Embedding。为了对象识别模型应用时的兼容考虑,可以预先训练完成嵌入特征提取模型,然后在嵌入特征提取模型的基础之上,构建对象识别模型。如此,在本申请实施例中训练对象识别模型时,可以不改变嵌入特征提取模型的模型参数,即训练对象识别模型时,固定表1和表2所示模型的模型参数不更新。
Layer name | Output size | Layer |
Fc | 1x128 | Full connected layer |
Normalization | 1x128 | Full connected layer |
Cosine match | 1xNx | Full connected layer |
Softmax | 1xNc | Full connected layer |
表3对象识别模型的结构表
这里,表3所示对象识别模型的输入为上述表2所示Embedding特征提取层的输出,即Embedding。在表3所示对象识别模型中,首先通过全连接层(Fully Connected layer,FC)对Embedding特征进行非线性映射,得到映射特征;然后通过归一化处理层(Normalization)对映射特征进行归一化处理(输入向量中每个元素除以该向量的模长),把映射特征归一化到单位超球面;接着通过cosine-match层(即第一对象识别层)进行第一对象识别,得到待识别对象归属于各类别中心的预测概率,Nx为对象识别模型所支持识别的对象的类别所包括的类别中心的中心数量,Nc为对象识别模型所支持识别的对象的类别的类别数量,例如,在对象识别模型支持81个类别的游戏对象的识别,则Nc=81,Nx由每个类别的游戏对象的类别中心的中心数量决定;最后通过softmax层(第二对象识别层)确定待识别对象归属于各类别的预测概率,并把各类别的预测概率映射到0~1之间。
需要说明的是,每个类别包括至少一个类别中心,比如在游戏识别任务中,类别中心可以为所归属类别的游戏对象的至少一种游戏对象原型,该游戏对象原型为游戏对象的不同表现形式,比如游戏对象在发动1游戏技能、2游戏技能、3游戏技能、站立、行走时的对象标准样式,可以视作该游戏对象的5个游戏对象原型。
Layer name | Output size | Layer |
W | Nx x 128 | Full connected layer |
表4类别中心参数
在实际应用中,Normalization、cosine-match、和softmax层可以不设置需要学习的模型参数。Fc层产生对象识别时所需要的Embedding,可以设置需要学习的模型参数,cosine-match层可以设置一个对象识别模型的类别中心参数w,该类别中心参数是基于训练样本的样本特征产生的,不需要模型训练得到。在实际实施时,该样本特征可以是基于Fc层所产生的训练样本的Embedding,因此,在对象识别模型的学习过程中,每次模型迭代结束后,可以更新对象识别模型的类别中心参数w(如表4所示)。在为对象识别模型增加新对象识别任务时,可以通过更新对象识别模型的类别中心参数w实现。
(4)对象识别模型的训练过程。
4.1)数据准备。这里,收集需要学习的目标数量的对象识别任务中各对象识别任务中各类别的对象的图像样本,以构建各对象识别任务的训练样本集,该目标数量的对象识别任务的训练样本集可以称为基础训练样本集。例如,可以针对各对象识别任务中各类别的对象,收集目标数量的图像样本,比如25张图像样本(其中保证有超过20张图像样本用于训练集,同时5张图像样本用于测试集)。在基于各对象识别任务的训练样本集训练对象识别模型时,可以从目标数量的对象识别任务中随机指定一个目标识别任务(如游戏识别任务1),该目标识别任务中各类别为目标类别,那么其他识别任务中各类别则为背景类别。如此,当基于该目标识别任务的训练样本训练结束后,该对象识别模型可以用于识别待识别对象是目标类别还是背景类别、以及是目标类别中具体哪一类别。继续地,当基于该目标识别任务的训练样本训练结束后,再随机指定一个对象识别任务为目标识别任务以进行训练;以此类推,达到基于各对象识别任务的训练样本集训练对象识别模型的目的。
4.2)对象识别模型的训练。这里,对象识别模型在最终应用时,所支持识别的对象的类别会发生变化(如当前接入游戏识别任务1,两周后要新接入游戏识别任务2,等等),同时各类别的对象的图像样本数量可能不多(如25个以上)。在这种情况下,为了支持快速为对象识别模型增加新对象识别任务,即最终应用时可以在不重新训练对象识别模型情况下应用到新对象识别任务上,在本申请实施例中,设计了如下对象识别模型的训练以及数据采样过程,以支持在不重新训练对象识别模型情况下,直接更新对象识别模型,以支持下游对象识别任务(即新增的对象识别任务)。在训练对象识别模型时,首先是在开始训练前,从目标数量的对象识别任务中随机选择一个对象识别任务作为目标识别任务,在保证与真实数据分布接近的情况下构建该目标识别任务的训练样本集,然后基于该训练样本集训练该目标识别任务,并达到该目标识别任务的训练结束标准(比如训练N_project次);再随机选择另一个识别任务作为目标识别任务,构建训练样本集,训练该目标识别任务;等等;以此类推,直到所有对象识别任务都达到训练结束标准为止。
4.2.1)训练样本集的构建。从目标数量的对象识别任务中随机选择一个对象识别任务作为目标识别任务,对该目标识别任务中n类别(比如n=30)的对象,分别对每类别的对象i采样k1个图像样本,得到目标识别任务的训练样本集。例如,该k1可以满足如下条件:k1=max(N_i_sample,25),N_i_sample为[25,每类别的对象i的图像样本总数]范围中选择的随机值,如此每类别的对象i的图像样本数量不少于25个。然后从n类别的对象的图像样本中选择剩余的k2个(比如5个)图像样本来构建测试集。当采用该训练样本集训练了指定次数(如10次)的迭代(epoch)后,则完成该训练样本集的训练。然后再随机产生另一个目标识别任务,构建训练样本集以及测试集,继续新一轮训练;等等;以此类推,直到收敛(比如loss不再下降、测试结果准确率不再提升等)。需要说明的是,k1的数量限制是为了满足样本量不足的情况下,让各类别的样本量均衡(相同)以保证各类别获得同等被学习的机会,提高模型训练效果;且在有限训练样本下有效提升了对象识别模型的识别能力。
4.2.2)训练中模型参数的更新过程。在本申请实施例中,采用基于随机梯度下降法(Stochastic Gradient Descent,SGD)更新对象识别模型中的模型参数,包括卷积模板参数w和偏置参数b。在每次迭代过程中,计算预测结果的误差并反向传播到对象识别模型中,计算梯度并更新对象识别模型的模型参数。具体过程为:把对象识别模型的所有待学习参数设为需要学习状态,训练时对象识别模型对输入的图像样本进行前向计算得到预测结果,把预测结果与图像样本的标签进行对比,计算对象识别模型的损失值,把损失值回传到对象识别模型中,并通过随机梯度下降法更新模型参数,从而实现一次模型参数的优化,经过多次优化,最终得到表现良好的对象识别模型。
4.2.3)类别中心参数。这里,如图6所示,在cosine-match层设置有对象识别模型的类别中心参数w,用于表征各对象识别任务中各类别所对应的多个类别中心[u1…uN]。在本申请实施例中,每个类别包括多个类别中心,比如在游戏识别任务中,类别中心可以为所归属类别的游戏对象的多种游戏对象原型,该游戏对象原型为游戏对象的不同表现形式,比如游戏对象在发动1游戏技能、2游戏技能、3游戏技能、站立、行走时的对象标准样式,可以视作该游戏对象的5个游戏对象原型。由于游戏对象的其他动作和状态都可以看作这5个游戏对象原型稍加变化产生的,故对象识别模型只需要学习到这5个游戏对象原型的表达(即类别中心参数),即可保证图像样本中某个状态下的游戏对象可以找到对应的游戏对象原型。如此,通过为对象识别模型设置类别中心参数,对象识别模型只需要学习到该类别中心参数,即可保证图像样本中对象可以找到所归属的类别中心。在本申请实施例中,不是每个图像样本都往一个类别中心(如一个游戏对象原型)上靠拢,从而避免由于对象表征过于靠近唯一的单中心造成对象表征中的多样性丢失,进一步避免对象表征无法同时支持对象排重、以及其他需要关注不同对象表征的对象识别的问题,即避免了单中心分类对多识别任务中对象识别的过拟合问题。
类别中心参数的产生:对各对象的每个图像样本产生表3所示Fc层输出的样本Embedding;然后对每个对象的所有样本Embedding进行Kn中心的聚类处理,比如5中心的聚类处理,得到Kn个类别中心,并记录Kn个类别中心到类别记忆单元,该Kn个类别中心用于构建类别中心参数。例如,当前训练阶段下的对象识别模型支持81个类别(包括目标数量的对象识别任务中目标识别任务的80个目标类别)的对象的识别。那么针对目标识别任务,对目标识别任务中各目标类别的对象都产生Kn个类别中心,共得到80Kn个类别中心;针对others类别(即背景类别,为目标数量的对象识别任务中除目标识别任务之外的识别任务中的各类别),产生r*Kn个类别中心,其中r=Nothers/Nhero(Nhero为others类别中各类别的对象的图像样本的数量,Nothers为others类别的对象的全量图像样本的数量),比如Nothers=1000,Nhero=25,那么则r=40,对于当前对象识别模型,Kn=5,Nc=81,类别中心的总数量为Nx=(Nc-1)*Kn+r*Kn=600。
类别中心参数的更新:该类别中心参数是基于训练样本的样本特征产生的,不需要模型训练得到。在实际实施时,该样本特征可以是基于对象识别模型的Fc层所产生的训练样本的Embedding。因此,在对每个对象识别任务的学习过程中,每次迭代结束后由于对象识别模型发生变化,故需要更新对象识别模型的类别中心参数w,在更新时可以按照上述类别中心参数的产生方法实现。
4.2.4)对象识别模型的损失计算。由于对每个图像样本,经过对象识别模型产生表3所示Fc层输出的样本Embedding(记为p),然后计算p与所有Nx个类别中心的余弦相似度,得到图像样本在每个类别中心的预测结果,在预先标注类别的Kn个类别中心中,选择余弦相似度最大的类别中心(记为y)为该图像样本需要学习的样本Embedding的目标,同时需要使得p与其他非类别的类别中心的余弦相似度变小。每个图像样本的损失可通过如下公式确定:
其中,yp项表示余弦相似度;项表示该图像样本与其他类别的类别中心的欧式距离越大越好,yj表示其他类别(包括背景类别、该图像样本对应的识别任务中不同于该图像样本的真实类别的类别)的类别中心,j的取值范围是[1,Nx-Kn=(Nc-2)*Kn+r*Kn]。其中,Nc为对象识别任务所要学习的类别总数(包含背景类别),(Nc-2)指剔除背景类别和真值类别(该图像样本的真实类别)后剩下的类别数量,r*Kn为背景类别的类别中心数量。/>
针对每个训练样本集,基于上式(1)对该训练样本集中各图像样本分别计算样本损失,然后计算各样本损失的平均值,得到该对象识别模型的损失。
(5)对象识别模型的应用。对每个待识别对象的对象图像,通过表3所示cosine-match层进行对象识别,得到待识别对象归属于各类别中心的预测值,即输出对Nx个类别中心的预测值;然后,从每个类别的多个类别中心的预测值中,取最大预测值作为对该类别的预测值,从而得到Nc个预测值,并把各类别的预测值映射到0~1之间,得到待识别对象针对Nc个类别的预测结果。
(6)为对象识别模型增加新对象识别任务。上述过程训练了对象分类表征,保证对象识别模型在对象识别任务变化下,也能在不重新训练的情况下支持新对象识别任务的增加。具体地,构建新对象识别任务的目标训练样本集(比如新对象识别任务中各类别的对象的一定数量的图像样本);然后基于对象识别模型的Fc层得到目标训练样本集中各图像样本的Embedding,并计算目标训练样本集中各图像样本的Embedding与基础训练样本集中各图像样本的Embedding的余弦相似度,从而从基础训练样本集筛除余弦相似度最大的5%的图像样本,得到目标基础训练样本集;最后,基于目标基础训练样本集和目标训练样本集,生成目标类别中心参数,并采用该目标类别中心参数更新对象识别模型原有的类别中心参数,得到目标对象识别模型,此时,该对象识别模型则可以支持新对象识别任务。
(7)在识别对象的类别时,控制背景类对象对目标类对象的干扰。在对象识别模型应用前,先确定任务熵阈值:1)把所有测试对象图像输入识别对象模型,得到Nc个类别的预测值;2)确定Nc个类别中的最大预测值(如0.7),并确定Nc个类别中不同于最大预测值所对应类别的背景类别、以及背景类别中的最大背景类别预测值;3)对每张测试对象图像,计算最大预测值与最大背景类别预测值的熵,作为该测试对象图像属于该最大预测值所对应类别归属的目标识别任务的熵,称任务熵。例如,对于最大背景类别预测值0.1和最大预测值0.7,其熵为-0.1*ln(0.1)-0.7*ln(0.7)=0.48,对于最大背景类别预测值0.45和最大预测值0.45,熵为0.72。如此可见,当任务熵越大,越表示该测试对象图像目标识别任务中某个类别的对象;4)对所有测试图像的任务熵,根据其是否为目标识别任务中某个类别的对象,在“0.10~0.99”范围内,以0.02为步长做阈值搜索,找到可用于区分图像是否为目标识别任务中某个类别的对象的最佳的任务熵阈值thr。
在应用对象识别模型进行对象识别时,先把待识别对象的对象图像输入对象识别模型,输出各类别的预测值,并确定最大预测值以及所对应的目标类别;然后计算该对象图像的任务熵,当任务熵小于任务熵阈值thr,且最大预测值大于最大背景类别预测值时,则认为是待识别对象为目标类别,否则认为是背景类别。由于存在范围很广的背景类别,背景类别中可能出现某对象与目标类别的某对象相似,若直接取预测值中的最大值,背景类别对象容易识别成目标类别对象。故需要借助熵进行信息判断,当不能区分目标类与背景类时,熵总是偏大的,如此通过信息熵与概率度量联合判断,提高了对象识别的准确性。
参见图9A,图9A是本申请实施例提供的对象识别模型的应用示意图。这里,1)针对新增入库视频:a)经过上述对象检测模型对视频中各帧进行对象检测,得到对象截图。b)经过本申请实施例提供的对象识别模型,对对象截图中的待识别对象进行识别,得到排重Embedding+识别结果,其中,排重Embedding为上述表2的输出,识别结果为上述表3的输出。c)把视频的排重Embedding,根据在视频中的帧序号从前到后保存到排重库存中,并记录每个排重Embedding对应的帧序号,以及每个帧序号下有哪些排重Embedding。
2)针对视频切片库存重构:根据历史视频的排重Embedding库,直接应用上述表3的对象识别模型对排重Embedding进行对象识别,得到每个排重Embedding的识别结果,根据视频每个帧序号下排重Embedding的识别结果,当前后两帧均包含相同对象(如都含有A对象)时,则前后两帧都属于某对象的视频片段,以此类推对视频所有帧前后合并对象,并根据对象出现的时间段把原始视频切成多个视频片段,每个视频片段对应一个对象(需要说明的是,当一帧出现多个对象时可以丢弃该帧)。把视频片段以及视频片段对应的对象的排重Embedding保存到对象视频库中,并可以把该视频片段所在原始视频的播放量保存为该对象的热度值。
3)在查询(如针对查询视频进行排重检索)时,首先对输入的查询视频进行对象检测,然后提取查询视频的排重Embedding与识别结果,并根据识别结果获取该查询视频中对象的检索权重。利用排重Embedding,从排重库存中查询相似的库存Embedding(取排重Embedding相似度的阈值为Ks,当相似度超过阈值Ks表示相似),并根据检索权重从视频切片库中召回相似库存Embedding所属的视频。根据召回的视频的库存Embedding,计算召回的每个视频的库存Embedding与查询视频的排重Embedding相似度,并根据阈值统计相互间所具有的相似帧的帧数量,并根据相似帧的帧数量与总帧数量的比值,得到两个视频的重复比例。最后根据重复比例输出该查询视频对应的排重检索结果。
4)针对视频推荐,则根据查询对象,从对象视频库存中获取与该查询对象的排重Embedding相似的库存Embedding所对应的视频作为召回视频,并查询召回视频的对象类别,与查询视频的对象类别进行比对,若两者对象类别不同,则不召回该视频。最终把对象类别相同的召回视频根据热度值从大到小排序,并根据排序结果输出推荐视频给用户。
5)针对新对象识别任务的增加:对对象识别模型进行升级,为对象识别模型增加新对象识别任务。新对象识别任务在构建时,当基于上述步骤生成具有新对象识别任务的对象识别模型的新类别中心参数后,对于新对象识别任务,采用具有新类别中心参数的对象识别模型进行识别即可。对于不同的新增对象识别任务,直接采用对应新增对象识别任务的类别中心参数进行对象识别即可。
参见图9B,图9B是本申请实施例提供的对象识别模型的应用示意图。这里,前端A接收到待识别图像,然后上传给后端,后端使用本申请实施例提供的对象识别模型对其进行识别,输出识别结果并返回到前端A。
应用本申请上述实施例,a)提供一种在有限训练样本下有效学习对象识别的能力,包括解决业务上由于同时存在大量其他类别的对象对目标对象识别的影响、以及有限样本下表达不佳等问题。b)构建一种在不影响现有对象识别能力的新对象识别任务的增量学习能力,以及多对象识别任务下,保证各对象对象识别效果的网络结构及应用设计。
下面说明本申请实施例提供的对象识别模型的更新装置。参见图10,图10是本申请实施例提供的对象识别模型的更新装置的结构示意图。本申请实施例提供的对象识别模型的更新装置包括:
第一获取模块1010,用于获取训练得到的对象识别模型,所述对象识别模型,用于识别至少一个对象识别任务中多个类别的对象;其中,所述对象识别模型基于各所述对象识别任务的训练样本集训练得到,所述训练样本集,包括相应对象识别任务中各类别的对象的图像样本;第二获取模块1020,用于获取所述对象识别模型的类别中心参数,所述类别中心参数基于各所述训练样本集中各所述图像样本的样本特征确定;第三获取模块1030,用于获取新对象识别任务的目标训练样本集,所述目标训练样本集,包括所述新对象识别任务中多个类别的对象的图像样本;确定模块1040,用于基于各所述训练样本集中各所述图像样本的样本特征、以及所述目标训练样本集中各所述图像样本的样本特征,确定目标类别中心参数;更新模块1050,用于将所述对象识别模型的类别中心参数更新为所述目标类别中心参数,得到目标对象识别模型;其中,所述目标对象识别模型,用于基于所述目标类别中心参数,识别待识别对象所归属的目标类别,所述目标类别为以下类别中之一:所述新对象识别任务中的多个类别、和所述至少一个对象识别任务中的多个类别。
在一些实施例中,所述第一获取模块1010,还用于获取初始对象识别模型,并获取各所述对象识别任务的训练样本集,所述训练样本集中各所述图像样本标注有相应的标签;获取各所述训练样本集中各所述图像样本的样本特征,并基于各所述训练样本集中各所述图像样本的样本特征,确定所述对象识别模型的类别中心参数;通过所述初始对象识别模型,基于所述类别中心参数,分别对各所述训练样本集中各所述图像样本进行对象识别,得到各所述图像样本的识别结果;基于各所述图像样本的所述识别结果和相应标签间的差异,更新所述初始对象识别模型的模型参数,得到所述对象识别模型,所述模型参数不同于所述类别中心参数。
在一些实施例中,所述第一获取模块1010,还用于针对各所述对象识别任务,分别执行如下处理:获取所述对象识别任务的对象视频,所述对象视频中包括多帧视频图像;确定所述多帧视频图像中的多帧目标视频图像,所述目标视频图像包括所述对象识别任务中多个类别的对象;针对所述对象识别任务中各类别的对象,从所述多帧目标视频图像中,选取目标数量的包括所述对象的第一视频图像,并将所述第一视频图像作为相应类别的对象的图像样本;基于所述对象识别任务中各类别的对象的图像样本,构建得到所述对象识别任务的训练样本集。
在一些实施例中,所述第一获取模块1010,还用于通过所述特征提取层,分别对各所述训练样本集中各所述图像样本进行特征提取,得到各所述图像样本的样本特征;相应的,所述第一获取模块1010,还用于在所述更新所述初始对象识别模型的模型参数之后,通过模型参数更新后的所述特征提取层,分别对各所述训练样本集中各所述图像样本进行特征提取,得到各所述图像样本的新样本特征;基于各所述训练样本集中各所述图像样本的新样本特征,确定所述对象识别模型的新类别中心参数;将所述对象识别模型的类别中心参数更新为所述新类别中心参数。
在一些实施例中,所述训练样本集中各类别的对象的图像样本的数量为多个,所述第一获取模块1010,还用于从各所述训练样本集中各所述图像样本的样本特征中,确定各类别的对象对应的多个样本特征;针对各类别的对象对应的多个样本特征,基于目标数量的聚类中心,对所述多个样本特征进行聚类,得到目标数量的样本特征簇;基于各所述样本特征簇的聚类中心所对应的目标样本特征,生成所述对象识别模型的类别中心参数。
在一些实施例中,所述类别中心参数包括多个子类别中心参数,所述子类别中心参数与所述至少一个对象识别任务中各类别的类别中心一一对应;所述初始对象识别模型包括特征提取层、第一对象识别层和第二对象识别层;所述第一获取模块1010,还用于通过所述特征提取层,分别对各所述训练样本集中各所述图像样本进行特征提取,得到各所述图像样本的样本特征;通过所述第一对象识别层,基于各所述子类别中心参数,分别对各所述训练样本集中各所述图像样本的样本特征进行第一对象识别,得到各所述图像样本中对象归属于各所述类别中心的可能程度;针对各所述图像样本,通过所述第二对象识别层,基于所述图像样本中对象归属于各所述类别中心的可能程度,确定所述图像样本中对象所归属的类别,所述图像样本中对象所归属的类别为所述识别结果。
在一些实施例中,所述特征提取层包括:卷积特征提取层、池化处理层、嵌入特征提取层、特征映射层和归一化处理层;所述第一获取模块1010,还用于通过所述卷积特征提取层,分别对各所述训练样本集中各所述图像样本进行卷积特征处理,得到各所述图像样本的卷积特征;通过所述池化处理层,分别对各所述图像样本的卷积特征进行池化处理,得到各所述图像样本的池化特征;通过所述嵌入特征提取层,对各所述图像样本的池化特征进行嵌入特征提取处理,得到各所述图像样本的嵌入特征;通过所述特征映射层,对各所述图像样本的嵌入特征进行映射处理,得到各所述图像样本的映射特征;通过所述归一化处理层,对各所述图像样本的池化特征进行归一化处理,得到各所述图像样本的样本特征。
在一些实施例中,所述对象识别任务的数量为M个,所述第一获取模块1010,还用于获取初始对象识别模型,并获取各所述对象识别任务的训练样本集;基于第1个对象识别任务的训练样本集,对所述初始对象识别模型进行训练,得到第1个对象识别任务的中间对象识别模型;通过第i个对象识别任务的训练样本集,对第(i-1)个对象识别任务的中间对象识别模型进行训练,得到第i个对象识别任务的中间对象识别模型;对所述i进行遍历,得到第M个对象识别任务的中间对象识别模型,并将所述第M个对象识别任务的中间对象识别模型,作为所述对象识别模型;其中,所述M和所述i为大于1的整数,所述i小于或等于所述M。
在一些实施例中,所述训练样本集中各类别的对象的图像样本的数量为多个,所述目标训练样本集中各类别的对象的图像样本的数量为多个;所述确定模块1040,还用于从各所述训练样本集中各所述图像样本的样本特征,确定所述训练样本集中各类别的对象对应的多个样本特征,并从所述目标训练样本集中各所述图像样本的样本特征中,确定所述目标训练样本集中各类别的对象对应的多个样本特征;针对各类别的对象对应的多个样本特征,基于目标数量的聚类中心,对所述多个样本特征进行聚类,得到目标数量的样本特征簇;基于各所述样本特征簇的聚类中心所对应的目标样本特征,生成所述目标类别中心参数。
在一些实施例中,所述确定模块1040,还用于针对各所述训练样本集分别执行如下处理:针对所述训练样本集中各所述图像样本的样本特征,确定所述图像样本的样本特征、与所述目标训练样本集中各所述图像样本的样本特征之间的特征相似度;从所述训练样本集中,筛除特征相似度满足相似度条件的所述图像样本的样本特征,得到第一训练样本集;基于各所述第一训练样本集中各所述图像样本的样本特征、以及所述目标训练样本集中各所述图像样本的样本特征,确定目标类别中心参数。
在一些实施例中,所述目标类别中心参数包括多个目标子类别中心参数,所述目标子类别中心参数与目标对象识别任务中各类别的类别中心一一对应,所述目标对象识别任务包括所述至少一个对象识别任务和所述新对象识别任务;所述更新模块1050,还用于通过所述目标对象识别模型,基于各所述目标子类别中心参数,对待识别对象的对象图像进行第一对象识别,得到所述待识别对象归属于各所述类别中心的初始可能程度;基于各所述类别中心所对应的初始可能程度,确定所述待识别对象归属于各所述类别的可能程度;基于所述待识别对象归属于各所述类别的可能程度,确定所述待识别对象所归属的对象类别。
在一些实施例中,当各所述类别的类别中心的数量为多个时,所述更新模块1050,还用于针对各所述类别,分别执行如下处理:从所述类别的各类别中心所对应的初始可能程度中,确定最大初始可能程度,并将所述最大初始可能程度,确定为所述待识别对象归属于所述类别的可能程度。
在一些实施例中,所述更新模块1050,还用于从所述待识别对象归属于各所述类别的可能程度中,确定最大可能程度、以及所述最大可能程度对应的类别所在的第一识别任务,所述第一识别任务归属于所述目标对象识别任务;从所述待识别对象归属于各所述类别的可能程度中,确定所述待识别对象归属于第二识别任务中各类别的第一可能程度,并从多个所述第一可能程度中确定最大第一可能程度;其中,所述第二识别任务为,所述目标对象识别任务中除所述第一识别任务之外的识别任务;基于所述最大可能程度和所述最大第一可能程度,确定所述第一识别任务的任务熵;当所述任务熵小于任务熵阈值时,确定所述待识别对象归属于所述第一识别任务中的对象类别,所述对象类别对应所述最大可能程度。
在一些实施例中,当所述任务熵不小于任务熵阈值时,所述更新模块1050,还用于当所述第二识别任务的数量为一个时,确定所述待识别对象归属于所述第二识别任务中的第一类别,所述第一类别对应所述最大第一可能程度。当所述第二识别任务的数量为多个时,基于所述待识别对象归属于所述第二识别任务中各类别的第一可能程度,确定所述待识别对象所归属的对象类别。
应用本申请上述实施例,该训练得到的对象识别模型包括一个类别中心参数,该类别中心参数是基于各训练样本集中各图像样本的样本特征确定的,无需进行模型训练即可得到。当需要对象识别模型具备新对象识别任务的识别能力时,则可以基于各训练样本集中各图像样本的样本特征、以及目标训练样本集中各图像样本的样本特征,确定目标类别中心参数,并将对象识别模型的类别中心参数更新为目标类别中心参数即可,无需对对象识别模型进行重新训练。此时所得到的目标对象识别模型既具备至少一个对象识别任务的识别能力,还具备新对象识别任务的识别能力。如此,由于无需对对象识别模型进行重新训练,1)提高了为对象识别模型增加新对象识别任务的识别能力的实现效率;2)在为对象识别模型增加新对象识别任务的识别能力的同时,也不会对对象识别模型的原有对象识别任务的识别效果造成影响,保证了对象识别模型的识别效果,提高了已增加新对象识别任务的目标对象识别模型的识别准确性。
下面说明本申请实施例提供的实施对象识别模型的更新方法的电子设备。参见图11,图11是本申请实施例提供的实施对象识别模型的更新方法的电子设备500的结构示意图。该电子设备500可以是服务器,也可以是终端。本申请实施例提供的实施对象识别模型的更新方法的电子设备500包括:至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。电子设备500中的各个组件通过总线***540耦合在一起。可理解,总线***540用于实现这些组件之间的连接通信。总线***540除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图11中将各种总线都标为总线***540。
处理器510可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(Digital Signal Processor,DSP),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
存储器550可以是可移除的,不可移除的或其组合。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。存储器550包括易失性存储器或非易失性存储器,也可包括易失性存储器和非易失性存储器两者。非易失性存储器可以是只读存储器(Read Only Memory,ROM),易失性存储器可以是随机存取存储器(Random Access Memory,RAM)。本申请实施例描述的存储器550旨在包括任意适合类型的存储器。
存储器550能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集。在本申请实施例中,存储器550存储有计算机可执行指令;当计算机可执行指令被处理器510执行时,将引起处理器510执行本申请实施例提供的对象识别模型的更新方法。
本申请实施例还提供一种计算机程序产品,该计算机程序产品包括计算机可执行指令,该计算机可执行指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机可执行指令,处理器执行该计算机可执行指令,使得该电子设备执行本申请实施例提供的对象识别模型的更新方法。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机可执行指令,当该计算机可执行指令被处理器执行时,将引起处理器执行本申请实施例提供的对象识别模型的更新方法。
在一些实施例中,计算机可读存储介质可以是RAM、ROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,计算机可执行指令可以采用程序、软件、软件模块、脚本等形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,计算机可执行指令可以但不一定对应于文件***中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(Hyper TextMarkup Language,HTML)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序)中。
作为示例,计算机可执行指令可被部署为在一个电子设备上执行,或者在位于一个地点的多个电子设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个电子设备上执行。
以上所述,仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本申请的保护范围之内。
Claims (18)
1.一种对象识别模型的更新方法,其特征在于,所述方法包括:
获取训练得到的对象识别模型,所述对象识别模型,用于识别至少一个对象识别任务中多个类别的对象;
其中,所述对象识别模型基于各所述对象识别任务的训练样本集训练得到,所述训练样本集,包括相应对象识别任务中各类别的对象的图像样本;
获取所述对象识别模型的类别中心参数,所述类别中心参数基于各所述训练样本集中各所述图像样本的样本特征确定;
获取新对象识别任务的目标训练样本集,所述目标训练样本集,包括所述新对象识别任务中多个类别的对象的图像样本;
基于各所述训练样本集中各所述图像样本的样本特征、以及所述目标训练样本集中各所述图像样本的样本特征,确定目标类别中心参数;
将所述对象识别模型的类别中心参数更新为所述目标类别中心参数,得到目标对象识别模型;
其中,所述目标对象识别模型,用于基于所述目标类别中心参数,识别待识别对象所归属的目标类别,所述目标类别为以下类别中之一:所述新对象识别任务中的多个类别、和所述至少一个对象识别任务中的多个类别。
2.如权利要求1所述的方法,其特征在于,所述获取训练得到的对象识别模型,包括:
获取初始对象识别模型,并获取各所述对象识别任务的训练样本集,所述训练样本集中各所述图像样本标注有相应的标签;
获取各所述训练样本集中各所述图像样本的样本特征,并基于各所述训练样本集中各所述图像样本的样本特征,确定所述对象识别模型的类别中心参数;
通过所述初始对象识别模型,基于所述类别中心参数,分别对各所述训练样本集中各所述图像样本进行对象识别,得到各所述图像样本的识别结果;
基于各所述图像样本的所述识别结果和相应标签间的差异,更新所述初始对象识别模型的模型参数,得到所述对象识别模型,所述模型参数不同于所述类别中心参数。
3.如权利要求2所述的方法,其特征在于,所述获取各所述对象识别任务的训练样本集,包括:
针对各所述对象识别任务,分别执行如下处理:
获取所述对象识别任务的对象视频,所述对象视频中包括多帧视频图像;
确定所述多帧视频图像中的多帧目标视频图像,所述目标视频图像包括所述对象识别任务中多个类别的对象;
针对所述对象识别任务中各类别的对象,从所述多帧目标视频图像中,选取目标数量的包括所述对象的第一视频图像,并将所述第一视频图像作为相应类别的对象的图像样本;
基于所述对象识别任务中各类别的对象的图像样本,构建得到所述对象识别任务的训练样本集。
4.如权利要求2所述的方法,其特征在于,所述初始对象识别模型包括特征提取层,所述获取各所述训练样本集中各所述图像样本的样本特征,包括:
通过所述特征提取层,分别对各所述训练样本集中各所述图像样本进行特征提取,得到各所述图像样本的样本特征;
所述更新所述初始对象识别模型的模型参数之后,所述方法还包括:
通过模型参数更新后的所述特征提取层,分别对各所述训练样本集中各所述图像样本进行特征提取,得到各所述图像样本的新样本特征;
基于各所述训练样本集中各所述图像样本的新样本特征,确定所述对象识别模型的新类别中心参数;
将所述对象识别模型的类别中心参数更新为所述新类别中心参数。
5.如权利要求2所述的方法,其特征在于,所述训练样本集中各类别的对象的图像样本的数量为多个,所述基于各所述训练样本集中各所述图像样本的样本特征,确定所述对象识别模型的类别中心参数,包括:
从各所述训练样本集中各所述图像样本的样本特征中,确定各类别的对象对应的多个样本特征;
针对各类别的对象对应的多个样本特征,基于目标数量的聚类中心,对所述多个样本特征进行聚类,得到目标数量的样本特征簇;
基于各所述样本特征簇的聚类中心所对应的目标样本特征,生成所述对象识别模型的类别中心参数。
6.如权利要求2所述的方法,其特征在于,所述类别中心参数包括多个子类别中心参数,所述子类别中心参数与所述至少一个对象识别任务中各类别的类别中心一一对应;
所述初始对象识别模型包括特征提取层、第一对象识别层和第二对象识别层;所述通过所述初始对象识别模型,基于所述类别中心参数,分别对各所述训练样本集中各所述图像样本进行对象识别,得到各所述图像样本的识别结果,包括:
通过所述特征提取层,分别对各所述训练样本集中各所述图像样本进行特征提取,得到各所述图像样本的样本特征;
通过所述第一对象识别层,基于各所述子类别中心参数,分别对各所述训练样本集中各所述图像样本的样本特征进行第一对象识别,得到各所述图像样本中对象归属于各所述类别中心的可能程度;
针对各所述图像样本,通过所述第二对象识别层,基于所述图像样本中对象归属于各所述类别中心的可能程度,确定所述图像样本中对象所归属的类别,所述图像样本中对象所归属的类别为所述识别结果。
7.如权利要求6所述的方法,其特征在于,所述特征提取层包括:卷积特征提取层、池化处理层、嵌入特征提取层、特征映射层和归一化处理层;
所述通过所述特征提取层,分别对各所述训练样本集中各所述图像样本进行特征提取,得到各所述图像样本的样本特征,包括:
通过所述卷积特征提取层,分别对各所述训练样本集中各所述图像样本进行卷积特征处理,得到各所述图像样本的卷积特征;
通过所述池化处理层,分别对各所述图像样本的卷积特征进行池化处理,得到各所述图像样本的池化特征;
通过所述嵌入特征提取层,对各所述图像样本的池化特征进行嵌入特征提取处理,得到各所述图像样本的嵌入特征;
通过所述特征映射层,对各所述图像样本的嵌入特征进行映射处理,得到各所述图像样本的映射特征;
通过所述归一化处理层,对各所述图像样本的池化特征进行归一化处理,得到各所述图像样本的样本特征。
8.如权利要求1所述的方法,其特征在于,所述对象识别任务的数量为M个,所述获取训练得到的对象识别模型,包括:
获取初始对象识别模型,并获取各所述对象识别任务的训练样本集;
基于第1个对象识别任务的训练样本集,对所述初始对象识别模型进行训练,得到第1个对象识别任务的中间对象识别模型;
通过第i个对象识别任务的训练样本集,对第(i-1)个对象识别任务的中间对象识别模型进行训练,得到第i个对象识别任务的中间对象识别模型;
对所述i进行遍历,得到第M个对象识别任务的中间对象识别模型,并将所述第M个对象识别任务的中间对象识别模型,作为所述对象识别模型;
其中,所述M和所述i为大于1的整数,所述i小于或等于所述M。
9.如权利要求1所述的方法,其特征在于,所述训练样本集中各类别的对象的图像样本的数量为多个,所述目标训练样本集中各类别的对象的图像样本的数量为多个;
所述基于各所述训练样本集中各所述图像样本的样本特征、以及所述目标训练样本集中各所述图像样本的样本特征,确定目标类别中心参数,包括:
从各所述训练样本集中各所述图像样本的样本特征,确定所述训练样本集中各类别的对象对应的多个样本特征,并
从所述目标训练样本集中各所述图像样本的样本特征中,确定所述目标训练样本集中各类别的对象对应的多个样本特征;
针对各类别的对象对应的多个样本特征,基于目标数量的聚类中心,对所述多个样本特征进行聚类,得到目标数量的样本特征簇;
基于各所述样本特征簇的聚类中心所对应的目标样本特征,生成所述目标类别中心参数。
10.如权利要求1所述的方法,其特征在于,所述基于各所述训练样本集中各所述图像样本的样本特征、以及所述目标训练样本集中各所述图像样本的样本特征,确定目标类别中心参数,包括:
针对各所述训练样本集分别执行如下处理:针对所述训练样本集中各所述图像样本的样本特征,确定所述图像样本的样本特征、与所述目标训练样本集中各所述图像样本的样本特征之间的特征相似度;从所述训练样本集中,筛除特征相似度满足相似度条件的所述图像样本的样本特征,得到第一训练样本集;
基于各所述第一训练样本集中各所述图像样本的样本特征、以及所述目标训练样本集中各所述图像样本的样本特征,确定目标类别中心参数。
11.如权利要求1所述的方法,其特征在于,所述目标类别中心参数包括多个目标子类别中心参数,所述目标子类别中心参数与目标对象识别任务中各类别的类别中心一一对应,所述目标对象识别任务包括所述至少一个对象识别任务和所述新对象识别任务;
所述方法还包括:
通过所述目标对象识别模型,基于各所述目标子类别中心参数,对待识别对象的对象图像进行第一对象识别,得到所述待识别对象归属于各所述类别中心的初始可能程度;
基于各所述类别中心所对应的初始可能程度,确定所述待识别对象归属于各所述类别的可能程度;
基于所述待识别对象归属于各所述类别的可能程度,确定所述待识别对象所归属的对象类别。
12.如权利要求11所述的方法,其特征在于,当各所述类别的类别中心的数量为多个时,所述基于各所述类别中心所对应的初始可能程度,确定所述待识别对象所归属的对象类别,包括:
针对各所述类别,分别执行如下处理:
从所述类别的各类别中心所对应的初始可能程度中,确定最大初始可能程度,并将所述最大初始可能程度,确定为所述待识别对象归属于所述类别的可能程度。
13.如权利要求11所述的方法,其特征在于,所述基于所述待识别对象归属于各所述类别的可能程度,确定所述待识别对象所归属的对象类别,包括:
从所述待识别对象归属于各所述类别的可能程度中,确定最大可能程度、以及所述最大可能程度对应的类别所在的第一识别任务,所述第一识别任务归属于所述目标对象识别任务;
从所述待识别对象归属于各所述类别的可能程度中,确定所述待识别对象归属于第二识别任务中各类别的第一可能程度,并从多个所述第一可能程度中确定最大第一可能程度;
其中,所述第二识别任务为,所述目标对象识别任务中除所述第一识别任务之外的识别任务;
基于所述最大可能程度和所述最大第一可能程度,确定所述第一识别任务的任务熵;
当所述任务熵小于任务熵阈值时,确定所述待识别对象归属于所述第一识别任务中的对象类别,所述对象类别对应所述最大可能程度。
14.如权利要求13所述的方法,其特征在于,当所述任务熵不小于任务熵阈值时,所述方法还包括:
当所述第二识别任务的数量为一个时,确定所述待识别对象归属于所述第二识别任务中的第一类别,所述第一类别对应所述最大第一可能程度;
当所述第二识别任务的数量为多个时,基于所述待识别对象归属于所述第二识别任务中各类别的第一可能程度,确定所述待识别对象所归属的对象类别。
15.一种对象识别模型的更新装置,其特征在于,所述装置包括:
第一获取模块,用于获取训练得到的对象识别模型,所述对象识别模型,用于识别至少一个对象识别任务中多个类别的对象;
其中,所述对象识别模型基于各所述对象识别任务的训练样本集训练得到,所述训练样本集,包括相应对象识别任务中各类别的对象的图像样本;
第二获取模块,用于获取所述对象识别模型的类别中心参数,所述类别中心参数基于各所述训练样本集中各所述图像样本的样本特征确定;
第三获取模块,用于获取新对象识别任务的目标训练样本集,所述目标训练样本集,包括所述新对象识别任务中多个类别的对象的图像样本;
确定模块,用于基于各所述训练样本集中各所述图像样本的样本特征、以及所述目标训练样本集中各所述图像样本的样本特征,确定目标类别中心参数;
更新模块,用于将所述对象识别模型的类别中心参数更新为所述目标类别中心参数,得到目标对象识别模型;
其中,所述目标对象识别模型,用于基于所述目标类别中心参数,识别待识别对象所归属的目标类别,所述目标类别为以下类别中之一:所述新对象识别任务中的多个类别、和所述至少一个对象识别任务中的多个类别。
16.一种电子设备,其特征在于,所述电子设备包括:
存储器,用于存储计算机可执行指令;
处理器,用于执行所述存储器中存储的计算机可执行指令时,实现权利要求1至14任一项所述的对象识别模型的更新方法。
17.一种计算机可读存储介质,存储有计算机可执行指令,其特征在于,所述计算机可执行指令被处理器执行时,实现权利要求1至14任一项所述的对象识别模型的更新方法。
18.一种计算机程序产品,包括计算机可执行指令,其特征在于,所述计算机可执行指令被处理器执行时,实现权利要求1至14任一项所述的对象识别模型的更新方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211678065.2A CN116958608A (zh) | 2022-12-26 | 2022-12-26 | 对象识别模型的更新方法、装置、设备、介质及程序产品 |
PCT/CN2023/129301 WO2024139703A1 (zh) | 2022-12-26 | 2023-11-02 | 对象识别模型的更新方法、装置、电子设备、存储介质及计算机程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211678065.2A CN116958608A (zh) | 2022-12-26 | 2022-12-26 | 对象识别模型的更新方法、装置、设备、介质及程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116958608A true CN116958608A (zh) | 2023-10-27 |
Family
ID=88446707
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211678065.2A Pending CN116958608A (zh) | 2022-12-26 | 2022-12-26 | 对象识别模型的更新方法、装置、设备、介质及程序产品 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN116958608A (zh) |
WO (1) | WO2024139703A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024139703A1 (zh) * | 2022-12-26 | 2024-07-04 | 腾讯科技(深圳)有限公司 | 对象识别模型的更新方法、装置、电子设备、存储介质及计算机程序产品 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200175384A1 (en) * | 2018-11-30 | 2020-06-04 | Samsung Electronics Co., Ltd. | System and method for incremental learning |
CN111241992B (zh) * | 2020-01-08 | 2024-02-20 | 科大讯飞股份有限公司 | 人脸识别模型构建方法、识别方法、装置、设备及存储介质 |
CN113590863A (zh) * | 2021-02-23 | 2021-11-02 | 腾讯科技(北京)有限公司 | 图像聚类方法、装置及计算机可读存储介质 |
CN113822130A (zh) * | 2021-07-05 | 2021-12-21 | 腾讯科技(深圳)有限公司 | 模型训练方法、场景识别方法、计算设备和介质 |
CN116958608A (zh) * | 2022-12-26 | 2023-10-27 | 腾讯科技(深圳)有限公司 | 对象识别模型的更新方法、装置、设备、介质及程序产品 |
-
2022
- 2022-12-26 CN CN202211678065.2A patent/CN116958608A/zh active Pending
-
2023
- 2023-11-02 WO PCT/CN2023/129301 patent/WO2024139703A1/zh unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024139703A1 (zh) * | 2022-12-26 | 2024-07-04 | 腾讯科技(深圳)有限公司 | 对象识别模型的更新方法、装置、电子设备、存储介质及计算机程序产品 |
Also Published As
Publication number | Publication date |
---|---|
WO2024139703A1 (zh) | 2024-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112632385B (zh) | 课程推荐方法、装置、计算机设备及介质 | |
WO2020135535A1 (zh) | 一种推荐模型训练方法及相关装置 | |
CN108427708B (zh) | 数据处理方法、装置、存储介质和电子装置 | |
CN111819580A (zh) | 用于密集图像预测任务的神经架构搜索 | |
CN111598190B (zh) | 图像目标识别模型的训练方法、图像识别方法及装置 | |
CN111611488B (zh) | 基于人工智能的信息推荐方法、装置、电子设备 | |
CN112396106B (zh) | 内容识别方法、内容识别模型训练方法及存储介质 | |
CN104247441A (zh) | 自动推荐内容 | |
CN110222171A (zh) | 一种分类模型应用、分类模型训练方法及装置 | |
CN109471978B (zh) | 一种电子资源推荐方法及装置 | |
CN111382190B (zh) | 一种基于智能的对象推荐方法、装置和存储介质 | |
CN110442737A (zh) | 基于图数据库的数字孪生方法及*** | |
CN113254833B (zh) | 一种基于产教融合的信息推送的方法及服务*** | |
CN112990378B (zh) | 基于人工智能的场景识别方法、装置及电子设备 | |
CN111695084A (zh) | 模型生成方法、信用评分生成方法、装置、设备及存储介质 | |
CN113011167A (zh) | 基于人工智能的作弊识别方法、装置、设备及存储介质 | |
CN109741108A (zh) | 基于情境感知的流式应用推荐方法、装置和电子设备 | |
CN116452263A (zh) | 一种信息推荐方法、装置、设备及存储介质、程序产品 | |
WO2024139703A1 (zh) | 对象识别模型的更新方法、装置、电子设备、存储介质及计算机程序产品 | |
CN113407837A (zh) | 基于人工智能的智慧医疗大数据处理方法及智慧医疗*** | |
CN117725220A (zh) | 文档表征和文档检索的方法、服务器及存储介质 | |
CN111597376A (zh) | 一种图像数据处理方法、装置以及计算机可读存储介质 | |
CN117009621A (zh) | 信息搜索方法、装置、电子设备、存储介质及程序产品 | |
CN114328904A (zh) | 内容处理方法、装置、计算机设备和存储介质 | |
CN113822291A (zh) | 一种图像处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40098983 Country of ref document: HK |