CN118052998A - 特征处理方法、装置、设备、存储介质及计算机程序产品 - Google Patents
特征处理方法、装置、设备、存储介质及计算机程序产品 Download PDFInfo
- Publication number
- CN118052998A CN118052998A CN202410455621.2A CN202410455621A CN118052998A CN 118052998 A CN118052998 A CN 118052998A CN 202410455621 A CN202410455621 A CN 202410455621A CN 118052998 A CN118052998 A CN 118052998A
- Authority
- CN
- China
- Prior art keywords
- feature
- abnormal
- abnormal sample
- cluster
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 33
- 238000004590 computer program Methods 0.000 title claims abstract description 24
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 230000002159 abnormal effect Effects 0.000 claims abstract description 583
- 238000001514 detection method Methods 0.000 claims abstract description 76
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000005856 abnormality Effects 0.000 claims abstract description 18
- 238000009826 distribution Methods 0.000 claims description 56
- 238000012545 processing Methods 0.000 claims description 53
- 238000005070 sampling Methods 0.000 claims description 32
- 230000015654 memory Effects 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 238000005516 engineering process Methods 0.000 abstract description 32
- 238000013473 artificial intelligence Methods 0.000 abstract description 13
- 230000000694 effects Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000002950 deficient Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 238000007689 inspection Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000009827 uniform distribution Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供了一种特征处理方法、装置、设备、存储介质及计算机程序产品,涉及人工智能技术;方法包括:提取多个异常图像样本各自的异常样本特征;其中,所述异常图像样本归属于目标对象,当基于所述异常图像样本对所述目标对象进行检测时,所得到的检测结果表征所述目标对象存在异常;对多个所述异常样本特征进行聚类处理,得到至少一个特征聚类簇;对各所述特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第一异常样本特征对应的第二异常样本特征,所述第二异常样本特征用于异常检测模型的训练,所述异常检测模型用于对待检测图像中对象是否存在异常进行检测。通过本申请,能够提高生成的异常样本特征的准确性。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种特征处理方法、装置、设备、存储介质及计算机程序产品。
背景技术
随着人工智能技术的发展,人工智能技术逐渐应用于对象的异常检测场景中,例如采用机器学习模型来实现对象的异常检测。而机器学习模型的训练往往需要大量的异常样本,而现实场景中异常样本往往是有限的。由此,可以对异常样本进行构建。相关技术中,异常样本的构建方式大多是在像素层面上实现的,如利用一些随机图像和正常样本在像素层面来合成异常样本,但这样的构建方式通常步骤比较繁琐,且构建的异常样本与真实异常样本有较大的差异。
发明内容
本申请实施例提供一种特征处理方法、装置、设备、存储介质及计算机程序产品,能够提高生成的异常样本特征的准确性。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种特征处理方法,包括:
提取多个异常图像样本各自的异常样本特征;
其中,所述异常图像样本归属于目标对象,当基于所述异常图像样本对所述目标对象进行检测时,所得到的检测结果表征所述目标对象存在异常;
对多个所述异常样本特征进行聚类处理,得到至少一个特征聚类簇;
对各所述特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第一异常样本特征对应的第二异常样本特征,所述第二异常样本特征用于异常检测模型的训练,所述异常检测模型用于对待检测图像中对象是否存在异常进行检测。
本申请实施例还提供一种特征处理装置,包括:
提取模块,用于提取多个异常图像样本各自的异常样本特征;
其中,所述异常图像样本归属于目标对象,当基于所述异常图像样本对所述目标对象进行检测时,所得到的检测结果表征所述目标对象存在异常;
聚类模块,用于对多个所述异常样本特征进行聚类处理,得到至少一个特征聚类簇;
噪声添加模块,用于对各所述特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第一异常样本特征对应的第二异常样本特征,所述第二异常样本特征用于异常检测模型的训练,所述异常检测模型用于对待检测图像中对象是否存在异常进行检测。
在上述方案中,所述噪声添加模块,还用于在所述对各所述特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第一异常样本特征对应的第二异常样本特征之前,生成至少一个第一噪声,各所述第一噪声之间不相同;所述噪声添加模块,还用于针对各所述特征聚类簇分别执行以下处理:对所述特征聚类簇的簇中心对应的第一异常样本特征分别添加所述第一噪声,得到所述第一异常样本特征对应的至少一个第二异常样本特征。
在上述方案中,所述噪声添加模块,还用于对符合第一分布的数据进行至少一次采样,得到至少一个采样结果,并将各所述采样结果作为各所述第一噪声,各所述采样结果之间不相同;或者,获取符合至少一个第二分布的数据,并针对各所述第二分布,从符合所述第二分布的数据中采样得到所述第一噪声,各所述第二分布之间不相同。
在上述方案中,所述噪声添加模块,还用于在所述对各所述特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第一异常样本特征对应的第二异常样本特征之前,生成各所述特征聚类簇对应的第二噪声;所述噪声添加模块,还用于针对各所述特征聚类簇分别执行以下处理:对所述特征聚类簇的簇中心对应的第一异常样本特征,添加所述特征聚类簇对应的第二噪声,得到所述第一异常样本特征对应的第二异常样本特征。
在上述方案中,所述噪声添加模块,还用于针对各所述特征聚类簇分别执行以下处理:确定所述特征聚类簇的特征分布;生成符合所述特征聚类簇的特征分布的数据;从符合所述特征聚类簇的特征分布的数据中,采样得到所述特征聚类簇对应的第二噪声。
在上述方案中,所述噪声添加模块,还用于在所述对各所述特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第一异常样本特征对应的第二异常样本特征之后,获取外源图像,所述外源图像不包括所述目标对象;提取所述外源图像的外源图像特征;执行以下步骤中之一:融合所述第二异常样本特征和所述外源图像特征,得到第三异常样本特征;将所述外源图像特征,确定为第三异常样本特征。
在上述方案中,所述噪声添加模块,还用于在所述对各所述特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第一异常样本特征对应的第二异常样本特征之后,提取正常图像样本的正常样本特征,并生成第三噪声;其中,所述正常图像样本归属于目标对象,当基于所述正常图像样本对所述目标对象进行检测时,所得到的检测结果表征所述目标对象正常;基于所述正常样本特征和所述第三噪声,调用异常特征生成模型生成第四异常样本特征;融合所述第二异常样本特征和所述第四异常样本特征,得到第五异常样本特征。
在上述方案中,所述噪声添加模块,还用于获取初始异常特征生成模型以及第一正常图像样本的第一正常样特征,并生成第四噪声;基于所述第一正常样特征和所述第四噪声,调用所述初始异常特征生成模型生成第六异常样本特征;调用特征判别模型对所述第六异常样本特征进行判别,得到特征判别结果,所述特征判别结果指示所述第六异常样本特征是真实异常样本特征的可能程度;基于真实异常样本特征和所述特征判别结果,确定所述初始异常特征生成模型的损失函数的值;基于所述损失函数的值,对所述初始异常特征生成模型进行训练,得到所述异常特征生成模型。
在上述方案中,所述噪声添加模块,还用于获取所述第二异常样本特征的第一权重,并获取所述第四异常样本特征的第二权重;基于所述第一权重和所述第二权重,对所述第二异常样本特征和所述第四异常样本特征进行加权处理,得到所述第五异常样本特征。
在上述方案中,所述噪声添加模块,还用于在所述对各所述特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第一异常样本特征对应的第二异常样本特征之后,对多个所述第二异常样本特征分别进行打分,得到各所述第二异常样本特征的打分结果,所述打分结果指示所述第二异常样本特征和真实异常样本特征之间的接近程度;基于各所述第二异常样本特征的打分结果,从多个所述第二异常样本特征,选择打分结果符合打分条件的目标异常样本特征。
在上述方案中,所述聚类模块,还用于在所述对多个所述异常样本特征进行聚类处理,得到至少一个特征聚类簇之后,从所述至少一个特征聚类簇中,确定一个第一特征聚类簇,并确定各第二特征聚类簇和所述第一特征聚类簇之间的距离,所述第二特征聚类簇为所述至少一个特征聚类簇中不同于所述第一特征聚类簇的特征聚类簇;从所述至少一个特征聚类簇中,确定所述距离高于距离阈值的第三特征聚类簇、以及所述距离不高于所述距离阈值的第四特征聚类簇;所述噪声添加模块,还用于对各所述第三特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第三特征聚类簇对应的第二异常样本特征;对各所述第四特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第四特征聚类簇对应的第二异常样本特征;其中,各所述第三特征聚类簇对应的第二异常样本特征的数量,少于各所述第四特征聚类簇对应的第二异常样本特征的数量。
本申请实施例还提供一种电子设备,包括:
存储器,用于存储计算机可执行指令;
处理器,用于执行所述存储器中存储的计算机可执行指令时,实现本申请实施例提供的特征处理方法。
本申请实施例还提供一种计算机可读存储介质,存储有计算机可执行指令或计算机程序,所述计算机可执行指令或计算机程序被处理器执行时,实现本申请实施例提供的特征处理方法。
本申请实施例还提供一种计算机程序产品,包括计算机可执行指令或计算机程序,所述计算机可执行指令或计算机程序被处理器执行时,实现本申请实施例提供的特征处理方法。
本申请实施例具有以下有益效果:
应用本申请上述实施例,首先提取多个异常图像样本各自的异常样本特征,该异常图像样本归属于目标对象,当基于异常图像样本对目标对象进行检测时,所得到的检测结果表征目标对象存在异常;然后对多个异常样本特征进行聚类处理,得到至少一个特征聚类簇;从而对各特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各第一异常样本特征对应的第二异常样本特征。这里,该第二异常样本特征即用于异常样本特征的扩充,从而可以通过第二异常样本特征进行异常检测模型的训练。如此,从特征层面实现了异常样本特征的扩充,且异常样本特征在特征空间中以多个特征聚类簇的形式存在,通过对聚类簇的簇中心添加噪声来生成第二异常样本特征,保证了生成的第二异常样本特征和原有异常样本特征更接近,从而提高生成的异常样本特征的准确性,进而提高异常样本特征的扩充效果,并提高异常检测模型的训练效果。
附图说明
图1是本申请实施例提供的特征处理***的架构示意图;
图2是本申请实施例提供的电子设备的结构示意图;
图3A是本申请实施例提供的特征处理方法的第一流程示意图;
图3B是本申请实施例提供的特征处理方法的第二流程示意图;
图3C是本申请实施例提供的特征处理方法的第三流程示意图;
图3D是本申请实施例提供的特征处理方法的第四流程示意图;
图4是本申请实施例提供的特征聚类簇的示意图;
图5是本申请实施例提供的特征处理方法的架构示意图。
需要说明的是,上述的“第一”、“第二”仅用于区分不同的方案,不代表用于区分方案的优劣程度或在实施过程中的优先级。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
本申请实施例中,术语“模块”或“单元”是指有预定功能的计算机程序或计算机程序的一部分,并与其他相关部分一起工作以实现预定目标,并且可以通过使用软件、硬件(如处理电路或存储器)或其组合来全部或部分实现。同样的,一个处理器(或多个处理器或存储器)可以用来实现一个或多个模块或单元。此外,每个模块或单元都可以是包含模块或单元功能的整体模块或单元的一部分。
除非另有定义,本申请实施例所使用的所有的技术和科学术语与所属技术领域的技术人员通常理解的含义相同。本申请实施例中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
本申请实施例中相关数据收集处理在实例应用时应该严格根据相关法律法规的要求,获取个人信息主体的知情同意或单独同意,并在法律法规及个人信息主体的授权范围内,开展后续数据使用及处理行为。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
1)客户端:电子设备中运行的用于提供各种服务的应用程序,例如支持特征处理的客户端。
2)响应于:用于表示所执行的操作所依赖的条件或状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。
3)外源数据:训练任务中能够接触到的数据称为域内数据,除此之外的数据均可以称为外源数据。
4)计算机视觉技术(Computer Vision,CV):是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术、应用于工业质检的异常检测技术等。
本申请实施例提供一种特征处理方法、装置、设备、存储介质及计算机程序产品,能够提高生成的异常样本特征的准确性。接下来基于上述对本申请实施例中涉及的名词和术语的说明,对本申请实施例进行详细说明。
下面说明本申请实施例提供的特征处理***。参见图1,图1是本申请实施例提供的特征处理***的架构示意图。为实现支撑一个示例性应用,特征处理***100包括:服务器200、网络300、以及终端400。其中,终端400通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合,使用无线或有线链路实现数据传输。
这里,终端400(例如运行有支持特征处理的客户端)响应于特征处理指令,发送特征处理请求至服务器200,该特征处理请求用于请求生成异常样本特征;服务器200接收终端400发送的特征处理请求;响应于特征处理请求,获取多个异常图像样本,该异常图像样本归属于目标对象,当基于异常图像样本对目标对象进行检测时,所得到的检测结果表征目标对象存在异常;提取多个异常图像样本各自的异常样本特征;对多个异常样本特征进行聚类处理,得到至少一个特征聚类簇;对各特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各第一异常样本特征对应的第二异常样本特征;返回异常样本特征已生成的通知消息至终端400;终端400接收并显示服务器200返回的通知消息。如此,生成了异常样本特征,能够实现对异常样本特征的扩充,该异常样本特征可以用于训练对象检测模型,该对象检测模型用于对待检测图像中对象进行检测,得到用于表征该对象是否存在异常的检测结果,通过本申请实施例提供的特征处理方法实现对异常样本特征的扩充,能够提高对象检测模型的训练效果,从而提高训练得到的对象检测模型的检测精度。
在一些实施例中,本申请实施例提供的特征处理方法由电子设备实施,例如,可以由终端单独实施,也可以由服务器单独实施,还可以由终端和服务器协同实施。本申请实施例可应用于各种场景,包括但不限于云技术(Cloud Technology)、人工智能(ArtificialIntelligence,AI)、智慧交通、辅助驾驶、计算机视觉技术、图像中的对象(如工业产品)异常检测等。
在一些实施例中,本申请实施例提供的实施特征处理方法的电子设备可以是各种类型的终端或服务器。其中,服务器(例如服务器200)可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***。终端(例如终端400)可以是笔记本电脑、平板电脑、台式计算机、智能手机、智能语音交互设备(例如智能音箱)、智能家电(例如智能电视)、智能手表、车载终端、可穿戴设备、虚拟现实(Virtual Reality,VR)设备、飞行器等,但并不局限于此。终端和服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请实施例对此不做限制。
在一些实施例中,本申请实施例提供的特征处理方法可以借助于云技术实现。云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。云技术是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、以及应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络***的后台服务需要大量的计算资源和存储资源。作为示例,服务器(例如服务器200)还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一些实施例中,本申请实施例提供的特征处理方法可以借助于人工智能技术实现。人工智能是计算机科学的一个综合技术,通过研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、预训练模型技术、操作/交互***、机电一体化等。其中,预训练模型又称大模型、基础模型,经过微调后可以广泛应用于人工智能各大方向下游任务。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。作为示例,通过本申请实施例提供的特征处理方法所生成的异常样本特征,可以用于训练对象检测模型,该对象检测模型用于对对象进行检测,得到用于表征该对象是否存在异常的检测结果。这里,通过本申请实施例实现了对异常样本特征的扩充,能够提高对象检测模型的训练效果,从而提高训练得到的对象检测模型的检测精度。
在一些实施例中,终端或服务器可以通过运行各种计算机可执行指令或计算机程序来实现本申请实施例提供的特征处理方法。举例来说,计算机可执行指令可以是微程序级的命令、机器指令或软件指令。计算机程序可以是操作***中的原生程序或软件模块;可以是本地(Native)应用程序(Application,APP),即需要在操作***中安装才能运行的程序;也可以是能够嵌入至任意APP中的小程序,即只需要下载到浏览器环境中就可以运行的程序。总而言之,上述的计算机可执行指令可以是任意形式的指令,上述计算机程序可以是任意形式的应用程序、模块或插件。
下面说明本申请实施例提供的实施特征处理方法的电子设备。参见图2,图2是本申请实施例提供的电子设备的结构示意图。本申请实施例提供的电子设备500可以是终端,也可以是服务器。如图2所示,电子设备500包括:至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。电子设备500中的各个组件通过总线***540耦合在一起。可理解,总线***540用于实现这些组件之间的连接通信。总线***540除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2中将各种总线都标为总线***540。
处理器510可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(Digital Signal Processor,DSP),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
用户接口530包括使得能够呈现媒体内容的一个或多个输出装置531,包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口530还包括一个或多个输入装置532,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器550可以是可移除的,不可移除的或其组合。存储器550可以包括在物理位置上远离处理器510的一个或多个存储设备。存储器550包括易失性存储器或非易失性存储器,也可包括易失性存储器和非易失性存储器两者。非易失性存储器可以是只读存储器(Read Only Memory,ROM),易失性存储器可以是随机存取存储器(Random Access Memory,RAM)。本申请实施例描述的存储器550旨在包括任意适合类型的存储器。
在一些实施例中,存储器550能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作***551,包括用于处理各种基本***服务和执行硬件相关任务的***程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块552,用于经由一个或多个(有线或无线)网络接口520到达其他电子设备,示例性的网络接口520包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(Universal Serial Bus,USB)等;
呈现模块553,用于经由一个或多个与用户接口530相关联的输出装置531(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作***设备和显示内容和信息的用户接口);
输入处理模块554,用于对一个或多个来自一个或多个输入装置532之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中,本申请实施例提供的特征处理装置可以采用软件方式实现,图2示出了存储在存储器550中的特征处理装置555,其可以是程序和插件等形式的软件,包括以下软件模块:提取模块5551、聚类模块5552和噪声添加模块5553,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分,将在下文中说明各个模块的功能。
下面说明本申请实施例提供的特征处理方法。如前所述,本申请实施例提供的特征处理方法由电子设备实施,例如可由服务器或终端单独实施,或由服务器及终端协同实施。因此下文将不再重复说明各个步骤的执行主体。参见图3A,图3A是本申请实施例提供的特征处理方法的流程示意图,本申请实施例提供的特征处理方法包括:
步骤101:提取多个异常图像样本各自的异常样本特征。
其中,异常图像样本归属于目标对象,当基于异常图像样本对目标对象进行检测时,所得到的检测结果表征目标对象存在异常。
对于步骤101,可以首先获取异常图像样本。该异常图像样本包括目标对象,该目标对象为待检测的对象,例如该目标对象可以是工业产品,例如笔记本电脑、显示屏、木地板、桌椅、瓷砖、方盒、车牌、门牌、车辆配件、书本等。该异常图像样本的图像内容可以包括目标对象的全部或部分。对于该目标对象的检测可以是对象情况(如质量、是否存在缺陷等)检测,如采集目标对象的图像,然后检测图像中的目标对象是否存在异常(如工业产品上是否存在脏污、缺陷、划痕等等)。因此,异常图像样本即为检测结果表征目标对象存在异常的图像样本,即,当基于异常图像样本对目标对象进行检测时,所得到的检测结果表征目标对象存在异常(比如目标对象存在缺陷)。
继续地,当获取到多个异常图像样本之后,对每个异常图像样本进行特征提取,得到每个异常图像样本的异常样本特征。示例的,可以预先训练一个特征提取模型,通过预先训练的特征提取模型提取每个异常图像样本的异常样本特征。在实际应用中,该特征提取模型可以是在大规模数据集(如ImageNet)上预训练好的Backbone模型。
需要说明的是,基于目标对象的图像对目标对象进行检查,可以是基于预训练的机器学***衡的问题,即异常图像样本的数量可能远少于正常图像样本的数量,这将导致对象检测模型的训练效果不理想,进而导致对象检测的检测精度低。因此,需要对异常图像样本进行样本扩充。而基于图像样本训练对象检测模型时,往往是对图像样本的样本特征进行的处理,基于此,本申请实施例从特征层面,对异常图像样本的异常样本特征进行扩充,以实现用于训练的异常样本数据的扩充。
步骤102:对多个异常样本特征进行聚类处理,得到至少一个特征聚类簇。
对于步骤102,针对步骤101获取的异常样本特征进行聚类处理,得到至少一个特征聚类簇。示例的,可以采用聚类算法(如K-means算法)对多个异常样本特征进行聚类处理,得到至少一个特征聚类簇。其中,每个特征聚类簇包括至少一个异常样本特征;每个特征聚类簇的簇中心(即聚类中心)对应多个异常样本特征中的第一异常样本特征;示例的,参见图4,通过对多个异常样本特征进行聚类处理,得到多个特征聚类簇。在多个特征聚类簇所构成的特征空间中,每个特征聚类簇代表一种模式的异常样本特征,如果在特征聚类簇的簇中心的周围一定区域内进行特征采样,那么所得到的特征也可以作为异常样本特征,以实现对原有异常样本特征的扩充。
步骤103:对各特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各第一异常样本特征对应的第二异常样本特征。
其中,第二异常样本特征用于异常检测模型的训练,异常检测模型用于对待检测图像中对象是否存在异常进行检测。
对于步骤103,可以通过对各特征聚类簇的簇中心对应的第一异常样本特征添加噪声,实现在各征聚类簇的簇中心的周围一定区域内进行特征采样的效果,得到各第一异常样本特征对应的第二异常样本特征。其中,所得到各第一异常样本特征对应的第二异常样本特征,即用于对多个异常图像特征进行扩充。
步骤103中所添加的噪声可以是预先生成的。示例的,该噪声可以是从目标分布中采样得到的;该目标分布包括符合特定数据分布类型(如正态分布、标准正态分布、均匀分布)的多个随机数据,该符合特定数据分布类型的随机数据可以是基于随机数据生成算法生成的。
步骤103中所生成的第二异常样本特征用于异常检测模型的训练,具体的,可以结合第一异常样本特征以及各第一异常样本特征对应的第二异常样本特征,共同对异常检测模型进行训练。该异常检测模型用于对待检测图像中对象是否存在异常进行检测。该异常检测模型可以是基于神经网络构建的,例如卷积神经网络、深度神经网络、循环神经网络等。通过异常检测模型进行待检测图像(如工业产品的图像)中对象(如工业产品)是否异常的检测,能够提高检测效率,而本申请实施例扩充的第二异常样本特征参与异常检测模型的训练,能够提高异常检测模型的训练效果,从而提高异常检测精度。
在一些实施例中,参见图3B,在执行图3A所示的步骤103“对各特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各第一异常样本特征对应的第二异常样本特征”之前,还可执行步骤1031a:生成至少一个第一噪声,各第一噪声之间不相同;基于此,图3A所示的步骤103可通过执行步骤1032a实现:针对各特征聚类簇分别执行以下处理:对特征聚类簇的簇中心对应的第一异常样本特征分别添加第一噪声,得到第一异常样本特征对应的至少一个第二异常样本特征。
对于步骤1031a,可以生成至少一个第一噪声,每个第一噪声之间不相同。示例的,可通过如下方式生成至少一个第一噪声:对符合第一分布的数据进行至少一次采样,得到至少一个采样结果,并将各采样结果作为各第一噪声,各采样结果之间不相同;或者,获取符合至少一个第二分布的数据,并针对各第二分布,从符合第二分布的数据中采样得到第一噪声,各第二分布之间不相同。具体地,例如,各个第一噪声之间的生成来源可以是相同的,例如从符合第一分布(如正态分布、泊松分布)的数据中至少一次进行采样,且保证每次采样得到的采样结果不同,将采样得到的采样结果作为第一噪声。例如,各个第一噪声之间的生成来源可以是不同的。从符合至少一个第二分布中的每个第二分布的数据中采样得到第一噪声,各第二分布之间不同,该至少一个第二分布可以包括正态分布、均匀分布、泊松分布等等。
对于步骤1032a,可以针对各特征聚类簇分别执行以下处理:对特征聚类簇的簇中心对应的第一异常样本特征分别添加第一噪声,得到第一异常样本特征对应的至少一个第二异常样本特征。即,针对第一异常样本特征添加一个第一噪声,则得到一个第二异常样本特征;在保证每次添加的第一噪声不同的情况下,即可得到第一异常样本特征对应的至少一个第二异常样本特征,且每个第二异常样本特征也是不同的。如此,可以生成多样化的第二异常样本特征,丰富异常样本特征,提高异常样本特征的扩充效果。
在一些实施例中,参见图3C,在执行图3A所示的步骤103“对各特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各第一异常样本特征对应的第二异常样本特征”之前,还可执行步骤1031b:生成各特征聚类簇对应的第二噪声;基于此,图3A所示的步骤103还可通过执行步骤1032b实现:针对各特征聚类簇分别执行以下处理:对特征聚类簇的簇中心对应的第一异常样本特征,添加特征聚类簇对应的第二噪声,得到第一异常样本特征对应的第二异常样本特征。
对于步骤1031b,可以针对各特征聚类簇分别执行以下处理:首先确定该特征聚类簇的特征分布,然后生成符合该特征聚类簇的特征分布的数据,进而从符合该特征聚类簇的特征分布的数据中,采样得到特征聚类簇对应的第二噪声。如此,针对每个特征聚类簇分别生成了相应的第二噪声,且每个第二噪声均是从符合该特征聚类簇的特征分布的数据采样得到的,这将使得的每个第二噪声也是符合相应特征聚类簇的特征分布的,从而提高通过添加第二噪声生成的第二异常样本特征、与真实异常样本特征的接近程度。
对于步骤1032b,可以针对各特征聚类簇分别执行以下处理:对特征聚类簇的簇中心对应的第一异常样本特征,添加特征聚类簇对应的第二噪声,得到第一异常样本特征对应的第二异常样本特征。在一些示例中,针对每个特征聚类簇所生成的第二噪声也可以是多个,且每个第二噪声之间不同;如此,可以针对特征聚类簇的簇中心对应的第一异常样本特征,分别添加特征聚类簇对应的每个第二噪声,得到第一异常样本特征对应的多个第二异常样本特征。即针对第一异常样本特征添加一个第二噪声,则得到一个第二异常样本特征;在保证每次添加的第二噪声不同的情况下,即可得到第一异常样本特征对应的多个第二异常样本特征,且每个第二异常样本特征也是不同的。如此,既保证所添加的第二噪声符合相应特征聚类簇的特征分布,还增加了第二噪声的多样性,从而可以生成多样化的第二异常样本特征,且能够提高所生成的多样化的第二异常样本特征与真实异常样本特征的接近程度,增加异常样本特征的扩充效果。
在一些实施例中,在执行步骤103“对各特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各第一异常样本特征对应的第二异常样本特征”之后,还可执行如下步骤:获取外源图像,外源图像不包括目标对象;提取外源图像的外源图像特征;融合第二异常样本特征和外源图像特征,得到第三异常样本特征。
需要说明的是,外源图像是不包括目标对象(包括正常图像样本中的目标对象以及异常图像样本中的目标对象)的图像,具体地,异常样本特征用于目标训练任务(即目标对象的对象检测模型的训练任务),那么该目标训练任务能够接触到的数据成为域内数据,即与目标对象相关的图像样本,除此之外的其他图像即为外源图像。对外源图像进行特征提取,得到外源图像特征;示例的,可以预先训练一个特征提取模型,通过预先训练的特征提取模型提取每个外源图像的外源图像特征。在实际应用中,该特征提取模型可以是在大规模数据集(如ImageNet)上预训练好的Backbone模型。在一些示例中,在获取到外源图像之后,还可以对外源图像进行数据增强,得到增强外源图像,从而对增强外源图像进行特征提取,得到外源图像特征。
继续的,将提取到的外源图像特征与第二异常样本特征进行融合,得到第三异常样本特征,该第三异常样本特征也用于对异常样本特征进行扩充。在融合时,可以针对第二异常样本特征和外源图像特征分别设置相应的加权权重,从而基于第二异常样本特征和外源图像特征各自的加权权重,对第二异常样本特征和外源图像特征进行加权求和处理,得到第三异常样本特征。在一些实施例中,还可以直接将外源图像特征作为第三异常样本特征。如此,通过引入外源图像的外源图像特征,增加了生成的第三异常样本特征的内容多样性,从而提高了扩充的异常样本特征的多样性。
在一些实施例中,参见图3D,在执行步骤103“对各特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各第一异常样本特征对应的第二异常样本特征”之后,还可执行如下步骤104-步骤106:步骤104,提取正常图像样本的正常样本特征,并生成第三噪声;其中,正常图像样本归属于目标对象,当基于正常图像样本对目标对象进行检测时,所得到的检测结果表征目标对象正常;步骤105,基于正常样本特征和第三噪声,调用异常特征生成模型生成第四异常样本特征;步骤106,融合第二异常样本特征和第四异常样本特征,得到第五异常样本特征。
对于步骤104,可以获取正常图像样本,该正常图像样本也属于目标对象,可以包括全部或者部分目标对象,当基于正常图像样本对目标对象进行检测时,所得到的检测结果表征目标对象是正常的。然后提取正常图像样本的正常样本特征。示例的,可以预先训练一个特征提取模型,通过预先训练的特征提取模型提取每个正常图像样本的正常样本特征。在实际应用中,该特征提取模型可以是在大规模数据集(如ImageNet)上预训练好的Backbone模型。同时,步骤104中还生成第三噪声,例如,可以从目标分布中采样得到第三噪声,该目标分布包括符合特定数据分布类型(如正态分布、标准正态分布、均匀分布)的多个随机数据,该符合特定数据分布类型的随机数据可以是基于随机数据生成算法生成的。
对于步骤105,则将正常样本特征和第三噪声输入异常特征生成模型中,从而调用异常特征生成模型,基于正常样本特征和第三噪声生成第四异常样本特征。
对于步骤106,将第四异常样本特征和第二异常样本特征进行融合,得到第五异常样本特征。在融合时,获取第二异常样本特征的第一权重,并获取第四异常样本特征的第二权重;基于第一权重和第二权重,对第二异常样本特征和第四异常样本特征进行加权处理,得到第五异常样本特征。即,可以针对第二异常样本特征和第四异常样本特征分别设置相应的加权权重,从而基于第二异常样本特征和第四异常样本特征各自的加权权重,对第二异常样本特征和第四异常样本特征进行加权求和处理,得到第五异常样本特征。如此,由于训练完成的异常特征生成模型所生成的第三异常样本特征与真实异常样本特征更为接近,通过将第四异常样本特征和第二异常样本特征进行融合,也提高了所得到的第五异常样本特征与真实异常样本特征的接近程度,从而提高了异常样本特征的生成效果。
在一些实施例中,异常特征生成模型可通过执行如下步骤得到:步骤201,获取初始异常特征生成模型以及第一正常图像样本的第一正常样特征,并生成第四噪声;步骤202,基于第一正常样特征和第四噪声,调用初始异常特征生成模型生成第六异常样本特征;步骤203,调用特征判别模型对第六异常样本特征进行判别,得到特征判别结果,特征判别结果指示第六异常样本特征是真实异常样本特征的可能程度;步骤204,基于真实异常样本特征和特征判别结果,确定初始异常特征生成模型的损失函数的值;步骤205,基于损失函数的值,对初始异常特征生成模型进行训练,得到异常特征生成模型。
对于步骤201,该初始异常特征生成模型可以是预先构建的,示例的,该初始异常特征生成模型包括一个交叉注意力(cross attention)模块和两个残差神经网络(ResBlock),每个ResBlock可以包括卷积层Conv、全连接层(BatchNorm)以及激活函数层(如leakyReLU层)。第四噪声的生成方式可以参见第三噪声的生成方式,在此不再赘述。对于步骤202,则基于第一正常样特征和第四噪声,调用初始异常特征生成模型生成第六异常样本特征。对于步骤203,基于真实异常样本特征,调用特征判别模型对第六异常样本特征进行判别,得到特征判别结果。对于步骤204,首先获取真实异常样本特征,然后基于真实异常样本特征和特征判别结果,确定初始异常特征生成模型的损失函数的值;从而在步骤205中,基于损失函数的值,更新初始异常特征生成模型的模型参数,以对初始异常特征生成模型进行训练,得到异常特征生成模型。
在一些实施例中,在对各特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各第一异常样本特征对应的第二异常样本特征之后,还可执行如下处理:对多个第二异常样本特征分别进行打分,得到各第二异常样本特征的打分结果,打分结果指示第二异常样本特征和真实异常样本特征之间的接近程度;基于各第二异常样本特征的打分结果,从多个第二异常样本特征,选择打分结果符合打分条件的目标异常样本特征。例如,目标异常样本特征可以是打分结果降序排序靠前的目标数量的第二异常样本特征、或者打分结果高于分数阈值的第二异常样本特征。如此,能够选择和真实异常样本特征之间的接近程度的目标异常样本特征,对异常样本特征进行扩充,提高异常样本特征的扩充效果。
在一些实施例中,对多个异常样本特征进行聚类处理,得到至少一个特征聚类簇之后,还可执行如下处理:从至少一个特征聚类簇中,确定一个第一特征聚类簇,并确定各第二特征聚类簇和第一特征聚类簇之间的距离,第二特征聚类簇为至少一个特征聚类簇中不同于第一特征聚类簇的特征聚类簇;从至少一个特征聚类簇中,确定距离高于距离阈值的第三特征聚类簇、以及距离不高于距离阈值的第四特征聚类簇;基于此,对各特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各第一异常样本特征对应的第二异常样本特征,包括:对各第三特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各第三特征聚类簇对应的第二异常样本特征;对各第四特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各第四特征聚类簇对应的第二异常样本特征;其中,各第三特征聚类簇对应的第二异常样本特征的数量,少于各第四特征聚类簇对应的第二异常样本特征的数量。
这里,首先确定特征聚类簇集中分布的目标特征空间,该第一特征聚类簇可以是目标特征空间内的中心聚类簇;然后确定各第二特征聚类簇和第一特征聚类簇之间的距离,从而至少一个特征聚类簇中,确定距离高于距离阈值的第三特征聚类簇、以及距离不高于距离阈值的第四特征聚类簇。基于此,则针对各第三特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各第三特征聚类簇对应的第二异常样本特征,以及针对各第四特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各第四特征聚类簇对应的第二异常样本特征,以使得各第三特征聚类簇对应的第二异常样本特征的数量,少于各第四特征聚类簇对应的第二异常样本特征的数量。如此,能够更多地扩充常见的异常样本特征,以及适量扩充相对少见的异常样本特征,提高扩充的异常样本特征的分布合理性。
应用本申请上述实施例,首先提取多个异常图像样本各自的异常样本特征,该异常图像样本归属于目标对象,当基于异常图像样本对目标对象进行检测时,所得到的检测结果表征目标对象存在异常;然后对多个异常样本特征进行聚类处理,得到至少一个特征聚类簇;从而对各特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各第一异常样本特征对应的第二异常样本特征。这里,该第二异常样本特征即用于异常样本特征的扩充,从而可以通过第二异常样本特征进行异常检测模型的训练。如此,从特征层面实现了异常样本特征的扩充,且异常样本特征在特征空间中以多个特征聚类簇的形式存在,通过对聚类簇的簇中心添加噪声来生成第二异常样本特征,保证了生成的第二异常样本特征和原有异常样本特征更接近,从而提高生成的异常样本特征的准确性,进而提高异常样本特征的扩充效果,并提高异常检测模型的训练效果。
下面工业质检场景为例,说明本申请实施例在一个实际的应用场景中的示例性应用。工业质量检测是对工业产品的质量进行检测。工业质量检测由经过技术培训的工人对工业产品逐个手动检测。随着AI技术的发展,开始采用结合工业相机和基于机器学习的AI***来替代人工检测,从而降低人工成本。然而,机器学习模型通常依赖于大量数据,而在工业领域,缺陷产品(即有异常的产品)的数量和种类相对较少,但实际可能出现的缺陷则无穷无尽。这使得直接采集真实的异常样本(即包括异常产品的图像)并应用于机器学习模型的训练变得困难。在一些场景中,用于产品异常检测的对象检测模型的训练是无监督方式,指在训练时只使用正常样本(无缺陷产品的图像)的数据进行学习,测试时要求训练后的模型能识别出测试样本是正常(无缺陷)还是异常(有缺陷)。而在现实的产品异常检测场景下,仍然是有少量的异常样本及其标注是可以获得的,因此还可以采用半监督方式来训练对象检测模型。
但是,无论是无监督训练还是半监督训练,都会面临数据不平衡的问题。数据不平衡具体体现为异常样本(有缺陷产品的图像)的数量相对于正常样本(无缺陷产品的图像)的数量少很多,因此,在训练时生成一些伪造的异常样本来扩充异常样本的数量是一种常见的做法。相关技术中,异常样本的生成方法大多数是在像素层面上实现的,如利用外源图像和随机的正常样本来合成异常样本,但这样的生成方式通常步骤比较繁琐,且生成的异常样本与真实异常样本有较大的差异。
基于此,发明人发现,相比于在像素空间上构造异常样本,在特征空间中构造异常样本特征更有效,和真实异常样本的异常样本特征更接近。因此,本申请实施例提供一种异常样本特征的生成方法,能够利用已有的异常样本特征,构造出更接近真实异常样本特征的异常样本特征。在实际应用中,本申请实施例可应用于任何实际的工业AI质检项目中,使用正常样本和少量的可获得异常样本,即可实现对象检测模型的训练,以用于工业产品的异常检测。
(1)异常样本特征的生成方式一。这里,对可获得的多个异常样本进行特征提取,得到多个异常样本特征,例如可以采用预先训练的特征提取模型(如在大规模数据集(ImageNet)上预训练好的Backbone模型)实现特征提取。在实际场景中,异常样本的特点是分布相对离散,因为异常样本的种类多种多样,但不同的异常仍然具有一定的共性,因此对于提取的多个异常样本特征,可以对多个异常样本特征进行聚类处理,得到至少一个特征聚类簇,如图4(图4是本申请实施例提供的特征聚类簇的示意图)所示,异常样本特征在特征空间中以多个聚类簇的形式存在。每一个特征聚类簇代表的是一种异常样本特征的模式,因此,在这些特征聚类簇的周围进行采样,就能够得到潜在的真实异常样本特征,以实现对异常样本特征的扩充。具体地,可以采用聚类算法(如K-means)对多个异常样本特征进行聚类处理,得到K个特征聚类簇,并确定K个聚类中心(即簇中心):
;
其中,表示聚类中心的数量,是超参数,可以根据实际情况进行调整;表示
可获得的异常图像样本的多个异常样本特征;表示聚类得到的个聚类中心的集合。接
下来,在每一个聚类中心周围采样,即,针对每一个聚类中心,对该聚类中心对应的异常样
本特征添加噪声(例如从高斯分布中采样的随机噪声),得到生成的异常样本特征:
;
其中,为聚类中心。
(2)异常样本特征的生成方式二。由于外源数据呈现出的模式和当前所用的数据域具有较大的差异,那么在特征空间中这种差异也是存在的,因此可以选取一些外源图像,提取外源图像的外源图像特征作为生成的异常样本特征:
其中,表示特征提取模型(如在大规模数据集(ImageNet)上预训练好的
Backbone模型),表示随机的外源图像,表示外源图像特征。
在一些示例中,对于外源图像,还可以对外源图像首先进行数据增强,再对数据增强得到的外源图像进行特征提取,得到生成的异常样本特征。
(3)异常样本特征的生成方式三。这里,采用对抗生成方式来实现异常样本特征的
生成。参见图5,图5是本申请实施例提供的特征处理方法的架构示意图。图5中所示的对抗
生成框架,在训练过程中,异常特征生成器和特征判别器互相博弈,最终得到的异常特
征生成器G能够生成更为接近真实异常样本特征的异常样本特征。
继续参见图5,该对抗生成框架由异常特征生成器和特征判别器构成。由于在
工业质检的场景下,正常图像样本和异常图像样本实际上都是同一个品类的数据,因此异
常样本特征和正常样本特征有一定的关联,基于此,把正常样本特征和随机噪声(例如
从高斯分布中采样的高斯噪声)作为异常特征生成器的输入,这里引入随机噪声的目的
是让生成的异常样本特征具备更多的多样性。
示例的,异常特征生成器可以由一个cross attention模块和两个ResBlock
(Conv+BatchNorm+leakyReLU)组成,在cross-attention模块中,输入的随机噪声作为
query,输入的正常样本特征作为key和value。示例的,正常样本特征和随机噪声以
及异常特征生成器输出的尺寸可以为1024x1536。对于异常特征生成器的结构,还可以根
据实际场景选择替换,在本申请实施例中不作限制。
示例的,特征判别器可以由一系列的下采样块(Downsample)组成,特征判别器
对异常特征生成器生成的每个特征进行判别,输出一个判别分数,判别分数越接近1说明
生成的异常样本特征越异常(即和真实的异常样本特征越接近);反之,说明生成的异常样
本特征越正常(即和真实的正常样本特征越接近)。
对抗生成框架采取对抗训练的方式进行,即:首先固定异常特征生成器,训练特
征判别器,然后固定特征判别器,训练异常特征生成器,重复这个过程多次,直至达到
训练结束条件(如训练次数达到次数阈值)。示例的,训练所采用的损失函数可以如下:
;
其中,为损失函数的值,为正常样本特征,为随机噪声,为真实异常样本特
征。
在这个对抗生成框架训练完成之后,可以使用异常特征生成器来生成接近真实
异常样本特征的异常样本特征:
;
其中,表示生成的异常样本特征。
应用本申请上述实施例,1)将实际场景中可获得的异常图像样本的异常样本特征作为有效的监督信息,在特征层面来构造新的异常样本特征,相比于在像素空间中进行异常样本特征的构造更为直接和高效;2)将基于本申请实施例生成的异常样本特征应用于半监督的对象检测模型的训练中,在图像级AUROC和像素级AUROC的指标上分别实现了0.3%和0.1%的提升。
下面继续说明本申请实施例提供的特征处理装置555的实施为软件模块的示例性结构,在一些实施例中,如图2所示,存储在存储器550的特征处理装置555中的软件模块可以包括:提取模块5551,用于提取多个异常图像样本各自的异常样本特征;其中,所述异常图像样本归属于目标对象,当基于所述异常图像样本对所述目标对象进行检测时,所得到的检测结果表征所述目标对象存在异常;聚类模块5552,用于对多个所述异常样本特征进行聚类处理,得到至少一个特征聚类簇;噪声添加模块5553,用于对各所述特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第一异常样本特征对应的第二异常样本特征。
在一些实施例中,所述噪声添加模块5553,还用于在所述对各所述特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第一异常样本特征对应的第二异常样本特征之前,生成至少一个第一噪声,各所述第一噪声之间不相同;所述噪声添加模块5553,还用于针对各所述特征聚类簇分别执行以下处理:对所述特征聚类簇的簇中心对应的第一异常样本特征分别添加所述第一噪声,得到所述第一异常样本特征对应的至少一个第二异常样本特征。
在一些实施例中,所述噪声添加模块5553,还用于对符合第一分布的数据进行至少一次采样,得到至少一个采样结果,并将各所述采样结果作为各所述第一噪声,各所述采样结果之间不相同;或者,获取符合至少一个第二分布的数据,并针对各所述第二分布,从符合所述第二分布的数据中采样得到所述第一噪声,各所述第二分布之间不相同。
在一些实施例中,所述噪声添加模块5553,还用于在所述对各所述特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第一异常样本特征对应的第二异常样本特征之前,生成各所述特征聚类簇对应的第二噪声;所述噪声添加模块5553,还用于针对各所述特征聚类簇分别执行以下处理:对所述特征聚类簇的簇中心对应的第一异常样本特征,添加所述特征聚类簇对应的第二噪声,得到所述第一异常样本特征对应的第二异常样本特征。
在一些实施例中,所述噪声添加模块5553,还用于针对各所述特征聚类簇分别执行以下处理:确定所述特征聚类簇的特征分布;生成符合所述特征聚类簇的特征分布的数据;从符合所述特征聚类簇的特征分布的数据中,采样得到所述特征聚类簇对应的第二噪声。
在一些实施例中,所述噪声添加模块5553,还用于在所述对各所述特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第一异常样本特征对应的第二异常样本特征之后,获取外源图像,所述外源图像不包括所述目标对象;提取所述外源图像的外源图像特征;执行以下步骤中之一:融合所述第二异常样本特征和所述外源图像特征,得到第三异常样本特征;将所述外源图像特征,确定为第三异常样本特征。
在一些实施例中,所述噪声添加模块5553,还用于在所述对各所述特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第一异常样本特征对应的第二异常样本特征之后,提取正常图像样本的正常样本特征,并生成第三噪声;其中,所述正常图像样本归属于目标对象,当基于所述正常图像样本对所述目标对象进行检测时,所得到的检测结果表征所述目标对象正常;基于所述正常样本特征和所述第三噪声,调用异常特征生成模型生成第四异常样本特征;融合所述第二异常样本特征和所述第四异常样本特征,得到第五异常样本特征。
在一些实施例中,所述噪声添加模块5553,还用于获取初始异常特征生成模型以及第一正常图像样本的第一正常样特征,并生成第四噪声;基于所述第一正常样特征和所述第四噪声,调用所述初始异常特征生成模型生成第六异常样本特征;调用特征判别模型对所述第六异常样本特征进行判别,得到特征判别结果,所述特征判别结果指示所述第六异常样本特征是真实异常样本特征的可能程度;基于真实异常样本特征和所述特征判别结果,确定所述初始异常特征生成模型的损失函数的值;基于所述损失函数的值,对所述初始异常特征生成模型进行训练,得到所述异常特征生成模型。
在一些实施例中,所述噪声添加模块5553,还用于获取所述第二异常样本特征的第一权重,并获取所述第四异常样本特征的第二权重;基于所述第一权重和所述第二权重,对所述第二异常样本特征和所述第四异常样本特征进行加权处理,得到所述第五异常样本特征。
在一些实施例中,所述噪声添加模块5553,还用于在所述对各所述特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第一异常样本特征对应的第二异常样本特征之后,对多个所述第二异常样本特征分别进行打分,得到各所述第二异常样本特征的打分结果,所述打分结果指示所述第二异常样本特征和真实异常样本特征之间的接近程度;基于各所述第二异常样本特征的打分结果,从多个所述第二异常样本特征,选择打分结果符合打分条件的目标异常样本特征。
在一些实施例中,所述聚类模块5552,还用于在所述对多个所述异常样本特征进行聚类处理,得到至少一个特征聚类簇之后,从所述至少一个特征聚类簇中,确定一个第一特征聚类簇,并确定各第二特征聚类簇和所述第一特征聚类簇之间的距离,所述第二特征聚类簇为所述至少一个特征聚类簇中不同于所述第一特征聚类簇的特征聚类簇;从所述至少一个特征聚类簇中,确定所述距离高于距离阈值的第三特征聚类簇、以及所述距离不高于所述距离阈值的第四特征聚类簇;所述噪声添加模块5553,还用于对各所述第三特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第三特征聚类簇对应的第二异常样本特征;对各所述第四特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第四特征聚类簇对应的第二异常样本特征;其中,各所述第三特征聚类簇对应的第二异常样本特征的数量,少于各所述第四特征聚类簇对应的第二异常样本特征的数量。
需要说明的是,本申请书中装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果,在此不做赘述。对于本申请实施例提供的特征处理装置中未尽的技术细节,可以基于上述方法实施例中技术细节的说明而理解。
本申请实施例还提供一种计算机程序产品,计算机程序产品包括计算机可执行指令或计算机程序,计算机可执行指令或计算机程序存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取计算机可执行指令或计算机程序,处理器执行计算机可执行指令或计算机程序,使得电子设备执行本申请实施例提供的特征处理方法。
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机可执行指令或计算机程序,当计算机可执行指令或计算机程序被处理器执行时,将引起处理器执行本申请实施例提供的特征处理方法。
在一些实施例中,计算机可读存储介质可以是RAM、ROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,计算机可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,计算机可执行指令可以但不一定对应于文件***中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(Hyper TextMarkup Language,HTML)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,计算机可执行指令可被部署为在一个电子设备上执行,或者在位于一个地点的多个电子设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个电子设备上执行。
以上所述,仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本申请的保护范围之内。
Claims (15)
1.一种特征处理方法,其特征在于,所述方法包括:
提取多个异常图像样本各自的异常样本特征;
其中,所述异常图像样本归属于目标对象,当基于所述异常图像样本对所述目标对象进行检测时,所得到的检测结果表征所述目标对象存在异常;
对多个所述异常样本特征进行聚类处理,得到至少一个特征聚类簇;
对各所述特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第一异常样本特征对应的第二异常样本特征,所述第二异常样本特征用于异常检测模型的训练,所述异常检测模型用于对待检测图像中对象是否存在异常进行检测。
2.如权利要求1所述的方法,其特征在于,所述对各所述特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第一异常样本特征对应的第二异常样本特征之前,所述方法还包括:
生成至少一个第一噪声,各所述第一噪声之间不相同;
所述对各所述特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第一异常样本特征对应的第二异常样本特征,包括:
针对各所述特征聚类簇分别执行以下处理:
对所述特征聚类簇的簇中心对应的第一异常样本特征分别添加所述第一噪声,得到所述第一异常样本特征对应的至少一个第二异常样本特征。
3.如权利要求2所述的方法,其特征在于,所述生成至少一个第一噪声,包括:
对符合第一分布的数据进行至少一次采样,得到至少一个采样结果,并将各所述采样结果作为各所述第一噪声,各所述采样结果之间不相同;
或者,获取符合至少一个第二分布的数据,并针对各所述第二分布,从符合所述第二分布的数据中采样得到所述第一噪声,各所述第二分布之间不相同。
4.如权利要求1所述的方法,其特征在于,所述对各所述特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第一异常样本特征对应的第二异常样本特征之前,所述方法还包括:
生成各所述特征聚类簇对应的第二噪声;
所述对各所述特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第一异常样本特征对应的第二异常样本特征,包括:
针对各所述特征聚类簇分别执行以下处理:
对所述特征聚类簇的簇中心对应的第一异常样本特征,添加所述特征聚类簇对应的第二噪声,得到所述第一异常样本特征对应的第二异常样本特征。
5.如权利要求4所述的方法,其特征在于,所述生成各所述特征聚类簇对应的第二噪声,包括:
针对各所述特征聚类簇分别执行以下处理:
确定所述特征聚类簇的特征分布;
生成符合所述特征聚类簇的特征分布的数据;
从符合所述特征聚类簇的特征分布的数据中,采样得到所述特征聚类簇对应的第二噪声。
6.如权利要求1所述的方法,其特征在于,所述对各所述特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第一异常样本特征对应的第二异常样本特征之后,所述方法还包括:
获取外源图像,所述外源图像不包括所述目标对象;
提取所述外源图像的外源图像特征;
执行以下步骤中之一:
融合所述第二异常样本特征和所述外源图像特征,得到第三异常样本特征;
将所述外源图像特征,确定为第三异常样本特征。
7.如权利要求1所述的方法,其特征在于,所述对各所述特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第一异常样本特征对应的第二异常样本特征之后,所述方法还包括:
提取正常图像样本的正常样本特征,并生成第三噪声;
其中,所述正常图像样本归属于目标对象,当基于所述正常图像样本对所述目标对象进行检测时,所得到的检测结果表征所述目标对象正常;
基于所述正常样本特征和所述第三噪声,调用异常特征生成模型生成第四异常样本特征;
融合所述第二异常样本特征和所述第四异常样本特征,得到第五异常样本特征。
8.如权利要求7所述的方法,其特征在于,所述方法还包括:
获取初始异常特征生成模型以及第一正常图像样本的第一正常样特征,并生成第四噪声;
基于所述第一正常样特征和所述第四噪声,调用所述初始异常特征生成模型生成第六异常样本特征;
调用特征判别模型对所述第六异常样本特征进行判别,得到特征判别结果,所述特征判别结果指示所述第六异常样本特征是真实异常样本特征的可能程度;
基于真实异常样本特征和所述特征判别结果,确定所述初始异常特征生成模型的损失函数的值;
基于所述损失函数的值,对所述初始异常特征生成模型进行训练,得到所述异常特征生成模型。
9.如权利要求7所述的方法,其特征在于,所述融合所述第二异常样本特征和所述第四异常样本特征,得到第五异常样本特征,包括:
获取所述第二异常样本特征的第一权重,并获取所述第四异常样本特征的第二权重;
基于所述第一权重和所述第二权重,对所述第二异常样本特征和所述第四异常样本特征进行加权处理,得到所述第五异常样本特征。
10.如权利要求1所述的方法,其特征在于,所述对各所述特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第一异常样本特征对应的第二异常样本特征之后,所述方法还包括:
对多个所述第二异常样本特征分别进行打分,得到各所述第二异常样本特征的打分结果,所述打分结果指示所述第二异常样本特征和真实异常样本特征之间的接近程度;
基于各所述第二异常样本特征的打分结果,从多个所述第二异常样本特征,选择打分结果符合打分条件的目标异常样本特征。
11.如权利要求1所述的方法,其特征在于,所述对多个所述异常样本特征进行聚类处理,得到至少一个特征聚类簇之后,所述方法还包括:
从所述至少一个特征聚类簇中,确定一个第一特征聚类簇,并确定各第二特征聚类簇和所述第一特征聚类簇之间的距离,所述第二特征聚类簇为所述至少一个特征聚类簇中不同于所述第一特征聚类簇的特征聚类簇;
从所述至少一个特征聚类簇中,确定所述距离高于距离阈值的第三特征聚类簇、以及所述距离不高于所述距离阈值的第四特征聚类簇;
所述对各所述特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第一异常样本特征对应的第二异常样本特征,包括:
对各所述第三特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第三特征聚类簇对应的第二异常样本特征;
对各所述第四特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第四特征聚类簇对应的第二异常样本特征;
其中,各所述第三特征聚类簇对应的第二异常样本特征的数量,少于各所述第四特征聚类簇对应的第二异常样本特征的数量。
12.一种特征处理装置,其特征在于,所述装置包括:
提取模块,用于提取多个异常图像样本各自的异常样本特征;
其中,所述异常图像样本归属于目标对象,当基于所述异常图像样本对所述目标对象进行检测时,所得到的检测结果表征所述目标对象存在异常;
聚类模块,用于对多个所述异常样本特征进行聚类处理,得到至少一个特征聚类簇;
噪声添加模块,用于对各所述特征聚类簇的簇中心对应的第一异常样本特征添加噪声,得到各所述第一异常样本特征对应的第二异常样本特征,所述第二异常样本特征用于异常检测模型的训练,所述异常检测模型用于对待检测图像中对象是否存在异常进行检测。
13.一种电子设备,其特征在于,所述电子设备包括:
存储器,用于存储计算机可执行指令;
处理器,用于执行所述存储器中存储的计算机可执行指令时,实现权利要求1至11任一项所述的特征处理方法。
14.一种计算机可读存储介质,存储有计算机可执行指令或计算机程序,其特征在于,所述计算机可执行指令或计算机程序被处理器执行时,实现权利要求1至11任一项所述的特征处理方法。
15.一种计算机程序产品,包括计算机可执行指令或计算机程序,其特征在于,所述计算机可执行指令或计算机程序被处理器执行时,实现权利要求1至11任一项所述的特征处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410455621.2A CN118052998A (zh) | 2024-04-16 | 2024-04-16 | 特征处理方法、装置、设备、存储介质及计算机程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410455621.2A CN118052998A (zh) | 2024-04-16 | 2024-04-16 | 特征处理方法、装置、设备、存储介质及计算机程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118052998A true CN118052998A (zh) | 2024-05-17 |
Family
ID=91048702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410455621.2A Pending CN118052998A (zh) | 2024-04-16 | 2024-04-16 | 特征处理方法、装置、设备、存储介质及计算机程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118052998A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113052199A (zh) * | 2019-12-28 | 2021-06-29 | 中移(成都)信息通信科技有限公司 | 病情检测模型的训练方法、装置、设备及计算机存储介质 |
CN114358188A (zh) * | 2022-01-05 | 2022-04-15 | 腾讯科技(深圳)有限公司 | 特征提取模型处理、样本检索方法、装置和计算机设备 |
CN114387451A (zh) * | 2022-01-10 | 2022-04-22 | 中国人民公安大学 | 异常图像检测模型的训练方法、装置及介质 |
CN115797349A (zh) * | 2023-02-07 | 2023-03-14 | 广东奥普特科技股份有限公司 | 一种缺陷检测方法、装置和设备 |
CN115944921A (zh) * | 2023-03-13 | 2023-04-11 | 腾讯科技(深圳)有限公司 | 游戏数据处理方法、装置、设备及介质 |
CN116152933A (zh) * | 2022-12-12 | 2023-05-23 | 支付宝(杭州)信息技术有限公司 | 一种异常检测模型的训练方法、装置、设备及存储介质 |
-
2024
- 2024-04-16 CN CN202410455621.2A patent/CN118052998A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113052199A (zh) * | 2019-12-28 | 2021-06-29 | 中移(成都)信息通信科技有限公司 | 病情检测模型的训练方法、装置、设备及计算机存储介质 |
CN114358188A (zh) * | 2022-01-05 | 2022-04-15 | 腾讯科技(深圳)有限公司 | 特征提取模型处理、样本检索方法、装置和计算机设备 |
CN114387451A (zh) * | 2022-01-10 | 2022-04-22 | 中国人民公安大学 | 异常图像检测模型的训练方法、装置及介质 |
CN116152933A (zh) * | 2022-12-12 | 2023-05-23 | 支付宝(杭州)信息技术有限公司 | 一种异常检测模型的训练方法、装置、设备及存储介质 |
CN115797349A (zh) * | 2023-02-07 | 2023-03-14 | 广东奥普特科技股份有限公司 | 一种缺陷检测方法、装置和设备 |
CN115944921A (zh) * | 2023-03-13 | 2023-04-11 | 腾讯科技(深圳)有限公司 | 游戏数据处理方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111241989B (zh) | 图像识别方法及装置、电子设备 | |
CN113139628B (zh) | 样本图像的识别方法、装置、设备及可读存储介质 | |
CN111522987A (zh) | 一种图像审核方法、设备及计算机可读存储介质 | |
US20200250587A1 (en) | Framework for multi-tenant data science experiments at-scale | |
CN111435367B (zh) | 知识图谱的构建方法、***、设备及存储介质 | |
Saar et al. | Browserbite: cross‐browser testing via image processing | |
CN114048024A (zh) | 任务部署方法、装置、设备、存储介质及产品 | |
CN116956117A (zh) | 一种标签识别的方法、装置、设备、存储介质及程序产品 | |
CN118052998A (zh) | 特征处理方法、装置、设备、存储介质及计算机程序产品 | |
CN115905016A (zh) | 一种BIOS Setup搜索功能测试方法、装置、电子设备及存储介质 | |
CN116977255A (zh) | 缺陷检测方法、装置、设备以及存储介质装置 | |
Taesiri et al. | A video game testing method utilizing deep learning | |
CN111859985B (zh) | Ai客服模型测试方法、装置、电子设备及存储介质 | |
CN113673476A (zh) | 人脸识别模型训练方法、装置、存储介质与电子设备 | |
CN116070695B (zh) | 图像检测模型的训练方法、图像检测方法及电子设备 | |
CN115238805B (zh) | 异常数据识别模型的训练方法及相关设备 | |
CN113095342B (zh) | 基于误判样本图片的审核模型优化方法、装置及服务器 | |
CN116402090B (zh) | 神经网络计算图的处理方法、装置和设备 | |
CN117216241A (zh) | 文本信息处理方法、装置、电子设备及存储介质 | |
KR20230032536A (ko) | 인공 지능에 기초한 제품 이미지와 참조 이미지 간 정합 자동 식별 방법 | |
CN118113588A (zh) | 检测方法、装置、设备、存储介质及程序产品 | |
CN117611859A (zh) | 应用聚类方法、装置、存储介质及计算机设备 | |
CN116993516A (zh) | 一种理赔模型解释优化方法、装置、设备及其存储介质 | |
CN115019336A (zh) | 基于人工智能的低俗图像识别方法、装置及电子设备 | |
CN115114513A (zh) | 基于人工智能的推荐方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |