CN116776137A - 数据处理方法和电子设备 - Google Patents
数据处理方法和电子设备 Download PDFInfo
- Publication number
- CN116776137A CN116776137A CN202210220827.8A CN202210220827A CN116776137A CN 116776137 A CN116776137 A CN 116776137A CN 202210220827 A CN202210220827 A CN 202210220827A CN 116776137 A CN116776137 A CN 116776137A
- Authority
- CN
- China
- Prior art keywords
- data item
- data
- sub
- anomaly detection
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 6
- 238000001514 detection method Methods 0.000 claims abstract description 134
- 238000012549 training Methods 0.000 claims abstract description 97
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims description 28
- 230000002159 abnormal effect Effects 0.000 claims description 27
- 230000005856 abnormality Effects 0.000 claims description 13
- 230000003042 antagnostic effect Effects 0.000 claims description 2
- 230000002547 anomalous effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 40
- 230000008569 process Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 22
- 238000003860 storage Methods 0.000 description 22
- 238000004590 computer program Methods 0.000 description 10
- 238000012014 optical coherence tomography Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000007847 structural defect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 229920000747 poly(lactic acid) Polymers 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Debugging And Monitoring (AREA)
- Image Analysis (AREA)
Abstract
本公开的实施例涉及一种数据处理方法和电子设备，涉及计算机领域，该方法包括：待检测数据；以及利用经训练的异常检测模型确定待检测数据的属性，指示待检测数据是否为异常数据，其中异常检测模型是基于重构数据项与正常数据项之间的差异以及第一输出数据项与重构数据项之间的差异而被训练的，其中在训练过程中正常数据项被输入到异常检测模型的生成子模型以得到重构数据项，重构数据项被输入到生成子模型以得到第一输出数据项。以此方式，本公开的实施例中的方案能够学习到上下文对抗信息，从而得到的经训练的异常检测模型精度更高，具有更高的召回率。
Description
技术领域
本公开的实施例主要涉及计算机领域，并且更具体地，涉及数据处理方法、模型训练方法、电子设备、计算机可读存储介质和计算机程序产品。
背景技术
异常检测(Anomaly detection)旨在检测显著地偏离正常数据分布的异常数据实例。异常检测已经被广泛地应用于医学诊断、欺诈检测、结构缺陷等诸多领域。由于有监督的异常检测模型需要大量标注的训练数据，成本较高，因此目前常用的异常检测模型是通过无监督、半监督或弱监督方式得到的。
然而，目前的异常检测模型会将许多正常数据检测为异常，而将一些真实但复杂的异常数据检测为正常，因此目前的异常检测模型存在召回率低的问题。特别地，在异常数据样本稀缺的情况下，异常检测模型的召回率可能会更低，这是不期望的。
发明内容
根据本公开的示例实施例，提供了一种数据处理的方案，能够利用经训练的异常检测模型确定待检测数据是否异常。
在本公开的第一方面，提供了一种数据处理方法，包括：获取待检测数据；以及利用经训练的异常检测模型确定待检测数据的属性，属性指示待检测数据是否为异常数据，其中异常检测模型是基于重构数据项与正常数据项之间的差异以及第一输出数据项与重构数据项之间的差异而被训练的，其中在训练过程中正常数据项被输入到异常检测模型的生成子模型以得到重构数据项，重构数据项被输入到生成子模型以得到第一输出数据项。
在本公开的第二方面，提供了一种异常检测模型的训练方法，包括：将训练集中的正常数据项输入到异常检测模型的生成子模型得到重构数据项；将重构数据项输入到生成子模型得到第一输出数据项；以及基于重构数据项与正常数据项之间的差异以及第一输出数据项与重构数据项之间的差异来训练异常检测模型。
在本公开的第三方面，提供了一种电子设备，包括：至少一个处理单元；至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令，该指令当由至少一个处理单元执行时使得电子设备执行动作，动作包括：获取待检测数据；以及利用经训练的异常检测模型确定待检测数据的属性，属性指示待检测数据是否为异常数据，其中异常检测模型是基于重构数据项与正常数据项之间的差异以及第一输出数据项与重构数据项之间的差异而被训练的，其中在训练过程中正常数据项被输入到异常检测模型的生成子模型以得到重构数据项，重构数据项被输入到生成子模型以得到第一输出数据项。
在本公开的第四方面，提供了一种电子设备，包括：至少一个处理单元；至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令，该指令当由至少一个处理单元执行时使得电子设备执行动作，动作包括：将训练集中的正常数据项输入到异常检测模型的生成子模型得到重构数据项；将重构数据项输入到生成子模型得到第一输出数据项；以及基于重构数据项与正常数据项之间的差异以及第一输出数据项与重构数据项之间的差异来训练异常检测模型。
本公开的第五方面，提供了一种电子设备，包括：存储器和处理器；其中存储器用于存储一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现根据本公开的第一方面或第二方面所描述的方法。
本公开的第六方面，提供了一种计算机可读存储介质，该计算机可读存储介质具有在其上存储的机器可执行指令，该机器可执行指令在由设备执行时使该设备执行根据本公开的第一方面或第二方面所描述的方法。
本公开的第七方面，提供了一种计算机程序产品，包括计算机可执行指令，其中计算机可执行指令在被处理器执行时实现根据本公开的第一方面或第二方面所描述的方法。
本公开的第八方面，提供了一种电子设备，包括：处理电路装置，被配置为执行根据本公开的第一方面或第二方面所描述的方法。
提供发明内容部分是为了以简化的形式来介绍一系列概念，它们在下文的具体实施方式中将被进一步描述。发明内容部分不旨在标识本公开的关键特征或必要特征，也不旨在限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：
图1示出了根据本公开的实施例的示例环境的框图；
图2示出了根据本公开的实施例的示例训练过程的流程图；
图3示出了根据本公开的实施例的基于正常数据项的训练过程的示意图；
图4示出了根据本公开的实施例的基于异常数据项的训练过程的示意图；
图5示出了根据本公开的实施例的示例使用过程的流程图；
图6示出了根据本公开的实施例的异常检测的结果的示意图；
图7示出了根据本公开的实施例的异常检测的结果的示意图；以及
图8示出了可以用来实施本公开的实施例的示例设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
在本公开的实施例中所描述的各个方法和过程可以被应用于各种电子设备，如终端设备、网络设备等。本公开的实施例还可以在测试设备中执行，例如信号发生器、信号分析仪、频谱分析仪、网络分析仪、测试终端设备、测试网络设备、信道仿真器等。
在本公开的实施例的描述中，术语“电路”可以指硬件电路和/或硬件电路和软件的组合。例如，电路可以是模拟和/或数字硬件电路与软件/固件的组合。作为另外的示例，电路可以是具有软件的硬件处理器的任何部分，包括(多个)数字信号处理器、软件和(多个)存储器，(多个)数字信号处理器、软件和(多个)存储器一起工作以使诸如计算设备之类的装置能够工作，以执行各种功能。在又一示例中，电路可以是硬件电路和/或处理器，诸如微处理器或微处理器的一部分，其需要软件/固件以进行操作，但是当不需要软件以进行操作时软件可以不存在。如本文所使用的，术语“电路”也涵盖仅硬件电路或(多个)处理器或硬件电路或(多个)处理器的一部分及它(或它们)附带的软件和/或固件的实现。
异常检测，也可以被称为离群(outlier)检测、新奇(novelty)检测、偏离分布(Out-of-distribution)检测、噪声检测、偏差检测、例外检测或其他名称等，是机器学习中的重要技术分支，在各种涉及人工智能(Artificial Intelligence，AI)的应用中被广泛使用，例如计算机视觉、数据挖掘、自然语言处理等。异常检测可以理解为识别不正常情况与挖掘非逻辑数据的技术，其旨在检测显著地偏离正常数据分布的异常数据实例。
异常检测已经被广泛地应用于医学诊断、欺诈检测、结构缺陷等诸多领域。例如，通过检测医学图像是否为异常数据，可以辅助医生进行诊断和治疗。例如，通过检测银行卡刷卡行为对应的数据是否为异常数据，可以用于确定是否存在电信诈骗。例如，通过检测交通监控视频中是否存在异常数据，可以确定驾驶员是否具有不规范的行为。进行异常检测的算法通常可以包括有监督异常检测方法和无监督异常检测方法。
有监督异常检测方法可以通过不同的分类方法和采样策略而制定为不平衡的分类问题。有监督异常检测方法所基于的训练集中包括带有标签的数据项。但是，考虑到标签的不足或者部分数据项的被污染，还存在半监督异常检测方法来解决很少标记或污染数据下的异常检测。例如，深度有监督异常检测(Deep Supervised Anomaly Detection，Deep-SAD)提出了具有信息论框架的两阶段训练。
由于异常数据稀缺且种类多样化，因此无监督异常检测方法逐渐开始作为异常检测的主导方法。例如，在具有生成异常网络的无监督异常检测(Unsupervised AnomalyDetection with Generative Adversarial Networks，AnoGAN)的算法中，将生成对抗网络(Generative Adversarial Network，GAN)用于异常检测。该算法使用GAN来学习正常数据的分布，并尝试通过迭代来优化潜在噪声向量以重建最相似的图像。
然而，目前的异常检测方法存在召回率低的问题，会将许多正常数据检测为异常，而将一些真实但复杂的异常数据检测为正常。
有鉴于此，本公开的实施例提供了一种数据处理的方案，以解决上述问题和/或其他潜在问题中的一个或多个。在该方案中，可以利用正常数据或异常数据，基于重建通过训练得到经训练的异常检测模型，该模型能够基于正常数据生成上下文对抗(ContextualAdversarial)数据，能够基于异常数据进行有监督的学习，从而该模型能够用于异常检测，且具有较高的召回率。
图1示出了根据本公开的实施例的示例环境100的框图。应当理解，图1所示的环境100仅仅是本公开的实施例可实现于其中的一种示例，不旨在限制本公开的范围。本公开的实施例同样适用于其他***或架构。
如图1所示，环境100可以包括计算设备110。计算设备110可以是具有计算能力的任何设备。计算设备110可以包括但不限于个人计算机、服务器计算机、手持或膝上型设备、移动设备(诸如移动电话、个人数字助理PDA、媒体播放器等)、可穿戴设备、消费电子产品、小型计算机、大型计算机、分布式计算***、云计算资源等。应理解，基于成本等因素的考虑，计算设备110还可以具有或不具有用于模型训练的充足算力资源。
计算设备110可以被配置为获取待检测数据120，并输出检测结果140。关于检测结果140的确定可以由经训练的异常检测模型130实现。
待检测数据120可以是由用户输入的，或者可以是从存储设备获取的，本公开对此不限定。
待检测数据120可以基于实际需求而被确定，待检测数据120可以具有各种类型，本公开对此不限定。示例性地，待检测数据120可以属于以下任一类：音频数据、心电图(Electro Cardio Graph，ECG)数据、脑电图(Electro Encephalo Graph，EEG)数据、图像数据、视频数据、点云数据、或体(volume或volumetric)数据。可选地，体数据例如可以为计算机断层扫描(Computer Tomography，CT)数据、或光学相干断层扫描(Optical ComputerTomography，OCT)数据。
作为另一种理解，待检测数据120可以为1维数据，诸如音频、ECG数据或EEG数据等生物电信号。待检测数据120可以为2维数据，诸如图像(image)等。待检测数据120可以为2.5维数据，诸如视频等。待检测数据120可以为3维数据，诸如视频，诸如CT、OCT数据等体数据等。可理解，本公开中对于待检测数据120的类型描述仅为示意，在实际场景中，也可以为其他的类型，本公开对此不限定。
检测结果140可以表示待检测数据120的属性，具体地可以指示待检测数据120是否为异常数据。
在一些示例中，本公开的实施例可以被应用于各种不同的领域。举例而言，本公开的实施例可以被应用于医疗领域，待检测数据120可以为ECG数据、EGG数据、CT数据、OCT数据等。应当理解，此处列出的场景仅仅是出于说明的目的，不旨在以任何方式限制本发明的范围。本公开的实施例可以被应用于存在类似问题的各种领域，这里不再一一罗列。另外，本公开实施例中的“检测”也可以被称为诸如“识别”等，本公开对此不限定。
在某些实施例中，在实现上述过程之前，可以对异常检测模型130进行训练。应理解，异常检测模型130可以由计算设备110或者由计算设备110外部的任何其他适当设备进行训练。经训练的异常检测模型130可以被部署在计算设备110中或者可以被部署在计算设备110的外部。以下将参考图3以计算设备110训练异常检测模型130为例来描述示例训练过程。
图2示出了根据本公开的实施例的示例训练过程200的流程图。例如，方法200可以由如图1所示的计算设备110来执行。应当理解，方法200还可以包括未示出的附加框和/或可以省略所示出的某些框。本公开的范围在此方面不受限制。
在框210处，将训练集中的正常数据项输入到异常检测模型的生成子模型得到重构数据项。
在框220处，将重构数据项输入到生成子模型得到第一输出数据项。
在框230处，基于重构数据项与正常数据项之间的差异以及第一输出数据项与重构数据项之间的差异来训练异常检测模型。
可理解，在如图2所示的框210之前还可以包括：获取训练集，训练集包括多个数据项，多个数据项中的任一数据项可以为正常数据项或异常数据项。那么，相应地，如图2所示的框210至框230可以被理解为基于该训练集生成经训练的异常检测模型。
作为示例，可以将训练集表示为训练集中的任一数据项表示为x，那么可选地，在一些示例中，该训练集中的每个数据项都是正常数据项。可选地，在一些示例中，该训练集中的每个数据项都是异常数据项。可选地，在一些示例中，该训练集中的部分数据项为正常数据项，另外部分数据项为异常数据项。应注意的是，本公开实施例中的术语“数据项”在一些场景下可以被替换为“数据”。
本公开的实施例中，可以将数据项都是正常数据项的集合表示为正常训练集 可以将数据项都是异常数据项的集合表示为异常训练集/> 也就是说，在框210处的训练集可以表示为/>且包括/>和/或
可选地，在一些示例中，包括多个(例如N1)正常数据项，/>包括多个(例如N2)异常数据项，N1和N2为正整数，且一般地N1远大于N2，例如N1是N2的万倍以上。应注意，此处对N1和N2的描述仅是示意，例如在某些场景中，N1小于N2，本公开对此不限定。
可理解的是，本公开的实施例对训练集中数据项的类型不做限定。举例而言，可以针对不同类型的训练集分别进行训练，从而得到能够被应用于不同类型的数据的异常检测模型。
作为一例，训练集中的数据项可以为ECG数据。那么通过该训练集得到的异常检测模型可以用于检测输入到模型的是否为正常的ECG数据。
示例性地，本公开的实施例中，可以基于重构数据项与正常数据项之间的差异以及第一输出数据项与重构数据项之间的差异来构建第一损失函数，其中第一损失函数包括第一子函数和第二子函数，第一子函数基于重构数据项与正常数据项之间的差异得到，第二子函数基于第一输出数据项与重构数据项之间的差异得到；以及基于第一损失函数来训练异常检测模型，其中对第一子函数和第二子函数的训练目标是相反的。
在本公开的一些实施例中，异常检测模型可以包括生成子模型和判别子模型，生成子模型可以用于对输入的数据进行重构，而判别子模型可以用于确定生成子模型所重构的数据是否为真。也就是说，判别子模型可以用于确定在框210处由生成子模型得到的重构数据项为真或假。
可选地，生成子模型也可以被称为生成器，例如表示为G。可选地，判别子模型也可以被称为判别器，例如表示为D。
示例性地，可以基于重构数据项与正常数据项之间的差异得到第一子函数，例如第一子函数表示为其中/>表示重构数据项的集合。可以基于第一输出数据项与重构数据项之间的差异得到第二子函数，例如第二子函数表示为
并且，在训练过程中，对第一子函数和第二子函数的训练目标是相反的，例如可以期望第一子函数最小(min)，而期望第二子函数最大(max)，并且可以在该训练目标的基础上学习得到模型中的超参数，如下的式(1)和式(2)所示：
在式(1)和(2)中，∧表示“并且”，log表示自然对数，θG表示模型中用于生成子模型G的超参数，θD表示模型中用于判别子模型D的超参数。并且可理解，在式(2)中，表示以对抗的方式对生成子模型G和判别子模型D进行训练，例如可以固定生成子模型G训练判别子模型D，可以固定判别子模型D训练生成子模型G。
图3示出了根据本公开的实施例的基于正常数据项的训练过程300的示意图。
如图3所示，正常数据项310被输入到生成子模型，得到重构数据项320。重构数据项320被输入到生成子模型，得到输出数据项330。作为示意，图3中所示出的正常数据项310的类型为图像，相应地，重构数据项320和输出数据项330也为图像。但是应理解，图3示出图像仅为示意，本公开不限于此。
可选地，生成子模型可以包括编码器和解码器。如图3所示，正常数据项310被输入到编码器，编码器的输出作为解码器的输入，且解码器的输出为重构数据项320。如图3所示，重构数据项320被输入到编码器，编码器的输出作为解码器的输入，且解码器的输出为输出数据项330。但是应理解，在进行数据重构的基础上，该生成子模型可以具有其他的结构，本公开对生成子模型的结构不做限定。
可以基于正常数据项的训练集，并基于第一损失函数对异常检测模型进行训练，例如第一损失函数可以表示为示例性地，可以基于第一子函数来确定上下文损失函数，表示为/>从而使得重构数据与输入的正常数据项更接近，即尽量不丢失正常数据项的上下文信息。示例性地，可以基于第二子函数来确定上下文对抗损失函数，表示为
在一些实施例中，为了确保生成子模型G生成的重构数据是真实的，还可以确定对抗损失函数，表示为从而增加鲁棒性。另外，为了确保潜在表征的更稳固的重构，还可以确定潜在损失(Latent Loss)函数，表示为/>
示例性地，第一损失函数可以表示为上下文损失函数/>上下文对抗损失函数/>对抗损失函数/>潜在损失函数/>的加权和，如下式(3)至式(7)所示。
可理解，在基于正常数据项进行训练的过程中，式(3)至式(6)中的x～px为在式(3)至式(7)中，/>表示输入到判别子模型D的随机噪声，λcon、λadcon、λadv和λlat分别为对应于上下文损失函数/>上下文对抗损失函数/>对抗损失函数和潜在损失函数/>的系数。
可理解的是，在式(6)中，通过负号(即“-”)来体现其训练目标，参照图3，该训练目标是期望生成子模型G对于重构数据项320的重构是失败的，也就是说，第一输出数据项330不具有适当的上下文信息。
作为另一个示例，本公开的训练过程期望重构数据项320与正常数据项310之间的差异越小越好，而期望第一输出数据项330与重构数据项320之间的差异越大越好。
举例而言，重构数据项320与正常数据项310之间的差异可以小于第一阈值，而第一输出数据项330与重构数据项320之间的差异可以大于第二阈值。示例性地，差异可以被表示为距离，例如数据项为图像类型，差异可以为两个图像之间的欧式距离等。可选地，第二阈值大于第一阈值，例如第二阈值可以为第一阈值的预定倍数，例如10倍、100倍或其他值。
以此方式，参照结合图3所描述的过程，可以基于正常数据项以非监督方式实现对异常检测模型的训练。
可选地，在本公开的一些实施例中，还可以进一步基于异常数据项的集合对异常检测模型进行训练。具体而言，可以将训练集中的异常数据项输入到生成子模型得到第二输出数据项；基于第二损失函数来训练异常检测模型，其中第二损失函数包括第三子函数，且对第三子函数的训练目标与对第二子函数的训练目标是一致的，第三子函数基于第二输出数据项与异常数据项之间的差异得到。
示例性地，可以基于第二输出数据项与异常数据项之间的差异得到第三子函数，例如第三子函数表示为基于上述关于第二子函数的描述，在训练过程中，也期望第三子函数最大(max)，并且可以在该训练目标的基础上学习得到模型中的超参数，如下的式(8)和式(9)所示：
图4示出了根据本公开的实施例的基于异常数据项的训练过程400的示意图。
如图4所示，异常数据项410被输入到生成子模型，得到第二输出数据项420。作为示意，图4中所示出的异常数据项410的类型为图像，相应地，第二输出数据项420也为图像。但是应理解，图4示出图像仅为示意，本公开不限于此。
可选地，生成子模型可以包括编码器和解码器。如图4所示，异常数据项410被输入到编码器，编码器的输出作为解码器的输入，且解码器的输出为第二输出数据项420。但是应理解，在进行数据重构的基础上，该生成子模型可以具有其他的结构，本公开对生成子模型的结构不做限定。
可以基于异常数据项的训练集，并基于第二损失函数对异常检测模型进行训练，例如第二损失函数可以表示为示例性地，可以基于第三子函数来确定上下文对抗损失函数，表示为/>如上式(6)所示。
示例性地，第二损失函数可以表示为上下文对抗损失函数/>对抗损失函数/>潜在损失函数/>的加权和，如下式(10)所示。
并且可理解，在基于异常数据项进行训练的过程中，式(4)至(6)中的x～px为
以此方式，参照图4所描述的过程，可以基于异常数据项以有监督方式实现对异常检测模型的训练。
应注意的是，上述式(3)至式(7)和式(10)所示出的损失函数仅是示意，在实际应用中，可以对损失函数的表达式进行各种变形。例如，可以将式(6)表示为W(d(X))，X表示生成子模型G的输入数据，d(X)表示生成子模型G的输出与输入的距离，并且满足d(X)越大时W(d(X))越小。可选地，生成子模型G的输出与输入的距离可以表示为如式(6)的L1距离，或者也可以表示为更高阶的距离，或者可以表示为结构相似性指标度量(StructureSimilarity Index Measure，SSIM)，本公开对此不限定。
示例性地，可以将上面的针对正常数据项的第一损失函数和针对异常数据项的第二损失函数统一地表示为总损失函数表示为如下的式(11)。
在式(11)中，y是系数，y∈0,1。可理解，如果输入数据项是正常数据项，则y＝0；否则y＝1。
作为示意，如下的表1示出了用于训练异常检测模型130的计算机伪代码。
表1
在表1中，将异常检测模型(anomaly detection model)表示为fθ，且将训练异常检测模型的算法1(Algorithm 1)称为对抗生成异常检测(Adversarial GenerativeAnomaly Detection，AGAD)的对抗训练。
为了进行训练，可以先获取需求(Require)，包括：训练集S，由θ参数化的模型fθ，以及用于重置参数θd的阈值δ，其中训练集包括正常数据项的集合Sn和异常数据项的集合Sa，并且假设训练集中的数据项都为图像格式。
在表1的伪代码中，行2至4表示输入的数据项以及对各阶段数据项的定义。行5至8表示对正常数据项的处理，行9至12表示对正常数据项的处理，行12至13表示对参数的迭代。以此方式，能够将基于监督的和基于半监督的异常检测的方案进行统一，从而利用较少的异常数据项来提升异常检测模型的性能。
这样，本公开的实施例可以基于正常数据项和/或异常数据项的集合来训练得到异常检测模型。
如此，本公开的实施例中通过训练得到的经训练的异常检测模型，并且在训练过程中，可以利用从正常数据项生成的重构数据项，考虑重构数据项的伪异常特征再次重构，以便尽可能地使得再次重构失败。以此方式，该训练过程能够学习到上下文对抗信息，从而得到的经训练的异常检测模型精度更高，具有更高的召回率。
这样，在本公开的实施例中的训练过程中，通过引入上下文对抗信息(如)，从而通过对抗的方式生成伪异常数据，进而能够更好地学习正常数据项与异常数据项之间的判别特征。即使在异常数据项不超过5％的情况下，也能够有效地得到较高模型性能的异常检测模型。
上文参考图2至图4描述了异常检测模型130的示例训练过程。通过该经训练的异常检测模型130，能够更加准备地检测输入该模型的数据是否为异常数据。在下文中，将结合图5描述异常检测模型130的示意使用过程。
图5示出了根据本公开的实施例的示例使用过程500的流程图。例如，方法500可以由如图1所示的计算设备110来执行。应当理解，方法500还可以包括未示出的附加框和/或可以省略所示出的某些框。本公开的范围在此方面不受限制。
在框510处，获取待检测数据。
在框520处，利用经训练的异常检测模型确定待检测数据的属性，该属性指示待检测数据是否为异常数据。
可选地，如图5所示，还可以包括：框530处输出检测结果，该检测结果指示待检测数据的属性。
在本公开的实施例中，待检测数据可以是由用户输入的，或者可以是从存储设备获取的。待检测数据可以属于以下任一类：音频数据、ECG数据、EEG数据、图像数据、视频数据、点云数据、或体数据。可选地，体数据例如可以为CT数据或OCT数据等。
可理解，经训练的异常检测模型可以是通过如图2至图4所示的训练过程而训练得到的。并且可理解，用于训练该异常检测模型的训练集中的数据项的类型与待检测数据的类型是相同的。
示例性地，在框520处，可以利用经训练的异常检测模型，确定待检测数据的评分值；并进一步基于评分值来确定待检测数据的属性。具体而言，该评分值可以表示异常检测模型对待检测数据进行重构所得到的数据与待检测数据之间的差异。那么如果该评分值不高于(即小于或等于)预设阈值，则确定待检测数据的第一属性，第一属性指示待检测数据为正常数据。如果该评分值高于预设阈值，则确定待检测数据的第二属性，第二属性指示待检测数据为异常数据。
预设阈值可以基于以下因素中的至少一项而被预先设定：检测的精度、数据类型等。
可选地，在一些示例中，检测结果可以包括该评分值，从而间接地指示待检测数据的属性。在一些示例中，检测结果可以包括该待检测数据是否为异常数据的指示信息。
图6示出了根据本公开的实施例的根据本公开的实施例的异常检测的结果600的示意图。如图6所示，假设将待检测数据610输入到经训练异常检测模型可以得到重构的数据620，并且评分值为0.8。如果预设阈值等于0.7，那么可以确定待检测数据610为异常数据。
图7示出了根据本公开的实施例的根据本公开的实施例的异常检测的结果700的示意图。如图7所示，假设将待检测数据710输入到经训练异常检测模型可以得到重构的数据720，并且评分值为0.3。如果预设阈值等于0.7，那么可以确定待检测数据710为正常数据。
另外，本公开实施例所提供的方案相对于已有的异常检测模型具有显著的优势。举例而言，假设基于公共数据集MNIST，来比较AnoGAN与本公开实施例所提供的方案。以曲线下面积(Area Under the Curve，AUC)作为比较的度量，AnoGAN得到的平均AUC为93.7％，而本公开实施例所提供的方案得到的平均AUC为99.1％。由此可见，本公开实施例所提供的方案能够得到更优的结果。
在一些实施例中，计算设备包括被配置为执行以下操作的电路：获取待检测数据；以及利用经训练的异常检测模型确定待检测数据的属性，属性指示待检测数据是否为异常数据，其中异常检测模型是基于重构数据项与正常数据项之间的差异以及第一输出数据项与重构数据项之间的差异而被训练的，其中在训练过程中正常数据项被输入到异常检测模型的生成子模型以得到重构数据项，重构数据项被输入到生成子模型以得到第一输出数据项。
在一些实施例中，异常检测模型基于第一损失函数而被训练，其中第一损失函数基于重构数据项与正常数据项之间的差异以及第一输出数据项与重构数据项之间的差异而被构建，第一损失函数包括第一子函数和第二子函数，第一子函数基于重构数据项与正常数据项之间的差异得到，第二子函数基于第一输出数据项与重构数据项之间的差异得到，其中对第一子函数和第二子函数的训练目标是相反的。
在一些实施例中，异常检测模型还基于第二损失函数而被训练，其中第二损失函数包括第三子函数，且对第三子函数的训练目标与对第二子函数的训练目标是一致的，第三子函数基于第二输出数据项与训练集中的异常数据项之间的差异得到，第二输出数据项是通过将训练集中的异常数据项输入到生成子模型而得到的。
在一些实施例中，经训练的异常检测模型还包括判别子模型，判别子模型用于确定重构数据项为真或假。
在一些实施例中，计算设备包括被配置为执行以下操作的电路：利用经训练的异常检测模型，确定待检测数据的评分值，评分值表示异常检测模型对待检测数据进行重构所得到的数据与待检测数据之间的差异；如果评分值不高于预设阈值，则确定待检测数据的第一属性，第一属性指示待检测数据为正常数据；如果评分值高于预设阈值，则确定待检测数据的第二属性，第二属性指示待检测数据为异常数据。
在一些实施例中，待检测数据属于以下任一类：音频数据、心电图数据、脑电图数据、图像数据、视频数据、点云数据、或体数据。
在一些实施例中，计算设备包括被配置为执行以下操作的电路：将训练集中的正常数据项输入到异常检测模型的生成子模型得到重构数据项；将重构数据项输入到生成子模型得到第一输出数据项；以及基于重构数据项与正常数据项之间的差异以及第一输出数据项与重构数据项之间的差异来训练异常检测模型。
在一些实施例中，计算设备包括被配置为执行以下操作的电路：基于重构数据项与正常数据项之间的差异以及第一输出数据项与重构数据项之间的差异来构建第一损失函数，其中第一损失函数包括第一子函数和第二子函数，第一子函数基于重构数据项与正常数据项之间的差异得到，第二子函数基于第一输出数据项与重构数据项之间的差异得到；以及基于第一损失函数来训练异常检测模型，其中对第一子函数和第二子函数的训练目标是相反的。
在一些实施例中，重构数据项与正常数据项之间的差异小于第一阈值，第一输出数据项与重构数据项之间的差异大于第二阈值。
在一些实施例中，计算设备包括被配置为执行以下操作的电路：将训练集中的异常数据项输入到生成子模型得到第二输出数据项；基于第二损失函数来训练异常检测模型，其中第二损失函数包括第三子函数，且对第三子函数的训练目标与对第二子函数的训练目标是一致的，第三子函数基于第二输出数据项与异常数据项之间的差异得到。
在一些实施例中，异常检测模型还包括判别子模型，判别子模型用于确定重构数据项为真或假。
在一些实施例中，计算设备包括被配置为执行以下操作的电路：基于第一损失函数，以对抗的方式对生成子模型和判别子模型进行训练。
图8示出了可以用来实施本公开的实施例的示例设备800的示意性框图。例如，如图1所示的计算设备110可以由设备800来实施。如图所示，设备800包括中央处理单元(Central Processing Unit，CPU)801，其可以根据存储在只读存储器(Read-Only Memory，ROM)802中的计算机程序指令或者从存储单元808加载到随机访问存储器(Random AccessMemory，RAM)803中的计算机程序指令，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(Input/Output，I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。应理解，本公开可以利用输出单元807显示用户满意度的实时动态变化信息、满意度的群体用户或个体用户的关键因素识别信息、优化策略信息、以及策略实施效果评估信息等。
处理单元801可通过一个或多个处理电路来实现。处理单元801可被配置为执行上文所描述的各个过程和处理。例如，在一些实施例中，前述的过程可以被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序被加载到RAM 803并由CPU 801执行时，可以执行上文描述的过程中的一个或多个步骤。
本公开可以被实现为***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器、只读存储器、可擦式可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM或闪存)、静态随机存取存储器(Static Random Access Memory，SRAM)、便携式压缩盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能盘(Digital Versatile Disc，DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(Instruction Set Architecture，ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(Local Area Network，LAN)或广域网(WideArea Network，WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(Field ProgrammableGate Array，FPGA)或可编程逻辑阵列(Programmable Logic Array，PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (13)
1.一种数据处理方法，包括：
获取待检测数据；以及
利用经训练的异常检测模型确定所述待检测数据的属性，所述属性指示所述待检测数据是否为异常数据，
其中所述异常检测模型是基于重构数据项与正常数据项之间的差异以及第一输出数据项与所述重构数据项之间的差异而被训练的，其中在训练过程中所述正常数据项被输入到所述异常检测模型的生成子模型以得到所述重构数据项，所述重构数据项被输入到所述生成子模型以得到所述第一输出数据项。
2.根据权利要求1所述的方法，其中所述异常检测模型基于第一损失函数而被训练，其中所述第一损失函数基于所述重构数据项与所述正常数据项之间的差异以及所述第一输出数据项与所述重构数据项之间的差异而被构建，所述第一损失函数包括第一子函数和第二子函数，所述第一子函数基于所述重构数据项与所述正常数据项之间的差异得到，所述第二子函数基于所述第一输出数据项与所述重构数据项之间的差异得到，其中对所述第一子函数和所述第二子函数的训练目标是相反的。
3.根据权利要求2所述的方法，其中所述异常检测模型还基于第二损失函数而被训练，其中所述第二损失函数包括第三子函数，且对所述第三子函数的训练目标与对所述第二子函数的训练目标是一致的，所述第三子函数基于第二输出数据项与训练集中的异常数据项之间的差异得到，所述第二输出数据项是通过将所述训练集中的异常数据项输入到所述生成子模型而得到的。
4.根据权利要求1至3中任一项所述的方法，其中所述经训练的异常检测模型还包括判别子模型，所述判别子模型用于确定所述重构数据项为真或假。
5.根据权利要求4所述的方法，其中所述经训练的异常检测模型是通过所述生成子模型和所述判别子模型以对抗的方式训练得到的。
6.根据权利要求1至5中任一项所述的方法，其中确定所述待检测数据的属性包括：
利用所述经训练的异常检测模型，确定所述待检测数据的评分值，所述评分值表示所述异常检测模型对所述待检测数据进行重构所得到的数据与所述待检测数据之间的差异；
如果所述评分值不高于预设阈值，则确定所述待检测数据的第一属性，所述第一属性指示所述待检测数据为正常数据；
如果所述评分值高于所述预设阈值，则确定所述待检测数据的第二属性，所述第二属性指示所述待检测数据为异常数据。
7.根据权利要求1至6中任一项所述的方法，其中所述待检测数据属于以下任一类：音频数据、心电图数据、脑电图数据、图像数据、视频数据、点云数据、或体数据。
8.一种异常检测模型的训练方法，包括：
将训练集中的正常数据项输入到所述异常检测模型的生成子模型得到重构数据项；
将所述重构数据项输入到所述生成子模型得到第一输出数据项；以及
基于所述重构数据项与所述正常数据项之间的差异以及所述第一输出数据项与所述重构数据项之间的差异来训练所述异常检测模型。
9.根据权利要求8所述的方法，其中基于所述重构数据项与所述正常数据项之间的差异以及所述第一输出数据项与所述重构数据项之间的差异来训练所述异常检测模型包括：
基于所述重构数据项与所述正常数据项之间的差异以及所述第一输出数据项与所述重构数据项之间的差异来构建第一损失函数，其中所述第一损失函数包括第一子函数和第二子函数，所述第一子函数基于所述重构数据项与所述正常数据项之间的差异得到，所述第二子函数基于所述第一输出数据项与所述重构数据项之间的差异得到；以及
基于所述第一损失函数来训练所述异常检测模型，其中对所述第一子函数和所述第二子函数的训练目标是相反的。
10.根据权利要求8或9所述的方法，其中所述重构数据项与所述正常数据项之间的差异小于第一阈值，所述第一输出数据项与所述重构数据项之间的差异大于第二阈值。
11.根据权利要求9或10所述的方法，还包括：
将所述训练集中的异常数据项输入到所述生成子模型得到第二输出数据项；
基于第二损失函数来训练所述异常检测模型，其中所述第二损失函数包括第三子函数，且对所述第三子函数的训练目标与对所述第二子函数的训练目标是一致的，所述第三子函数基于所述第二输出数据项与所述异常数据项之间的差异得到。
12.根据权利要求8至11中任一项所述的方法，其中所述异常检测模型还包括判别子模型，所述判别子模型用于确定所述重构数据项为真或假。
13.一种电子设备，包括：
处理电路装置，被配置为执行根据权利要求1至7中任一项所述的方法或者根据权利要求8至12中任一项所述的方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210220827.8A CN116776137A (zh) | 2022-03-08 | 2022-03-08 | 数据处理方法和电子设备 |
| JP2023034220A JP7501703B2 (ja) | 2022-03-08 | 2023-03-07 | データ処理方法及び電子機器 |
| US18/179,778 US20230289660A1 (en) | 2022-03-08 | 2023-03-07 | Data processing method and electronic device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210220827.8A CN116776137A (zh) | 2022-03-08 | 2022-03-08 | 数据处理方法和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116776137A true CN116776137A (zh) | 2023-09-19 |
Family
ID=87931949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210220827.8A Pending CN116776137A (zh) | 2022-03-08 | 2022-03-08 | 数据处理方法和电子设备 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230289660A1 (zh) |
| JP (1) | JP7501703B2 (zh) |
| CN (1) | CN116776137A (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117668719A (zh) * | 2023-11-14 | 2024-03-08 | 深圳大学 | 一种自适应阈值的隧道监测数据异常检测方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020179200A1 (ja) | 2019-03-04 | 2020-09-10 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理方法及び情報処理システム |
| WO2021186592A1 (ja) | 2020-03-17 | 2021-09-23 | 株式会社村田製作所 | 診断支援装置及びモデル生成装置 |
| JP2022029262A (ja) | 2020-08-04 | 2022-02-17 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、および学習装置 |
-
2022
- 2022-03-08 CN CN202210220827.8A patent/CN116776137A/zh active Pending
-
2023
- 2023-03-07 US US18/179,778 patent/US20230289660A1/en active Pending
- 2023-03-07 JP JP2023034220A patent/JP7501703B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20230289660A1 (en) | 2023-09-14 |
| JP2023131139A (ja) | 2023-09-21 |
| JP7501703B2 (ja) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3355547B1 (en) | Method and system for learning representations of network flow traffic | |
| Faghani et al. | Mitigating bias in radiology machine learning: 3. Performance metrics | |
| EP4053751A1 (en) | Method and apparatus for training cross-modal retrieval model, device and storage medium | |
| CN109191451B (zh) | 异常检测方法、装置、设备和介质 | |
| EP3311311A1 (en) | Automatic entity resolution with rules detection and generation system | |
| US11790492B1 (en) | Method of and system for customized image denoising with model interpretations | |
| CN109831665A (zh) | 一种视频质检方法、***及终端设备 | |
| WO2023024411A1 (zh) | 基于机器学习对关联规则进行评估的方法及装置 | |
| US20200410285A1 (en) | Anomaly Augmented Generative Adversarial Network | |
| US20210081800A1 (en) | Method, device and medium for diagnosing and optimizing data analysis system | |
| US20200065369A1 (en) | Device for automatically detecting morpheme part of speech tagging corpus error by using rough sets, and method therefor | |
| US20220148290A1 (en) | Method, device and computer storage medium for data analysis | |
| WO2019121655A1 (en) | A probability-based detector and controller apparatus, method, computer program | |
| JP7501703B2 (ja) | データ処理方法及び電子機器 | |
| JP2019105871A (ja) | 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置 | |
| Soin et al. | CheXstray: real-time multi-modal data concordance for drift detection in medical imaging AI | |
| CN116743637B (zh) | 一种异常流量的检测方法、装置、电子设备及存储介质 | |
| Ampavathi | Research challenges and future directions towards medical data processing | |
| US20210365771A1 (en) | Out-of-distribution (ood) detection by perturbation | |
| US11727109B2 (en) | Identifying adversarial attacks with advanced subset scanning | |
| Kraft et al. | Dealing with inaccurate sensor data in the context of mobile crowdsensing and mhealth | |
| CN116805012A (zh) | 多模态知识图谱的质量评估方法及装置、存储介质、设备 | |
| Peng et al. | FaxMatch: Multi‐Curriculum Pseudo‐Labeling for semi‐supervised medical image classification | |
| CN113743543B (zh) | 一种图像分类训练方法、装置、服务器及存储介质 | |
| CN115526882A (zh) | 一种医学图像的分类方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |