CN110990393A - 一种行业企业数据异常行为的大数据识别方法 - Google Patents

Abstract

本发明公开了一种行业企业数据异常行为的大数据识别方法，包括：将某一行业的企业数据进行数据清洗；对数据清洗后的数据进行预处理，所述预处理包括数据标准化和属性值规范化；选取单指标特征，对选取的单指标特征进行交叉组合构建交叉指标特征；根据单指标特征和构建的交叉指标特征选取符合条件的指标特征，根据选取的指标特征对预处理后的企业的时间序列数据进行特征提取，识别行业排放规律；检验提取的特征数据是否服从正态分布，在区间[‑kσ，kσ]范围内，表示数据正常，超出此区间说明数据异常，其中k为比例系数，σ为标准差。可以识别行业排放规律，进行异常指数计算，识别数据是否异常，能定位到具体企业数据异常（造假）行为。

Description

一种行业企业数据异常行为的大数据识别方法

技术领域

本发明属于环境诊断技术领域，具体地涉及一种行业企业数据异常行为的大数据识别方法。

背景技术

环境质量是公众关注的焦点，如何更好地利用现有数据管理污染源企业成为相关机构的难题。对于污染源防作弊的现状，主要可归结为三方面：视频监控检测过程，及工作人员凭借观察数据，比如检测值过大或者过小等进行判断。目前，作弊数据只能通过人工审核，经验审核。甚至，更多的情况是接受到了民众的投诉，政府部门按照流程进行督查，效果甚微。对于海量数据，人工成本很高，每天每个污染源企业会产生上百条监测数据，那么人工审核效率低下。使用机器远程实时监控，又不能保证视频监控的可靠性。并且其诊断模型所需数据量较大，现有模型仅利用了自动监控数据，缺少工况监控、用水、用电、原辅料等辅助生产信息。

中国专利文献CN 110245880 A公开了一种污染源在线监控数据作弊识别方法，包含数据预处理、固定规则筛查、视频门禁、现场稽查和基于机器学习的规则优化。其中，固定规则筛查，包括企业作弊规则筛查、企业仪器故障筛查和运维单位异常筛查。视频门禁是一种查找企业是否作弊的工具，视频和门禁报警会在***展现。现场稽查是对固定规则筛查结果数据以及视频门禁的现场核实，可以得出企业是否作弊、是否仪器故障、运维单位是否运维记录作假等结果，机器学习是基于现场稽查的反馈优化规则，使得固定筛查结果可信度更高。该方法主要用于解决企业偷排废水废气、在线监控运维不规范等问题，同时可以辅助用户的决策分析。因此该方法决策分析并不是主要的功能，仅利用了自动监控数据，缺少工况监控、用水、用电、原辅料等辅助生产信息，然而企业数据造假的方式多种多样，不同的造假方式对数据的影响也不尽相同，无法定位到具体企业数据造假行为。

发明内容

针对上述存在的技术问题，本发明的目的是提供一种行业企业数据异常行为的大数据识别方法，可以识别行业排放规律，进行异常指数计算，识别数据是否异常，能定位到具体企业数据异常(造假)行为。

本发明的技术方案是：

一种行业企业数据异常行为的大数据识别方法，包括以下步骤：

S01：将某一行业的企业数据进行数据清洗；

S02：对数据清洗后的数据进行预处理，所述预处理包括数据标准化和属性值规范化；

S03：选取单指标特征，对选取的单指标特征进行交叉组合构建交叉指标特征；

S04：根据单指标特征和构建的交叉指标特征选取符合条件的指标特征，根据选取的指标特征对预处理后的企业的时间序列数据进行特征提取，识别行业排放规律；

S05：检验提取的特征数据是否服从正态分布，在区间[-kσ，kσ]范围内，表示数据正常，超出此区间说明数据异常，其中k为比例系数，σ为标准差。

优选的技术方案中，所述步骤S01中数据清洗包括以下步骤：

S11：对各种不同格式的数据形式的原始数据，对其进行数值化操作；

S12：通过线性或非线性映射将样本从高维空间映射到低维空间；

S13：根据数据的具体对象判断数据的异常值，对数据异常值进行处理；

S14：对数据缺失值进行处理。

优选的技术方案中，所述步骤S13中异常值的判断方法包括，统计分析的方法识别数据，规则库检查数据，或使用不同属性间的约束、外部的数据检测。

优选的技术方案中，所述步骤S14中数据缺失值的处理包括：

对录入数据进行人工补充；当数据存在规律性且对数据的精度要求不高时，缺失值使用概率估计代替；对于随机性较强，或数据长期缺失的情况，对该段数据进行弃用或视为无数据。

优选的技术方案中，所述步骤S02中数据标准化包括，将数据按比例缩放，使之落入一统一区间；去除数据的单位限制，将其转化为无量纲的纯数值；数据标准化方法包括极值法、标准差法和比例法。

优选的技术方案中，所述步骤S03中构建交叉指标特征的方法包括：对数据集各指标特征间进行加减乘除变换，或对数据集指标特征进行数学变换后，再进行各指标间加减乘除的变换。

优选的技术方案中，所述步骤S04中符合条件包括，计算指标特征提取方法的概率密度图和KS检验统计量，选择KS检验统计量小于阈值的单指标特征和交叉指标特征。

优选的技术方案中，所述步骤S04中识别行业排放规律的方法为采用基于时间序列的相似度分析。

优选的技术方案中，所述步骤S05中还包括计算异常指数，异常指数

其中，x为数据集，u为数据集的均值；

当I∈[0,0.5]表示数据正常，I∈(0.5,1)表示数据异常，I值越大表示数据异常程度大。

与现有技术相比，本发明的有益效果是：

1、本发明可以提取行业排放规律特征，使用概率密度分析对企业排放数据进行识别，利用基于时间序列的相似度分析技术，根据挖掘出的行业排放规律，假设数据服从正态分布，在区间[-kσ，kσ]范围内，表示数据正常，超出此区间说明数据异常，其中k值越大，识别的异常数据越少。

2、能定位到具体企业数据异常(造假)行为，能够具体分析异常(造假)行为涉及的企业、数据项、时间范围、可能的造假方式、对应的处罚依据，为执法工作提供直接支持。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明行业企业数据异常行为的大数据识别方法的流程图；

图2为本发明行业企业数据异常行为的大数据识别方法的处理流程框图；

图3为本发明水泥行业颗粒物识别出的排放规律示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

实施例：

如图1所示，本发明的行业企业数据异常行为的大数据识别方法，包括以下步骤：

S01：数据清洗是指将重复多余的数据筛选清除，将缺失的数据补充完整，将错误的数据纠错修正，最后将数据整理成为可以进一步加工、使用的数据。

S02：对数据进行包括数据标准化和属性值规范化两部分的预处理。

S03：选取单指标特征，对选取的单指标特征进行交叉组合构建交叉指标特征；

S04：根据单指标特征和构建的交叉指标特征选取符合条件的指标特征，根据选取的指标特征对预处理后的企业的时间序列数据进行特征提取，识别行业排放规律；

S05：检验提取的特征数据是否服从正态分布，在区间[-kσ，kσ]范围内，表示数据正常，超出此区间说明数据异常，其中k为比例系数，σ为标准差。

具体处理流程框图如图2所示：

1、数据清洗

数据清洗是指将重复多余的数据筛选清除，将缺失的数据补充完整，将错误的数据纠错修正，最后将数据整理成为可以进一步加工、使用的数据。数据清洗一般包括数据数值化、数据降维、数据异常值处理、数据缺失值处理共五部分。

(1)数据数值化

对存在各种不同格式的数据形式的原始数据，对其进行数值化操作。对字符串取值，按照ANSI码值求和得到字符串的值，如果值太大，取一个适当的质数对其求模。

(2)数据降维

数据降维是指通过线性或非线性映射将样本从高维空间映射到低维空间，从而获得高维数据的低维表示的过程。通过寻求低维表示，能够尽可能发现隐藏在高维数据中的规律。常用方法包括主成分分析、多维尺度分析、流行学习、拉普拉斯特征映射等。

(3)数据异常值处理

由于调查、编码和录入误差，数据中可能存在一些异常值，需要给予适当的处理。用统计分析的方法识别可能的错误值或异常值，如偏差分析、识别不遵守分布或回归方程的值，也可以用简单规则库(常识性规则、业务特定规则等)检查数据值，或使用不同属性间的约束、外部的数据来检测和清理数据。异常值的判断与具体对象相关：例如在线监测浓度数据为负或者数值过大超出监测设备的测量范围；例如测站测量的风速长期出现30m/s以上的大风；再例如，对企业的污染物进行监测时发现离排污口近的污染物浓度低于远离排污口的污染物浓度，污染物浓度出现明显异常。

异常值的处理方法常用有三种：

①删除含有异常值的记录；

②将异常值视为缺失值，交给缺失值处理方法来处理；

③用均值、回归或概率估计来修正。

(4)数据缺失值处理

大多数情况下，缺失值必须手工填入。当然，某些缺失值可以从本数据源或其它数据源推导出来，这就可以用平均值、最大值、最小值或更为复杂的概率估计代替缺失的值，从而达到清理的目的。一般如果某特征的缺失量过大，会直接将该数据舍弃，从而避免使用大量推导数据而给原始数据带来较大的噪声。

数据缺失值的处理主要有以下方法：

①由于录入问题导致的数据缺失，可由人工补充。例如，仪器管理员遗漏录入了某张设备参数表。

②当数据存在明确的规律性且对数据的精度要求不高时，一些缺失值可以使用平均值、最大值、最小值或更为复杂的概率估计代替。例如，当流域没有发生异常的降雨情况时，可以使用历史同期的径流量代替当前径流水平。

③对于随机性较强，或数据长期缺失的情况，该段数据应弃用或视为无数据。例如，某次污染物样品检测时，未录入数据，应重新补测，或标记测量结果缺失。

2、数据预处理

数据预处理包括数据标准化和属性值规范化两部分。

(1)数据标准化

数据的标准化是将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。其中最典型的就是数据的归一化处理，即将数据统一映射到统一区间上。数据标准化方法可以为极值法、标准差法、比例法等。

①极值标准化法

极值标准化法是通过将原始数据按照比例缩放，使之落入到[0,1]区间内：

式中，max为样本数据x的最大值，min为样本数据x的最小值。

②标准差法

标准差标准化是最为常用的标准化方法，标准差标准化通过计算原始数据的均值和标准差进行数据的标准化，其转化函数为：

X^＊＝(X-μ)/σ

式中μ为所有样本数据的均值，σ为所有样本数据的标准差。经过处理的数据符合标准正态分布，即均值为0，标准差为1。

③比例法

比例法针对全部数据为正值的序列进行归一化，对于正向序列x1，x2，…，xn进行如下变换：

则新序列y1，y2，…，yn属于区间[0,1]。

在本报告的案例研究中，为了更好的符合环境监测数据的应用习惯，采用样本均值作为比例因子，公式如下：

式中，n为样本总数。

(2)属性值规范化

属性值具有多种类型，包括效益型、成本型、以及区间型等。这三种属性，效益型属性越大越好，成本型属性越小越好，区间型属性是在某个区间最佳。

在进行决策时，一般要进行属性值的规范化，主要有如下三个作用：

①属性值有多种类型，上述三种属性放在同一个表中不便于直接从数值大小判断方案的优劣，因此需要对数据进行预处理，使得表中任一属性下性能越优的方案变换后的属性值越大。

②非量纲化，多属性决策与评估的困难之一是属性间的不可公度性，即在属性值表中的每一列数据具有不同的单位(量纲)。即使对同一属性，采用不同的计量单位，表中的数值也就不同。在用各种多属性决策方法进行分析评价时需要排除量纲的选用对决策或评估结果的影响，这就是非量纲化。

③归一化，属性值表中不同指标的属性值的数值大小差别很大，为了直观，更为了便于采用各种多属性决策与评估方法进行评价，需要把属性值表中的数值归一化，即把表中数值均变换到[0，1]区间上。

在属性规范时用非线性变换或其他办法，来解决或部分解决某些目标的达到程度与属性值之间的非线性关系，以及目标间的不完全补偿性。属性规范化方法有线性变换、标准0—1变换、区间型属性的变换、向量规范化。

3、指标特征提取

(1)单指标特征提取

为挖掘不同行业企业在线监测数据的排放规律，需要对企业的时间序列排放数据进行特征提取。特征包括31种，具体使用时，可根据实际数据情况确定特征提取种类数量。特征包括：偏度、峰度、均值、斜率的偏度、斜率的峰度、斜率的均值、傅里叶谱的一阶矩、相邻点变动比率的均值、B因子、熵、方差、斜率的方差、相关系数、标准差、迁移率参数、极差、极差与最大值比例、中位数、几何平均数、斜率的均值的反正切值、复杂度参数、方根均值的平方、相邻比例的均值、均方根值、形状因子、波峰因子、最大值与均值比例、最大值与绝对值的均方根比例、A因子、均方根频率、傅里叶谱的二阶矩。

(2)多指标特征构建

因单个指标特征的在线监测浓度均为非平稳序列，而对指标特征交叉组合，可将其转换为较平稳序列，以便更直接、更有效地判断异常数据。为找出稳定的数学特征，需要进行交叉指标构建。对数据集各指标特征间加减乘除变换，或对数据集指标特征进行数学变换后，再进行各指标间加减乘除的变换，构建交叉指标。例如交叉指标c＝(s1-p1)*log(n1)，s1表示二氧化硫浓度，n1表示氮氧化物浓度，p1表示颗粒物浓度。

4、行业排放规律识别

针对实际数据集，计算数据特征提取方法的概率密度图和KS检验统计量，选择KS检验统计量小于阈值a的特征提取方法，包括单指标和多指标特征提取方法(a可根据数据集情况及实际需求自己定义，本研究中定义a＝0.5)。使用选取好的特征提取方法对数据集进行特征提取，识别行业排放规律，利用基于时间序列的相似度分析技术，挖掘行业排放规律，例如水泥行业颗粒物识别出的排放规律如图3所示。

4、数据异常识别

利用基于时间序列的相似度分析技术，根据挖掘出的行业排放规律，假设提取出来的特征数据服从正态分布，检验提取的特征数据是否服从正态分布，在区间[-kσ，kσ]范围内，表示数据正常，超出此区间说明数据异常，其中k为比例系数(k为常数)，K值越大，识别的异常数据越少。

定义异常指数

异常指数表示数据异常程度，

其中k为常数，x为数据集，u表示数据集的均值，σ表示标准差。

计算异常指数I，I∈[0,0.5]表示数据正常，I∈(0.5,1)表示数据异常，I>0.5时，I值越大表明数据越异常。

根据数据集选出的几种特征提取方法，得到每一类特征识别出的最异常的指标数据，计算所有异常指数，组成新的数据集，计算相关性矩阵，对其进行相关性矩阵分析，分析每一类特征识别结果之间相关性，剔除高度相关特征，保证最优特征提取方法组合最精简、高效、全面的识别异常数据。可以提高计算效率，使用尽可能少的特征提取方法，识别出更多异常数。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (9)

1.一种行业企业数据异常行为的大数据识别方法，其特征在于，包括以下步骤：

S01：将某一行业的企业数据进行数据清洗；

S02：对数据清洗后的数据进行预处理，所述预处理包括数据标准化和属性值规范化；

S03：选取单指标特征，对选取的单指标特征进行交叉组合构建交叉指标特征；

S04：根据单指标特征和构建的交叉指标特征选取符合条件的指标特征，根据选取的指标特征对预处理后的企业的时间序列数据进行特征提取，识别行业排放规律；

S05：检验提取的特征数据是否服从正态分布，在区间[-kσ，kσ]范围内，表示数据正常，超出此区间说明数据异常，其中k为比例系数，σ为标准差。

2.根据权利要求1所述的行业企业数据异常行为的大数据识别方法，其特征在于，所述步骤S01中数据清洗包括以下步骤：

S11：对各种不同格式的数据形式的原始数据，对其进行数值化操作；

S12：通过线性或非线性映射将样本从高维空间映射到低维空间；

S13：根据数据的具体对象判断数据的异常值，对数据异常值进行处理；

S14：对数据缺失值进行处理。

3.根据权利要求2所述的行业企业数据异常行为的大数据识别方法，其特征在于，所述步骤S13中异常值的判断方法包括，统计分析的方法识别数据，规则库检查数据，或使用不同属性间的约束、外部的数据检测。

4.根据权利要求2所述的行业企业数据异常行为的大数据识别方法，其特征在于，所述步骤S14中数据缺失值的处理包括：

对录入数据进行人工补充；当数据存在规律性且对数据的精度要求不高时，缺失值使用概率估计代替；对于随机性较强，或数据长期缺失的情况，对该段数据进行弃用或视为无数据。

5.根据权利要求1所述的行业企业数据异常行为的大数据识别方法，其特征在于，所述步骤S02中数据标准化包括，将数据按比例缩放，使之落入一统一区间；去除数据的单位限制，将其转化为无量纲的纯数值；数据标准化方法包括极值法、标准差法和比例法。

6.根据权利要求1所述的行业企业数据异常行为的大数据识别方法，其特征在于，所述步骤S03中构建交叉指标特征的方法包括：对数据集各指标特征间进行加减乘除变换，或对数据集指标特征进行数学变换后，再进行各指标间加减乘除的变换。

7.根据权利要求1所述的行业企业数据异常行为的大数据识别方法，其特征在于，所述步骤S04中符合条件包括，计算指标特征提取方法的概率密度图和KS检验统计量，选择KS检验统计量小于阈值的单指标特征和交叉指标特征。

8.根据权利要求1所述的行业企业数据异常行为的大数据识别方法，其特征在于，所述步骤S04中识别行业排放规律的方法为采用基于时间序列的相似度分析。

9.根据权利要求1所述的行业企业数据异常行为的大数据识别方法，其特征在于，所述步骤S05中还包括计算异常指数，异常指数

其中，x为数据集，u为数据集的均值；

当I∈[0,0.5]表示数据正常，I∈(0.5,1)表示数据异常，I值越大表示数据异常程度大。

Images