CN115017970A

CN115017970A - 一种基于迁移学习的用气行为异常检测方法及***

Info

Publication number: CN115017970A
Application number: CN202210434296.2A
Authority: CN
Inventors: 边根庆; 刘可立
Original assignee: Xian University of Architecture and Technology
Current assignee: Xian University of Architecture and Technology
Priority date: 2022-04-24
Filing date: 2022-04-24
Publication date: 2022-09-06

Abstract

本发明提供一种基于迁移学习的用气行为异常检测方法及***，能够有效提升小样本数据下目标域任务用户异常行为检测的准确性和泛化性，同时减少样本的训练时间，提高检测精度。包括如下步骤：构建CNN‑LSTM‑Attention模型；采集源域数据，将源域数据分为源域训练数据和源域测试数据；基于源域训练数据对模型进行预训练；基于源域测试数据对预训练好的模型进行测试，测试达标后选取迭代次数较少的模型作为异常检测模型；采集目标域数据，将目标域数据分为目标域训练数据和目标域测试数据；基于目标域训练数据对异常检测模型进行微调；基于目标域测试数据和DTW算法对微调后的异常检测模型进行测试，获取并输出检测结果。

Description

一种基于迁移学习的用气行为异常检测方法及***

技术领域

本发明涉及异常行为检测技术领域，具体为一种基于迁移学习的用气行为异常检测方法及***。

背景技术

近年来，天然气消费总量逐年增长，天然气供求矛盾日益加剧，“气荒”问题尤为突出。其中，解决“气荒”问题与天然气负荷预测问题密切相关，即只有准确掌握未来的用气需求，才能实现对天然气产业的合理规划，避免出现“气荒”。若过高估计用气量，长期大量储运天然气将缩短天然气场站设备和仪表的使用寿命，增加管网和输气站场的运营成本，反之若低于实际用量的供气计划将会给下游用户用气带来“气荒”，因此，天然气负荷预测精度直接关乎供气的可靠性。

目前，对于天然气的用气行为异常检测领域中，缺少对于天然气用气行为的异常检测方法以及深入研究，主要困难包括：用户异常用气行为在数据集上是非常小的样本，很难满足机器学***衡，目前大多数机器学习的算法在进行异常行为检测时，这都是基于数据分布的基本假设。然而，当应用于实际数据时，往往不可能取得预期结果，因为大多数实际数据没有完全相等的分类数据集。

在天然气用气行为检测数据中，正常数据较易获得且数量多，异常标签数据比较缺失。在一个理想的情形下，用气行为的异常检测作为一个有监督的学习问题，利用真实的历史标注训练数据来进行建模和分析，这个建模分析的过程中需要使用大量历史标记的训练数据，而在本项目中只有少量数据集包含标记数据。为此，目前对于天然气用气行为检测领域中，存在用户用气异常行为样本量少，容易导致检测模型过拟合、预测误差大、不稳定等问题，

发明内容

为了解决现有技术中存在的问题，本发明提供一种基于迁移学习的用气行为异常检测方法及***，能够有效提升小样本数据下目标域任务用户异常行为检测的准确性和泛化性，同时减少样本的训练时间，提高检测精度。

为实现上述目的，本发明提供如下技术方案：

一种基于迁移学习的用气行为异常检测方法，包括如下步骤：

构建CNN-LSTM-Attention模型；

采集源域数据，将源域数据分为源域训练数据和源域测试数据；

基于源域训练数据对CNN-LSTM-Attention模型进行预训练；

基于源域测试数据对预训练好的CNN-LSTM-Attention模型进行测试，测试达标后选取迭代次数较少的模型作为异常检测模型；

采集目标域数据，将目标域数据分为目标域训练数据和目标域测试数据；

基于目标域训练数据对异常检测模型进行微调；

基于目标域测试数据和DTW算法对微调后的异常检测模型进行测试，获取并输出检测结果。

优选地，所述源域数据的采集范围包括Electricity Load Diagrams数据集，交通流量数据集以及某一区域内的用户用电数据集。

优选地，所述基于目标域测试数据和DTW算法对微调后的异常检测模型进行测试，具体为：

测试后获取检测结果，并判断获取的检测结果是否在正常区间内，

若检测结果在正常区间内，则表明目标域测试数据为正常数据点，无行为异常；

若检测结果在在正常区间内，则表明目标域测试数据为异常数据点，存在行为异常。

优选地，所述基于目标域测试数据和DTW算法对微调后的异常检测模型进行测试，获取并输出检测结果还包括：

对获取的检测结果进行激活。

优选地，所述对获取的检测结果进行激活包括：

若检测目标域测试数据是否存在行为异常时，采用softmax函数对获取的检测结果进行激活；

若预测目标域测试数据是否存在行为异常时，采用sigmoid函数对获取的检测结果进行激活。

优选地，所述基于目标域测试数据和DTW算法对微调后的异常检测模型进行测试，获取并输出检测结果中，

若获取多个检测结果，将获取的多个检测结果采用投票法选取并输出最终的异常检测结果。

一种基于迁移学习的用气行为异常检测***，包括：

基本模型构建模块，用于构建CNN-LSTM-Attention模型；

源域数据采集模块，用于采集源域数据，将源域数据分为源域训练数据和源域测试数据；

预训练模块，用于基于源域训练数据对CNN-LSTM-Attention模型进行预训练；

异常检测模型构建模块，用于基于源域测试数据对预训练好的CNN-LSTM-Attention模型进行测试，测试达标后选取迭代次数较少的模型作为异常检测模型；

目标域数据采集模块，用于采集目标域数据，将目标域数据分为目标域训练数据和目标域测试数据；

微调模块，用于基于目标域训练数据对异常检测模型进行微调；

检测模块，用于基于目标域测试数据和DTW算法对微调后的异常检测模型进行测试，获取并输出检测结果。

优选地，所述检测模块包括异常行为判断模块，所述异常行为判断模块用于测试后获取检测结果，并判断获取的检测结果是否在正常区间内，

优选地，所述检测模块还包括激活模块，所述激活模块用于对获取的检测结果进行激活。

优选地，所述还包括筛选模块，所述筛选模块用于当获取多个检测结果时，将获取的多个检测结果采用投票法选取并输出最终的异常检测结果。

与现有技术相比，本发明具有以下有益效果：

本发明提供一种基于迁移学习的用气行为异常检测方法，采用迁移学习的小样本表征学习，通过运用动态规划的思想来求取最小的累积距离，利用时间序列数据的相似性来实现不同时间序列检测模型的数据迁移，以相似度高的相关时间序列的大数据作为源域数据，对构建的CNN-LSTM-Attention模型进行预训练和测试，以避免基础训练对CNN-LSTM-Attention模型的过拟合；并构建小样本异常行为检测的有效目标域，能够提高模型的检测性能，降低对目标训练样本大小的要求，然后根据目标域数据对模型进行微调，以提升小样本数据下目标域任务用户异常行为检测的准确性和泛化性，同时减少样本的训练时间，整个实现过程较为简单，能够提升天然气用气行为异常时的检测精度，并对天然气用气进行预测，保障能源消费安全可靠的同时，也有助于刻画用户个性化需求、实现精准供能。

附图说明

图1为本发明单个源域训练异常检测模型流程图；

图2为本发明的集成学习异常检测模型流程图；

图3为本发明的模型结构图；

图4为本发明实施例中的数据展示图；

图5为本发明实施例中的异常检测结果图；

图6为本发明异常检测方法步骤流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本发明做进一步详细描述：

如图6所示，本发明一种基于迁移学习的用气行为异常检测方法，包括如下步骤：

构建CNN-LSTM-Attention模型；

基于源域训练数据对CNN-LSTM-Attention模型进行预训练；

基于目标域训练数据对异常检测模型进行微调；

本发明提供一种基于迁移学习的用气行为异常检测方法，采用迁移学习的小样本表征学习，迁移学习对于异常行为的检测是指在利用算法识别出源数据中远离其他数据的一类数据，通过手工设计所需的数据类型，来表征行为异常信息。近年来，迁移学习在日常生活中的各行为异常检测模型方法中不断被深入研究。特别是在天然气的用气行为异常检测领域中，具有很高的研究价值，符合理论研究的实际应用需求。本发明中通过运用动态规划的思想来求取最小的累积距离，利用时间序列数据的相似性来实现不同时间序列检测模型的数据迁移，以相似度高的相关时间序列的大数据作为源域数据，对构建的CNN-LSTM-Attention模型进行预训练和测试，以避免基础训练对CNN-LSTM-Attention模型的过拟合；并构建小样本异常行为检测的有效目标域，能够提高模型的检测性能，降低对目标训练样本大小的要求，然后根据目标域数据对模型进行微调，以提升小样本数据下目标域任务用户异常行为检测的准确性和泛化性，同时减少样本的训练时间，整个实现过程较为简单，能够提升天然气用气行为异常时的检测精度，并对天然气用气进行预测，保障能源消费安全可靠的同时，也有助于刻画用户个性化需求、实现精准供能。

本发明还提供一种基于迁移学习的用气行为异常检测***，用于实现本发明所述的异常检测方法，包括：

基本模型构建模块，用于构建CNN-LSTM-Attention模型；

实施例

本实施例中构建一种组合模型，即CNN-LSTM-Attention模型，并基于该组合模型对天然气用气行为进行异常检测，如图1所示，包括以下步骤：

步骤1)将源域数据分为源域训练数据以及源域测试数据；

步骤2)基于源域训练数据训练本发明提出的CNN-LSTM-Attention模型；

步骤3)通过源域测试数据对预训练好的CNN-LSTM-Attention模型进行测试，测试达标后选取迭代次数较少的模型作为CNN-LSTM-Attention预训练模型，以避免基础训练CNN-LSTM-Attention模型的过拟合；

步骤4)基于目标域训练数据微调预训练模型；

步骤5)使用目标域划分出的测试集数据测试微调后的模型性能；

步骤6)集成多个基学习器的结果，并使用动态时间规整(Dynamic Time Warping，DTW)算法为其进行加权赋值，使用投票法得出最终的检测结果。

在步骤1)中，源域数据集包括三个，分别为Electricity Load Diagrams数据集，交通流量数据集，以及另外区域的用户用电数据，暂时将其命名为Dataset1、Dataset2、Dataset3，其中，图4(a)为Dataset1数据展示，图4(b)为Dataset2数据展示，图4(c)为Dataset3数据展示。

其中，Dataset1是2016年1月6日到2019年1月6日每1小时记录的用电量。因为某些维度等于0，所以消除了一些的记录。最终得到的数据包含2016年到2019年321个客户的用电量。Dataset2中的数据是加利福尼亚交通部记录的以小时为单位交通流量的数据，时间跨度从2015年1月1日至2016年12月31日共计48个月的数据。旧金山湾区高速公路上安装有很多个不同的传感器，该数据集就是这些传感器所收集到的道路占用率，其所有数值均介于0和1之间。Dataset3是某区域2016年1月6日到2020年7月7日，每一小时记录一次的数据，数据包含用电量(kWh)，一周的第几天以及今天是周内还是周末。

在步骤2)中，本发明利用CNN-LSTM-Attention混合模型来检测异常用气行为检测。通过实验发现，CNN和LSTM相结合的方法在解决非线性问题方面有明显优势。因此，选择了CNN作为建模工具，并利用这种建模方式实现了用气行为的分类。本发明主要通过回归的方法来对***进行异常的检验，混合模型异常的检测和预测的性能有关，预测的性能指标的高低将直接地影响混合模型异常的检测特性，并且回归数据也是时间序列。所以，现在也可以利用LSTM模型，它既能够更有效准确地分析预测的时间序列数据，还更能够用来学习用气行为的特性。

在数据处理过程中，通常的特征提取方式容易损坏数据分析的潜在规律性，不能充分提炼数据信息的潜在价值关联。针对此问题提出了一种基于深度学习的卷积神经网络方法来分析数据的隐含模式和特征信息，并利用长短期记忆网络建立一个预测模型。CNN网络技术可充分发掘各种数据相互之间的基础关联，提炼各种数据之间的规律性，并将其作为特征向量，通过时序排序输入至LSTM层，进行后续模型训练。

当用户输入时间序列数据过长时，CNN-LSTM模式极易出现时间顺序统计消息损失的情况。针对这一情况，本发明提出一种基于改进算法的CNN-LSTM-Attention方法。同时，CNN-LSTM模型预测只需考察天然气输入特性参数的合理选择，并不需要考察输入特性参数和实际天然气输气量之间选择的合理影响的程度，进而直接影响到模型的预测的准确度水平和实际检测性能。为有效克服了这种问题，使用Attention机制为建模的输入特性增加不同的权值，增加对预期成果具有重要意义的特性向量，抑制与建模成果无关的特性，并使建模更容易发掘长序列数据分析中的关键特征以提高建模的质量和性能。CNN-LSTM-Attention混合模式通过使用多个结构来充分发掘各种数据之间的可能规律性，提高了预测精度和检测性能。

如图3所示，本实施例中所述模型结构如下：

Input层。将经过预处理的原始数据集按一定规则输入进混合模型中。假定批量输入的数据长度为m，可用X＝[x₁，x₂，...，x_m]^T表示输入向量。

CNN层。在传统的卷积神经网络中，CNN是最重要和应用最广的网络模型之一，它能够对高维信号进行有效处理。CNN层一般包含三个不同的操作层，分别是卷积层、池化层以及全连接层。CNN层的主要参数有卷积核大小，卷积层激活函数，池化方法，池化大小，全连接层神经元个数。根据本文所述，模型参数设置如下：基于时间序列的特性，卷积层的激活函数使用的是ReLU函数，首先选取了卷积核尺寸为三的一维卷积，把池化层设定为最大池化方法，把池化区域设定为二，最后使用了卷积神经网络的全连接层，把所有输入都转化为特征向量。

由于一维卷积神经网络是特殊的卷积神经网络，其卷积核和池化核都是一维的，因此，一维卷积神经网络通常被用来处理时间序列，提取其特征。一维时间序列的本质其实是一维向量，而一维卷积核本质上也是一维向量，因此，两者经过卷积计算得到的结果也是一维的。卷积层的输入与输出特征图像的尺寸计算满足如下公式：

在公式(1)中，x_in为输入图像尺寸，pad为填充尺寸，ks为卷积核尺寸大小，stride为卷积核的滑动步长。

LSTM层。从CNN层提取的特征向量被输入LSTM层，采用LSTM的结构来进行数据特性研究。本文所述混合模型仅使用一层LSTM结构。

一个LSTM单元通常由一个存储单元、一个输入门、一个输出门以及一个遗忘门组成。每个记忆模块中的信息都会通过三个门来对信息进行控制，这三个门分别是输入门(i_t)，输出门(o_t)以及遗忘门(f_t)。信息在当前神经元是否保留以及其遗忘程度皆是通过三个门来进行协同控制。1表示允许所有信息通过，0表示不允许任何信息通过，存储单元内的状态转移处理，如公式(2)到(7)所示：

i_t＝σ(W_i·[h_t-1，x_t]+b_i) (2)

f_t＝σ(W_f·[h_t-1，x_t]+b_f) (3)

o_t＝σ(W_o·[h_t-1，x_t]+b_o) (4)

h_t＝o_t*tanh(C_t) (7)

LSTM引入了门控机制来对信息进行更新，以确保梯度在较长的时序数据中的传递。如上述公式(2)到(7)所示，其中x_t表示t时刻的输入，h_t表示t时刻的输出，f_t、i_t、o_t分别控制遗忘门、输入门以及输出门的输出。公式(2)表示输入门i_t的计算方式，公式(3)表示遗忘门系数f_t的计算方式，公式(4)表示输出门系数o_t的计算过程，公式(5)表示候选单元状态

公式(6)表示单元状元C_t的计算方法，其中包含了前一时刻的单元状态C_t-1以及当前时刻的候选单元状态

公式(7)表示当前时刻输出h_t的计算过程。其中遗忘门系数f_t控制着前一时刻信息的保留与否，而输入门i_t则控制着当前时刻候选状态信息的保留与否。

Attention层。Attention层中的特征输入向量就是LSTM层中的输出向量，通过特征权值的分配原则，针对输入向量中的各种特性分别给出了不同的权重参数，利用模型进行迭代优化训练，以最终得到一个更优越的权重参数矩阵。

输出层。将Attention层的输出向量输入至Output层，通过一个全连接层得到最终的输出结果，若为检测，则产生二分类结论，激活函数方法选用的是softmax函数；若为预测，则选用sigmoid函数作为激活函数。

在步骤4)中，目标域数据集来源于某天然气公司真实用数据，如图4(d)所示为目标域数据展示，数据记录从2015年1月31日至2020年7月18日的场站用气记录。主要是以“天”为单位，记录每一日的用气量，该数据集共有十个场站数据。

在步骤6)中，如图2所示，上述步骤结束后每个样本点会得到三个结果标签，分别基于三个源域数据训练好的模型根据目标域数据再训练得到的结果，对这三个结果使用平均投票法，若该样本点前两个结果相同，则检测结果即为该结果，若两个结果不同，则第三个结果标签就是该样本点的检测结果，如图4所示。

本发明中所采用的的DTW算法原理如下：

假设存在两个序列R(t)＝{r₁，r₂，...，r_m}，T(t)＝t₁，t₂，...，t_n，长度分别为m、n，构成m×n矩阵K_m×n，矩阵K_m×n中的每个元素

由一组相邻的矩阵元素构成的集合称为弯曲路径，可表示为：

W＝w₁，w₂，...，w_k (8)

其中，max(n，m)≤K≤n+m-1，且需要满足以下几个性质：

a.两个时间序列的端点总是对齐的，w₁＝k_1，1，w_k＝k_m，n；

b.路径一定是连续的，即弯曲路径每次只能走向相邻的元素；

c.而且具有单调性，弯曲路径总是沿着时间轴单向向前移动。

DTW算法就是找到一条最短的弯曲路径，即如公式(9)所示：

其中，i＝2，3，...，m，j＝2，3，...，n，K_m×n中弯曲路径的最小值为D(m，n)。

实验结果说明

根据构建的异常检测模型，将天然气用气行为数据以及影响因素转化为输入数据矩阵，首先使用三个公开数据集作为源域数据对组合模型进行训练，然后采用基于模型的迁移学习方法，使用目标域数据对模型进行再训练，即微调模型，分别记录结果，得到检测出的异常样本与正常样本的结果图，如图5所示。

在图5中横坐标表示日期，纵坐标表示用气行为的原始数据，图5中左侧浅灰色曲线表示训练数据，右侧浅灰色曲线表示测试集真实数据，右侧黑色曲线表示模型预测结果，浅灰色区域表示置信区间，图中圆点表示超出置信区间的异常点。

由图5中右侧测试集真实数据的曲线图和模型预测结果的曲线图比较，可以看出基于本发明方法构建的异常检测模型检测结果较为理想，验证了采用本发明的构建方式基于迁移学习的混合模型进行用气行为异常检测的方法有着更好的检测性能。

在本发明中将通过计算模型的混淆矩阵，均方误差MSE，平均绝对误差MAE，均方根对数误差RMSLE，F1分数四个参数来对用气行为异常检测模型检测精度进行衡量。计算可得到本模型的MSE为0.013048，MAE为0.088136，RMSLE为0.005952，F1-score为80.32％；可以看出本异常检测模型的检测效果指标较为精确。本发明可为在后续储运过程中使用气数据分析提供有益的或指导性的意见，具有实际意义。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims

1.一种基于迁移学习的用气行为异常检测方法，其特征在于，包括如下步骤：

构建CNN-LSTM-Attention模型；

基于源域训练数据对CNN-LSTM-Attention模型进行预训练；

基于目标域训练数据对异常检测模型进行微调；

2.根据权利要求1所述的一种基于迁移学习的用气行为异常检测方法，其特征在于，所述源域数据的采集范围包括Electricity Load Diagrams数据集，交通流量数据集以及某一区域内的用户用电数据集。

3.根据权利要求1所述的一种基于迁移学习的用气行为异常检测方法，其特征在于，所述基于目标域测试数据和DTW算法对微调后的异常检测模型进行测试，具体为：

4.根据权利要求1所述的一种基于迁移学习的用气行为异常检测方法，其特征在于，所述基于目标域测试数据和DTW算法对微调后的异常检测模型进行测试，获取并输出检测结果还包括：

对获取的检测结果进行激活。

5.根据权利要求4所述的一种基于迁移学习的用气行为异常检测方法，其特征在于，所述对获取的检测结果进行激活包括：

6.根据权利要求1所述的一种基于迁移学习的用气行为异常检测方法，其特征在于，所述基于目标域测试数据和DTW算法对微调后的异常检测模型进行测试，获取并输出检测结果中，

7.一种基于迁移学习的用气行为异常检测***，其特征在于，基于权利要求1-6中任一项所述的异常检测方法，包括：

基本模型构建模块，用于构建CNN-LSTM-Attention模型；

8.根据权利要求7所述的一种基于迁移学习的用气行为异常检测***，其特征在于，所述检测模块包括异常行为判断模块，所述异常行为判断模块用于测试后获取检测结果，并判断获取的检测结果是否在正常区间内，

9.根据权利要求7所述的一种基于迁移学习的用气行为异常检测***，其特征在于，所述检测模块还包括激活模块，所述激活模块用于对获取的检测结果进行激活。

10.根据权利要求7所述的一种基于迁移学习的用气行为异常检测***，其特征在于，所述还包括筛选模块，所述筛选模块用于当获取多个检测结果时，将获取的多个检测结果采用投票法选取并输出最终的异常检测结果。