CN114936530A - 基于tam的多元空气质量数据缺失值填充模型及其构建方法 - Google Patents

基于tam的多元空气质量数据缺失值填充模型及其构建方法 Download PDF

Info

Publication number
CN114936530A
CN114936530A CN202210714518.6A CN202210714518A CN114936530A CN 114936530 A CN114936530 A CN 114936530A CN 202210714518 A CN202210714518 A CN 202210714518A CN 114936530 A CN114936530 A CN 114936530A
Authority
CN
China
Prior art keywords
output
predictor
layer
data
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210714518.6A
Other languages
English (en)
Inventor
马思远
宋伟
任晟岐
焦佳辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University
Original Assignee
Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University filed Critical Zhengzhou University
Priority to CN202210714518.6A priority Critical patent/CN114936530A/zh
Publication of CN114936530A publication Critical patent/CN114936530A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于TAM的多元空气质量数据缺失值填充模型及其构建方法，多元空气质量数据缺失值填充模型包括BatchNorm层、Input Layer层、Triple‑Views Layer层与Output Layer层。Triple‑Views Layer层从三个不同的视角——时间戳视角、特征视角与短期历史数据视角，分别对缺失读数进行预测，Output Layer层根据缺失读数的数值类型进行不同的计算，当缺失读数为连续型数值时，Output Layer层为每个视角的预测值分配权重并进行加权求和得到最终的预测结果，当缺失读数为离散型数值时，Output Layer层连接时间戳视角与特征视角的输出，通过线性映射与归一化得到不同类别的预测几率，进而得到预测数值。本模型可以对不同数值类型的缺失读数进行预测填充并达到更加精准的预测效果，为以后的多元空气质量数据缺失值填充任务开辟了新的思路。

Description

基于TAM的多元空气质量数据缺失值填充模型及其构建方法
技术领域
本发明涉及一种基于TAM的多元空气质量数据缺失值填充模型及其构建方法。
背景技术
空气质量数据是带有地理标记的多维时间序列数据，具有时间性、序列性和随季节变化的周期性。经过多年的研究与发展，数据缺失值处理的方法有缺失数据删除法、均值替换(MEAN)、前值替换法、线性回归模型LR(Linear Regression)、多层感知机MLP(Multi-Layer Perceptron)、K-最邻近模型KNN(K-Nearest Neighbors)与循环神经网络RNN(Recurrent Neural Network)。在大数据时代，数据的质量深刻的影响着决策的制定和科学的发展，其重要性不言而喻，加上其对机器学习领域的影响，缺失数据处理仍然是很多研究者不断探索的领域。
缺失数据删除法是早期处理缺失数据的方式，该方法将数据种所有含有确实读数的数据直接删除，这不仅会使数据丢失大量信息，还破坏了数据的结构性，在缺失率较高的数据集中甚至不能得到有效的数据进行分析与处理。
在填充某一种属性中的缺失值时，平均值代替法使用该属性所有观测值的平均值进行填充，前值替换法使用缺失值所在时间戳之前的数据进行填充，这两种方法均忽略了数据的方差与各个属性之间的相关性，预测具有片面性。
线性回归模型是由一层全连接层(Fully Connected Layer)构成的前馈神经网络(Feed Forward Neural Networks)，多层感知机则是在线性回归模型的基础上添加激活函数与全连接层的数量。这两种方法与平均值替换法相比，保留了缺失数据变量的方差和协方差，但是其所有的估算值都遵循一个单一的回归曲线，仅考虑单特征时序信息，忽略数据矩阵的结构性，不能代表数据中的任何内在变化。
K-最邻近模型是一种机器学习模型，其不含有需要学习的参数，对于含有缺失值的目标样本，KNN按照某种距离度量算法(如欧几里得距离)来计算目标样本与已知样本的“距离”，从而选择最相近的K个样本来进行缺失数值的预测，其缺点是对于每一个待估计样本，都需要对所有已知样本进行一次遍历，当缺失数据量较大时，会十分耗时，此外模型的效果十分依赖距离算法。
循环神经网络可以处理时序问题，它具有“记忆”能力，能够很好的处理时间特征的相互关系。但是循环神经网络也有明显的缺点，一方面RNN的前向传播是顺序进行的，难以利用GPU的并行特性，在处理时序较长的数据时会花费大量的时间，计算效率不高；另一方面，RNN难以解决长程依赖的问题，面对时序较长的数据时难以挖掘所有时间戳对应的信息。
TAM为一种基于注意力机制(Attention)的深度学习模型。首先，注意力机制能够很好的发掘数据内部潜在的相互关系，面对多特征的空气质量数据，Attention机制能够从不同的角度——时间戳数据相关性与特征相关性来提取数据的内部联系，从而取得更好的预测效果。其次，注意力机制很好的解决了长程依赖问题，它能够关注到所有时间戳的信息，从而避免了相距较远时间戳信息难以建立联系的情况。最后，Attention机制很好的利用了GPU的并行处理能力，在处理较长时序的数据时也能够拥有不错的效率。
综上，Attention机制能够很好的处理多元空气质量数据缺失值填充任务。
如今，人们越来越关注空气污染问题，因为它时刻威胁着人类的身体健康与社会的可持续发展，因此人们在城市中建立了越来越多的监测站，来不断获取空气质量数据与气象数据等，这为人们分析污染来源、探究污染主要成分、预测空气质量提供了数据基础。但是，由于监测设备的停机维护、损坏、通信错误、意外中断(如停电)等原因，导致传感器监测得到的数据含有缺失数值。缺失数据不仅会影响实时的污染物数值监测，还会为数据分析和污染物浓度预测带来干扰，数据的有效性对于人们分析数据、预防与治理空气污染至关重要。
空气质量缺失值填充(空气质量数据监测)作为城市空气质量预测任务种的一个重要分支，具有重要的研究意义与应用价值，已经在空气质量数据挖掘领域引起了广泛的关注。传统的数据分析方法(如平均值替换法MEAN与前置替换法)不能满足大数据所面临的挑战，而且实现效率低下，大数据分析技术的使用有利于对这些数据进行深度挖掘，以提取空气质量变化的模式和规律，并将其运用在缺失数据的填充任务上，来获得更好的效果。基于大数据的方法中，LR与MLP仅考虑单特征时序信息，忽略了数据矩阵的结构性；KNN在对每一个确实读数进行预测时都需要对比所有的已知数据，十分耗时，且算法十分依赖距离度量方法；RNN虽然能够很好的胜任时间序列预测任务，但是其运行效率较低且无法解决长程依赖问题。
发明内容
本发明提供了一种基于TAM的多元空气质量数据缺失值填充模型及其构建方法，用于解决基于现有模型提出的城市多元空气质量数据缺失值填充模型预测精度较低的技术问题。
一种基于TAM的多元空气质量数据缺失值填充模型的构建方法，包括：
构建BatchNorm层，所述BatchNorm层用于标准化多元空气质量数据；
构建Input Layer层，所述Input Layer层包括实现多元时间序列位置编码与全连接线性层，所述多元时间序列位置编码用于为时间序列添加位置信息，所述全连接线性层用于将输入数据映射到稠密向量；
构建Triple-Views Layer层，所述Triple-Views Layer层包括实现时间戳视角预测器、特征视角预测器与短期历史数据视角预测器，所述时间戳视角预测器用于从时间维度进行预测，所述特征视角预测器用于从多元特征维度进行预测，所述短期历史数据视角预测器用于根据历史读数进行预测；
构建Output Layer层，所述Output Layer层按照缺失数据类型分为ContinuousOutput Layer层与Discrete Output Layer层。所述Continuous Output Layer层针对连续型缺失数据，首先为时间戳视角预测器、特征视角预测器与短期历史数据视角预测器分配并初始化权重与偏置，其次将时间戳视角预测器与特征视角预测器的输出矩阵映射为预测值，最终按照权重对预测值进行加权求和得到最终的预测结果；所述Discrete OutputLayer层针对离散型缺失数据，首先将时间戳视角预测器与特征视角预测器的输出矩阵处理成输出向量，其次将输出向量映射到[0,1]区间内，使得所有输出向量值的累加和为1，最终选取概率最大的节点作为输出节点。
在一个具体实施方式中，所述构建BatchNorm层，包括：
构建BatchNorm层，通过归一化函数对多元空气质量数据进行标准化。
在一个具体实施方式中，所述Input Layer层中设置有全连接层与位置编码。
在一个具体实施方式中，所述时间戳视角预测器与所述特征视角预测器中设置有多头注意力机制、ReLU激活函数与Dropout随机失活。
在一个具体实施方式中，所述分配并初始化权重与偏置，包括：
为每个视角分配并初始化权重与偏置{w1,w2,w3,b}，其初始值为{0.33,0.33,0.33,0}；
所述将时间戳视角预测器与特征视角预测器的输出矩阵映射为预测值，包括：
得到的时间戳视角预测器与特征视角预测器的输出矩阵分别为MatrixT和MatrixF，将所述输出矩阵分别通过一层全连接神经网络映射得到预测值；
所述按照权重对预测值加权求和，包括：
得到的特征视角预测器的预测值、时间戳视角预测器的预测值与短期历史数据视角预测器的预测值分别为preF、preT与preP，将三个视角的预测值进行加权求和，计算公式如下：
Output＝w1*preF+w2*preT+w3*preP+b
其中Output为所述最终的预测结果；
所述将时间戳视角预测器与特征视角预测器的输出矩阵处理成输出向量，包括：
得到的时间戳视角预测器与特征视角预测器的输出矩阵分别为MatrixT和MatrixF，将所述输出矩阵进行连接得到的向量为Concatenate(MatrixT,MatrixF)，再经过全连接层映射得到输出向量；
所述将输出向量映射到[0，1]区间内，包括：
Figure BDA0003708392510000041
其中，zi为第i个节点的输出值，C为输出向量的长度，即离散型数据的类别个数。
一种基于TAM的多元空气质量数据缺失值填充模型，包括：
BatchNorm层，所述BatchNorm层用于标准化多元空气质量数据；
Input Layer层，所述Input Layer层包括实现多元时间序列位置编码与全连接线性层，所述多元时间序列位置编码用于为时间序列添加位置信息，所述全连接线性层用于将输入数据映射到稠密向量；
Triple-Views Layer层，所述Triple-Views Layer层包括实现时间戳视角预测器、特征视角预测器与短期历史数据视角预测器，所述时间戳视角预测器用于从时间维度进行预测，所述特征视角预测器用于从多元特征维度进行预测，所述短期历史数据视角预测器用于根据历史读数进行预测；
Output Layer层，所述Output Layer层按照缺失数据类型分为ContinuousOutput Layer层与Discrete Output Layer层。所述Continuous Output Layer层针对连续型缺失数据，首先为时间戳视角预测器、特征视角预测器与短期历史数据视角预测器分配并初始化权重与偏置，其次将时间戳视角预测器与特征视角预测器的输出矩阵映射为预测值，最终按照权重对预测值进行加权求和得到最终的预测结果；所述Discrete OutputLayer层针对离散型缺失数据，首先将时间戳视角预测器与特征视角预测器的输出矩阵处理成输出向量，其次将输出向量映射到[0,1]区间内，使得所有输出向量值的累加和为1，最终选取概率最大的节点作为输出节点。
在一个具体实施方式中，所述构建BatchNorm层，包括：
构建BatchNorm层，通过归一化函数对多元空气质量数据进行标准化。
在一个具体实施方式中，所述Input Layer层中设置有全连接层与位置编码。
在一个具体实施方式中，所述时间戳视角预测器与所述特征视角预测器中设置有多头注意力机制、ReLU激活函数与Dropout随机失活。
在一个具体实施方式中，所述分配并初始化权重与偏置，包括：
为每个视角分配并初始化权重与偏置{w1,w2,w3,b}，其初始值为{0.33,0.33,0.33,0}；
所述将时间戳视角预测器与特征视角预测器的输出矩阵映射为预测值，包括：
得到的时间戳视角预测器与特征视角预测器的输出矩阵分别为MatrixT和MatrixF，将所述输出矩阵分别通过一层全连接神经网络映射得到预测值；
所述按照权重对预测值加权求和，包括：
得到的特征视角预测器的预测值、时间戳视角预测器的预测值与短期历史数据视角预测器的预测值分别为preF、preF与preP，将三个视角的预测值进行加权求和，计算公式如下：
Output＝w1*preF+w2*preT+w3*preP+b
其中Output为所述最终的预测结果；
所述将时间戳视角预测器与特征视角预测器的输出矩阵处理成输出向量，包括：
得到的时间戳视角预测器与特征视角预测器的输出矩阵分别为MatrixT和MatrixF，将所述输出矩阵进行连接得到的向量为Concatenate(MatrixT,MatrixF)，再经过全连接层映射得到输出向量；
所述将输出向量映射到[0，1]区间内，包括：
Figure BDA0003708392510000061
其中，zi为第i个节点的输出值，C为输出向量的长度，即离散型数据的类别个数。
本发明提供的一种基于TAM的多元空气质量数据缺失值填充模型及其构建方法中，构建Triple-Views Layer层，Triple-Views Layer层包括实现时间戳视角预测器、特征视角预测器与短期历史数据视角预测器，时间戳视角预测器用于从时间维度进行预测，特征视角预测器用于从多特征维度进行预测，短期历史数据视角预测器用于根据历史读数进行预测，通过结合多个视角的预测结果，能够更好的适用于后续的多元空气质量缺失值填充，提高多元空气质量缺失值填充的精度。在每个视角得到了输出矩阵之后，根据缺失值数据类型，Output层分为Continuous Output Layer层与Discrete Output Layer层，Continuous Output Layer层针对连续型缺失数据，首先为时间戳视角预测器、特征视角预测器与短期历史数据视角预测器分配并初始化权重与偏置，其次将时间戳视角预测器与特征视角预测器的输出矩阵映射为预测值，最终按照权重对预测值进行加权求和得到最终的预测结果；Discrete Output Layer层针对离散型缺失数据，首先将时间戳视角预测器与特征视角预测器的输出矩阵处理成输出向量，其次将输出向量映射到[0，1]区间内，使得所有输出向量值的累加和为1，最终选取概率最大的节点作为输出节点。与其他传统模型和基于大数据技术的模型相比，本发明提供的多元空气质量数据缺失值填充模型能达到得更高的预测精度，为之后的多元空气质量数据缺失值填充任务开辟了新的思路。
附图说明
图1是本发明提供的基于TAM的多元空气质量数据缺失值填充模型及其构建方法的流程图；
图2是本发明提供的基于TAM的多元空气质量数据缺失值填充模型的一种具体数据执行流程图；
图3是本发明提供的基于TAM的多元空气质量数据缺失值填充模型的整体结构示意图；
图4是本发明提供的基于TAM的多元空气质量数据缺失值填充模型的一种具体网络结构图。
具体实施方式
基于TAM的多元空气质量数据缺失值填充模型的构建方法实施例：
本实施例提供一种基于TAM的多元空气质量数据缺失值填充模型及其构建方法，该构建方法的硬件执行主体可以为台式电脑、笔记本电脑、服务器设备、智能移动终端(平板电脑、智能手机等)等等，本实施例不做限定。
如图1所示，该构建方法包括：
步骤1：构建BatchNorm层：
构建BatchNorm层，通过归一化函数对多元空气质量数据进行标准化。
归一化函数：
Figure BDA0003708392510000071
其中x为输入数据，
Figure BDA0003708392510000072
为归一化后的数据，
Figure BDA0003708392510000073
为输入数据的平均值，σ2为输入数据的方差，∈为一个极小值以防止分母为0。
步骤2：构建Input Layer层，所述Input Layer层包括实现多元时间序列位置编码与全连接线性层，所述多元时间序列位置编码用于为时间序列添加位置信息，所述全连接线性层用于将输入数据映射到稠密向量：
输入数据为一定时间长度的多维时间序列，其时间跨度较小，每个数值仅代表某一属性在某一时间戳的指标数据，因此添加全连接层将稀疏向量映射为高维的稠密向量。
由于自注意力机制无法识别多维时间序列的时间位置信息，因此添加位置编码以对时间信息进行编码。
全连接层：A＝WX+B
位置编码：
Figure BDA0003708392510000074
Figure BDA0003708392510000075
其中，pos指的是多元空气质量数据中某一特征的位置，取值范围是[0，max_sequence_length)，max_sequence_length是多元空气质量数据中所含特征的总数，i指的是特征的时间维度序号，取值范围是[0，embedding_dimension/2)，embedding_dimension指的是多维特征的映射成为稠密向量后特征的维度，dmodel指的是embedding_dimension的值。
步骤3：构建Triple-Views Layer层，所述Triple-Views Layer层包括实现时间戳视角预测器、特征视角预测器与短期历史数据视角预测器，所述时间戳视角预测器用于从时间维度进行预测，所述特征视角预测器用于从多元特征维度进行预测，所述短期历史数据视角预测器用于根据历史读数进行预测：
首先，多元空气质量数据是一种时间序列数据，对其在未来时间上的数值预测依赖于时间上的变化特性；其次，多元空气质量数据具有多个特征维度，其中每个特征维度的数据都是一个单变量的时间序列，不同特征之间存在着潜在的联系；最后，时间序列的数值往往与短期相邻数据较为相近。本实例设计了Triple-Views Layer框架，其中时间戳视角与特征视角中的预测器都明确执行了以下步骤：通过注意力机制进行与时间戳与特征相关的相关性计算。
Q＝X·WQ
K＝X·WK
V＝X·WV
其中Q、K、V分别表示每个序列的Query向量、Key向量和Value向量。
自注意力机制：
Figure BDA0003708392510000081
构建Triple-Views Layer层，Triple-Views Layer层包括实现时间戳视角预测器、特征视角预测器与短期历史数据视角预测器，所述时间戳视角预测器用于从时间维度进行预测，所述特征视角预测器用于从多特征维度进行预测，所述短期历史数据视角预测器用于根据历史读数进行预测，其中：
时间戳视角预测器(Timestamp View Predictor)：
为了关注不同时间戳数据之间的潜在联系，模型计算所有时间戳之间的相关性权重矩阵，权值越大代表相关性越高。多头注意力机制即关注不同空间上的相关性计算并将多个Attention结果进行拼接作为输出向量。在多头注意力之后跟着ReLU非线性激活函数与Dropout随即失活，ReLU为神经网络添加非线性变化，加快模型的学习速度并增强拟合能力，随机失活降低了模型的过拟合程度。
如图2所示，为时间戳视角预测器的一种具体数据处理流程图，使用线性层将标准化之后的多元空气质量数据映射为稠密向量，然后为多元时间序列(稠密向量)添加位置编码，接着生成时间戳Q、K、V矩阵进行相关性计算并得到时间戳Attention矩阵，即时间戳视角预测器的输出矩阵。
特征视角预测器(Feature View Predictor)：
为了关注不同特征之间的潜在联系，模型计算所有特征时间序列之间的相关性权重矩阵，权值越大代表相关性越高。多头注意力机制即关注不同空间上的相关性计算并将多个Attention结果进行拼接作为输出向量。在多头注意力之后跟着ReLU非线性激活函数与Dropout随即失活，ReLU为神经网络添加非线性变化，加快模型的学习速度并增强拟合能力，随机失活降低了模型的过拟合程度。
如图2所示，为特征视角预测器的一种具体数据处理流程图，首先将标准后的多元空气质量数据转置，接着使用线性层将标准化之后的转置多元空气质量数据映射为稠密向量，然后为多元时间序列(稠密向量)添加位置编码，接着生成特征Q、K、V矩阵进行相关性计算并得到特征Attention矩阵，即特征视角预测器的输出矩阵。
短期历史数据视角预测器(Previous View Predictor)：
多元空气质量数据是一种时间序列数据，在时间维度上，相邻时间戳数据之间往往更具有相似性，为了关注这种特性，短期历史数据预测器选取缺失值(待预测值)所在属性(特征)前一个时间戳的数据作为预测值。
如图2所示，为短期历史数据视角预测器，根据标准化后的多元空气质量数据获取缺失值所在属性前一个时间戳的数据作为预测值。
步骤3：构建Output Layer层，所述Output Layer层按照缺失数据类型分为Continuous Output Layer层与Discrete Output Layer层。所述Continuous OutputLayer层针对连续型缺失数据，首先为时间戳视角预测器、特征视角预测器与短期历史数据视角预测器分配并初始化权重与偏置，其次将时间戳视角预测器与特征视角预测器的输出矩阵映射为预测值，最终按照权重对预测值进行加权求和得到最终的预测结果；所述Discrete Output Layer层针对离散型缺失数据，首先将时间戳视角预测器与特征视角预测器的输出矩阵处理成输出向量，其次将输出向量映射到[0,1]区间内，使得所有输出向量值的累加和为1，最终选取概率最大的节点作为输出节点：
在空气质量数据中不仅包含连续型的缺失数据，也包含着离散型的缺失数据，对连续型缺失数据的归因是一个预测任务，对离散型缺失数据的归因是一个分类任务，因此在填充不同类型的缺失数据时应该区别对待。大部分的基于大数据的预测模型往往适用于连续型数据的归因任务，而难以在离散型缺失数据归因任务上取得较好的效果，而基于Attention机制的模型能够很好的解决这一问题，Attention通过关注不同维度之间的相互联系来提取多维时间序列内部的数据特征，同时适用于分类与预测任务。
当缺失值为连续型数据时，Continuous Output Layer中设置两个线性层分别将时间戳视角预测器与特征视角预测器的输出矩阵映射为预测值，分别为preT与preF，接着我们获取短期历史数据视角预测器的预测值preP，最后通过一个加权求和公式计算得到最终的预测值，计算公式如下：
Output＝w1*preF+w2*preT+w3*preP+b
其中w1、w2、w3与b在模型创建时进行初始化，在模型学习过程中进行梯度下降来学习更新，Output为最终的预测数值。
当缺失值为离散型数据时，MatrixT和MatrixF分别为时间戳视角预测器与特征视角预测器的输出矩阵，Discrete Output Layer层首先将输出矩阵进行连接得到拼接向量Concatenate(MatrixT,MatrixF)，其次经过全连接层映射将拼接向量映射到维度为分类类别(离散型数据类别)维度的输出向量，最后通过Softmax函数将输出向量映射到[0,1]区间内，使得所有输出向量值的累加和为1，最终选取概率最大的节点作为输出节点，Softmax函数如下：
Figure BDA0003708392510000101
其中，zi为第i个节点的输出值，C为输出向量的长度，即离散型数据的类别个数。
本发明提供的模型使用Attention机制能够从不同的角度——时间戳数据相关性与特征相关性来发掘数据内部潜在的相互关系，同时考虑时间序列的短期历史数据，从而取得更好的预测效果，并且Attention机制解决了长程依赖问题。在多元空气质量缺失值填充任务上，和其他基于大数据技术的模型相比能偶实现更加精准的预测，为以后的多元空气质量缺失数据填充任务开辟了新的思路。
基于TAM的多元空气质量数据缺失值填充模型实施例：
本实施例提供一种基于TAM的多元空气质量数据缺失值填充模型，与上述基于TAM的多元空气质量数据缺失值填充模型的构建方法相对应，如图3所示，基于TAM的多元空气质量数据缺失值填充模型包括：
BatchNorm层，所述BatchNorm层用于标准化多元空气质量数据；
Input Layer层，所述Input Layer层包括实现多元时间序列位置编码与全连接线性层，所述多元时间序列位置编码用于为时间序列添加位置信息，所述全连接线性层用于将输入数据映射到稠密向量；
Triple-Views Layer层，所述Triple-Views Layer层包括实现时间戳视角预测器、特征视角预测器与短期历史数据视角预测器，所述时间戳视角预测器用于从时间维度进行预测，所述特征视角预测器用于从多元特征维度进行预测，所述短期历史数据视角预测器用于根据历史读数进行预测；
Output Layer层，所述Output Layer层按照缺失数据类型分为ContinuousOutput Layer层与Discrete Output Layer层。所述Continuous Output Layer层针对连续型缺失数据，首先为时间戳视角预测器、特征视角预测器与短期历史数据视角预测器分配并初始化权重与偏置，其次将时间戳视角预测器与特征视角预测器的输出矩阵映射为预测值，最终按照权重对预测值进行加权求和得到最终的预测结果；所述Discrete OutputLayer层针对离散型缺失数据，首先将时间戳视角预测器与特征视角预测器的输出矩阵处理成输出向量，其次将输出向量映射到[0,1]区间内，使得所有输出向量值的累加和为1，最终选取概率最大的节点作为输出节点。
对于各个处理层的具体实现方式参见上述基于TAM的多元空气质量数据缺失值填充模型的构建方法实施例，不再赘述。
图4为基于TAM的多元空气质量数据缺失值填充模型的一种具体网络结构图。
上述实施例仅以一种具体的实施方式说明本发明的技术方案，任何对本发明进行的等同替换及不脱离本发明精神和范围的修改或局部替换，其均应涵盖在本发明权利要求保护的范围之内。

Claims (10)

1.一种基于TAM的多元空气质量数据缺失值填充模型的构建方法，其特征在于，包括：
构建BatchNorm层，所述BatchNorm层用于标准化多元空气质量数据；
构建Input Layer层，所述Input Layer层包括实现多元时间序列位置编码与全连接线性层，所述多元时间序列位置编码用于为时间序列添加位置信息，所述全连接线性层用于将输入数据映射到稠密向量；
构建Triple-Views Layer层，所述Triple-Views Layer层包括实现时间戳视角预测器、特征视角预测器与短期历史数据视角预测器，所述时间戳视角预测器用于从时间维度进行预测，所述特征视角预测器用于从多元特征维度进行预测，所述短期历史数据视角预测器用于根据历史读数进行预测；
构建Output Layer层，所述Output Layer层按照缺失数据类型分为ContinuousOutput Layer层与Discrete Output Layer层。所述Continuous Output Layer层针对连续型缺失数据，首先为时间戳视角预测器、特征视角预测器与短期历史数据视角预测器分配并初始化权重与偏置，其次将时间戳视角预测器与特征视角预测器的输出矩阵映射为预测值，最终按照权重对预测值进行加权求和得到最终的预测结果；所述Discrete OutputLayer层针对离散型缺失数据，首先将时间戳视角预测器与特征视角预测器的输出矩阵处理成输出向量，其次将输出向量映射到[0,1]区间内，使得所有输出向量值的累加和为1，最终选取概率最大的节点作为输出节点。
2.根据权利要求1所述的基于TAM的多元空气质量数据缺失值填充模型的构建方法，其特征在于，所述构建embedding层，包括：
构建BatchNorm层，通过归一化函数对多元空气质量数据进行标准化。
3.根据权利要求1所述的基于TAM的多元空气质量数据缺失值填充模型的构建方法，其特征在于，所述Input Layer层中设置有全连接层与位置编码。
4.根据权利要求1所述的基于TAM的多元空气质量数据缺失值填充模型的构建方法，其特征在于，所述时间戳视角预测器与所述特征视角预测器中设置有多头注意力机制、ReLU激活函数与Dropout随机失活。
5.根据权利要求1所述的基于TAM的多元空气质量数据缺失值填充模型的构建方法，其特征在于，所述分配并初始化权重与偏置，包括：
为每个视角分配并初始化权重与偏置{w1,w2,w3,b}，其初始值为{0.33,0.33,0.33,0}；
所述将时间戳视角预测器与特征视角预测器的输出矩阵映射为预测值，包括：
得到的时间戳视角预测器与特征视角预测器的输出矩阵分别为MatrixT和MatrixF，将所述输出矩阵分别通过一层全连接神经网络映射得到预测值；
所述按照权重对预测值加权求和，包括：
得到的特征视角预测器的预测值、时间戳视角预测器的预测值与短期历史数据视角预测器的预测值分别为preF、preT与preP，将三个视角的预测值进行加权求和，计算公式如下：
Output＝w1*preF+w2*preF+w3*preP+b
其中Output为所述最终的预测结果；
所述将时间戳视角预测器与特征视角预测器的输出矩阵处理成输出向量，包括：
得到的时间戳视角预测器与特征视角预测器的输出矩阵分别为MatrixT和MatricF，将所述输出矩阵进行连接得到的向量为Concatenate(MatrixT,MatrixF)，再经过全连接层映射得到输出向量；
所述将输出向量映射到[0，1]区间内，包括：
Figure FDA0003708392500000021
其中，zi为第i个节点的输出值，C为输出向量的长度，即离散型数据的类别个数。
6.一种基于TAM的多元空气质量数据缺失值填充模型，其特征在于，包括：
BatchNorm层，所述BatchNorm层用于标准化多元空气质量数据；
Input Layer层，所述Input Layer层包括实现多元时间序列位置编码与全连接线性层，所述多元时间序列位置编码用于为时间序列添加位置信息，所述全连接线性层用于将输入数据映射到稠密向量；
Triple-Views Layer层，所述Triple-Views Layer层包括实现时间戳视角预测器、特征视角预测器与短期历史数据视角预测器，所述时间戳视角预测器用于从时间维度进行预测，所述特征视角预测器用于从多元特征维度进行预测，所述短期历史数据视角预测器用于根据历史读数进行预测；
Output Layer层，所述Output Layer层按照缺失数据类型分为Continuous OutputLayer层与Discrete Output Layer层。所述Continuous Output Layer层针对连续型缺失数据，首先为时间戳视角预测器、特征视角预测器与短期历史数据视角预测器分配并初始化权重与偏置，其次将时间戳视角预测器与特征视角预测器的输出矩阵映射为预测值，最终按照权重对预测值进行加权求和得到最终的预测结果；所述Discrete Output Layer层针对离散型缺失数据，首先将时间戳视角预测器与特征视角预测器的输出矩阵处理成输出向量，其次将输出向量映射到[0，1]区间内，使得所有输出向量值的累加和为1，最终选取概率最大的节点作为输出节点。
7.根据权利要求6所述的基于TAM的多元空气质量数据缺失值填充模型，其特征在于，所述BatchNorm层用于标准化多元空气质量数据。
8.根据权利要求6所述的基于TAM的多元空气质量数据缺失值填充模型，其特征在于，所述Input Layer层中设置有全连接层与位置编码。
9.根据权利要求6所述的基于TAM的多元空气质量数据缺失值填充模型，其特征在于，所述时间戳视角预测器与所述特征视角预测器中设置有多头注意力机制、ReLU激活函数与Dropout随机失活。
10.根据权利要求6所述的基于TAM的多元空气质量数据缺失值填充模型，其特征在于，所述分配并初始化权重与偏置，包括：
为每个视角分配并初始化权重与偏置{w1，w2，w3，b}，其初始值为{0.33，0.33，0.33，0}；
所述将时间戳视角预测器与特征视角预测器的输出矩阵映射为预测值，包括：
得到的时间戳视角预测器与特征视角预测器的输出矩阵分别为MatrixT和MatrixF，将所述输出矩阵分别通过一层全连接神经网络映射得到预测值；
所述按照权重对预测值加权求和，包括：
得到的特征视角预测器的预测值、时间戳视角预测器的预测值与短期历史数据视角预测器的预测值分别为preF、preT与preP，将三个视角的预测值进行加权求和，计算公式如下：
Output＝w1*preF+w2*preT+w3*preP+b
其中Output为所述最终的预测结果；
所述将时间戳视角预测器与特征视角预测器的输出矩阵处理成输出向量，包括：
得到的时间戳视角预测器与特征视角预测器的输出矩阵分别为MatrixT和MatrixF，将所述输出矩阵进行连接得到的向量为Concatenate(MatrixT，MatrixF)，再经过全连接层映射得到输出向量；
所述将输出向量映射到[0，1]区间内，包括：
Figure FDA0003708392500000041
其中，zi为第i个节点的输出值，C为输出向量的长度，即离散型数据的类别个数。
CN202210714518.6A 2022-06-22 2022-06-22 基于tam的多元空气质量数据缺失值填充模型及其构建方法 Pending CN114936530A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210714518.6A CN114936530A (zh) 2022-06-22 2022-06-22 基于tam的多元空气质量数据缺失值填充模型及其构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210714518.6A CN114936530A (zh) 2022-06-22 2022-06-22 基于tam的多元空气质量数据缺失值填充模型及其构建方法

Publications (1)

Publication Number Publication Date
CN114936530A true CN114936530A (zh) 2022-08-23

Family

ID=82868409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210714518.6A Pending CN114936530A (zh) 2022-06-22 2022-06-22 基于tam的多元空气质量数据缺失值填充模型及其构建方法

Country Status (1)

Country Link
CN (1) CN114936530A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165664A (zh) * 2018-07-04 2019-01-08 华南理工大学 一种基于生成对抗网络的属性缺失数据集补全与预测方法
CN111046027A (zh) * 2019-11-25 2020-04-21 北京百度网讯科技有限公司 时间序列数据的缺失值填充方法和装置
CN112884230A (zh) * 2021-02-26 2021-06-01 润联软件***(深圳)有限公司 基于多元时间序列的电力负荷预测方法、装置及相关组件
CN113011495A (zh) * 2021-03-18 2021-06-22 郑州大学 基于gtn的多元时间序列分类模型及其构建方法
US20210407284A1 (en) * 2020-06-30 2021-12-30 Xidian University Vehicle traffic flow prediction method with missing data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165664A (zh) * 2018-07-04 2019-01-08 华南理工大学 一种基于生成对抗网络的属性缺失数据集补全与预测方法
CN111046027A (zh) * 2019-11-25 2020-04-21 北京百度网讯科技有限公司 时间序列数据的缺失值填充方法和装置
US20210407284A1 (en) * 2020-06-30 2021-12-30 Xidian University Vehicle traffic flow prediction method with missing data
CN112884230A (zh) * 2021-02-26 2021-06-01 润联软件***(深圳)有限公司 基于多元时间序列的电力负荷预测方法、装置及相关组件
CN113011495A (zh) * 2021-03-18 2021-06-22 郑州大学 基于gtn的多元时间序列分类模型及其构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宋维;高超;赵?;赵燕东;: "基于LSTM的活立木茎干水分缺失数据填补方法", 林业科学, no. 02, 15 February 2020 (2020-02-15) *
苏思凡;竹翠;朱文军;赵枫朝;: "基于时空融合的缺失值填补算法", 计算机工程与设计, no. 01, 16 January 2020 (2020-01-16) *

Similar Documents

Publication Publication Date Title
Tzafestas et al. Computational intelligence techniques for short-term electric load forecasting
CN113316163B (zh) 基于深度学习的长期网络流量预测方法
Nguyen et al. PM2. 5 prediction using genetic algorithm-based feature selection and encoder-decoder model
Tan et al. Multi-node load forecasting based on multi-task learning with modal feature extraction
CN115270986A (zh) 数据异常检测方法、装置和计算机设备
CN115018193A (zh) 基于lstm-ga模型的时间序列风能数据预测方法
Shi et al. Handling uncertainty in financial decision making: a clustering estimation of distribution algorithm with simplified simulation
Zou et al. Deep non-crossing probabilistic wind speed forecasting with multi-scale features
CN115630101A (zh) 水文参数智能化监控与水资源大数据管理***
CN114841072A (zh) 一种基于差分融合Transformer的时序预测方法
CN115983497A (zh) 一种时序数据预测方法和装置、计算机设备、存储介质
CN113762591B (zh) 一种基于gru和多核svm对抗学习的短期电量预测方法及***
CN117808214A (zh) 水利工程数据分析***
CN116910049A (zh) 基于mdan的电力负荷数据缺失值填充模型及其构建方法
CN116826743A (zh) 一种基于联邦图神经网络的电力负荷预测方法
CN116738354A (zh) 一种电力物联网终端行为异常检测方法及***
CN114936530A (zh) 基于tam的多元空气质量数据缺失值填充模型及其构建方法
Sahu et al. Forecasting currency exchange rate time series with fireworks-algorithm-based higher order neural network with special attention to training data enrichment
CN114254828B (zh) 一种基于混合卷积特征提取器和gru的电力负荷预测方法
CN117833243B (zh) 一种电力短期需求预测方法、***、设备及介质
Kavitha et al. GA Based Stochastic Optimization For Stock Price Forecasting using Fuzzy Time series Hidden Markov Model
Palokoto et al. A Comparative Study on Machine Learning-Aided Flow Traffic Generators
CN116933924A (zh) 建筑物负荷预测方法、装置、设备及可读存储介质
Xian et al. Short-term load probability prediction based on conditional generative adversarial network curve generation
Momtaz et al. Long-term Forecasting Heat Use in Sweden's Residential Sector using Genetic Algorithms and Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination