CN117196353B - 基于大数据的环境污染评估与监测方法及*** - Google Patents

Abstract

本发明涉及数据监督管理领域，具体涉及一种基于大数据的环境污染评估与监测方法及***。该方法包括：获取不同气象参数的原始数据点，根据气象参数中原始数据点的分布获得突变程度和气象参数中的极值点，根据原始数据点的突变程度以及极值点的分布和极值点数量获得区分度，获取气象参数之间的皮尔逊相关系数，基于气象参数的采样间隔获得原始数据点的时序范围，进而获取到每个原始数据点的参考价值，基于参考价值对插值前后产生的误差进行调整，获得最优插值曲线，基于最优插值曲线对环境污染进行评估监测。本发明避免了插值精度过高的过拟合和精度过低的欠拟合问题，提高了对环境污染评估监测的准确性。

Description

基于大数据的环境污染评估与监测方法及***

技术领域

本发明涉及数据监督管理领域，具体涉及一种基于大数据的环境污染评估与监测方法及***。

背景技术

随着我国社会经济的快速发展，伴随着的环境污染问题也愈发严重，并逐渐成分社会广泛关注的问题。因此，通过在多个局部位置安置污染监测点，并通过实时采集例如气体浓度、温度等多个相关的气象参数的数据，并对数据进行监督管理，从而尽早发现和预测环境问题，由于不同气象参数所用传感器的采样间隔存在差异，因此为了能够更好的分析不同参数之间的相关性时，通常需要对气象参数进行样条插值，从而得到不同气象参数在同时序下的数据。

相关技术中通常使用三次插值算法对数据点进行插值处理获得相应的插值曲线，从而得到不同气象参数在相同时序下的数据，但由于不同气象参数中数据点的变化情况存在差异，同时气象参数中还存在受到噪声干扰的数据点，通过现有技术进行样条插值时，会产生插值精度过高的过拟合和精度过低的欠拟合问题，从而降低对环境污染评估和监测的准确性。

发明内容

为了解决现有技术进行样条插值时，会产生插值精度过高的过拟合和精度过低的欠拟合情况，从而降低对环境污染评估和监测的准确性的技术问题，本发明的目的在于提供一种基于大数据的环境污染评估与监测方法及***，所采用的技术方案具体如下：

本发明提出了一种基于大数据的环境污染评估与监测方法，所述方法包括：

获取不同气象参数在不同时刻的原始数据点，其中不同气象参数的采样间隔不同；

根据每种气象参数中原始数据点的分布，获得每个原始数据点的突变程度以及气象参数中的极值点；根据每种气象参数中所有原始数据点的所述突变程度、所述极值点的分布以及所述极值点的数量，获得气象参数的区分度；

将任意一种气象参数作为待测气象参数，根据每种气象参数中原始数据点的数值，对待测气象参数与其他气象参数进行相关性分析获得相关性系数；根据所有气象参数的采样间隔获得待测气象参数中每个原始数据点的时序范围；根据所述待测气象参数和其他气象参数在所述时序范围内的原始数据点的分布、所述采样间隔的差异、所述相关性系数和所述区分度，获得待测气象参数中每个原始数据点的参考价值；

对每种气象参数进行插值处理获得不同的插值曲线；根据每种气象参数中每个时刻的原始数据点和插值曲线在对应时刻的数据点的差异以及所述参考价值，获得最优插值曲线；根据所有气象参数的所述最优插值曲线对环境污染进行评估监测。

进一步地，所述根据每种气象参数中原始数据点的分布，获得每个原始数据点的突变程度以及气象参数中的极值点包括：

获取每个原始数据点相距最近的两个相邻数据点，所述原始数据点与对应的所述相邻数据点之间的时间间隔等于采样间隔，其中每种气象参数中第一个原始数据点和最后一个原始数据点分别作为自身的一个相邻数据点；若原始数据点同时大于或小于对应的两个相邻数据点，则将原始数据点作为极值点；

将原始数据点分别与每个相邻数据点的差值的绝对值作为初始变化值，将原始数据点与对应的两个相邻数据点的所述初始变化值的和值作为第一突变系数；

将原始数据点对应的两个相邻数据点的差值的绝对值，作为第二突变系数；

获取每个原始数据点的突变程度，所述突变程度与所述第一突变系数呈正相关，所述突变程度与所述第二突变系数呈负相关。

进一步地，所述根据每种气象参数中所有原始数据点的所述突变程度、所述极值点的分布以及所述极值点的数量，获得气象参数的区分度包括：

基于极值点所在的位置，对每种气象参数中所有原始数据点进行划分，获得不同的极值区间，所述极值区间中的原始数据点不包括极值点；

将每个原始数据点所在极值区间中原始数据点的数量，作为每个原始数据点的初始权重，其中所述极值点的初始权重为0；

对所述初始权重进行归一化处理，获得每个原始数据点的最终权重；

根据所述最终权重，对每种气象参数中对应的原始数据点的突变程度进行加权求和，获得气象参数的整体突变程度；

将每种气象参数中的极值点数量与对应气象参数中原始数据点的总数量的比值，作为气象参数的极值点比重；

将所述整体突变程度和所述极值点比重的乘积值进行归一化处理，获得气象参数的波动特征值；将所述波动特征值进行负相关映射获得每种气象参数与噪声之间的区分度。

进一步地，所述根据每种气象参数中原始数据点的数值，对待测气象参数与其他气象参数进行相关性分析获得相关性系数包括：

根据待测气象参数中所有原始数据点的数值和其他每个气象参数中所有原始数据点的数值，获取皮尔逊相关系数，将所述皮尔逊相关系数作为待测气象参数与其他每个气象参数之间的相关性系数。

进一步地，所述根据所有气象参数的采样间隔获得待测气象参数中每个原始数据点的时序范围包括：

将所有气象参数的采样间隔的最小公倍数，作为标准采样时长；

将所述标准采样时长与所述待测气象参数的采样间隔的比值，作为待测气象参数的标准采样数量；

将待测气象参数中与每个原始数据点所在时刻相距最近的标准采样数量个其他原始数据点，作为原始数据点的参考数据点；

获取每个原始数据点的时序范围，所述时序范围的左端点为对应所述参考数据点所在时刻的最小值，所述时序范围的右端点为对应所述参考数据点所在时刻的最大值。

进一步地，所述根据所述待测气象参数和其他气象参数在所述时序范围内的原始数据点的分布、所述采样间隔的差异、所述相关性系数和所述区分度，获得待测气象参数中每个原始数据点的参考价值包括：

将待测气象参数的采样间隔与每个其他气象参数的采样间隔的差值的绝对值，作为采样间隔差异，对所述采样间隔差异进行负相关的归一化处理，获得第一系数；

将待测气象参数与每个其他气象参数之间的相关性系数，作为第二系数；

将每个其他气象参数在所述时序范围内的原始数据点的标准差，作为其他气象参数在时序范围内的波动程度；对所述波动程度进行负相关的归一化处理后与对应气象参数的所述区分度相乘，获得第三系数；

将所述第一系数、所述第二系数和所述第三系数相乘，获得每个其他气象参数的调整系数；

基于DTW算法，对所述待测气象参数和每个其他气象参数在所述时序范围内的原始数据点进行动态时间规整处理，获得待测气象参数与每个其他气象参数在时序范围内的相似程度；将所有所述相似程度的平均值作为整体相似度；

将每个所述相似程度与所述整体相似度的差值与所述调整系数相乘，获得每个其他气象参数的相似度偏差；

对所有其他气象参数的相似度偏差的平方和求平均后进行归一化处理，获得待测气象参数中每个原始数据点的参考价值。

进一步地，所述对每种气象参数进行插值处理获得不同的插值曲线包括：

获取预设初始平滑参数，根据梯度下降法对所述预设初始平滑参数进行优化获得不同的调整平滑参数；

基于三次样条插值算法，使用每个所述调整平滑参数对每种气象参数进行插值处理，获得气象参数在不同调整平滑参数下的插值曲线。

进一步地，所述根据每种气象参数中每个时刻的原始数据点和插值曲线在对应时刻的数据点的差异以及所述参考价值，获得最优插值曲线包括：

将每种气象参数中每个时刻的原始数据点和插值曲线在对应时刻的数据点的差值，作为每个原始数据点的初始插值误差；

将所述初始插值误差与所述参考价值的乘积，作为每个原始数据点的优化插值误差；

对所有原始数据点的优化插值误差的平方和求平均，获得每个插值曲线的整体插值误差；

将整体插值误差的最小值对应的插值曲线作为每种气象参数的最优插值曲线。

进一步地，所述根据所有气象参数的所述最优插值曲线对环境污染进行评估监测包括：

在所有气象参数的最优插值曲线上分别选取相同时序的数据点，获取每种气象参数的数据点序列，将所有气象参数的数据点序列输入空气质量评估算法中进行环境污染的评估监测。

本发明还提出了一种基于大数据的环境污染评估与监测***，所述***包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现任意一项一种基于大数据的环境污染评估与监测方法的步骤。

本发明具有如下有益效果：

本发明综合不同气象参数中原始数据点进行分析，并对大量的数据进行监督管理，从而能够更加精准地预测出存在的环境问题，考虑到不同气象参数的数据起伏特征存在差异，而噪声干扰往往表现为高频起伏的特征，因此可通过获取的突变程度反映气象参数中原始数据点的变化起伏特征，进一步对获取的极值点进行分析，并结合原始数据点的突变程度，获得区分度，基于区分度反映每种气象参数中出现的波动部分为噪声干扰的可能性，考虑到不同的气象参数之间存在一定的相关性，因此可通过相关性系数反映气象参数之间的相关程度，进一步通过对待测气象参数与其他气象参数在时序范围内的原始数据点的分析，通过获取的参考价值反映每种气象参数的原始数据点在插值后对产生的误差的容忍程度，并利用参考价值对后续的插值处理过程进行迭代优化，从而获取最优插值曲线，避免了插值过程中的过拟合和欠拟合的问题，可保证对气象参数最佳的插值效果，进而可提高后续对降低对环境污染评估和监测的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于大数据的环境污染评估与监测方法流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于大数据的环境污染评估与监测方法及***，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于大数据的环境污染评估与监测方法及***的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种基于大数据的环境污染评估与监测方法流程图，该方法包括：

步骤S1：获取不同气象参数在不同时刻上的原始数据点，其中不同气象参数的采样间隔不同。

由于当前环境污染问题愈发严重，为了能够尽早的发现存在的环境污染问题，并及时针对污染问题做出进一步的管理，通常需要设置多个污染监测点，并对采集各个污染监测点的数据进行监督管理，从而实现对环境污染问题的监测。

由于对环境最直接的影响便是污染物对空气的影响，因此需要对与空气相关的气象数据进行监督管理，从而实现对环境污染的监测评估，本发明实施例首先通过污染监测点中设置的相应的传感器采集不同气象参数在不同时刻的数据点，其中气象参数包括但不限于各种气体成分的浓度、分速、温度和湿度等，并且对于不同的气象参数所使用的传感器不同，会导致对不同气象参数的采样间隔会存在差异，需要说明的是传感器的采样间隔是其本身所固有的参数值；考虑到不同气象参数之间的量纲存在差异，需要进一步对每种气象参数中的原始数据点进行归一化处理，从而消除不同气象参数之间量纲不同对后续分析的影响，在本发明的一个实施例中，归一化处理可以具体例如为最大最小值归一化处理，并且，后续步骤中的归一化均可以采用最大最小值归一化处理，在本发明的其他实施例中可以根据数值具体范围选择其他归一化方法，对此不再赘述。

由于不同气象参数之间的采样间隔不同，为了更好的分析不同气象参数之间的相关性，在后续中需要对气象参数进行插值处理，因此获取到不同气象参数的原始数据点可为后续的插值处理提供大量的数据支持，提高后续对气象数据监督管理的准确性，进而能够更加精准地预测出环境中存在的污染问题。

步骤S2：根据每种气象参数中每个原始数据点的分布，获得每个原始数据点的突变程度以及气象参数中的极值点；根据每种气象参数中所有原始数据点的突变程度、极值点的分布以及极值点的数量，获得气象参数的区分度。

由于传感器自身的局限性，在使用传感器采集原始数据点的过程中通常会受到噪声的干扰，噪声干扰往往会导致原始数据点表现出高频起伏的特征，而气象参数中的原始数据点本身也会存在异常，从而导致原始数据点也会出现起伏的特征，因此可首先根据每种气象参数中每个原始数据点的分布，获得每个原始数据点的突变程度以及气象参数中的极值点，通过突变程度反映气象参数中原始数据点出现起伏情况，并在后续中结合气象参数中的极值点对气象参数的区分度进行准确分析。

优选地，在本发明的一个实施例中每个原始数据点的突变程度以及气象参数中的极值点的获取方法具体包括：

获取每个原始数据点相距最近的两个相邻数据点，原始数据点与对应的相邻数据点之间的时间间隔等于采样间隔，考虑到每种气象参数中第一个原始数据点和最后一个原始数据点只有一个相邻数据点，因此可将第一个原始数据点和最后一个原始数据点分别作为自身的相邻数据点；若原始数据点同时大于或小于对应的两个相邻数据点，则将原始数据点作为极值点；将原始数据点分别与每个相邻数据点的差值的绝对值作为初始变化值，将原始数据点与对应的两个相邻数据点的初始变化值的和值作为第一突变系数；将每个原始数据点对应的两个相邻数据点的差值的绝对值，作为第二突变系数；获取每个原始数据点的突变程度，突变程度与第一突变系数呈正相关，突变程度与第二突变系数呈负相关。突变程度的表达式具体可以例如为：

其中，表示第/>个气象参数中第/>个原始数据点的突变程度；/>表示第/>个气象参数中第/>个原始数据点；/>表示第/>个气象参数中第/>个原始数据点的其中一个相邻数据点；/>表示第/>个气象参数中第/>个原始数据点的另一个相邻数据点；/>表示第一调节因子，防止分母为0，在本发明的一个实施例中第一调节因子/>设置为0.01，第一调节因子的具体数值可根据具体实施场景由实施者自行设置，在此不作限定。

在每个气象参数中每个原始数据点的突变程度的获取过程中，和分别表示原始数据点与每个相邻数据点的差值的绝对值，即初始变化值，初始变化值能够反映原始数据点与相邻数据点之间的变化情况，进一步对两者相加获得第一突变系数，第一突变系数越大，说明原始数据点的相对于相邻数据点的差别越大，仅仅通过第一突变系数并不能准确反映原始数据点的突变程度，因此每个原始数据点对应的所有相邻数据点的差值的绝对值/>，作为第二突变系数，第一突变系数越大，同时第二突变系数越小，说明原始数据点与相邻数据点的差别越大，则该原始数据点的突变程度/>越大。

提取出每种气象参数中的极值点，并且获取到原始数据点的突变程度后，由于传感器的噪声干扰表现出来的高频起伏特征可能会与部分气象参数本身异常产生的起伏特征较为相似，因此可进一步根据每种气象参数中所有原始数据点的突变程度、极值点的分布以及极值点的数量，获得气象参数的区分度，通过区分度反映气象参数中的噪声情况，区分度越大，就表明该气象参数中的原始数据点本身出现的起伏特征较弱，相对更加平缓，则对于该气象参数中的高频起伏部分就越可能是噪声引起的。

优选地，在本发明的一个实施例中气象参数的区分度的获取方法具体包括：

基于极值点所在的位置，对每种气象参数中所有原始数据点进行划分，获得不同的极值区间，极值区间中的原始数据点不包括极值点；将每个原始数据点所在极值区间中原始数据点的数量，作为每个原始数据点的初始权重，由于极值点不属于极值区间，因此极值点的初始权重为0；对初始权重进行归一化处理，获得每个原始数据点的最终权重；根据最终权重，对每种气象参数中对应的原始数据点的突变程度进行加权求和，获得气象参数的整体突变程度；将每种气象参数中的极值点数量与对应气象参数中原始数据点的总数量的比值，作为气象参数的极值点比重；将整体突变程度和极值点比重的乘积值进行归一化处理，获得气象参数的波动特征值；将波动特征值进行负相关映射获得每种气象参数与噪声之间的区分度。区分度的表达式可以具体例如为：

其中，表示第/>个气象参数的区分度；/>表示第/>个气象参数中第/>个原始数据点的突变程度；/>表示第/>个气象参数中原始数据点的总数量；/>表示第/>个气象参数中极值点的数量；/>表示第/>个气象参数中第/>个原始数据点所在极值区间中原始数据点的数量，即第/>个气象参数中第/>个原始数据点的初始权重；/>表示归一化函数，用于归一化处理；/>表示自然常数；/>表示第二调节因子，在本发明的一个实施例中第二调节因子/>设置为0.2，第二调节因子的具体数值可根据具体实施场景由实施者自行设置，在此不作限定。

在每种气象参数的区分度的获取过程中，表示气象参数中每个原始数据点的最终权重，其中/>表示原始数据点所在的极值区间中原始数据点的数量，该值越大，说明该极值区间中的原始数据点的数量越多，则该极值区间中的原始数据点受噪声干扰的概率就越低，则该极值区间中的原始数据点得到的最终权重就越高，而极值点不属于极值区间，因此极值点的最终权重为最小值0，并且将第二调节因子/>设置为0.2，当极值区间中的原始数据点超过10个后，其后续的差异极小，而极值区间中原始数据点的数量为1至10时变化相对较快，从而尽可能的避免噪声对计算区分度的干扰，进而通过最终权重对突变程度进行加权求和获得气象参数的整体突变程度；/>表示每种气象参数中极值点在原始数据点中的占比，即极值点比重，极值点比重越高，说明该气象参数中原始数据点发生连续的趋势改变的情况相对较高，用于对整体突变程度进行约束，从而进一步获取到波动特征值，并进行负相关映射获得区分度/>，区分度越大，则气象参数表现出来的起伏特征相对较弱，更加趋于平稳，则在后续中对气象参数的波动特征进行分析时，则气象参数的波动部分认为是噪声所导致的可能性就越大。

步骤S3：将任意一种气象参数作为待测气象参数，根据每种气象参数中原始数据点的数值，对待测气象参数与其他气象参数进行相关性分析获得相关性系数；根据所有气象参数的采样间隔获得待测气象参数中每个原始数据点的时序范围；根据待测气象参数和其他气象参数在时序范围内的原始数据点的分布、采样间隔的差异、相关性系数和区分度，获得待测气象参数中每个原始数据点的参考价值。

本发明实施例需要对气象参数中每个原始数据点的参考价值进行分析，从而保证最终的插值效果能够达到最佳，为了对每种气象参数进行更加真实具体的分析，需要结合其他的气象参数进行综合分析，因此可将任意一个气象参数作为待测气象参数，则除该待测气象参数之外的所有气象参数为其他气象参数，考虑到不同的气象参数之间具有一定的相关性，因此可根据每种气象参数中原始数据点的数值，对待测气象参数与其他气象参数进行相关性分析，获得相关性系数，通过相关性系数反映待测气象参数与每个其他气象参数之间的相关程度。

优选地，在本发明的一个实施例中根据待测气象参数中所有原始数据点的数值和其他每个气象参数中所有原始数据点的数值，获取皮尔逊相关系数，将皮尔逊相关系数作为待测气象参数与其他每个气象参数之间的相关性系数，需要说明的是，皮尔逊相关系数的获取方法是本领域技术人员熟知的技术手段，在此不做赘述，在后续的步骤中将表示待测气象参数与第/>个其他气象参数之间的相关性系数，相关性系数越大，说明待测气象参数与某个其他气象参数之间的相关程度就越高。

进一步可通过获取待测气象参数中每个原始数据点的时序范围，在后续中通过对待测气象参数和多个其他待测参数在时序范围内的原始数据点进行综合分析，从而获取每个原始数据点更加精确的参考价值。

优选地，在本发明的一个实施例中每个原始数据点的时序范围的获取方法具体包括：

由于各个气象参数的采样间隔不同，因此可将所有气象参数的采样间隔的最小公倍数，作为标准采样时长；将标准采样时长与待测气象参数的采样间隔的比值，作为待测气象参数的标准采样数量；将待测气象参数中与每个原始数据点所在时刻相距最近的标准采样数量个其他原始数据点，作为原始数据点的参考数据点；获取每个原始数据点的时序范围，时序范围的左端点为对应参考数据点所在时刻的最小值，时序范围的右端点为对应参考数据点所在时刻的最大值。

获取到待测气象参数中每个原始数据点的时序范围后，便可结合待测气象参数和其他气象参数在时序范围内的原始数据点，对待测气象参数中每个原始数据点的参考价值进行分析，通过参考价值评估在后续插值过程中，原始数据点对插值产生的误差的容忍度，参考价值越大的原始数据点对误差的容忍度就越小。

优选地，在本发明的一个实施例中待测气象参数中每个原始数据点的参考价值的获取方法具体包括：

将待测气象参数的采样间隔与每个其他气象参数的采样间隔的差值的绝对值，作为采样间隔差异，对采样间隔差异进行负相关的归一化处理，获得第一系数；将待测气象参数与每个其他气象参数之间的相关性系数，作为第二系数；将每个其他气象参数在时序范围内的原始数据点的标准差，作为其他气象参数在时序范围内的波动程度；对波动程度进行负相关的归一化处理后与对应气象参数的区分度相乘，获得第三系数；将第一系数、第二系数和第三系数相乘，获得每个其他气象参数的调整系数；基于动态时间规整算法（Dynamic Time Warping，DTW），对待测气象参数和每个其他气象参数在时序范围内的原始数据点进行动态时间规整处理，获得待测气象参数与每个其他气象参数在时序范围内的相似程度；将所有相似程度的平均值作为整体相似度；将每个相似程度与整体相似度的差值与调整系数相乘，获得每个其他气象参数的相似度偏差；对所有其他气象参数的相似度偏差的平方和求平均后进行归一化处理，获得待测气象参数中每个原始数据点的参考价值，需要说明的是，动态时间规整是本领域技术人员熟知的技术手段，在此不做赘述。参考价值的表达式可以具体例如为：

其中，表示待测气象参数中第/>个原始数据点的参考价值；/>表示第/>个其他气象参数的调整系数；/>表示气象参数的总数量，由于本发明实施例对多个不同的气象参数进行数据采集，因此/>；/>表示在待测气象参数中第/>个原始数据点的时序范围内，待测气象参数与第/>个其他气象参数的原始数据点之间的相似程度；/>表示在待测气象参数中第/>个原始数据点的时序范围内,待测气象参数与所有其他气象参数的原始数据点之间的相似程度的平均值，即整体相似程度；/>表示待测气象参数的采样间隔；/>表示第/>个其他气象参数的采样间隔；/>表示待测气象参数与第/>个其他气象参数之间的相关性系数；/>表示第/>个其他气象参数的区分度；/>表示在待测气象参数中第/>个原始数据点的时序范围内，第/>个其他气象参数的原始数据点的标准差；/>表示归一化函数，用于归一化处理；/>表示自然常数。

在待测气象参数中原始数据点的参考价值的获取过程中，本发明实施例以为基础计算待测气象参数中原始数据点的参考价值，考虑到采样间隔的差异会降低待测气象参数与其他气象参数之间的相似程度，因此将/>作为第一系数，用于对相似程度进行调整；由于待测气象参数与每个其他气象参数的相关程度不同也会降低二者的相似程度，因此将相关性系数/>作为第二系数；本发明实施例通过标准差/>表征其他气象参数在时序范围内原始数据点的波动程度，标准差越大，说明由噪声引起的波动程度越大，则待测气象参数中原始数据点的参考价值越小，进而对标准差进行负相关的归一化处理，并结合区分度/>对/>进行约束，获得第三系数，并将第一系数、第二系数和第三系数的乘积作为每个其他气象参数的调整系数/>，基于调整系数/>对/>进行调整，从而获取待测气象参数中每个数据点的参考价值/>。

基于上述过程可以获取到每种气象参数中原始数据点的参考价值，在后续对气象参数插值的过程中，可利用参考价值对原始数据点插值前后的误差进行调整，从而可保证最佳的插值效果。

步骤S4：对每种气象参数进行插值处理获得不同的插值曲线；根据每种气象参数中每个时刻的原始数据点和插值曲线在对应时刻的数据点的差异以及参考价值，获得最优插值曲线；根据所有气象参数的最优插值曲线对环境污染进行评估监测。

由于不同气象参数的传感器的采样间隔不同，为了更加准确的对采集的气象数据进行监督管理，需要对气象参数进行插值处理，从得到的插值曲线上选取相同时序的数据点，为了得到最佳的插值效果，可对每种气象参数进行多次插值，获取到多个不同的插值曲线，并从中选取出一个最佳插值曲线。

优选地，在本发明的一个实施例中不同的插值曲线的获取方法具体包括：

获取预设初始平滑参数，在本发明的一个实施例中预设初始平滑参数设置为1，其具体数值可根据具体实施场景由实施者自行设置，在此不作限定，但需保证预设初始平滑参数的范围为，根据梯度下降法对预设初始平滑参数进行优化获得不同的调整平滑参数；基于三次样条插值算法，利用每个调整平滑参数对每种气象参数进行插值处理，获得气象参数在不同调整平滑参数下的插值曲线，需要说明的是，梯度下降法和三次样条插值算法是本领域技术人员熟知的技术手段，在此不做赘述。

获取到每种气象参数不同的插值曲线后，便可对每种插值曲线进行评估，从而选取出最佳插值曲线，通常是根据每种气象参数中每个时刻的原始数据点和插值曲线在对应时刻的数据点之间的差异对插值曲线进行评估，由于不同原始数据点有不同的参考价值，并且参考价值越大的原始数据点对误差的容忍度就越小，因此可进一步结合参考价值选取出最佳插值曲线。

优选地，在本发明的一个实施例中最优插值曲线的获取方法具体包括：

将每种气象参数中每个时刻的原始数据点和插值曲线在对应时刻的数据点的差值，作为每个原始数据点的初始插值误差；将初始插值误差与参考价值的乘积，作为每个原始数据点的优化插值误差；对所有原始数据点的优化插值误差的平方和求平均，获得每个插值曲线的整体插值误差；将整体插值误差的最小值对应的插值曲线作为每种气象参数的最优插值曲线。整体插值误差的表达式具体可以例如为：

其中，表示第/>个气象参数中第/>个插值曲线的整体插值误差；/>表示第/>个气象参数中第/>个原始数据点；/>表示在第/>个插值曲线上与第/>个气象参数的第/>个原始数据点对应的数据点；/>第/>个气象参数中第/>个原始数据点的参考价值；/>表示第个气象参数中原始数据点的总数量。

在每个插值曲线的整体插值误差的获取过程中，表示初始插值误差，即原始数据点在插值前后之间的误差值，由于参考价值/>越大的原始数据点对误差的容忍度越小，因此使用参考价值对初始插值误差进行调整，放大参考价值较大的原始数据点的初始插值误差，从而获得每个原始数据点的优化插值误差，进一步对所有原始数据点的优化插值误差的平方和求平均，获取到插值曲线在整体上产生的插值误差，即整体插值误差/>，经过调整后的整体插值误差越小，说明该插值曲线的效果越好，因此将整体插值误差的最小值对应的插值曲线作为该气象参数的最佳插值曲线。

获取到每种气象参数的最佳插值曲线后，由于最佳插值曲线都是连续的曲线，因此为了解决传感器采样间隔不同导致的不同气象参数的原始数据点无法保持相同时序的问题，可根据每种气象参数的最优插值曲线对环境污染进行评估监测，提高对环境污染进行评估监测的准确性。

优选地，在本发明的一个实施例中对环境污染进行评估监测的方法具体包括：

在所有气象参数的最优插值曲线上分别选取相同时序的数据点，获取每种气象参数的数据点序列，将所有气象参数的数据点序列输入空气质量评估算法中进行环境污染的评估监测。需要说明的是，空气质量评估算法是本领域技术人员熟知的技术手段，在此不做赘述。

本发明一个实施例提供了一种基于大数据的环境污染评估与监测***，该***包括存储器、处理器和计算机程序，其中存储器用于存储相应的计算机程序，处理器用于运行相应的计算机程序，计算机程序在处理器中运行时能够实现步骤S1~S4所描述的方法。

综上所述，本发明实施例首先获取不同气象参数的原始数据点，根据每种气象参数中原始数据点的分布，获得每个原始数据点的突变程度以及气象参数中的极值点；然后基于气象参数中每个原始数据点的突变程度、极值点的分布以及极值点的数量，获得气象参数的区分度；进一步将任意一种气象参数作为待测气象参数，分别对待测气象参数与每个其他气象参数进行相关性分析，将皮尔逊相关系数作为待测气象参数与每个其他气象参数之间的相关性系数；并基于所有气象参数的采样间隔获取待测气象参数中每个原始数据点的时序范围，根据待测气象参数和其他气象参数在时序范围内的原始数据点的分布、采样间隔的差异、相关性系数和区分度，获得待测气象参数中每个原始数据点的参考价值；然后对气象参数进行插值处理获取不同的插值曲线，结合原始数据点的参考价值和插值前后原始数据点产生的误差获取每种气象参数的最优插值曲线，并基于各个气象参数的最优插值曲线对环境污染进行评估监测。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

Claims (7)

1.一种基于大数据的环境污染评估与监测方法，其特征在于，所述方法包括：

获取不同气象参数在不同时刻的原始数据点，其中不同气象参数的采样间隔不同；

根据每种气象参数中原始数据点的分布，获得每个原始数据点的突变程度以及气象参数中的极值点；根据每种气象参数中所有原始数据点的所述突变程度、所述极值点的分布以及所述极值点的数量，获得气象参数的区分度；

将任意一种气象参数作为待测气象参数，根据每种气象参数中原始数据点的数值，对待测气象参数与其他气象参数进行相关性分析获得相关性系数；根据所有气象参数的采样间隔获得待测气象参数中每个原始数据点的时序范围；根据所述待测气象参数和其他气象参数在所述时序范围内的原始数据点的分布、所述采样间隔的差异、所述相关性系数和所述区分度，获得待测气象参数中每个原始数据点的参考价值；

对每种气象参数进行插值处理获得不同的插值曲线；根据每种气象参数中每个时刻的原始数据点和插值曲线在对应时刻的数据点的差异以及所述参考价值，获得最优插值曲线；根据所有气象参数的所述最优插值曲线对环境污染进行评估监测；

所述根据每种气象参数中所有原始数据点的所述突变程度、所述极值点的分布以及所述极值点的数量，获得气象参数的区分度包括：

基于极值点所在的位置，对每种气象参数中所有原始数据点进行划分，获得不同的极值区间，所述极值区间中的原始数据点不包括极值点；

将每个原始数据点所在极值区间中原始数据点的数量，作为每个原始数据点的初始权重，其中所述极值点的初始权重为0；

对所述初始权重进行归一化处理，获得每个原始数据点的最终权重；

根据所述最终权重，对每种气象参数中对应的原始数据点的突变程度进行加权求和，获得气象参数的整体突变程度；

将每种气象参数中的极值点数量与对应气象参数中原始数据点的总数量的比值，作为气象参数的极值点比重；

将所述整体突变程度和所述极值点比重的乘积值进行归一化处理，获得气象参数的波动特征值；将所述波动特征值进行负相关映射获得每种气象参数与噪声之间的区分度；

所述根据所述待测气象参数和其他气象参数在所述时序范围内的原始数据点的分布、所述采样间隔的差异、所述相关性系数和所述区分度，获得待测气象参数中每个原始数据点的参考价值包括：

将待测气象参数的采样间隔与每个其他气象参数的采样间隔的差值的绝对值，作为采样间隔差异，对所述采样间隔差异进行负相关的归一化处理，获得第一系数；

将待测气象参数与每个其他气象参数之间的相关性系数，作为第二系数；

将每个其他气象参数在所述时序范围内的原始数据点的标准差，作为其他气象参数在时序范围内的波动程度；对所述波动程度进行负相关的归一化处理后与对应气象参数的所述区分度相乘，获得第三系数；

将所述第一系数、所述第二系数和所述第三系数相乘，获得每个其他气象参数的调整系数；

基于DTW算法，对所述待测气象参数和每个其他气象参数在所述时序范围内的原始数据点进行动态时间规整处理，获得待测气象参数与每个其他气象参数在时序范围内的相似程度；将所有所述相似程度的平均值作为整体相似度；

将每个所述相似程度与所述整体相似度的差值与所述调整系数相乘，获得每个其他气象参数的相似度偏差；

对所有其他气象参数的相似度偏差的平方和求平均后进行归一化处理，获得待测气象参数中每个原始数据点的参考价值；

所述根据每种气象参数中每个时刻的原始数据点和插值曲线在对应时刻的数据点的差异以及所述参考价值，获得最优插值曲线包括：

将每种气象参数中每个时刻的原始数据点和插值曲线在对应时刻的数据点的差值，作为每个原始数据点的初始插值误差；

将所述初始插值误差与所述参考价值的乘积，作为每个原始数据点的优化插值误差；

对所有原始数据点的优化插值误差的平方和求平均，获得每个插值曲线的整体插值误差；

将整体插值误差的最小值对应的插值曲线作为每种气象参数的最优插值曲线。

2.根据权利要求1所述的一种基于大数据的环境污染评估与监测方法，其特征在于，所述根据每种气象参数中原始数据点的分布，获得每个原始数据点的突变程度以及气象参数中的极值点包括：

获取每个原始数据点相距最近的两个相邻数据点，所述原始数据点与对应的所述相邻数据点之间的时间间隔等于采样间隔，其中每种气象参数中第一个原始数据点和最后一个原始数据点分别作为自身的一个相邻数据点；若原始数据点同时大于或小于对应的两个相邻数据点，则将原始数据点作为极值点；

将原始数据点分别与每个相邻数据点的差值的绝对值作为初始变化值，将原始数据点与对应的两个相邻数据点的所述初始变化值的和值作为第一突变系数；

将原始数据点对应的两个相邻数据点的差值的绝对值，作为第二突变系数；

获取每个原始数据点的突变程度，所述突变程度与所述第一突变系数呈正相关，所述突变程度与所述第二突变系数呈负相关。

3.根据权利要求1所述的一种基于大数据的环境污染评估与监测方法，其特征在于，所述根据每种气象参数中原始数据点的数值，对待测气象参数与其他气象参数进行相关性分析获得相关性系数包括：

根据待测气象参数中所有原始数据点的数值和其他每个气象参数中所有原始数据点的数值，获取皮尔逊相关系数，将所述皮尔逊相关系数作为待测气象参数与其他每个气象参数之间的相关性系数。

4.根据权利要求1所述的一种基于大数据的环境污染评估与监测方法，其特征在于，所述根据所有气象参数的采样间隔获得待测气象参数中每个原始数据点的时序范围包括：

将所有气象参数的采样间隔的最小公倍数，作为标准采样时长；

将所述标准采样时长与所述待测气象参数的采样间隔的比值，作为待测气象参数的标准采样数量；

将待测气象参数中与每个原始数据点所在时刻相距最近的标准采样数量个其他原始数据点，作为原始数据点的参考数据点；

获取每个原始数据点的时序范围，所述时序范围的左端点为对应所述参考数据点所在时刻的最小值，所述时序范围的右端点为对应所述参考数据点所在时刻的最大值。

5.根据权利要求1所述的一种基于大数据的环境污染评估与监测方法，其特征在于，所述对每种气象参数进行插值处理获得不同的插值曲线包括：

获取预设初始平滑参数，根据梯度下降法对所述预设初始平滑参数进行优化获得不同的调整平滑参数；

基于三次样条插值算法，使用每个所述调整平滑参数对每种气象参数进行插值处理，获得气象参数在不同调整平滑参数下的插值曲线。

6.根据权利要求1所述的一种基于大数据的环境污染评估与监测方法，其特征在于，所述根据所有气象参数的所述最优插值曲线对环境污染进行评估监测包括：

在所有气象参数的最优插值曲线上分别选取相同时序的数据点，获取每种气象参数的数据点序列，将所有气象参数的数据点序列输入空气质量评估算法中进行环境污染的评估监测。

7.一种基于大数据的环境污染评估与监测***，所述***包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1~6任意一项所述方法的步骤。