CN113901043A - 污染源智能监管和数据融合分析方法和*** - Google Patents
污染源智能监管和数据融合分析方法和*** Download PDFInfo
- Publication number
- CN113901043A CN113901043A CN202111513348.7A CN202111513348A CN113901043A CN 113901043 A CN113901043 A CN 113901043A CN 202111513348 A CN202111513348 A CN 202111513348A CN 113901043 A CN113901043 A CN 113901043A
- Authority
- CN
- China
- Prior art keywords
- data
- pollution source
- effective information
- analysis method
- alarm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 57
- 230000004927 fusion Effects 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012795 verification Methods 0.000 claims abstract description 31
- 230000002159 abnormal effect Effects 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000012216 screening Methods 0.000 claims abstract description 15
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 238000004140 cleaning Methods 0.000 claims abstract description 8
- 238000007621 cluster analysis Methods 0.000 claims abstract description 8
- 238000012544 monitoring process Methods 0.000 claims description 59
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 12
- 230000007547 defect Effects 0.000 claims description 10
- 239000003344 environmental pollutant Substances 0.000 claims description 10
- 231100000719 pollutant Toxicity 0.000 claims description 10
- 238000011084 recovery Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 238000003066 decision tree Methods 0.000 claims description 4
- 239000010865 sewage Substances 0.000 claims description 4
- 238000013079 data visualisation Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 239000007789 gas Substances 0.000 description 8
- 230000005611 electricity Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- MWUXSHHQAYIFBG-UHFFFAOYSA-N nitrogen oxide Inorganic materials O=[N] MWUXSHHQAYIFBG-UHFFFAOYSA-N 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000003915 air pollution Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 239000002906 medical waste Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- -1 mountains Substances 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000002893 slag Substances 0.000 description 1
- 239000002910 solid waste Substances 0.000 description 1
- XTQHKBHJIVJGKJ-UHFFFAOYSA-N sulfur monoxide Chemical class S=O XTQHKBHJIVJGKJ-UHFFFAOYSA-N 0.000 description 1
- 229910052815 sulfur oxide Inorganic materials 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2477—Temporal data queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- Remote Sensing (AREA)
- Quality & Reliability (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本申请的污染源智能监管和数据融合分析方法和***，所述方法包括：获取污染源数据；对污染源数据进行过滤清洗，得到第一有效信息数据；通过参数模板法或特征图法筛除第一有效信息数据中的异常数据、以及通过聚类分析法填补第一有效信息数据中的缺失数据后，得到第二有效信息数据；将第二有效信息数据进行匹配融合，形成数据组合；将每类数据组合的数据与对应设置的数据指标项阈值范围进行链式验证；若验证未通过时，则将未通过验证的数据划分为告警数据，并同步产生告警事件。本申请对污染源进行实时监控获取污染源数据，以及对污染源数据进行数据处理、融合分析等，进而判断告警事件，提高了污染源数据的有效利用率、以及对污染事件的监管效率。
Description
技术领域
本申请涉及污染监管技术领域，尤其涉及污染源智能监管和数据融合分析方法和***。
背景技术
随着工业化生产的发展，人类赖以生存的环境正遭受前所未有的挑战。生产制造企业在生产时向空气中排放的气态污染物，如硫氧化物、氮氧化物等，使空气污染日益严重；以及向河流中排放大量的工业污水，使水资源受到严重的污染。为了保护环境，对污染源进行监测是非常必要的。通过污染源监管，不仅要实现实时、在线的监控，更要实现及时发现污染问题，进而及时解决污染问题。
通常从水、气、山、渣、固废、医废等维度进行污染源数据采集、存储、数据分析及业务处理。传统污染源监管***在进行数据分析时只限定在其中某种或者某几种数据上，难以对各维度数据进行高维度的数据监管。并且，随着污染源数据采集方式的多样性，采集到的污染源属性也越来越多，除了常见的地理信息、设备信息、指标信息等属性外，还包括很多隐含信息，如关联实施主体信息、关联用电、用水量生产信息等。由于传统污染源监管***缺乏大数据处理环境支撑，未采用可靠方法对数据进行分析，使得采集到的丰富数据无法被有效利用。
发明内容
本申请提供了污染源智能监管和数据融合分析方法和***，能够解决现有***对采集到的污染源数据无法有效利用的问题。
本申请采用的技术方案如下：
污染源智能监管和数据融合分析方法，所述方法包括：
获取污染源数据；
对所述污染源数据进行过滤清洗，得到第一有效信息数据；
通过参数模板法或特征图法筛除所述第一有效信息数据中的异常数据、以及通过聚类分析法填补所述第一有效信息数据中的缺失数据后，得到第二有效信息数据；
将所述第二有效信息数据进行匹配融合，形成数据组合；
将每类所述数据组合的数据与对应设置的数据指标项阈值范围进行链式验证；
若验证未通过时，则将未通过验证的所述数据划分为告警数据，并同步产生告警事件。
进一步地，所述污染源数据是通过监控设备采集的，所述监控设备包括对新建工况进行监控的新建工况监控设备、对设备状态进行监控的设备状态监控设备、对油气回收情况进行监控的油气回收监控设备、对大气污染物排放进行监控的大气污染物排放监控设备、以及对排污口进行水质监控的水质监控设备；
对应的污染源数据包括污染源工况监控数据、设备状态监控数据、油气回收数据、大气污染物排放数据和水质数据。
进一步地，采用完整性分析法、噪声分析法、和一致性分析法中的一种或多种对所述污染源数据进行过滤清洗，得到所述第一有效信息数据；
所述完整性分析法包括以下步骤：
对所述污染源数据进行完整性分析，查找完整数据与丢失属性值或数值的缺陷数据；
选取与所述缺陷数据相邻的所述完整数据；
计算所述完整数据的中位数，利用所述中位数填补所述缺陷数据丢失的数值；
选取所述完整数据中出现频率最高的属性值，利用所述出现频率最高的属性值填补所述缺陷数据丢失的属性值；
所述噪声分析法包括以下步骤：
采用分箱法对所述污染源数据进行平滑，以除去噪声干扰；
所述一致性分析法包括以下步骤：
获取每条所述污染源数据的时间戳；
对具有相同时间戳的所述污染源数据进行去重处理。
进一步地，通过参数模板法筛除所述第一有效信息数据中的异常数据，包括以下步骤：
设置参数验证模板，每个所述参数验证模板中包括多个数据指标项和数据指标项阈值范围；
将所述第一有效信息数据与对应的所述数据指标项进行比较，判断所述第一有效信息数据是否缺失相应的数据指标项；
若所述第一有效信息数据缺失至少一个数据指标项，则将缺失数据指标项的第一有效信息数据视为无效数据；
若所述第一有效信息数据不缺失数据指标项，则将所述第一有效信息数据与对应的数据指标项阈值范围进行比较，若所述第一有效信息数据不在所述数据指标阈值范围内，则将所述第一有效信息数据视为异常数据；
筛除所述无效数据和所述异常数据。
进一步地，通过特征图法筛除所述第一有效信息数据中的异常数据，包括以下步骤：
通过卷积网络处理所述第一有效信息数据中包含的图片，得到特征图；
基于所述特征图的空间维度信息和通道信息，确定所述特征图中每个通道的注意力权重，其中，所述注意力权重用于表征每个所述通道的重要程度；
利用所述注意力权重对所述特征图进行处理，得到输出特征图；
提取所述输出特征图中的关键特征信息；
通过所述关键特征信息对所述第一有效信息数据进行验证，将未通过验证的所述第一有效信息数据视为异常数据；
筛除所述异常数据。
进一步地，通过聚类分析法填补所述第一有效信息数据中的缺失数据，包括以下步骤：
获取基础信息，其中，所述基础信息与所述第一有效信息数据之间存在关联数据；
将存在关联数据的所述第一有效信息数据与所述基础信息进行比较：若存在关联数据的所述第一有效信息数据与所述基础信息不一致，则所述第一有效信息数据缺失数据；
利用所述基础信息填补所述第一有效信息数据中的缺失数据。
进一步地，在产生告警事件之后，还包括在数据可视化GIS地图上显示所述告警事件的位置和告警数据。
进一步地，所述方法还包括：
采用决策树算法对所述告警数据进行分类，得到多组告警数据组合；
将所述告警数据组合与所述数据组合进行比较：若所述告警数据组合与所述数据组合一致，则判定所述数据组合合理；
若所述告警数据组合与所述数据组合不一致，则判定所述数据组合不合理。
又一方面，本申请还提供一种污染源智能监管和数据融合分析***，所述***包括智能监管子***和数据融合分析子***， 所述智能监管子***包括数据采集模块和数据预处理模块；
所述数据采集模块用于获取污染源数据；
所述数据预处理模块用于对所述污染源数据进行过滤清洗，得到第一有效信息数据；
所述数据融合分析子***包括识别模块、匹配模块、专家模块和告警模块；
所述识别模块用于通过参数模板法或特征图法过滤所述第一有效信息数据中的异常数据、以及通过聚类分析法填补所述第一有效信息数据中的缺失数据后，得到第二有效信息数据；
所述匹配模块用于将所述第二有效信息数据进行匹配融合，形成数据组合；
所述专家模块用于将每类所述数据组合的数据与对应设置的数据指标项阈值范围进行链式验证；
所述告警模块用于在验证未通过时，将未通过验证的所述数据划分为告警数据，并同步产生告警事件。
采用本申请的技术方案的有益效果如下：
本申请的污染源智能监管和数据融合分析方法和***，能够对污染源进行实时监控获取污染源数据，以及对污染源数据进行数据处理、融合分析等，进而判断告警事件，提高了污染源数据的有效利用率。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请所提供的污染源智能监管和数据融合分析***的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请实施例中的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中的技术方案作进一步详细的说明。
参见图1，为本申请所提供的污染源智能监管和数据融合分析***的示意图。
本申请实施例所提供的污染源智能监管和数据融合分析方法，包括以下步骤：
步骤一、获取污染源数据。
污染源数据是通过监控设备采集的。监控设备包括对新建工况进行监控的新建工况监控设备、对设备状态进行监控的设备状态监控设备、对油气回收情况进行监控的油气回收监控设备、对大气污染物排放进行监控的大气污染物排放监控设备、以及对排污口进行水质监控的水质监控设备；对应的污染源数据包括污染源工况监控数据、设备状态监控数据、油气回收数据、大气污染物排放数据和水质数据。可通过采集各监控设备的监控数据实现获取污染源数据的目的，还可以通过从生态环境数据动态活动水平库中获取污染源数据，将生态环境数据动态活动水平库作为获取污染源数据的数据源。
将污染源数据由模拟电路信号转换为数字信号，数字信号经过编码转换为通信链路信号；将数字信号传输至DTU网关，DTU网关可同时采集多路监控设备的数据，在DTU网关将数据输出之前，DTU网关需要先进行注册，再通过有线或无线方式将污染源数据输出并进行数据预处理，其中注册的目的在于访问控制。
步骤二、采用三种数据处理方法中的一种或多种对污染源数据进行过滤清洗，得到第一有效信息数据。
这三种数据处理方式包括完整性法、噪声分析法和一致性分析法。
完整性法具体包括以下步骤：
对污染源数据进行完整性分析，查找完整数据与丢失属性值或数值的缺陷数据；
选取与缺陷数据相邻的完整数据；
计算完整数据的中位数，利用中位数填补缺陷数据丢失的数值；
选取完整数据中出现频率最高的属性值，利用出现频率最高的属性值填补缺陷数据丢失的属性值。
噪声分析法是采用分箱法对污染源数据进行平滑，以除去噪声干扰。
一致性分析法包括以下步骤：
获取每条污染源数据的时间戳；
对具有相同时间戳的所述污染源数据进行去重处理。
通过数据预处理筛除污染源数据中的噪声、重复数据、以及填补缺陷数据，获得第一有效信息数据。
步骤三、对第一有效信息数据进行筛除和填补，得到第二有效信息数据。具体包括：
通过参数模板法筛除第一有效信息数据中的异常数据，包括以下步骤：
设置参数验证模板，每个参数验证模板中包括多个数据指标项和数据指标项阈值范围。数据指标项表征每一条数据的维度信息，例如用电监控数据，应从用电企业情况、监测点情况、电流、电压和功率等维度进行研究，因此，基于用电监控数据设置的数据指标项包括用电企业基本信息、监测点基本信息、电流监测数据、电压监测数据和功率监测数据。
将第一有效信息数据与对应的数据指标项进行比较，判断第一有效信息数据是否缺失相应的数据指标项。
若第一有效信息数据缺失至少一个数据指标项，则将缺失数据指标项的第一有效信息数据视为无效数据；将无效数据进行筛除。比如第一有效信息数据中的用电监控数据缺失电流监测数据，则将这一条用电监控数据视为无效数据。
若第一有效信息数据不缺失数据指标项，即第一有效信息数据中的数据指标项完整，则继续将第一有效信息数据与对应的数据指标项阈值范围进行比较，若第一有效信息数据不在数据指标阈值范围内，则将第一有效信息数据视为异常数据，将该异常数据筛除。其中的第一有效信息数据包括数据的数值和数据对应的数据指标项。数据指标项阈值范围是根据相关行业标准或国家标准设置的。
或者通过特征图法筛除第一有效信息数据中的异常数据，包括以下步骤：
通过卷积网络处理第一有效信息数据中包含的图片，得到特征图。
基于特征图的空间维度信息和通道信息，确定特征图中每个通道的注意力权重，其中，所述注意力权重用于表征每个通道的重要程度。为每个通道分配不同的权重，可以让网络关注重要的特征、抑制不重要的特征，进而达到更好的检测准确率。
利用注意力权重对特征图进行处理，得到输出特征图。
提取输出特征图中的关键特征信息。这里我们可以将一张图像看做是一个个像素值组成的矩阵，那么对图像的分析就是对矩阵的数字进行分析，而图像的特征，就隐藏在这些数字规律中。一个图像矩阵经过一个卷积核的卷积操作后，得到了另一个矩阵，这个矩阵叫做特征映射（feature map）。每一个卷积核都可以提取特定的特征，不同的卷积核提取不同的特征。例如我们输入一张河流图片，使用某一卷积核提取到河流图片中飘浮物体的特征，根据特征矩阵匹配判定是否属于河流排污图片。
再进一步通过关键特征信息对第一有效信息数据进行验证，将未通过验证的第一有效信息数据视为异常数据，并筛除所述异常数据。还可将异常数据进行存档处理以备后期查看。
由于图片经过特征提取后可以得到污染源的一些关键特征信息，这些关键特征信息可以作为判定对应数据是否真实有效的依据，将关键特征信息与第一有效信息数据进行对比验证，两者不一致时，表示第一有效信息未通过验证，将未通过验证的第一有效信息筛选为异常数据，因此通过关键特征信息的验证可以保证数据的真实性。
通过以上步骤将第一有效信息数据中的无效数据和异常数据筛除之后，继续进行通过聚类分析法填补第一有效信息数据中的缺失数据的步骤，最终得到第二有效信息数据。
通过聚类分析法填补第一有效信息数据中的缺失数据包括以下步骤：
获取基础信息。基础信息与第一有效信息数据之间存在关联数据，该关联数据可以是基础信息与第一有效信息数据都具备的数据指标项。
将存在关联数据的第一有效信息数据与基础信息进行比较：若存在关联数据的第一有效信息数据与基础信息不一致，则第一有效信息数据缺失数据。
利用基础信息填补第一有效信息数据中的缺失数据。
在本实施例中，基础信息指用电企业、排污企业、油气回收企业等企业的基本信息，如企业编码、行业类别、企业名称、企业地址、企业股权信息、企业统一信用代码、环保信用评价等。用电监控数据中提取到的用电企业的基本数据中也包含企业名称、统一信用代码、行业分类等，这二者可能存在由信息采集时间差而导致的数据不同步问题、以及存在获取到用电监控数据中的部分用电企业基本数据缺失问题。针对数据不一致或数据缺失问题的解决方法是先将二者数据比对分析，寻找二者数据之间的唯一关联关系，二者数据之间有关联关系则可将二者数据进行归类并进行比较，然后依据基础信息填补用电监控数据的缺失数据或更新不一致数据，达到完善数据信息、保证数据完整性的目的。
通过以上步骤能够确保数据有效性，为后续数据分析提供可靠的数据，为上层应用提供精准的判断依据，避免无效数据、异常数据影响最终决策。因此，在数据完整的情况下进行数据匹配融合。数据匹配是各类数据融合分析的前置条件。数据融合包括对各种信息源给出的有用信息的采集、传输、综合、过滤、相关及合成，以便辅助人们进行态势/环境判定、规划、验证。
步骤四、将第二有效信息数据进行匹配融合，形成多组数据组合，每个数据组合中的数据均具有相同的类型。匹配时，可根据业务场景将各类数据的数据指标项进行自定义匹配形成数据组合，在进行数据匹配时，本申请采用加权平均法、卡尔曼滤波法、极大似然法中的一种或几种进行数据匹配融合，形成数据组合。本申请实施例还在形成数据组合后，采用加权平均法，为数据组合中的数据自定义设定权重，对于重点关注的数据类型设定较大权重，计算得到加权平均的值。该加权平均的值能够为后续进行的决策树算法提供决策依据。
步骤五、采用规则链算法将每类数据组合的数据与对应设置的数据指标项阈值范围进行链式验证，若验证通过，则将通过验证的数据归为业务数据。需要说明的是，当数据组合的数据在对应设置的数据指标项阈值范围内，则表示验证通过；当数据组合的数据不在对应设置的数据指标项阈值范围内，则表示验证不通过。
步骤六、在验证未通过时，将未通过验证的数据划分为告警数据，并同步产生告警事件。
进一步地，还可将告警事件下发至相关部门，以便相关部门及时监督责令相关企业、单位整改，还可同步在数据可视化GIS地图上显示告警事件的位置和告警数据。进一步地，本申请实施例还包括以下步骤：
采用决策树算法对告警数据进行分类，得到多组告警数据组合。
将告警数据组合与数据组合进行比较，若告警数据组合与数据组合一致，则判定匹配融合获得的数据组合合理。
若各类告警数据与数据组合不一致，则判定数据组合不合理，需要进一步对匹配融合方法进行调整。
本申请的污染源智能监管和数据融合分析方法，能够对污染源进行实时监控获取污染源数据，以及对污染源数据进行数据处理、融合分析等，进而判断告警事件，提高了污染源数据的有效利用率、以及对污染事件的监管效率。
又一方面，本申请还提供污染源智能监管和数据融合分析***，包括智能监管子***和数据融合分析子***。
其中，智能监管子***包括数据采集模块和数据预处理模块。数据采集模块用于获取污染源数据；数据预处理模块用于对污染源数据进行过滤清洗，得到第一有效信息数据。
数据融合分析子***包括识别模块、匹配模块、专家模块和告警模块。识别模块用于通过参数模板法或特征图法过滤第一有效信息数据中的异常数据、以及通过聚类分析法填补第一有效信息数据中的缺失数据后，得到第二有效信息数据；匹配模块用于将第二有效信息数据进行匹配融合，形成数据组合；专家模块用于将每类数据组合的数据与对应设置的数据指标项阈值范围进行链式验证；告警模块用于在验证未通过时，将未通过验证的数据划分为告警数据，并同步产生告警事件。
本申请***分为两个子***：智能监管子***和数据融合分析子***，首先由智能监管子***实时轮询生态环境数据动态活动水平库提供的统一数据接口获取实时数据、或者直接通过采集监控设备数据获取实时数据，并进行数据预处理操作。数据融合分析子***通过对各类数据进行融合交叉算法分析后，精准的判断数据异常情况，产生告警事件，并对告警事件进行存档，提高污染源数据的有效利用率、以及对污染事件的监管效率。
结合本申请中所公开的实施例描述的***可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器、闪存、只读存储器、可擦除可编程只读寄存器(英文：erasableprogrammableread-onlymemory，EPROM)存储器、电可擦可编程只读存储器存储器(英文：electricallyerasableprogrammableread-onlymemory，EEPROM)、硬盘、只读光盘(英文：compactdiscread-onlymemory，CD-ROM)或者本领域熟知的任何其它形式的存储介质中。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。
Claims (9)
1.污染源智能监管和数据融合分析方法，所述方法包括获取污染源数据，其特征在于，所述方法还包括以下步骤：
对所述污染源数据进行过滤清洗，得到第一有效信息数据；
通过参数模板法或特征图法筛除所述第一有效信息数据中的异常数据、以及通过聚类分析法填补所述第一有效信息数据中的缺失数据后，得到第二有效信息数据；
将所述第二有效信息数据进行匹配融合，形成数据组合；
将每类所述数据组合的数据与对应设置的数据指标项阈值范围进行链式验证；
若验证未通过时，则将未通过验证的所述数据划分为告警数据，并同步产生告警事件。
2.根据权利要求1所述的污染源智能监管和数据融合分析方法，其特征在于，所述污染源数据是通过监控设备采集的，所述监控设备包括对新建工况进行监控的新建工况监控设备、对设备状态进行监控的设备状态监控设备、对油气回收情况进行监控的油气回收监控设备、对大气污染物排放进行监控的大气污染物排放监控设备、以及对排污口进行水质监控的水质监控设备；
对应的污染源数据包括污染源工况监控数据、设备状态监控数据、油气回收数据、大气污染物排放数据和水质数据。
3.根据权利要求1所述的污染源智能监管和数据融合分析方法，其特征在于，采用完整性分析法、噪声分析法、和一致性分析法中的一种或多种对所述污染源数据进行过滤清洗，得到所述第一有效信息数据；
所述完整性分析法包括以下步骤：
对所述污染源数据进行完整性分析，查找完整数据与丢失属性值或数值的缺陷数据；
选取与所述缺陷数据相邻的所述完整数据；
计算所述完整数据的中位数，利用所述中位数填补所述缺陷数据丢失的数值；
选取所述完整数据中出现频率最高的属性值，利用所述出现频率最高的属性值填补所述缺陷数据丢失的属性值；
所述噪声分析法包括以下步骤：
采用分箱法对所述污染源数据进行平滑，以除去噪声干扰；
所述一致性分析法包括以下步骤：
获取每条所述污染源数据的时间戳；
对具有相同时间戳的所述污染源数据进行去重处理。
4.根据权利要求1所述的污染源智能监管和数据融合分析方法，其特征在于，通过参数模板法筛除所述第一有效信息数据中的异常数据，包括以下步骤：
设置参数验证模板，每个所述参数验证模板中包括多个数据指标项和数据指标项阈值范围；
将所述第一有效信息数据与对应的所述数据指标项进行比较，判断所述第一有效信息数据是否缺失相应的数据指标项；
若所述第一有效信息数据缺失至少一个数据指标项，则将缺失数据指标项的第一有效信息数据视为无效数据；
若所述第一有效信息数据不缺失数据指标项，则将所述第一有效信息数据与对应的数据指标项阈值范围进行比较，若所述第一有效信息数据不在所述数据指标阈值范围内，则将所述第一有效信息数据视为异常数据；
筛除所述无效数据和所述异常数据。
5.根据权利要求1所述的污染源智能监管和数据融合分析方法，其特征在于，
通过特征图法筛除所述第一有效信息数据中的异常数据，包括以下步骤：
通过卷积网络处理所述第一有效信息数据中包含的图片，得到特征图；
基于所述特征图的空间维度信息和通道信息，确定所述特征图中每个通道的注意力权重，其中，所述注意力权重用于表征每个所述通道的重要程度；
利用所述注意力权重对所述特征图进行处理，得到输出特征图；
提取所述输出特征图中的关键特征信息；
通过所述关键特征信息对所述第一有效信息数据进行验证，将未通过验证的所述第一有效信息数据视为异常数据；
筛除所述异常数据。
6.根据权利要求1所述的污染源智能监管和数据融合分析方法，其特征在于，通过聚类分析法填补所述第一有效信息数据中的缺失数据，包括以下步骤：
获取基础信息，其中，所述基础信息与所述第一有效信息数据之间存在关联数据；
将存在关联数据的所述第一有效信息数据与所述基础信息进行比较：若存在关联数据的所述第一有效信息数据与所述基础信息不一致，则所述第一有效信息数据缺失数据；
利用所述基础信息填补所述第一有效信息数据中的缺失数据。
7.根据权利要求1所述的污染源智能监管和数据融合分析方法，其特征在于，在产生告警事件之后，还包括在数据可视化GIS地图上显示所述告警事件的位置和告警数据。
8.根据权利要求1所述的污染源智能监管和数据融合分析方法，其特征在于，所述方法还包括：
采用决策树算法对所述告警数据进行分类，得到多组告警数据组合；
将所述告警数据组合与所述数据组合进行比较：若所述告警数据组合与所述数据组合一致，则判定所述数据组合合理；
若所述告警数据组合与所述数据组合不一致，则判定所述数据组合不合理。
9.污染源智能监管和数据融合分析***，所述***包括智能监管子***和数据融合分析子***，其特征在于，
所述智能监管子***包括数据采集模块和数据预处理模块；
所述数据采集模块用于获取污染源数据；
所述数据预处理模块用于对所述污染源数据进行过滤清洗，得到第一有效信息数据；
所述数据融合分析子***包括识别模块、匹配模块、专家模块和告警模块；
所述识别模块用于通过参数模板法或特征图法过滤所述第一有效信息数据中的异常数据、以及通过聚类分析法填补所述第一有效信息数据中的缺失数据后，得到第二有效信息数据；
所述匹配模块用于将所述第二有效信息数据进行匹配融合，形成数据组合；
所述专家模块用于将每类所述数据组合的数据与对应设置的数据指标项阈值范围进行链式验证；
所述告警模块用于在验证未通过时，将未通过验证的所述数据划分为告警数据，并同步产生告警事件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111513348.7A CN113901043B (zh) | 2021-12-13 | 2021-12-13 | 污染源智能监管和数据融合分析方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111513348.7A CN113901043B (zh) | 2021-12-13 | 2021-12-13 | 污染源智能监管和数据融合分析方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113901043A true CN113901043A (zh) | 2022-01-07 |
| CN113901043B CN113901043B (zh) | 2022-03-29 |
Family
ID=79026173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111513348.7A Active CN113901043B (zh) | 2021-12-13 | 2021-12-13 | 污染源智能监管和数据融合分析方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113901043B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116165353A (zh) * | 2023-04-26 | 2023-05-26 | 江西拓荒者科技有限公司 | 一种工业污染物监测数据处理方法及*** |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2610636A1 (en) * | 2011-12-29 | 2013-07-03 | Windward Ltd. | Providing near real-time maritime insight from satellite imagery and extrinsic data |
| US20130212154A1 (en) * | 2012-02-15 | 2013-08-15 | Qpr Software Oyj | Processing event instance data in a client-server architecture |
| CN103617360A (zh) * | 2013-12-03 | 2014-03-05 | 力合科技（湖南）股份有限公司 | 预警事件处理方法和装置 |
| CN107784435A (zh) * | 2017-09-30 | 2018-03-09 | 四川知和环保科技有限公司 | 一种基于物联网的污染源数据管理方法及*** |
| US20180107450A1 (en) * | 2016-10-17 | 2018-04-19 | Tata Consultancy Services Limited | System and method for data pre-processing |
| WO2018098721A1 (zh) * | 2016-11-30 | 2018-06-07 | 深圳益强信息科技有限公司 | 一种环境数据监控方法和*** |
| CN108804528A (zh) * | 2018-04-28 | 2018-11-13 | 北京猎户星空科技有限公司 | 一种数据融合方法及装置 |
| CN109857035A (zh) * | 2019-03-12 | 2019-06-07 | 苏州科技大学 | 一种污染源智能环保监控*** |
| CN111124805A (zh) * | 2019-11-25 | 2020-05-08 | 中国联合网络通信集团有限公司 | 数据采集方法、装置、设备及存储介质 |
| CN112085241A (zh) * | 2019-06-12 | 2020-12-15 | 江苏汇环环保科技有限公司 | 一种基于机器学***台 |
| CN113419492A (zh) * | 2021-06-02 | 2021-09-21 | 安徽理工大学环境友好材料与职业健康研究院(芜湖) | 基于多源异构传感器数据融合的NB-IoT的工业污染物监测*** |
| WO2021184727A1 (zh) * | 2020-03-19 | 2021-09-23 | 平安科技（深圳）有限公司 | 数据异常检测方法、装置、电子设备及存储介质 |
| CN113469857A (zh) * | 2021-07-19 | 2021-10-01 | 神彩科技股份有限公司 | 一种数据处理方法、装置、电子设备以及存储介质 |
-
2021
- 2021-12-13 CN CN202111513348.7A patent/CN113901043B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2610636A1 (en) * | 2011-12-29 | 2013-07-03 | Windward Ltd. | Providing near real-time maritime insight from satellite imagery and extrinsic data |
| US20130212154A1 (en) * | 2012-02-15 | 2013-08-15 | Qpr Software Oyj | Processing event instance data in a client-server architecture |
| CN103617360A (zh) * | 2013-12-03 | 2014-03-05 | 力合科技（湖南）股份有限公司 | 预警事件处理方法和装置 |
| US20180107450A1 (en) * | 2016-10-17 | 2018-04-19 | Tata Consultancy Services Limited | System and method for data pre-processing |
| WO2018098721A1 (zh) * | 2016-11-30 | 2018-06-07 | 深圳益强信息科技有限公司 | 一种环境数据监控方法和*** |
| CN107784435A (zh) * | 2017-09-30 | 2018-03-09 | 四川知和环保科技有限公司 | 一种基于物联网的污染源数据管理方法及*** |
| CN108804528A (zh) * | 2018-04-28 | 2018-11-13 | 北京猎户星空科技有限公司 | 一种数据融合方法及装置 |
| CN109857035A (zh) * | 2019-03-12 | 2019-06-07 | 苏州科技大学 | 一种污染源智能环保监控*** |
| CN112085241A (zh) * | 2019-06-12 | 2020-12-15 | 江苏汇环环保科技有限公司 | 一种基于机器学***台 |
| CN111124805A (zh) * | 2019-11-25 | 2020-05-08 | 中国联合网络通信集团有限公司 | 数据采集方法、装置、设备及存储介质 |
| WO2021184727A1 (zh) * | 2020-03-19 | 2021-09-23 | 平安科技（深圳）有限公司 | 数据异常检测方法、装置、电子设备及存储介质 |
| CN113419492A (zh) * | 2021-06-02 | 2021-09-21 | 安徽理工大学环境友好材料与职业健康研究院(芜湖) | 基于多源异构传感器数据融合的NB-IoT的工业污染物监测*** |
| CN113469857A (zh) * | 2021-07-19 | 2021-10-01 | 神彩科技股份有限公司 | 一种数据处理方法、装置、电子设备以及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| YIN, QISHUAI等: "Machine Learning for Deepwater Drilling: Gas-Kick-Alarm Classification Using Pilot-Scale Rig Data with Combined Surface-Riser-Downhole Monitoring", 《SPE JOURNAL》 * |
| 冯雪松: "大规模电池群组现场环境数据挖掘、建模与应用研究", 《中国博士学位论文全文数据库(电子期刊)》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116165353A (zh) * | 2023-04-26 | 2023-05-26 | 江西拓荒者科技有限公司 | 一种工业污染物监测数据处理方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113901043B (zh) | 2022-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113487123B (zh) | 高光谱监测与gis耦合山洪灾害动态风险评估方法 | |
| CN109472075B (zh) | 一种基站性能分析方法及*** | |
| CN112344990A (zh) | 环境异常监测方法、装置、设备及存储介质 | |
| CN111079999A (zh) | 一种基于cnn和svm的洪水灾害易发性预测方法 | |
| CN112288247A (zh) | 一种基于空间交互关系的土壤重金属风险识别方法 | |
| CN114201374A (zh) | 基于混合机器学习的运维时序数据异常检测方法及*** | |
| CN113901043B (zh) | 污染源智能监管和数据融合分析方法和*** | |
| CN114912787A (zh) | 一种企业危险废物瞒报漏报风险的智能评估方法 | |
| CN113723452A (zh) | 一种基于kpi聚类的大规模异常检测*** | |
| CN108257385B (zh) | 一种基于公共交通的异常事件的甄别方法 | |
| KR102564191B1 (ko) | 실시간으로 재난 상황을 감지하고 대응하는 재난 대응 시스템 | |
| CN111797188B (zh) | 一种基于开源地理空间矢量数据的城市功能区定量识别方法 | |
| CN114881381A (zh) | 基于改进卷积神经网络的城市积水水位预测方法及*** | |
| CN115789527A (zh) | 一种基于水环境信息化治理的分析***及方法 | |
| CN111709646A (zh) | 空气污染暴露风险评价方法及*** | |
| CN117113038B (zh) | 城市水土流失黄泥水事件溯源方法及*** | |
| CN117113830B (zh) | 一种基于数据分析的山体修复评估预测*** | |
| CN114021384A (zh) | 一种基于bim和gis的道路噪声可视化评价方法 | |
| CN117522652A (zh) | 人居环境脆弱性评价方法、***、智能终端及存储介质 | |
| CN116703004A (zh) | 一种基于预训练模型的水系流域智慧巡护方法和装置 | |
| CN113191170B (zh) | 公共设施二维码损毁巡检有效性预测方法及*** | |
| CN115526407A (zh) | 基于因果机器学习的电网大数据安全检测预警方法及*** | |
| ZHANG et al. | Comparison between two air quality index systems in study of urban air pollution in China and its socio-economic determinants | |
| CN113590663A (zh) | 一种环境检测方法及*** | |
| CN113362630A (zh) | 一种智慧城市建设道路交通信号设备故障分析处理方法、***及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |