CN116992391A - 一种硬碳工艺环保监测数据采集处理方法 - Google Patents
一种硬碳工艺环保监测数据采集处理方法 Download PDFInfo
- Publication number
- CN116992391A CN116992391A CN202311253322.2A CN202311253322A CN116992391A CN 116992391 A CN116992391 A CN 116992391A CN 202311253322 A CN202311253322 A CN 202311253322A CN 116992391 A CN116992391 A CN 116992391A
- Authority
- CN
- China
- Prior art keywords
- data
- value
- initial
- updated
- suspected abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 229910021385 hard carbon Inorganic materials 0.000 title claims abstract description 23
- 238000012544 monitoring process Methods 0.000 title claims abstract description 23
- 238000003672 processing method Methods 0.000 title abstract description 7
- 230000002159 abnormal effect Effects 0.000 claims abstract description 337
- 239000007789 gas Substances 0.000 claims abstract description 75
- 238000013450 outlier detection Methods 0.000 claims abstract description 25
- 230000007613 environmental effect Effects 0.000 claims abstract description 15
- 239000002912 waste gas Substances 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims description 10
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000003912 environmental pollution Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003575 carbonaceous material Substances 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0004—Gaseous mixtures, e.g. polluted air
- G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
- G01N33/0062—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method or the display, e.g. intermittent measurement or digital display
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Combustion & Propulsion (AREA)
- Evolutionary Computation (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明涉及环境污染数据处理技术领域,具体涉及一种硬碳工艺环保监测数据采集处理方法。该方法获取废气浓度数据;设定离群点检测算法的初始k值,获取每个废气浓度数据的初始离群因子,确定初始正常数据和疑似异常数据;将初始k值进行更新,根据每个更新k值下的更新邻域内初始正常数据和疑似异常数据的分布情况,获取每个更新k值下的真实异常数据,确定最优更新k值;根据最优更新k值,获取异常废气浓度数据。本发明通过每个更新k值下的真实异常点数量,获取离群点检测算法的最优k值,进而准确监测出异常废气浓度,及时预防废气带来的伤害。
Description
技术领域
本发明涉及环境污染数据处理技术领域,具体涉及一种硬碳工艺环保监测数据采集处理方法。
背景技术
硬碳工艺是将煤、石油等天然有机物转化为高价值碳材料的一种工艺,具有重要的经济价值和产业应用前景。在硬碳工艺生产过程,会产生有害废气,对环境以及人体健康造成严重的不可逆损害。
为了实时发现异常的废气浓度数据,预防有害废气带来的伤害,现有方法通过离群点检测算法对每个废气浓度数据进行检测,监测废气浓度数据是否存在异常,但是由于离群点检测算法中的k值是人为根据经验设定的,容易导致离群点检测算法的检测精度不高,将正常的废气浓度数据误检为异常的废气浓度数据,使得异常的废气浓度数据监测不准确,不能及时预防废气带来的伤害。
发明内容
为了解决离群点检测算法中的k值不准确,导致异常的废气浓度数据监测不准确的技术问题,本发明的目的在于提供一种硬碳工艺环保监测数据采集处理方法,所采用的技术方案具体如下:
本发明提出了一种硬碳工艺环保监测数据采集处理方法,该方法包括以下步骤:
获取设定时间段内不同时刻的废气浓度数据;
设定离群点检测算法的初始k值,获取初始k值下每个废气浓度数据的局部离群因子,作为初始离群因子;根据初始离群因子对废气浓度数据进行异常检测,根据异常检测结果中数据的异常分布情况,确定初始正常数据和疑似异常数据;
对初始k值进行更新获得至少两个更新k值,获取每个更新k值下每个废气浓度数据的更新离群因子,根据每个初始正常数据在每个更新k值下的更新邻域内初始正常数据和疑似异常数据的分布情况,筛选出每个更新k值下的疑似异常区域;
根据每个更新k值下的疑似异常区域内每个疑似异常数据的更新离群因子和位置分布情况,获得每个更新k值下的疑似异常区域内每个疑似异常数据的正常数据集合;根据每个更新k值下疑似异常数据与其对应的正常数据集合中每个元素之间的初始离群因子的差异和更新离群因子的差异,获取每个更新k值下的真实异常数据,确定最优更新k值;
根据最优更新k值,获取异常废气浓度数据。
进一步地,所述根据初始离群因子对废气浓度数据进行异常检测的方法为:
获取初始离群因子的均值,作为初始目标均值;
当初始离群因子大于或者等于初始目标均值时,将对应的废气浓度数据作为第一异常数据;
当初始离群因子小于初始目标均值时,将对应的废气浓度数据作为第一正常数据。
进一步地,所述根据异常检测结果中数据的异常分布情况,确定初始正常数据和疑似异常数据的方法为:
获取每个第一正常数据在初始k值下的初始邻域,作为初始正常邻域;
当初始正常邻域中的每个邻域数据均为第一正常数据时,将初始正常邻域的中心第一正常数据作为初始正常数据;
当初始正常邻域中的每个邻域数据至少存在一个第一异常数据时,将初始正常邻域的中心第一正常数据作为初始异常数据;其中,将第一异常数据也作为初始异常数据。
进一步地,所述疑似异常区域的获取方法为:
对于任一个初始正常数据,获取该初始正常数据在每个更新k值下的更新邻域内的新增邻域数据,当新增邻域数据至少一个为疑似异常数据时,将该初始正常数据在对应更新k值下的更新邻域,作为疑似异常区域。
进一步地,所述根据每个更新k值下的疑似异常区域内每个疑似异常数据的更新离群因子和位置分布情况,获得每个更新k值下的疑似异常区域内每个疑似异常数据的正常数据集合的方法为:
任选一个更新k值,作为目标k值,对于目标k值下的任意一个疑似异常区域,将该疑似异常区域中的每个疑似异常数据根据更新离群因子从大到小的顺序进行排序,获得该疑似异常区域的疑似异常数据序列;
对于疑似异常数据序列中的第i个疑似异常数据,将目标k值下含有第i个疑似异常数据的疑似异常区域,作为目标区域;
将每个目标区域的中心初始正常数据构成的集合,作为第i个疑似异常数据的整体正常数据集合;
将疑似异常数据序列中位于第i个疑似异常数据之前的每个疑似异常数据的整体正常数据集合,作为对比集合;
将第i个疑似异常数据的整体正常数据集合中与所有对比集合中重复的初始正常数据去除,获得去除后的第i个疑似异常数据的整体正常数据集合,作为第i个疑似异常数据的正常数据集合。
进一步地,所述真实异常数据的获取方法为:
获取每个更新k值下每个疑似异常数据与其对应的正常数据集合中每个元素之间的初始离群因子的差异,作为第一差异;其中,正常数据集合中的每个元素均为初始正常数据;
获取所述第一差异的均值,作为第一均值;
获取每个更新k值下每个疑似异常数据与其对应的正常数据集合中每个元素之间的更新离群因子的差异,作为第二差异;
获取所述第二差异的均值,作为第二均值;
获取每个疑似异常数据的第一均值与第二均值的差值,作为对应疑似异常数据的参考值;
当参考值大于预设的参考阈值时,对应的疑似异常数据为真实异常数据。
进一步地,所述最优更新k值的获取方法为:
获取每个更新k值下的真实异常数据的数量,作为异常数量;
将最大的异常数量对应的更新k值,作为最优更新k值。
进一步地,所述根据最优更新k值,获取异常废气浓度数据的方法为:
基于最优更新k值,通过离群点检测算法,获取每个废气浓度数据的局部离群因子,作为最优离群因子;
获取最优离群因子的均值,作为最优均值;
将大于最优均值的最优离群因子对应的废气浓度数据,标记为异常废气浓度数据。
进一步地,所述对初始k值进行更新的过程为:将初始k值按照预设步长依次增加,每次增加的结果为更新k值。
进一步地,所述更新离群因子的获取方法为:
获取每个更新k值下每个废气浓度数据的局部离群因子,作为更新离群因子。
本发明具有如下有益效果:
设定离群点检测算法的初始k值,确定初始正常数据和疑似异常数据,为后续获取离群点检测算法中的最优k值做准确;因此,将初始k值根据预设步长进行更新,获取每个更新k值,根据每个初始正常数据在每个更新k值下的更新邻域内初始正常数据和疑似异常数据的分布情况,筛选出每个更新k值下的疑似异常区域,只对疑似异常区域中的疑似异常数据进行分析,提高了获取真实异常数据的效率;进而根据每个更新k值下的疑似异常区域内每个疑似异常数据的更新离群因子和位置分布情况,获得每个更新k值下的疑似异常区域内每个疑似异常数据的正常数据集合,确定每个疑似异常数据是否为真实异常数据;因此,根据每个更新k值下疑似异常数据与其对应的正常数据集合中每个元素之间的初始离群因子的差异和更新离群因子的差异,准确确定每个更新k值下的真实异常数据,进而确定离群点检测算法中的最优更新k值,准确监测异常的废气浓度数据,使得对异常的废气浓度数据进行准确的分析,降低废气带来的风险,及时对异常的废气浓度进行预防。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种硬碳工艺环保监测数据采集处理方法的流程示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种硬碳工艺环保监测数据采集处理方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种硬碳工艺环保监测数据采集处理方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种硬碳工艺环保监测数据采集处理方法的流程示意图,该方法包括以下步骤:
步骤S1:获取设定时间段内不同时刻的废气浓度数据。
具体的,硬碳工艺是一种烧焦工艺,在生产过程中会产生大量的废气,为了实时的监测排放的废气浓度,本发明实施例将设定时间段设定为一个小时,且为当前时刻和距离当前时刻一个小时对应的时刻之间的时间段,实施者可根据实际情况设定时间段的时长,在此不进行限定。利用传感器实时的监测设定时间段内每个采集时刻下的废气浓度数据。排放的废气浓度数据存在一定的变化趋势,为了提高监测异常废气浓度数据的效率,本发明实施例每间隔5分钟采集一次废气浓度数据,实施者可根据实际情况设定采集废气浓度数据的时间间隔,在此不进行限定。
本发明实施例的目的为:通过不断的更新离群点检测算法的k值,获取每个更新k值下每个废气浓度数据的局部离群因子,确定每个更新k值下筛选出的真实异常数据的数量,自适应获取离群点检测算法中的最优k值,准确的获取出异常的废气浓度数据,及时对异常的废气浓度数据进行处理,降低废气带来的伤害。其中,离群点检测算法为公知技术,在此不进行赘述。
步骤S2:设定离群点检测算法的初始k值,获取初始k值下每个废气浓度数据的局部离群因子,作为初始离群因子;根据初始离群因子对废气浓度数据进行异常检测,根据异常检测结果中数据的异常分布情况,确定初始正常数据和疑似异常数据。
具体的,为了更准确的获取离群点检测算法的每个更新k值下的真实异常数据的数量,本发明实施例将离群点检测算法的初始k值设定为2,将初始k值下每个废气浓度数据的局部离群因子作为一个基准,在此基础上确定每个更新k值下的真实异常数据。实施者可根据实际情况设定初始k值的大小,在此不进行限定。获取初始k值下每个废气浓度数据的局部离群因子,作为初始离群因子,获取初始离群因子的均值,作为初始目标均值;当初始离群因子大于或者等于初始目标均值时,将对应的废气浓度数据作为第一异常数据;当初始离群因子小于初始目标均值时,将对应的废气浓度数据作为第一正常数据。因为初始k值很小,导致获取的第一异常数据和第一正常数据中可以同时含有正常的废气浓度数据和异常的废气浓度数据。为了将初始k值下的正常的废气浓度数据和异常的废气浓度数据进行初步的划分,获取只表示正常的废气浓度数据的初始正常数据和可能表示正常的废气浓度数据和异常的废气浓度数据的疑似异常数据,本发明实施例获取每个第一正常数据在初始k值下的初始邻域,作为初始正常邻域,当初始正常邻域中的每个邻域数据均为第一正常数据时,说明对应初始正常邻域的中心第一正常数据一定为正常的废气浓度数据,本发明实施例将该第一正常数据作为初始正常数据;当初始正常邻域中的每个邻域数据至少存在一个第一异常数据时,说明对应初始正常邻域的中心第一正常数据周围的异常数据向其进行聚集,该第一正常数据可能为异常的废气浓度数据,本发明实施例将该第一正常数据作为疑似异常数据;已知第一异常数据本身就可能为疑似异常数据,因此,本发明实施例将第一异常数据也作为疑似异常数据。至此,将初始k值下的废气浓度数据划分为初始正常数据和疑似异常数据。
后续只对每个初始正常数据新增的邻域数据进行分析,疑似异常数据将不再根据k值的变化添加邻域数据,即疑似异常数据将不存在邻域,即散乱分布。后续通过更新k值将疑似异常数据添加到对应的初始正常数据的邻域,直至不存在单独的疑似异常数据,停止对初始k值的更新。
步骤S3:对初始k值进行更新获得至少两个更新k值,获取每个更新k值下每个废气浓度数据的更新离群因子,根据每个初始正常数据在每个更新k值下的更新邻域内初始正常数据和疑似异常数据的分布情况,筛选出每个更新k值下的疑似异常区域。
具体的,本发明实施例根据预设步长对初始k值进行更新,将预设步长设定为1,实施者可根据实际情况设定预设步长的大小,在此不进行限定。将初始k值按照预设步长依次增加,每次增加的结果为更新k值。例如,当初始k值为2时,则初始k值第一次更新获得的第一个更新k值为,第二个更新k值为/>,直至不存在单独的疑似异常数据,停止对初始k值的更新。获取每个更新k值下每个废气浓度数据的局部离群因子,作为更新离群因子。便于后续获取每个更新k值下真实异常数据。为了高效的获得每个更新k值下的真实异常数据,本发明实施例根据每个初始正常数据在每个更新k值下的更新邻域内初始正常数据和疑似异常数据的分布情况,筛选出每个更新k值下的疑似异常区域,对每个更新k值下的疑似异常区域进行分析,准确高效的确定真实异常数据。
优选地,获取疑似异常区域的方法为:对于任一个初始正常数据,获取该初始正常数据在每个更新k值下的更新邻域内的新增邻域数据,当新增邻域数据均为疑似异常数据时,将该初始正常数据在对应更新k值下的更新邻域,作为疑似异常区域。
作为一个示例,以第一个更新k值即k=3为例,当k=3时,每个初始正常数据的更新邻域内新加的邻域数据至少有一个,当初始正常数据的更新邻域内新加的邻域数据均为初始正常数据时,更加确定该初始正常数据更新邻域内的初始正常数据均为正常的废气浓度数据。当初始正常数据的更新邻域内新增的邻域数据只要存在一个疑似异常数据时,将对应初始正常数据在k=3下的更新邻域,作为疑似异常区域。至此,获取k=3下的疑似异常区域。
根据获取k=3下的疑似异常区域方法,获取每个更新k值下的疑似异常区域。
步骤S4:根据每个更新k值下的疑似异常区域内每个疑似异常数据的更新离群因子和位置分布情况,获得每个更新k值下的疑似异常区域内每个疑似异常数据的正常数据集合;根据每个更新k值下疑似异常数据与其对应的正常数据集合中每个元素之间的初始离群因子的差异和更新离群因子的差异,获取每个更新k值下的真实异常数据,确定最优更新k值。
具体的,为了获取最优更新k值,本发明实施例对每个更新k值下的疑似异常区域中的疑似异常数据进行分析,获取每个更新k值下的疑似异常区域内每个疑似异常数据的正常数据集合,根据每个更新k值下疑似异常数据与其对应的正常数据集合中每个元素之间的初始离群因子的差异和更新离群因子的差异,获取每个更新k值下的真实异常数据,进而确定每个更新k值下的真实异常数据,准确确定离群点检测算法中的k值,即最优更新k值。其中,确定最优更新k值的方法如下:
(1)获取正常数据集合。
优选地,获取正常数据集合的方法为:任选一个更新k值,作为目标k值,对于目标k值下的任意一个疑似异常区域,将该疑似异常区域中的每个疑似异常数据根据更新离群因子从大到小的顺序进行排序,获得该疑似异常区域的疑似异常数据序列;对于疑似异常数据序列中的第i个疑似异常数据,将目标k值下含有第i个疑似异常数据的疑似异常区域,作为目标区域;将每个目标区域的中心初始正常数据构成的集合,作为第i个疑似异常数据的整体正常数据集合;将疑似异常数据序列中位于第i个疑似异常数据之前的每个疑似异常数据的整体正常数据集合,作为对比集合;将第i个疑似异常数据的整体正常数据集合中与所有对比集合中重复的初始正常数据去除,获得去除后的第i个疑似异常数据的整体正常数据集合,作为第i个疑似异常数据的正常数据集合。
作为一个示例,以步骤S3中的第一个更新k值即k=3为例,将第一个更新k值作为目标k值,对于目标k值下的任意一个疑似异常区域,将该疑似异常区域中的每个疑似异常数据根据更新离群因子从大到小的顺序进行排序,获得该疑似异常区域的疑似异常数据序列;对于疑似异常数据序列中的第i个疑似异常数据,将k=3下含有第i个疑似异常数据的疑似异常区域,作为目标区域;将每个目标区域的中心初始正常数据构成的集合,作为第i个疑似异常数据的整体正常数据集合;根据获取第i个疑似异常数据的整体正常数据集合的方法,获取疑似异常数据序列中每个元素即初始正常数据的整体正常数据集合,将疑似异常数据序列中位于第i个疑似异常数据之前的每个疑似异常数据的整体正常数据集合,作为对比集合;将第i个疑似异常数据的整体正常数据集合中与所有对比集合中重复的初始正常点去除,获得去除后的第i个疑似异常数据的整体正常数据集合,作为第i个疑似异常数据的正常数据集合。例如,以第Y个疑似异常区域为例,若第Y个疑似异常区域中存在两个疑似异常数据,分别为疑似异常数据a和疑似异常数据b,获取疑似异常数据a和疑似异常数据b的更新离群因子,将疑似异常数据a和疑似异常数据b根据更新离群因子从大到小的顺序进行排序,获得第Y个疑似异常区域的疑似异常数据序列。假如,疑似异常数据a的更新离群因子大于或者等于疑似异常数据b的更新离群因子,则获得的疑似异常数据序列中的第一个元素为疑似异常数据a。其中,疑似异常数据a和疑似异常数据b不止可以是第Y个疑似异常区域的新增邻域点,也可以同时是其他疑似异常区域的新增邻域点,因此,本发明实施例将将k=3下含有疑似异常数据a的疑似异常区域,作为目标区域;将每个目标区域的中心初始正常数据构成的集合,作为疑似异常数据a的整体正常数据集合;根据获取疑似异常数据a的整体正常数据集合的方法,获取疑似异常数据b的整体正常数据集合。因为疑似异常数据a的更新离群因子大于或者等于疑似异常数据b的更新离群因子,因此,疑似异常数据a越偏离,疑似异常数据a的整体正常数据集合中的元素总数量一定小于或者等于疑似异常数据b的整体正常数据集合中的元素总数量。为了避免疑似异常数据a对疑似异常数据b的分析造成干扰,本发明实施例将疑似异常数据a的整体正常数据集合作为对比集合,将疑似异常数据b的整体正常数据集合中与对比集合中重合的元素,即重合的初始正常点进行去除,去除后的疑似异常数据b的整体正常数据集合,即为疑似异常数据b的正常数据集合。其中,疑似异常数据a的整体正常数据集合即为疑似异常数据a的正常数据集合。需要说明的是,若疑似异常数据b的整体正常数据集合中的元素与对比集合中的元素完全重合,说明疑似异常数据a的更新离群因子等于疑似异常数据b的更新离群因子,此时只对疑似异常数据a进行分析,若疑似异常数据a为真实异常数据,则疑似异常数据b也为真实异常数据;若疑似异常数据a不是真实异常数据,则疑似异常数据b也不是真实异常数据。
根据获取k=3下疑似异常数据a的正常数据集合和疑似异常数据b的正常数据集合的方法,获取每个更新k值下疑似异常区域内的每个疑似异常数据的正常数据集合。
(2)获取真实异常数据。
优选地,获取真实异常数据的获取方法为:获取每个更新k值下每个疑似异常数据与其对应的正常数据集合中每个元素之间的初始离群因子的差异,作为第一差异;其中,正常数据集合中的每个元素均为初始正常数据;获取第一差异的均值,作为第一均值;获取每个更新k值下每个疑似异常数据与其对应的正常数据集合中每个元素之间的更新离群因子的差异,作为第二差异;获取第二差异的均值,作为第二均值;获取每个疑似异常数据的第一均值与第二均值的差值,作为对应疑似异常数据的参考值;当参考值大于预设的参考阈值时,对应的疑似异常数据为真实异常数据。
作为一个示例,以第一个更新k值即k=3下的疑似异常区域中的疑似异常数据a为例,确定疑似异常数据a是否为真实异常数据的方法如下:获取疑似异常数据a与疑似异常数据a的正常数据集合中每个元素即初始正常数据之间的初始离群因子的差值绝对值,即为第一差异,获取第一差异的均值,即为第一均值;获取疑似异常数据a与疑似异常数据a的正常数据集合中每个元素即初始正常数据之间的更新离群因子的差值绝对值,即为第二差异,获取第二差异的均值,即为第二均值。若疑似异常数据a不是异常点,疑似异常数据a的初始离群因子与更新离群因子很接近,同时,第一均值与第二均值也很接近;若疑似异常数据a是真实异常数据,则疑似异常数据a的初始离群因子很大,疑似异常数据a的更新离群因子相比与疑似异常数据a的初始离群因子会很小,疑似异常数据a的初始离群因子与更新离群因子之间的差异很大,同时,第一均值与第二均值之间的差异也很大。因此,获取疑似异常数据a的第一均值与第二均值的差值,作为疑似异常数据a的参考值。当疑似异常数据a的参考值越大,说明疑似异常数据a的第一均值与第二均值之间的差异越大,第一均值越大于第二均值,疑似异常数据a越可能为异常点。其中,第一均值大于或者等于第二均值。本发明实施例设定预设的参考阈值为0.1,实施者可根据实际情况设定参考阈值的大小,在此不进行限定。当疑似异常数据a的参考值大于预设的参考阈值时,疑似异常数据a为真实异常数据。当疑似异常数据a的参考值小于或者等于预设的参考阈值时,疑似异常数据a为正常的废气浓度数据。
根据确定疑似异常数据a是否为真实异常数据的方法,对k=3下的每个疑似缺陷区域中的每个疑似异常数据进行分析,确定每个疑似异常数据是否为真实异常数据,进而确定k=3下的真实异常数据的数量。
根据获取k=3下的真实异常数据的数量的方法,获取每个更新k值下的真实异常数据的数量。
(3)获取最优更新k值。
具体的,真实异常数据的数量越多,说明在对应的更新k值下,识别异常的废气浓度数据越准确,因此,本发明实施例将最大的真实异常数据的数量对应的更新k值,作为离群点检测算法的最优k值。若最大的真实异常数据的数量对应至少两个更新k值,则选取最大的更新k值,作为离群点检测算法的最优更新k值。
步骤S5:根据最优更新k值,获取异常废气浓度数据。
具体的,基于最优更新k值,通过离群点检测算法,获取每个废气浓度数据的局部离群因子,作为最优离群因子;获取最优离群因子的均值,作为最优均值;将大于最优均值的最优离群因子对应的废气浓度数据,标记为异常废气浓度数据。至此,准确的监测出当前时刻下异常的废气浓度数据。使得工作人员及时对异常的废气浓度数据进行处理,避免异常的废气浓度对环境以及人体健康造成伤害。
至此,本发明完成。
综上所述,本发明实施例获取废气浓度数据;设定离群点检测算法的初始k值,获取每个废气浓度数据的初始离群因子,确定初始正常数据和疑似异常数据;将初始k值进行更新,根据每个更新k值下的更新邻域内初始正常数据和疑似异常数据的分布情况,获取每个更新k值下的真实异常数据,确定最优更新k值;根据最优更新k值,获取异常废气浓度数据。本发明通过每个更新k值下的真实异常点数量,获取离群点检测算法的最优k值,进而准确监测出异常废气浓度,及时预防废气带来的伤害。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
Claims (10)
1.一种硬碳工艺环保监测数据采集处理方法,其特征在于,该方法包括以下步骤:
获取设定时间段内不同时刻的废气浓度数据;
设定离群点检测算法的初始k值,获取初始k值下每个废气浓度数据的局部离群因子,作为初始离群因子;根据初始离群因子对废气浓度数据进行异常检测,根据异常检测结果中数据的异常分布情况,确定初始正常数据和疑似异常数据;
对初始k值进行更新获得至少两个更新k值,获取每个更新k值下每个废气浓度数据的更新离群因子,根据每个初始正常数据在每个更新k值下的更新邻域内初始正常数据和疑似异常数据的分布情况,筛选出每个更新k值下的疑似异常区域;
根据每个更新k值下的疑似异常区域内每个疑似异常数据的更新离群因子和位置分布情况,获得每个更新k值下的疑似异常区域内每个疑似异常数据的正常数据集合;根据每个更新k值下疑似异常数据与其对应的正常数据集合中每个元素之间的初始离群因子的差异和更新离群因子的差异,获取每个更新k值下的真实异常数据,确定最优更新k值;
根据最优更新k值,获取异常废气浓度数据。
2.如权利要求1所述一种硬碳工艺环保监测数据采集处理方法,其特征在于,所述根据初始离群因子对废气浓度数据进行异常检测的方法为:
获取初始离群因子的均值,作为初始目标均值;
当初始离群因子大于或者等于初始目标均值时,将对应的废气浓度数据作为第一异常数据;
当初始离群因子小于初始目标均值时,将对应的废气浓度数据作为第一正常数据。
3.如权利要求2所述一种硬碳工艺环保监测数据采集处理方法,其特征在于,所述根据异常检测结果中数据的异常分布情况,确定初始正常数据和疑似异常数据的方法为:
获取每个第一正常数据在初始k值下的初始邻域,作为初始正常邻域;
当初始正常邻域中的每个邻域数据均为第一正常数据时,将初始正常邻域的中心第一正常数据作为初始正常数据;
当初始正常邻域中的每个邻域数据至少存在一个第一异常数据时,将初始正常邻域的中心第一正常数据作为初始异常数据;其中,将第一异常数据也作为初始异常数据。
4.如权利要求1所述一种硬碳工艺环保监测数据采集处理方法,其特征在于,所述疑似异常区域的获取方法为:
对于任一个初始正常数据,获取该初始正常数据在每个更新k值下的更新邻域内的新增邻域数据,当新增邻域数据至少一个为疑似异常数据时,将该初始正常数据在对应更新k值下的更新邻域,作为疑似异常区域。
5.如权利要求1所述一种硬碳工艺环保监测数据采集处理方法,其特征在于,所述根据每个更新k值下的疑似异常区域内每个疑似异常数据的更新离群因子和位置分布情况,获得每个更新k值下的疑似异常区域内每个疑似异常数据的正常数据集合的方法为:
任选一个更新k值,作为目标k值,对于目标k值下的任意一个疑似异常区域,将该疑似异常区域中的每个疑似异常数据根据更新离群因子从大到小的顺序进行排序,获得该疑似异常区域的疑似异常数据序列;
对于疑似异常数据序列中的第i个疑似异常数据,将目标k值下含有第i个疑似异常数据的疑似异常区域,作为目标区域;
将每个目标区域的中心初始正常数据构成的集合,作为第i个疑似异常数据的整体正常数据集合;
将疑似异常数据序列中位于第i个疑似异常数据之前的每个疑似异常数据的整体正常数据集合,作为对比集合;
将第i个疑似异常数据的整体正常数据集合中与所有对比集合中重复的初始正常数据去除,获得去除后的第i个疑似异常数据的整体正常数据集合,作为第i个疑似异常数据的正常数据集合。
6.如权利要求5所述一种硬碳工艺环保监测数据采集处理方法,其特征在于,所述真实异常数据的获取方法为:
获取每个更新k值下每个疑似异常数据与其对应的正常数据集合中每个元素之间的初始离群因子的差异,作为第一差异;其中,正常数据集合中的每个元素均为初始正常数据;
获取所述第一差异的均值,作为第一均值;
获取每个更新k值下每个疑似异常数据与其对应的正常数据集合中每个元素之间的更新离群因子的差异,作为第二差异;
获取所述第二差异的均值,作为第二均值;
获取每个疑似异常数据的第一均值与第二均值的差值,作为对应疑似异常数据的参考值;
当参考值大于预设的参考阈值时,对应的疑似异常数据为真实异常数据。
7.如权利要求1所述一种硬碳工艺环保监测数据采集处理方法,其特征在于,所述最优更新k值的获取方法为:
获取每个更新k值下的真实异常数据的数量,作为异常数量;
将最大的异常数量对应的更新k值,作为最优更新k值。
8.如权利要求1所述一种硬碳工艺环保监测数据采集处理方法,其特征在于,所述根据最优更新k值,获取异常废气浓度数据的方法为:
基于最优更新k值,通过离群点检测算法,获取每个废气浓度数据的局部离群因子,作为最优离群因子;
获取最优离群因子的均值,作为最优均值;
将大于最优均值的最优离群因子对应的废气浓度数据,标记为异常废气浓度数据。
9.如权利要求1所述一种硬碳工艺环保监测数据采集处理方法,其特征在于,所述对初始k值进行更新的过程为:将初始k值按照预设步长依次增加,每次增加的结果为更新k值。
10.如权利要求1所述一种硬碳工艺环保监测数据采集处理方法,其特征在于,所述更新离群因子的获取方法为:
获取每个更新k值下每个废气浓度数据的局部离群因子,作为更新离群因子。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311253322.2A CN116992391B (zh) | 2023-09-27 | 2023-09-27 | 一种硬碳工艺环保监测数据采集处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311253322.2A CN116992391B (zh) | 2023-09-27 | 2023-09-27 | 一种硬碳工艺环保监测数据采集处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116992391A true CN116992391A (zh) | 2023-11-03 |
CN116992391B CN116992391B (zh) | 2023-12-15 |
Family
ID=88525202
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311253322.2A Active CN116992391B (zh) | 2023-09-27 | 2023-09-27 | 一种硬碳工艺环保监测数据采集处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116992391B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117314020A (zh) * | 2023-11-28 | 2023-12-29 | 生态环境部华南环境科学研究所(生态环境部生态环境应急研究所) | 一种浮游生物的湿地碳汇数据监测*** |
CN117434227A (zh) * | 2023-12-20 | 2024-01-23 | 河北金隅鼎鑫水泥有限公司 | 一种水泥制造厂的废气成分监控方法及*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11257634A (ja) * | 1998-03-10 | 1999-09-21 | Sumitomo Heavy Ind Ltd | ごみ焼却炉における燃焼制御装置の運転支援装置 |
CN108921440A (zh) * | 2018-07-11 | 2018-11-30 | 平安科技(深圳)有限公司 | 污染物异常监测方法、***、计算机设备和存储介质 |
CN112285287A (zh) * | 2020-10-19 | 2021-01-29 | 广东长天思源环保科技股份有限公司 | 一种烟气在线监测数据预处理方法 |
WO2021143337A1 (zh) * | 2020-01-17 | 2021-07-22 | 深圳前海微众银行股份有限公司 | 数据处理方法、装置、设备及计算机可读存储介质 |
CN115858630A (zh) * | 2023-02-21 | 2023-03-28 | 新风光电子科技股份有限公司 | 一种储能电站储能数据的异常检测方法 |
CN116805065A (zh) * | 2023-08-25 | 2023-09-26 | 山东荣信集团有限公司 | 一种煤粉加热炉燃烧器监测数据智能管理方法 |
-
2023
- 2023-09-27 CN CN202311253322.2A patent/CN116992391B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11257634A (ja) * | 1998-03-10 | 1999-09-21 | Sumitomo Heavy Ind Ltd | ごみ焼却炉における燃焼制御装置の運転支援装置 |
CN108921440A (zh) * | 2018-07-11 | 2018-11-30 | 平安科技(深圳)有限公司 | 污染物异常监测方法、***、计算机设备和存储介质 |
WO2021143337A1 (zh) * | 2020-01-17 | 2021-07-22 | 深圳前海微众银行股份有限公司 | 数据处理方法、装置、设备及计算机可读存储介质 |
CN112285287A (zh) * | 2020-10-19 | 2021-01-29 | 广东长天思源环保科技股份有限公司 | 一种烟气在线监测数据预处理方法 |
CN115858630A (zh) * | 2023-02-21 | 2023-03-28 | 新风光电子科技股份有限公司 | 一种储能电站储能数据的异常检测方法 |
CN116805065A (zh) * | 2023-08-25 | 2023-09-26 | 山东荣信集团有限公司 | 一种煤粉加热炉燃烧器监测数据智能管理方法 |
Non-Patent Citations (2)
Title |
---|
余益军;戴玄吏;李春玉;孙佳;蔡焕兴;: "浅析化工园区大气特征因子自动监测综合分析", 环境科学与管理, no. 02 * |
左进;陈泽茂;: "基于改进K均值聚类的异常检测算法", 计算机科学, no. 08 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117314020A (zh) * | 2023-11-28 | 2023-12-29 | 生态环境部华南环境科学研究所(生态环境部生态环境应急研究所) | 一种浮游生物的湿地碳汇数据监测*** |
CN117314020B (zh) * | 2023-11-28 | 2024-02-27 | 生态环境部华南环境科学研究所(生态环境部生态环境应急研究所) | 一种浮游生物的湿地碳汇数据监测*** |
CN117434227A (zh) * | 2023-12-20 | 2024-01-23 | 河北金隅鼎鑫水泥有限公司 | 一种水泥制造厂的废气成分监控方法及*** |
CN117434227B (zh) * | 2023-12-20 | 2024-04-30 | 河北金隅鼎鑫水泥有限公司 | 一种水泥制造厂的废气成分监控方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN116992391B (zh) | 2023-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116992391B (zh) | 一种硬碳工艺环保监测数据采集处理方法 | |
JP5091604B2 (ja) | 分布の評価方法、製品の製造方法、分布の評価プログラム及び分布の評価システム | |
CN112179691B (zh) | 基于对抗学习策略的机械装备运行状态异常检测***和方法 | |
CN111275307A (zh) | 一种水质自动在线站高频连续观测数据质量控制方法 | |
CN110995153B (zh) | 一种光伏电站的异常数据检测方法、装置及电子设备 | |
CN117312997B (zh) | 一种电力管理***智能诊断方法及*** | |
CN109285791B (zh) | 设计布局为主的快速在线缺陷诊断、分类及取样方法及*** | |
CN112148722A (zh) | 一种监测数据异常的识别及处理方法和*** | |
CN112288597A (zh) | 一种基于层次聚类和直方图算法的能耗在线异常检测方法 | |
CN117439827B (zh) | 一种网络流量大数据分析方法 | |
CN115982602A (zh) | 一种光伏变压器电故障检测方法 | |
CN118051863B (zh) | 一种基于数字计量技术的健康数据采集***及方法 | |
CN111768022A (zh) | 煤机生产设备的设备检测方法及装置 | |
CN115166180A (zh) | 一种垃圾渗滤液水质分析***及方法 | |
CN113592308A (zh) | 一种基于常态模型的监测数据告警阈值提取方法 | |
CN114244751A (zh) | 无线传感器网络异常检测方法和*** | |
CN108508860B (zh) | 一种基于耦合关系的流程工业生产***数据监测方法 | |
CN111176226A (zh) | 一种基于运行工况的设备特征参数报警阈值自动分析方法 | |
CN103366119B (zh) | 病毒趋势异常的监控方法及装置 | |
CN107506832B (zh) | 对监控巡视进行辅助的隐患挖掘方法 | |
CN106249146B (zh) | 一种卷烟厂电动机工作状态的分析及预警方法 | |
CN113627885A (zh) | 一种电网供电异常监测***及其监测方法 | |
CN108229586B (zh) | 一种数据中的异常数据点的检测方法及*** | |
CN113590663B (zh) | 一种环境检测方法及*** | |
CN116168019A (zh) | 基于机器视觉技术的电网故障检测方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |