CN115240428A - 隧道运营异常的检测方法、装置、电子设备与存储介质 - Google Patents
隧道运营异常的检测方法、装置、电子设备与存储介质 Download PDFInfo
- Publication number
- CN115240428A CN115240428A CN202210904583.5A CN202210904583A CN115240428A CN 115240428 A CN115240428 A CN 115240428A CN 202210904583 A CN202210904583 A CN 202210904583A CN 115240428 A CN115240428 A CN 115240428A
- Authority
- CN
- China
- Prior art keywords
- data
- estimation model
- probability estimation
- abnormal
- prediction result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000002159 abnormal effect Effects 0.000 claims abstract description 78
- 238000012544 monitoring process Methods 0.000 claims abstract description 73
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 51
- 238000012360 testing method Methods 0.000 claims description 42
- 238000012549 training Methods 0.000 claims description 36
- 238000012795 verification Methods 0.000 claims description 33
- 238000004088 simulation Methods 0.000 claims description 24
- 230000005856 abnormality Effects 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000010200 validation analysis Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 239000000463 material Substances 0.000 abstract description 7
- 238000012423 maintenance Methods 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 27
- 238000004422 calculation algorithm Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 230000007613 environmental effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006872 improvement Effects 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 239000002360 explosive Substances 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000009423 ventilation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
Landscapes
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本申请公开了隧道运营异常的检测方法、装置、电子设备与存储介质,涉及隧道运维安全的技术领域。该方法包括:获取预先存储的监测数据,监测数据用以表征隧道内运营状态;在对监测数据进行预处理后,获取符合高斯分布的数据集;基于数据集中的数据,确定改进后的概率估计模型与最优的判定阈值;在向改进后的概率估计模型输入新的监测数据后,基于改进后的概率估计模型输出的预测结果数值与最优的判定阈值,判断隧道运营是否出现异常。故本申请具有快速、准确判断隧道运营是否发生异常并及时预警的优点、且可以有效节省人力物力。
Description
技术领域
本申请涉及隧道运维安全领域,具体而言,涉及一种隧道运营异常的检测方法、装置、电子设备与存储介质。
背景技术
随着城市化进程的快速推进,城市交通拥堵问题也愈发严重,而城市隧道是解决城市拥堵问题的重要一环。隧道作为一种较为封闭的构筑物,其运营环境十分复杂,容易发生交通事故,且一旦发生事故其后果也更为严重,因此如何使隧道更加安全、高效的运营是一个极为重要的问题;在对隧道的日常运营管理中,如何快速、准确地自动检测到隧道运营中的异常情况成为一个重要的研究课题。
当前隧道运营过程中的异常事件检测还停留在较为传统的方式,主要依赖于现场管理人员对监控画面的实时监控,对于人力、物力有极大的消耗,且人工监控的方式难以保证全天候监控,漏检率很高,不能准确确定检测的速度与时效。当前少量隧道中应用了交通事件检测***来解决这一问题,该***基于固定式摄像机,通常采用帧差法、边缘检测法、光流法以及背景法对隧道异常进行监控,其中应用背景法的***居多。该方法要求检测背景较为固定,在该条件下该算法无法通过安装在隧道进出口的可遥控转动的云台摄像机摄取到的数据建模,容易造成异常事件检测的盲点。
发明内容
本申请的目的在于提供一种隧道运营异常的检测方法、装置、电子设备与存储介质,通过反映隧道内运营情况的监测数据以及基于高斯分布原理建立的概率估计模型,可以快速、准确地判断隧道运营过程是否发生异常。
本申请的实施例是这样实现的:
本申请实施例第一方面提供了一种隧道运营异常的检测方法,该方法包括:获取预先存储的监测数据,监测数据用以表征隧道内运营状态;在对监测数据进行预处理后,获取符合高斯分布的数据集;基于数据集中的数据,确定改进后的概率估计模型与最优的判定阈值;在向改进后的概率估计模型输入新的监测数据后,基于改进后的概率估计模型输出的预测结果数值与最优的判定阈值,判断隧道运营是否出现异常。
于一实施例中,基于数据集中的数据,确定改进后的概率估计模型与最优的判定阈值,包括:基于数据集中数据的类型,将数据集划分为训练集、验证集以及测试集;基于训练集中的数据建立概率估计模型;基于概率估计模型与验证集中的数据,确定最优的判定阈值;基于最优的判定阈值、测试集中的数据调整概率估计模型,以获取改进后的概率估计模型。
于一实施例中,数据集中数据的类型包括正常数据与异常数据,基于数据集中数据的类型,将数据集划分为训练集、验证集以及测试集,包括:将数据集中的所有异常数据平均分配至验证集与测试集中;将数据集中的所有正常数据按固定比例分配至训练集、验证集以及测试集中。
于一实施例中,数据集包括多组目标特征数据,目标特征数据用于评估隧道运营时的对应目标特征是否出现异常;基于训练集中的数据建立概率估计模型,包括:基于训练集中的目标特征数据,计算用于建立目标特征对应的概率密度函数的基本参数;基于基本参数,建立目标特征对应的概率密度函数;基于所有目标特征对应的概率密度函数,建立概率估计模型。
于一实施例中,基于概率估计模型与验证集中的数据,确定最优的判定阈值,包括:将验证集中的数据输入概率估计模型后,获取概率估计模型输出的模拟预测结果;基于模拟预测结果、多个预设的判定阈值以及验证集中的数据是否实际异常,计算多个判定阈值对应的模型质量数值;在对多个模型质量数值比较后,确定最优的判定阈值。
于一实施例中,数据集包括多个由不同目标特征对应的目标特征数据构成的样本数据组,目标特征数据用于评估隧道运营时的对应目标特征是否出现异常;基于最优的判定阈值、测试集中的数据调整概率估计模型,以获取改进后的概率估计模型,包括:在将测试集中的多个样本数据组输入概率估计模型后,基于概率估计模型输出的模拟预测结果、最优的判定阈值与预定的模型质量判定函数,计算概率估计模型的评价数值;基于评价数值、与造成模拟预测结果错误的异常目标特征数据,调整用于建立概率估计模型的目标特征数据所对应的目标特征,以获取改进后的概率估计模型。
于一实施例中,在向改进后的概率估计模型输入新的监测数据后,基于改进后的概率估计模型输出的预测结果数值与最优的判定阈值,判断隧道运营是否出现异常,包括:判断预测结果数值是否小于最优的判定阈值;若预测结果数值小于最优的判定阈值,确定隧道运营出现异常;若预测结果数值不小于最优的判定阈值,确定隧道运营未出现异常。
本申请第二方面提供了一种隧道运营异常的检测装置,该装置包括:第一获取模块、第二获取模块、确定模块以及判断模块;其中,第一获取模块用于获取预先存储的监测数据,监测数据用以表征隧道内运营状态;第二获取模块用于在对监测数据进行预处理后,获取符合高斯分布的数据集;确定模块用于基于数据集中的数据,确定改进后的概率估计模型与最优的判定阈值;判断模块用于在向改进后的概率估计模型输入新的监测数据后,基于改进后的概率估计模型输出的预测结果数值与最优的判定阈值,判断隧道运营是否出现异常。
本申请实施例第三方面提供了一种电子设备,电子设备包括:处理器和用于存储处理器可执行指令的存储器;其中,处理器被配置用以执行本申请实施例第一方面及其任一实施例的隧道运营异常的检测方法。
本申请实施例第四方面提供了一种计算机可读存储介质,存储介质存储有计算机程序。计算机程序可由处理器执行,以完成本申请实施例第一方面及其任一实施例的隧道运营异常的检测方法。
本申请与现有技术相比的有益效果是:
本申请能够有效改善传统隧道运营异常检测中,对监控画面实时监测时因依赖人眼监控造成人力、物力消耗大的问题,本申请提供的检测方法具有诊断模型实时自学习并智能改进、节约人力物力,有效提高隧道运营异常检测的速度与时效的优点。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请一实施例提供的电子设备的结构示意图;
图2为本申请一实施例提供的隧道运营异常的检测方法的流程示意图;
图3为本申请一实施例提供的数据预处理以接近高斯分布的特征工程示意图;
图4为本申请一实施例提供的步骤S300的子流程示意图;
图5为本申请一实施例提供的数据集划分示意图;
图6为本申请一实施例提供的多变量的模型原理示意图;
图7为本申请一实施例提供的隧道运营异常的检测方法的流程示意图;
图8为本申请一实施例提供的隧道运营异常的检测装置的结构示意图。
附图标记:1-电子设备;11-处理器;12-总线;13-存储器;600-隧道运营异常的检测装置;610-第一获取模块;620-第二获取模块;630-确定模块;640-判断模块。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
下面将结合附图对本申请的技术方案进行清楚、完整地描述。
请参见图1,图1为本申请一实施例提供的电子设备1的结构示意图。如图1所示,电子设备1包括至少一个处理器11和存储器13,图1中以一个处理器11为例。处理器11和存储器13通过总线12连接,存储器13存储有可被至少一个处理器11执行的指令,指令被至少一处理器11执行,以使至少一个处理器11执行如下述实施例中的隧道运营异常的检测方法。
请参见图2,图2为本申请一实施例提供的隧道运营异常的检测方法的流程示意图。该方法由电子设备1执行,如图2所示,该方法包括以下流程:
S100:获取预先存储的监测数据,监测数据用以表征隧道内运营状态;
在该步骤中,监测数据是指电子设备1从隧道中各个机电设备数据源与环境监测设备数据源,获取的隧道运营相关的各类别机电设备信号数据和各类别环境监测数据。
反应隧道运营状态的监测数据偏斜性极强,隧道异常情况包含火灾、车祸、危化品泄露、结构损失等多种类型,在隧道运营数据基本为正常数据、异常数据极少或几乎没有的情况下,任何算法都无法从少量且特征类别较少的监测数据中学习到判别异常运营情况的规律。因此本申请使用大时间跨度、多特征类别数据来源的隧道运营的综合数据,学习隧道在正常运营情况下的数据规律,从而对隧道异常状况进行评价。
于一实施例中,监测数据可以包含隧道通风设备、照明设备、交通信号设备、消防设备、广播设备等各种机电设备的运行状态值与检测值(机电设备信号数据),以及CO、NO2、能见度、照度、风速、温度、湿度、易燃易爆气体检测、烟雾浓度、用电量等各种环境监测数据。上述各类别的数据可以认定为评估隧道运营状态的各个特征数据。
S200:在对监测数据进行预处理后,获取符合高斯分布的数据集;
请参见图3,图3为本申请一实施例提供的数据预处理以接近高斯分布的特征工程示意图。如图3所示,针对运营反馈隧道运营状况的各个监测数据,需要对不符合高斯分布的监测数据进行预处理使其满足高斯分布,以便于在后续步骤中设计或选择合适的异常检测算法特征、并基于高斯分布原理建立概率估计模型。
在该步骤中,因为异常检测是基于高斯分布对隧道内的运营特征进行建模,而有些隧道运营的特征数据的分布不符合高斯分布,因此需要对特征数据预处理,使其接近高斯分布后使用,常见的特征数据处理方法有取对数log、升幂、降幂以及加减常数后取对数等等。电子设备在对特征数据(监测数据)预处理后,获得了运营反馈隧道运营情况正常或异常的不同类别的多个特征数据组成的数据集。
S300:基于数据集中的数据,确定改进后的概率估计模型与最优的判定阈值;
在该步骤中,电子设备对数据集中的数据进行划分后,基于实时运行在边缘设备中的机器学习算法,建立、验证、测试以获取改进后的概率估计模型以及最优的判定阈值,该算法主要由特征处理函数、参数估计函数、分布密度函数、判定函数、模型质量判定函数构成。根据异常检测算法的本身特点,每个概率估计模型的函数构成和参数选择是不同的,关键取决于应用场景和数据特点。
S400:在向改进后的概率估计模型输入新的监测数据后,基于改进后的概率估计模型输出的预测结果数值与最优的判定阈值,判断隧道运营是否出现异常。
在该步骤中,在获取新的监测数据后,通过概率估计模型计算出新的监测数据对应的预测结果数值,并通过与最优的判定阈值ε的比较结果判断隧道运营是否出现了异常情况,当隧道运营数据处于正常状况时,预测结果p(x)≥ε;当隧道运营出现异常状况时,预测结果p(x)<ε,此时异常检测***发出预警信息,并上传预警信息至隧道管理用房,提醒管理人员关注现场异常。
于本申请另一实施例中,电子设备还可以在获取新的监测数据后,继续实时运行上述步骤S100至步骤S300,实时输出、更新并调整最优判定阈值ε、概率评估模型M以及预测结果p(x),以实现概率估计模型相关的机器学习算法的实时自学习与智能改进,有利于提高隧道运营异常检测的准确性、及时性与可靠性。
请参见图4,图4为本申请一实施例提供的步骤S300的子流程示意图。如图4所示,步骤S300:基于数据集中的数据,确定改进后的概率估计模型与最优的判定阈值,包括如下子步骤:
S310:基于数据集中数据的类型,将数据集划分为训练集、验证集以及测试集;
在该步骤中,电子设备对整个数据集进行划分,分为训练集(DataSettrain)、验证集(DataSetcv)和测试集(DataSettest)。其中,数据集中绝大部分为正常数据且通常为偏斜数据,异常数据极少。在进行数据集划分时,划分至训练集的数据全部为正常数据,用于训练并建立模型;验证集和测试集包含部分异常数据,验证集用于建立模型后模型的超参数调整和最优判定阈值的选择,以选择出在验证集上表现最好的模型;测试集的数据用于测试模型并基于测试结果进一步改进模型。
请参见图5,图5为本申请一实施例提供的数据集划分示意图。如图5所示,数据集中数据的类型包括正常数据与异常数据,将数据集划分为训练集、验证集以及测试集时,电子设备会将数据集中的所有异常数据平均分配至验证集与测试集中;将数据集中的所有正常数据按固定比例分配至训练集、验证集以及测试集中。
S320:基于训练集中的数据建立概率估计模型。
数据集包括多个由不同目标特征对应的目标特征数据构成的样本数据组,在将数据集中的正常数据划分至训练集时,电子设备将各个类型的目标特征对应的目标特征数据分类汇总,构成训练集中的多组目标特征数据,目标特征数据用于评估隧道运营时的对应目标特征是否出现异常。
请参见图6,图6为本申请一实施例提供的多变量的模型原理示意图。如图6所示,概率估计模型由两个目标特征对应的概率密度函数构成。于本申请其他实施例中,概率估计模型可以由更多类型的目标特征对应的概率密度函数结合建立。电子设备首先通过训练集中的多组目标特征数据,计算出多个对应目标特征的概率密度函数的基本参数,概率密度函数是采用高斯分布函数的特征处理函数;电子设备再基于多个目标特征对应的概率密度函数,建立包含多类别目标特征数据的样本数据组总体对应的概率估计模型。
S330:基于概率估计模型与验证集中的数据,确定最优的判定阈值。
在该步骤中,电子设备使用验证集的数据验证并挑选最优的判定阈值ε。其具体为,电子设备将验证集的数据代入概率估计模型,计算对应的模拟预测结果数值p(x)后,电子设备根据模拟预测结果数值p(x)、初步设定的一系列判定阈值、与实际数据是否属于异常数据(是否符合y值)的判断结果,来选择最优的判定阈值ε。
于一实施例中,初步设定的一系列判定阈值通常选择较小的概率值,如设定为{0.02,0.01,0.005,0.002…}。
S340:基于最优的判定阈值、测试集中的数据调整概率估计模型,以获取改进后的概率估计模型。
在该步骤中,电子设备通过测试集中的数据测试概率估计模型,通过将测试集的数据代入概率估计模型,以获取概率估计模型输出的模拟预测结果,并根据模拟预测结果、最优的判定阈值与数据实际是否为异常数据来综合评价概率估计模型的质量。
对于输出模拟预测结果偏差较大,造成预测结果错误的样本数据组,电子设备对预测错误的异常样本数据组进行分析,确认造成预测结果错误的样本数据组中的目标特征,并归纳出新的目标特征来替代造成预测结果错误的目标特征以调整概率估计模型、获取改进后的概率估计模型。
请参见图7,图7为本申请一实施例提供的隧道运营异常的检测方法的流程示意图。如图7所示,该方法包括:
S501:获取预先存储的监测数据,监测数据用以表征隧道内运营状态;
在该步骤中,监测数据是指电子设备1从隧道中各个机电设备数据源与环境监测设备数据源获取的隧道运营相关的各类别机电设备信号数据和各类别环境监测数据。
反应隧道运营状态的监测数据偏斜性极强,隧道异常情况包含火灾、车祸、危化品泄露、结构损失等多种类型,在隧道运营数据基本为正常数据、异常数据极少或几乎没有的情况下,任何算法都无法从少量且特征类别较少的监测数据中学习到判别异常运营情况的规律。因此本申请使用大时间跨度、多特征类别数据来源的隧道运营的综合数据,学习隧道在正常运营情况下的数据规律,从而对隧道异常状况进行评价。监测数据可以包含隧道通风设备、照明设备、交通信号设备、消防设备、广播设备等各种机电设备的运行状态值与检测值(机电设备信号数据),以及CO、NO2、能见度、照度、风速、温度、湿度、易燃易爆气体检测、烟雾浓度、用电量等各种环境监测数据。上述各类别的数据可以认定为评估隧道运营状态的各个特征数据。
S502:在对监测数据进行预处理后,获取符合高斯分布的数据集;
请参见图3,图3为本申请一实施例提供的数据预处理以接近高斯分布的特征工程示意图。如图3所示,针对运营反馈隧道运营状况的各个监测数据,需要对不符合高斯分布的监测数据进行预处理使其满足高斯分布,以便于在后续步骤中设计或选择合适的异常检测算法特征、并基于高斯分布原理建立概率估计模型。该步骤与上述步骤S200相似,具体细节请参见步骤S200。
S503:基于数据集中数据的类型,将数据集划分为训练集、验证集以及测试集;
请参照图5,在该步骤中,电子设备对整个数据集的数据进行划分,分别划分为训练集(DataSettrain)、验证集(DataSetcv)和测试集(DataSettest)。数据集包括多个由不同目标特征对应的目标特征数据构成的样本数据组,在将数据集中的正常数据划分至训练集时,若样本数据组中的某个目标特征数据未异常数据,则该样本数据组是异常的。数据集中绝大部分为正常数据,异常数据极少。在进行数据集划分时,划分至训练集的数据全部为正常数据,用于训练并建立模型;验证集和测试集包含部分异常数据,验证集用于建立模型后超参数调整和最优判定阈值的选择,以选择出在验证集上表现最好的模型;测试集的数据用于测试模型并基于测试结果进一步改进模型。样本数据组中正常数据和异常数据(其中正常数据远多于异常数据)按照不同的比例分配到训练集、验证集和测试集中。其中,将正常数据按照6:2:2的比例分配到训练集、验证集和测试集中,将异常数据按照0:1:1的比例分配到训练集、验证集和测试集中,即训练集中全部为正常数据,异常数据仅分布在验证集和测试集中。
于本申请其他实施例中,数据量比例与异常数据划分至验证集与测试集的比例可以根据实际建模需要设定为其他比例。
S511:基于训练集中的目标特征数据,计算用于建立目标特征对应的概率密度函数的基本参数。
在该步骤中,在计算各个目标特征对应的概率密度函数的基本参数时,通过一个m*n维的训练集DataSettrain,得到某个目标特征对应的目标特征数据集{xn (1),…,xn (m)},其中xn∈Rn,并采用参数估计函数如下述公式计算得到μn与
S512:基于基本参数,建立概率估计模型。
在得到各个维度的目标特征对应的概率密度函数后,基于基于所有目标特征对应的概率密度函数,建立概率估计模型对应的计算函数,公式如下:
S521:将验证集中的数据输入概率估计模型后,获取概率估计模型输出的模拟预测结果;
在该步骤中,电子设备将验证集中的多个样本数据组中的数据输入概率估计模型后,获得概率估计模型输出的多个模拟预测结果的数值p(x)。
S522:基于模拟预测结果、多个预设的判定阈值以及验证集中的数据是否实际异常,计算多个判定阈值对应的模型质量数值;
在获取预先设定的判定阈值以及多个模拟预测结果p(x)后,电子设备基于判定函数判断样本数据是否异常,并对应输出判定结果,判定函数的相关公式如下所示:
p(x)≥ε,判定正常;
p(x)<ε,判定异常。
由于预先设定了多个判定阈值以最终选出最优的判定阈值ε,不同的判定阈值对应的判定函数不同;在向不同的判定函数输入相同的多个模拟预测结果后,输出的关于同一个样本数据是否异常的判定结果也可能对应不同。由此,基于多个预设的判定阈值输出的多组判定结果(每组判定结果都包括验证集中各个样本数据的判定结果),需要计算不同的判定阈值对应的模型质量数值以进一步选择最优的判定阈值ε。
在该步骤中,异常检测算法中采用F值函数作为模型质量判定函数,电子设备根据概率估计模型输出的模拟预测结果数值p(x),与实际数据是否属于异常数据(是否符合y值)的判断结果,来进一步选择最优的判定阈值ε。选择判定阈值的标准-模型质量判定函数的相关计算公式如下所示,分别计算不同的判定阈值对应的模型质量数值F。
F=2PR/(P+R)
其中:P为查准率;R为召回率。
其中,查准率P用以表征预测为异常的样本中有多大比例确实为异常样本,故查准率P=预测为异常且实际为异常的样本数/预测为异常的样本数;召回率R用以表征在所有实际为异常的样本中预测准确的异常样本占有多少比例,故召回率R=预测为异常且实际为异常的样本数/实际的异常样本数。预测结果的查准率P和召回率R,从不同维度反映了预测结果的准确性。
S523:模型调参,选择最优的判定阈值ε。
在该步骤中,模型质量数值F,是综合了查准率P和召回率R后用于评估预测结果的值,模型质量数值F值越大,表示异常样本的预测结果越理想,因此选择最大的F值对应的判定阈值作为最优的判定阈值ε。即电子设备在对多个判定阈值对应的模型质量数值F比较后,选择最高的模型质量数值F对应的判定阈值作为最优的判定阈值ε。
于一实施例中,初步设定的一系列判定阈值通常选择较小的概率值,如设定为{0.02,0.01,0.005,0.002...},然后电子设备根据验证集的样本数据在概率估计模型上的表现,计算各个选定的判定阈值相应的模型质量数值F,进而选取最大的模型质量数值F值所对应的判定阈值作为最优的判定阈值ε。
S531:在将测试集中的多个样本数据组输入概率估计模型后,获得概率估计模型输出的模拟预测结果。
在该步骤中,电子设备通过测试集中的数据测试概率估计模型,通过将测试集的数据代入概率估计模型,以获取概率估计模型输出的模拟预测结果。
S532:基于模拟预测结果、最优的判定阈值与预定的模型质量判定函数,计算概率估计模型的评价数值;
在该步骤中,电子设备根据模拟预测结果、最优的判定阈值、预定的模型质量判定函数与数据实际是否为异常数据,来计算当前的概率估计模型的评价数值,以综合评价概率估计模型的质量。概率估计模型的具体评价方法(即通过计算模型质量数值F来确认评价结果)与上述步骤相同,但样本数据取自测试集,具体细节请参考步骤S522或其他步骤。
判断某一组样本数据是否异常,是基于概率估计模型输出的预测结果数值p(x)与最优的判定阈值的比较结果来确定的,因此本申请实施例中模型质量数值主要用于衡量概率估计模型的计算函数或最优的判定阈值是否准确、是否需要进一步调整。
S533:基于评价数值、与造成模拟预测结果错误的异常目标特征数据,调整用于建立概率估计模型的目标特征数据所对应的目标特征,以获取改进后的概率估计模型。
在该步骤中,对于输出模拟预测结果偏差较大,造成预测结果错误、概率估计模型的评价数值较低的样本数据组,电子设备对预测错误的异常样本数据组进行分析,确认造成预测结果错误的样本数据组中的目标特征,并归纳出新的目标特征来替代造成预测结果错误的目标特征以调整概率估计模型、获取改进后的概率估计模型。
S541:在向改进后的概率估计模型输入新的监测数据后,基于改进后的概率估计模型输出的预测结果数值与最优的判定阈值,判断隧道运营是否出现异常。
在该步骤中,当电子设备接收到最新的监测数据后,将监测数据中的各个目标特征数据输入到改进后的概率估计模型,由概率估计模型输出最新的监测数据对应的预测结果数值,通过比较预测结果数值是否小于最优的判定阈值,判断隧道运营是否发生异常。若是,则执行步骤S543;若否,则执行步骤S542。
S542:若预测结果数值不小于最优的判定阈值,确定隧道运营未出现异常。
当隧道运营数据处于正常状况时,预测结果p(x)≥ε。
S543:若预测结果数值小于最优的判定阈值,确定隧道运营出现异常;
当隧道运营出现异常状况时,预测结果p(x)<ε,此时异常检测***发出预警信息,并上传预警信息至隧道管理用房,提醒管理人员关注现场异常。
在步骤S541中,电子设备还可以实时基于新的监测数据,实时运行上述多个步骤,以实时输出预测结果数值p(x)、并基于预测结果数值实时更新最优判定阈值ε以及调整概率估计模型,实现机器学习算法的自学习与智能调整改进的优点。
本申请提供的隧道运营异常检测方法,实质上主要由电子设备基于预先存储的、基于高斯分布的异常检测算法来执行的,该算法的核心思想是:给定一个m*n维训练集,将训练集转换为n维的高斯分布,通过对m个训练样例(目标特征数据)的分布分析,计算出训练集在各个目标特征维度上的数学期望μ和方差σ^2,进而得出各维度的概率密度函数与训练集整体的概率估计函数(概率估计模型);此后,通过验证集中的数据来确定一个最优的判定阈值ε。当模型建立完成并且给定一个新的、包括各类别目标特征数据的监测数据时,我们根据其在高斯分布上算出的预测结果数值p(x)及最优的判定阈值ε,判断该监测数据是否异常:当p(x)<ε判定为异常,当p(x)≥ε判定为非异常。
上述异常检测算法是对整体样本数据结构的一种表达方式,这种表达方式通常抓住的是整体样本一般性的性质,而那些在这些性质上表现完全与整体样本不一致的点,我们就称其为异常数据点,异常数据点的生成机制与整体样本完全不一致,而异常检测算法对异常数据点极为敏感,因此可以较好的捕捉到不同于正常情况的异常数据。通过从历史数据库中提取的大量样本数据对异常检测模型进行训练,可以对最新的反馈隧道内运营是否发生异常的监测数据进行准确、可靠、及时地预测,从而判断数据(隧道内运营)是否发生异常。
本申请能够有效改善传统隧道运营异常检测中对监控画面实时监测时因依赖人眼监控造成人力、物力消耗大的问题,本申请提供的隧道运营异常检测方法具有诊断模型实时自学习并智能改进、节约人力物力,有效提高隧道运营异常检测的速度与时效的优点。
请参见图8,图8为本申请一实施例提供的隧道运营异常的检测装置600的结构示意图。如图8所示,该装置包括:第一获取模块610、第二获取模块620、确定模块630以及判断模块640。
其中,第一获取模块610用于获取预先存储的监测数据,监测数据用以表征隧道内运营状态;第二获取模块620用于在对监测数据进行预处理后,获取符合高斯分布的数据集;确定模块630用于基于数据集中的数据,确定改进后的概率估计模型与最优的判定阈值;判断模块640用于在向改进后的概率估计模型输入新的监测数据后,基于改进后的概率估计模型输出的预测结果数值与最优的判定阈值,判断隧道运营是否出现异常。
上述装置中各个模块的功能和作用的实现过程,具体详见上述隧道运营异常的检测方法中对应步骤的实现过程,在此不再赘述。
在本申请所提供的几个实施例中,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依据所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
本申请实施例提供了一种计算机可读存储介质,存储介质存储有计算机程序。计算机程序可由处理器11执行,以完成隧道运营异常的检测方法。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种隧道运营异常的检测方法,其特征在于,所述方法包括:
获取预先存储的监测数据,所述监测数据用以表征隧道内运营状态;
在对所述监测数据进行预处理后,获取符合高斯分布的数据集;
基于所述数据集中的数据,确定改进后的概率估计模型与最优的判定阈值;
在向所述改进后的概率估计模型输入新的监测数据后,基于所述改进后的概率估计模型输出的预测结果数值与最优的判定阈值,判断隧道运营是否出现异常。
2.根据权利要求1所述的方法,其特征在于,所述基于所述数据集中的数据,确定改进后的概率估计模型与最优的判定阈值,包括:
基于所述数据集中数据的类型,将数据集划分为训练集、验证集以及测试集;
基于所述训练集中的数据建立概率估计模型;
基于所述概率估计模型与所述验证集中的数据,确定最优的判定阈值;
基于所述最优的判定阈值、所述测试集中的数据调整所述概率估计模型,以获取改进后的概率估计模型。
3.根据权利要求2所述的方法,其特征在于,所述数据集中数据的类型包括正常数据与异常数据,所述基于所述数据集中数据的类型,将数据集划分为训练集、验证集以及测试集,包括:
将所述数据集中的所有所述异常数据平均分配至所述验证集与所述测试集中;
将所述数据集中的所有所述正常数据按固定比例分配至所述训练集、所述验证集以及所述测试集中。
4.根据权利要求2所述的方法,其特征在于,所述数据集包括多组目标特征数据,所述目标特征数据用于评估隧道运营时的对应目标特征是否出现异常;所述基于所述训练集中的数据建立概率估计模型,包括:
基于所述训练集中的所述目标特征数据,计算用于建立所述目标特征对应的概率密度函数的基本参数;
基于所述基本参数,建立所述目标特征对应的概率密度函数;
基于所有所述目标特征对应的概率密度函数,建立所述概率估计模型。
5.根据权利要求2所述的方法,其特征在于,所述基于所述概率估计模型与所述验证集中的数据,确定最优的判定阈值,包括:
将所述验证集中的数据输入所述概率估计模型后,获取所述概率估计模型输出的模拟预测结果;
基于所述模拟预测结果、多个预设的判定阈值以及所述验证集中的数据是否实际异常,计算多个所述判定阈值对应的模型质量数值;
在对多个所述模型质量数值比较后,确定所述最优的判定阈值。
6.根据权利要求2所述的方法,其特征在于,所述数据集包括多个由不同目标特征对应的目标特征数据构成的样本数据组,所述目标特征数据用于评估隧道运营时的对应目标特征是否出现异常;所述基于所述最优的判定阈值、所述测试集中的数据调整所述概率估计模型,以获取改进后的概率估计模型,包括:
在将所述测试集中的多个样本数据组输入所述概率估计模型后,基于所述概率估计模型输出的模拟预测结果、所述最优的判定阈值与预定的模型质量判定函数,计算所述概率估计模型的评价数值;
基于所述评价数值、与造成所述模拟预测结果错误的异常目标特征数据,调整用于建立所述概率估计模型的目标特征数据所对应的目标特征,以获取改进后的概率估计模型。
7.根据权利要求2所述的方法,其特征在于,在向所述改进后的概率估计模型输入新的监测数据后,基于所述改进后的概率估计模型输出的预测结果数值与最优的判定阈值,判断隧道运营是否出现异常,包括:
判断所述预测结果数值是否小于所述最优的判定阈值;
若所述预测结果数值小于所述最优的判定阈值,确定所述隧道运营出现异常;
若所述预测结果数值不小于所述最优的判定阈值,确定所述隧道运营未出现异常。
8.一种隧道运营异常的检测装置,其特征在于,所述装置包括:
第一获取模块,用于获取预先存储的监测数据,所述监测数据用以表征隧道内运营状态;
第二获取模块,用于在对所述监测数据进行预处理后,获取符合高斯分布的数据集;
确定模块,用于基于所述数据集中的数据,确定改进后的概率估计模型与最优的判定阈值;
判断模块,用于在向所述改进后的概率估计模型输入新的监测数据后,基于所述改进后的概率估计模型输出的预测结果数值与最优的判定阈值,判断隧道运营是否出现异常。
9.一种电子设备,其特征在于,所述电子设备包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行权利要求1-7任意一项所述的隧道运营异常的检测方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序可由处理器执行以完成权利要求1-7任意一项所述的隧道运营异常的检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210904583.5A CN115240428B (zh) | 2022-07-29 | 2022-07-29 | 隧道运营异常的检测方法、装置、电子设备与存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210904583.5A CN115240428B (zh) | 2022-07-29 | 2022-07-29 | 隧道运营异常的检测方法、装置、电子设备与存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115240428A true CN115240428A (zh) | 2022-10-25 |
CN115240428B CN115240428B (zh) | 2024-05-14 |
Family
ID=83676606
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210904583.5A Active CN115240428B (zh) | 2022-07-29 | 2022-07-29 | 隧道运营异常的检测方法、装置、电子设备与存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115240428B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007026300A (ja) * | 2005-07-20 | 2007-02-01 | Matsushita Electric Ind Co Ltd | 交通流異常検出装置及び交通流異常検出方法 |
CN101872382A (zh) * | 2009-04-21 | 2010-10-27 | 同济大学 | 一种公路隧道运营安全状况动态检测方法 |
CN104766302A (zh) * | 2015-02-05 | 2015-07-08 | 武汉大势智慧科技有限公司 | 一种利用无人机图像优化激光扫描点云数据的方法及*** |
CN106683405A (zh) * | 2016-12-28 | 2017-05-17 | 安徽科力信息产业有限责任公司 | 基于道路车流密度的道路交通状态评价方法 |
CN206931362U (zh) * | 2017-04-19 | 2018-01-26 | 杭州派尼澳电子科技有限公司 | 一种高速公路隧道安全监控*** |
CN107979602A (zh) * | 2017-12-01 | 2018-05-01 | 西安交通大学 | 一种蜂窝网络中基于半监督统计的异常检测方法 |
CN209388480U (zh) * | 2019-01-25 | 2019-09-13 | 河北中岗通讯工程有限公司 | 高速公路隧道安全运营监测*** |
CN112215307A (zh) * | 2020-11-19 | 2021-01-12 | 薛蕾 | 一种应用机器学习自动检测地震仪器信号异常的方法 |
CN113408878A (zh) * | 2021-06-07 | 2021-09-17 | 山东电工电气集团有限公司 | 基于多源信息的电缆隧道运行状态评价方法及区域控制*** |
CN113569428A (zh) * | 2021-08-26 | 2021-10-29 | 华能西藏雅鲁藏布江水电开发投资有限公司 | 隧洞异常检测方法、装置及*** |
-
2022
- 2022-07-29 CN CN202210904583.5A patent/CN115240428B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007026300A (ja) * | 2005-07-20 | 2007-02-01 | Matsushita Electric Ind Co Ltd | 交通流異常検出装置及び交通流異常検出方法 |
CN101872382A (zh) * | 2009-04-21 | 2010-10-27 | 同济大学 | 一种公路隧道运营安全状况动态检测方法 |
CN104766302A (zh) * | 2015-02-05 | 2015-07-08 | 武汉大势智慧科技有限公司 | 一种利用无人机图像优化激光扫描点云数据的方法及*** |
CN106683405A (zh) * | 2016-12-28 | 2017-05-17 | 安徽科力信息产业有限责任公司 | 基于道路车流密度的道路交通状态评价方法 |
CN206931362U (zh) * | 2017-04-19 | 2018-01-26 | 杭州派尼澳电子科技有限公司 | 一种高速公路隧道安全监控*** |
CN107979602A (zh) * | 2017-12-01 | 2018-05-01 | 西安交通大学 | 一种蜂窝网络中基于半监督统计的异常检测方法 |
CN209388480U (zh) * | 2019-01-25 | 2019-09-13 | 河北中岗通讯工程有限公司 | 高速公路隧道安全运营监测*** |
CN112215307A (zh) * | 2020-11-19 | 2021-01-12 | 薛蕾 | 一种应用机器学习自动检测地震仪器信号异常的方法 |
CN113408878A (zh) * | 2021-06-07 | 2021-09-17 | 山东电工电气集团有限公司 | 基于多源信息的电缆隧道运行状态评价方法及区域控制*** |
CN113569428A (zh) * | 2021-08-26 | 2021-10-29 | 华能西藏雅鲁藏布江水电开发投资有限公司 | 隧洞异常检测方法、装置及*** |
Non-Patent Citations (1)
Title |
---|
王永东: "公路隧道运营安全技术研究", 《中国博士学位论文全文数据库工程科技Ⅱ辑》, no. 3, pages 034 - 25 * |
Also Published As
Publication number | Publication date |
---|---|
CN115240428B (zh) | 2024-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115578015B (zh) | 基于物联网的污水处理全过程监管方法、***及存储介质 | |
CN109361648B (zh) | 工控***的隐蔽攻击的检测方法及装置 | |
CN114422184A (zh) | 基于机器学习的网络安全攻击类型和威胁等级预测方法 | |
CN114168444B (zh) | 一种基于监控大数据的动态运维报修方法 | |
CN111191855B (zh) | 一种基于管网多元水质时序数据的水质异常事件识别预警方法 | |
CN113588308A (zh) | 基于LSTM与Stacking融合算法的磨煤机爆燃故障预警与诊断方法 | |
CN114638435A (zh) | 基于数据驱动的柴油机安保参数预测方法 | |
CN114429308A (zh) | 一种基于大数据的企业安全风险评估方法及*** | |
CN112668873A (zh) | 矿山安全态势分析及预测预警方法 | |
CN114023399A (zh) | 一种基于人工智能的空气颗粒物分析预警方法和装置 | |
US11934522B2 (en) | System and method for detecting malicious activities and anomalies in building systems | |
CN117193222A (zh) | 一种基于工业物联网和大数据的智能质量控制***及其控制方法 | |
CN117150298B (zh) | 基于深度学习的地铁fas火灾报警***的调试方法 | |
CN115240428B (zh) | 隧道运营异常的检测方法、装置、电子设备与存储介质 | |
US20240005771A1 (en) | Methods and systems for gas leakage safety warning based on internet of things (iot) of smart gas | |
CN116302804A (zh) | 基于时间序列的监控指标异常检测方法、***及介质 | |
CN116151799A (zh) | 一种基于bp神经网络的配电线路多工况故障率快速评估方法 | |
CN115171362B (zh) | 一种面向重点区域防控的预警方法及*** | |
CN112672299B (zh) | 一种基于多源异构信息融合的传感器数据可信度评估方法 | |
CN114692738A (zh) | 一种轻量级实时时间序列异常检测方法 | |
CN114970950A (zh) | 风机故障报警方法、装置、存储介质及电子设备 | |
CN113685166A (zh) | 一种钻井事故预警方法及*** | |
CN111625525A (zh) | 一种环境数据修复/填充方法及*** | |
CN116700197B (zh) | 一种工控监测分析预警***及分析预警处理方法 | |
CN117113157B (zh) | 一种基于人工智能的台区用电故障检测*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |