CN116434100A - 液体泄漏检测方法、装置、***及机器可读存储介质 - Google Patents
液体泄漏检测方法、装置、***及机器可读存储介质 Download PDFInfo
- Publication number
- CN116434100A CN116434100A CN202111682398.8A CN202111682398A CN116434100A CN 116434100 A CN116434100 A CN 116434100A CN 202111682398 A CN202111682398 A CN 202111682398A CN 116434100 A CN116434100 A CN 116434100A
- Authority
- CN
- China
- Prior art keywords
- tensor
- target video
- liquid leakage
- key frame
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 152
- 239000007788 liquid Substances 0.000 title claims abstract description 145
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 31
- 239000002131 composite material Substances 0.000 claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 15
- 238000012544 monitoring process Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 238000012937 correction Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000010779 crude oil Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种液体泄漏检测方法、装置、***及机器可读存储介质,其中,该方法包括:根据获取的目标视频数据,获取差异图像;根据目标视频数据中的第一帧图像对应的第一颜色通道和差异图像对应的第二颜色通道,确定输入原始张量;将输入原始张量输入到检测模型中获得第一张量;并根据第一张量和检测模型获取与通道相关的第一权重以及与位置相关的第二权重;根据第一权重与第二权重对第一张量进行修正得到修正后的目标张量;最后根据目标张量确定检测结果;检测模型是基于历史视频数据建立的。通过本申请中的方法,可以提高检测结果的准确性。
Description
技术领域
本发明属于液体泄漏检测技术领域,特别涉及一种液体泄漏检测方法、装置、***及机器可读存储介质。
背景技术
在对液体物质进行存储和运输的过程中,运输管道或存储设备可能会出现液体泄漏的异常情况。如果出现泄漏情况,可能会产生严重的后果。例如,当原油泄漏时容易导致火灾***等重特大事故,并会造成环境污染,危害人民群众的安全。因此,为了降低事故发生的概率,需要经常对存储和运输液体的设备、管道进行检查,识别设备、管道是否出现了液体泄漏的情况。
现有技术中通用的检测网络模型来实现对液体区域的识别,由于液体本身的透明度以及液体区域不断变化等原因,会使得泄漏出的液体区域与背景之间的差异较小,识别效果较差。
发明内容
针对上述问题,本发明提供一种液体泄漏检测方法、装置、***及机器可读存储介质,以提高检测结果的准确性。
本发明的一种液体泄漏检测方法,包括下面步骤:
根据获取的目标视频数据,比较所述目标视频数据中任意两个目标视频帧之间的差异,获取差异图像;
根据所述目标视频数据中的第一帧图像对应的第一颜色通道和所述差异图像对应的第二颜色通道,确定输入原始张量;
将所述输入原始张量输入到检测模型中,输出所述检测结果;其中,所述检测模型是根据历史视频数据建立的,所述检测结果包括液体泄漏区域的位置信息和每个所述液体泄漏区域对应的置信度。
进一步地,所述的根据获取的目标视频数据,比较所述目标视频数据中任意两个目标视频帧之间的差异,获取差异图像的步骤包括:
获取目标时间段内待检测的目标视频数据;
根据预设时间间隔,从所述目标视频数据中选取出至少两个所述目标视频帧作为第一关键帧和第二关键帧,所述第一关键帧对应的时间点早于所述第二关键帧对应的时间点;
根据所述第一关键帧和所述第二关键帧获取所述差异图像;
其中,当所述目标视频帧为两个时,将两个所述目标视频帧确定为所述第一关键帧和所述第二关键帧;
当所述目标视频帧大于两个时,比较任意两个相邻的所述目标视频帧之间的差异,将所述差异最大的两个相邻的所述目标视频帧确定为所述第一关键帧和所述第二关键帧。
进一步地,所述的当所述目标视频帧大于两个时,比较任意两个相邻的所述目标视频帧之间的差异,将所述差异最大的两个相邻的所述目标视频帧确定为所述第一关键帧和所述第二关键帧的步骤包括:
针对任意两个相邻的第一目标视频帧和第二目标视频帧,计算第一像素点的第一像素值与第二像素点的第二像素值之间第一差值;其中,所述第一像素点为所述第一目标视频帧上的任意一个像素点,所述第二像素点为所述第二目标视频帧上与所述第一像素点位于对应位置处的像素点;
针对每个所述第一差值,计算该第一差值的绝对值;
根据每个所述绝对值,计算所述绝对值的平均值,将所述平均值作为所述第一目标视频帧和所述第二目标视频帧之间的差异值;
根据任意两个相邻的所述目标视频帧之间的所述差异值,将所述差异值最大的两个相邻的所述目标视频帧确定为所述第一关键帧和所述第二关键帧。
进一步地,所述的根据所述第一关键帧和所述第二关键帧获取所述差异图像的步骤包括:
计算第四像素点的第四像素值与第三像素点的第三像素值之间的第二差值;其中,所述第四像素点为所述第二关键帧上的任意一个像素点,所述第三像素点为所述第一关键帧上与所述第四像素点位于对应位置处的像素点;
针对每个所述第二差值,将该第二差值的绝对值确定为所述差异图像上对应位置的像素点的第五像素值,以得到所述差异图像。
进一步地,
所述的将所述输出原始张量输入到检测模型中,输出所述检测结果的步骤包括:
在所述检测模型中:将所述输入原始张量输入到所述检测模型中的卷积神经网络中,获取第一张量;其中,所述输入原始张量包括所述第一颜色通道和所述第二颜色通道;
根据所述第一张量获取第一权重和第二权重;
根据所述第一权重与所述第二权重对所述第一张量进行修正,得到修正后的目标张量;
根据所述目标张量确定所述检测结果。
进一步地,所述的根据所述第一张量获取第一权重和第二权重的步骤包括:
对所述第一张量进行全局池化,得到第二张量,所述第二张量的长度和宽度为1;其中,所述第二张量与所述第一张量中包含的通道的数量相同;
将所述第二张量输入到激活函数中,输出所述第一张量中每个通道对应的所述第一权重;
针对所述第一张量中的每个通道,将所述第一张量与该通道对应的所述第一权重进行乘积操作,得到第三张量;
对所述第三张量进行全局平均池化,得到通道数量为1的第四张量;将所述第四张量输入到所述检测模型的卷积神经网络,得到所述第四张量上每个位置对应的第二权重;其中,所述卷积神经网络中包括激活函数。
进一步地,所述的根据所述第一权重与所述第二权重对所述第一张量进行修正,得到修正后的目标张量的步骤包括:
针对所述第三张量与每个位置对应的第二权重,将所述第三张量与该位置对应的所述第二权重进行点乘操作,得到第五张量;
将得到的所述第五张量作为新的第一张量,继续执行步骤对所述第一张量进行全局池化,得到第二张量,直到满足预设次数为止,将最后一次生成的第五张量作为修正后的所述目标张量。
进一步地,所述第一颜色通道为复合通道;所述第二颜色通道为所述复合通道或灰度通道;所述复合通道为红色通道、绿色通道和蓝色通道。
进一步地,在所述的输出所述检测结果的步骤之后还包括步骤:
根据每个所述液体泄漏区域的对应的所述置信度,筛选出所述置信度大于第一阈值的目标置信度,将所述目标置信度对应的所述液体泄漏区域作为候选液体泄漏区域;
根据计算出的任意两个所述候选液体泄漏区域之间的交并比,当所述交并比大于第二阈值时,将该交并比对应的所述候选液体泄漏区域进行合并,得到目标液体泄漏区域。
进一步地,在所述的得到目标液体泄漏区域后还包括步骤:
将所述目标液体泄漏区域的位置信息发送到监测终端进行液体泄漏预警。
本发明还提供一种液体泄漏检测装置,包括:
获取模块,用于根据获取的目标视频数据,比较所述目标视频数据中任意两个目标视频帧之间的差异,获取差异图像;
确定模块,用于根据所述目标视频数据中的第一帧图像对应的第一颜色通道和所述差异图像对应的第二颜色通道,确定输入原始张量;
输入输出模块,用于将所述输入原始张量输入到检测模型中,输出所述检测结果;其中,所述检测模型是在模型建立模块中根据历史视频数据建立的,所述检测结果包括液体泄漏区域的位置信息和每个所述液体泄漏区域对应的置信度。
本发明还提供了一种机器可读存储介质,该机器可读存储介质上存储有处理器可执行的机器可读指令,该机器可读指令被处理器执行时实现本发明前面所述的液体泄漏检测方法。
本发明还提供了一种液体泄漏检测***,包括:
视频采集装置,用于采集目标视频数据并传输给液体泄漏检测装置;
液体泄漏检测装置,用于接收所述目标视频数据并实现实现本发明前面所述液体泄漏检测方法;
监测终端,用于接收液体泄漏区域的位置信息并进行预警。
本发明还提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时实现本发明前面所述液体泄漏检测方法的步骤。
本发明的提供了一种液体泄漏检测方法、装置、***及机器可读存储介质,其中,液体泄漏检测方法是通过从目标视频数据中确定出差异最大的第一关键帧和第二关键帧,根据目标视频数据中的第一帧图像以及第一关键帧与第二关键帧之间的差异形成的差异图像确定输入原始张量,与现有技术中根据视频帧中的每一帧图像,确定每一帧图像对应的张量的方法相比,增强了输入原始张量中液体区域与背景之间的差异,进而提升了液体区域的显著性特征。
进一步,本申请中通过将输入原始张量输入卷积神经网络,获取第一张量,再通过第一张量获取每个通道对应的第一权重和每个位置对应的第二权重,根据第一权重与第二权重对第一张量进行修正,得到修正后的目标张量,根据目标张量确定检测结果。与现有技术中直接通过通用检测网络模型提取每一帧图像中液体区域的方法相比,本申请通过对第一张量和检测模型获取与通道相关的第一权重以及与位置相关的第二权重,并通过第一权重和第二权重对第一张量进行修正得到目标张量,进而对修正后的目标张量进行检测,实现精准地检测视频中的液体区域,提高了检测结果的准确性。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本申请实施例所提供的一种液体泄漏检测方法的流程图;
图2示出了根据本发明实施例的第一目标视频帧上各个第一像素点的示意图;
图3示出了本申请实施例的第二目标视频帧上各个第二像素点的示意图;
图4示出了本申请实施例的第一关键帧上各个第三像素点的示意图;
图5示出了本申请实施例的第二关键帧上各个第四像素点的示意图;
图6示出了本申请实施例的差异图像上各个第五像素点的示意图;
图7示出了本申请实施例的检测模型中的第一单元的结构示意图;
图8示出了本申请实施例的一种液体泄漏检测装置的结构示意图;
图9示出了本申请实施例的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地说明,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
考虑到现有技术中在检测液体泄漏区域时识别效果较差的问题,基于此,本申请实施例提供了一种检测方法、装置、电子设备及计算机可读存储介质,以提高检测结果的准确性,下面通过实施例进行描述。
本发明的一种液体泄漏检测方法,包括下面步骤:
获取目标视频数据,并比较所述目标视频数据中任意两个目标视频帧之间的差异,获取差异图像;
根据所述目标视频数据中的第一帧图像对应的第一颜色通道和所述差异图像对应的第二颜色通道,确定输入原始张量;
将所述输入原始张量输入到检测模型中,输出所述检测结果;其中,所述检测模型是根据历史视频数据建立的,所述检测结果包括液体泄漏区域的位置信息和每个所述液体泄漏区域对应的置信度。
本发明的液体检测方法通过从目标视频数据中确定出差异最大的第一关键帧和第二关键帧,根据目标视频数据中的第一帧图像以及第一关键帧与第二关键帧之间的差异形成的差异图像确定输入原始张量,与现有技术中根据视频帧中的每一帧图像,确定每一帧图像对应的张量的方法相比,增强了第一张量中液体区域与背景之间的差异,进而提升了液体区域的显著性特征。其中本发明的检测模型是基于历史视频数据建立起来的,通过大量的历史视频数据,获取不同的历史帧图像,对检测模型进行大量的训练,大大提高模型的泛化能力,应用于液体泄漏检测中可以大大提高对于液体泄漏的检测效果。
实施例一:
为便于对本实施例进行理解,首先对本申请实施例所公开的一种液体泄漏检测方法进行详细介绍。图1示出了本申请实施例所提供的一种液体泄漏检测方法的流程图,如图1所示,包括以下步骤:
S101:根据获取的目标视频数据,确定目标视频数据中任意两个目标视频帧之间的差异,将差异最大的两个目标视频帧作为第一关键帧和第二关键帧。
在本申请的实施例中,目标视频数据可以是通过摄像设备实时记录的待检测对象的视频数据,即目标视频数据是实时产生的数据。待检测对象可以是液体输送设备或液体存储设备,具体地可以是装有液体的管道、存储罐等用于存储或运输的设备设施。其中,液体可以为原油、水等液体物质。目标视频帧可以为目标视频数据中的任意一帧图像。
在本申请的实施例中,由于摄像设备与待检测对象的相对位置没有改变,以及待检测对象本身的颜色、形态等不会改变,因此本申请中需要检测出来的差异通常指的是由于泄漏出来的液体的区域所产生的差异。第一关键帧与第二关键帧之间具有一定的时间间隔。示例性的,第一关键帧中可以是液体还未泄漏时的图像,第二关键帧中可以是液体已经泄漏出来的图像,此时的差异指的是泄漏出来的液体。
S102:根据目标视频数据中的第一帧图像对应的第一颜色通道和差异图像对应的第二颜色通道,确定输入原始张量;其中,差异图像是由第一关键帧与第二关键帧之间的差异形成的图像;第一颜色通道为复合通道;第二颜色通道为复合通道或灰度通道;复合通道为红色通道、绿色通道和蓝色通道。
在本申请的实施例中,第一帧图像指的是目标视频数据中最开始的那一帧图像。本申请中目标视频数据中每一帧图像的格式均为RGB模式,即第一帧图像的格式也为RGB模式,因此第一帧图像包含三个第一颜色通道,分别为红色通道、绿色通道和蓝色通道。
差异图像是由第一关键帧与第二关键帧之间的差异形成的图像,其中第一关键帧和第二关键帧均为目标视频数据中的图像,因此第一关键帧和第二关键帧中也均包含三个颜色通道。
在根据第一关键帧和第二关键帧生成差异图像时,第一种方法是直接通过包含三个颜色通道的第一关键帧和第二关键帧生成差异图,此时生成的差异图中包含了三个第二颜色通道;第二种方法是先对第一关键帧和第二关键帧进行灰度化处理,再根据灰度化处理后的第一关键帧和第二关键帧生成差异图,此时生成的差异图只包含一个灰度通道。
在根据目标视频数据中的第一帧图像对应的第一颜色通道和差异图像对应的第二颜色通道确定输入原始张量时,具体可以是当差异图像中包含的是复合通道(即三个第二颜色通道:红色通道、绿色通道和蓝色通道)时,将三个第一颜色通道与三个第二颜色通道叠加(即组合、合成)生成目标图像,此时目标图像中包括6个颜色通道,然后将该目标图像转换为输入原始张量,即输入原始张量中包括6个颜色通道。
或者也可以是当差异图像中包含的是一个灰度通道时,将三个第一颜色通道与一个灰度通道叠加生成目标图像,此时目标图像中包括4个颜色通道,然后将该目标图像转换为一个输入原始张量。值的注意的是,本申请中提及到的张量(包括输入原始张量等)指的是高维向量。
S103:将输入原始张量输入到检测模型中,输出检测结果;其中,在检测模型中:将所述输入原始张量输入到所述检测模型中的卷积神经网络中,获取第一张量;
根据第一张量获取第一权重和第二权重;所述输入原始张量的颜色通道包括第一颜色通道和第二颜色通道;根据第一权重与第二权重对第一张量进行修正,得到修正后的目标张量;根据目标张量确定检测结果;检测结果包括液体泄漏区域的位置信息和每个液体泄漏区域对应的置信度。
具体地,根据目标张量确定检测结果的过程是将获得的目标张量重新输入到所述检测模型的卷积神经网络中,经过分类和回归确定所述的检测结果。实际中,目标视频数据中的目标视频帧可能会根据突发情况(包括人员/动物的出入、天气的变化等),获得相应的差异图像,即差异图像也有可能不是出现了液体泄漏,需要通过分类和回归处理进行进一步确认,只有在出现了液体泄漏的情况下,才会输出液体泄漏相关的检测结果。
在本申请的实施例中,当第一张量中包括N个通道时,获取第一张量中每个通道对应的第一权重后,此时得到了N个第一权重。
在本申请的实施例中,第一权重表示第一张量中每个通道的重要程度,第二权重表示第三张量每个位置相对于其他位置的重要程度。
根据第一权重与第二权重对第一张量进行修正时,可以是先通过第一权重对第一张量进行修正,然后再通过第二权重对修正后的第一张量进行再次修正,进而得到目标张量。
在本申请中,液体泄漏区域的位置信息可以是液体泄漏的坐标,置信度用于表示检测出的液体泄漏区域为真实泄漏区域的概率。
本申请中通过将差异较大的第一关键帧和第二关键帧形成的差异图像输入到检测模型中,从而让检测模型提取到关于液体在时间维度的有效特征。
在一种可能的实施方式中,在执行S101根据获取的目标视频数据,确定目标视频数据中任意两个目标视频帧之间的差异,将差异最大的两个目标视频帧作为第一关键帧和第二关键帧时,具体可以按照以下步骤执行:
S1011:获取目标时间段内的目标视频数据。
目标时间段可以为10分钟、半个小时等,本申请对此不予限制。
S1012:根据预设时间间隔,从目标视频数据中选取出至少两个目标视频帧。
预设时间间隔不大于目标时间段。示例性的,当目标时间段为10分钟,预设时间间隔为1分钟时,此时从目标视频数据中选取11个目标视频帧。
S1013:当目标视频帧为两个时,将两个目标视频帧确定为第一关键帧和第二关键帧。
在一个具体的实施例中,当预设时间间隔等于目标时间段时,选取出的两个目标视频帧分别为目标视频数据中的第一帧图像和最后一帧图像。此时直接将目标视频数据中的第一帧图像和最后一帧图像确定为第一关键帧和第二关键帧。
S1014:当目标视频帧大于两个时,根据任意两个相邻的目标视频帧之间的差异,将差异最大的两个相邻的目标视频帧确定为第一关键帧和第二关键帧。
示例性的,当目标视频帧有三个,分别为目标视频帧A、目标视频帧B、目标视频帧C时,确定出目标视频帧A与目标视频帧B之间的差异a,目标视频帧B与目标视频帧C之间的差异b,当差异a小于差异b时,将目标视频帧B与目标视频帧C确定为第一关键帧和第二关键帧。
在另一种可能的实施方式中,在从目标视频帧中确定出第一关键帧和第二关键帧时,还可以通过帧差分法进行确定。
在一种可能的实施方式中,在执行S1014当目标视频帧大于两个时,根据任意两个相邻的目标视频帧之间的差异,将差异最大的两个相邻的目标视频帧确定为第一关键帧和第二关键帧时,具体可以按照以下步骤执行:
S10141:针对任意两个相邻的第一目标视频帧和第二目标视频帧,计算第一像素点的第一像素值与第二像素点的第二像素值之间第一差值;其中,第一像素点为第一目标视频帧上的任意一个像素点,第二像素点为第二目标视频帧上与第一像素点位于对应位置处的像素点。
在计算第一目标视频帧和第二目标视频帧之间的差异时,由于第一目标视频帧包含的第一像素点的个数与第二目标视频帧包含的第二像素点的个数相同,因此可以是将第一目标视频帧上的每一个第一像素点的第一像素值与第二目标视频帧上对应位置的第二像素点的第二像素值相减,得到每个第一像素点和对应位置处的第二像素点的第一差值。第一像素点的个数、第二像素点的个数和第一差值的个数相同。
示例性的,图2示出了本申请实施例所提供的第一目标视频帧上各个第一像素点的示意图,如图2所示,每个方框代表一个第一像素点,每个方框中的数值代表该第一像素点的第一像素值。其中,第一像素点M1的第一像素值为152;第一像素点M2的第一像素值为240;第一像素点M3的第一像素值为56;第一像素点M4的第一像素值为88。
图3示出了本申请实施例所提供的第二目标视频帧上各个第二像素点的示意图,如图3所示,每个方框代表一个第二像素点,每个方框中的数值代表该第二像素点的第二像素值。其中,第二像素点N1的第二像素值为254;第二像素点N2的第二像素值为38;第二像素点N3的第二像素值为56;第二像素点N4的第二像素值为66。其中,第一像素点M1与第二像素点N1位于对应位置处;第一像素点M2与第二像素点N2位于对应位置处。
在计算第一差值C1时,具体可以是152(第一像素点M1的第一像素值)-254(第二像素点N1的第二像素值)=-102(第一差值C1)。同理在计算第一差值C2时,具体可以是240(第一像素点M2的第一像素值)-38(第二像素点N2的第二像素值)=202(第一差值C2)。计算第一差值C3时,具体可以是56(第一像素点M3的第一像素值)-56(第二像素点N3的第二像素值)=0(第一差值C3)。计算第一差值C4时,具体可以是88(第一像素点M4的第一像素值)-66(第二像素点N4的第二像素值)=22(第一差值C4)。
S10142:针对每个第一差值,计算该第一差值的绝对值。
承接步骤S10141中的实施例,第一差值C1(即-102)的绝对值为102;第一差值C2(即202)的绝对值为202;第一差值C3(即0)的绝对值为0;第一差值C4(即22)的绝对值为22。
S10143:根据每个绝对值,计算绝对值的平均值,将平均值作为第一目标视频帧和第二目标视频帧之间的差异值。
承接步骤S10142中的实施例,计算绝对值的平均值时,具体地,平均值=(101+202+0+22)/4=81.25。此时,第一目标视频帧和第二目标视频帧之间的差异值为81.25。
S10144:根据任意两个相邻的目标视频帧之间的差异值,将差异值最大的两个相邻的目标视频帧确定为第一关键帧和第二关键帧。
任意两个相邻的目标视频帧对应一个差异值,将差异值最大的两个相邻的目标视频帧确定为第一关键帧和第二关键帧。其中,本申请中的相邻指的是按照时间顺序将目标视频帧进行排序后,两个相邻的目标视频帧。
在一种可能的实施方式中,第一关键帧对应的时间点早于第二关键帧对应的时间点;在执行步骤S102根据目标视频数据中的第一帧图像对应的第一颜色通道和差异图像对应的第二颜色通道,确定输入原始张量之前,具体还可以按照以下步骤执行:
S1021:计算第四像素点的第四像素值与第三像素点的第三像素值之间的第二差值;其中,第四像素点为第二关键帧上的任意一个像素点,第三像素点为第一关键帧上与第四像素点位于对应位置处的像素点。
示例性的,图4示出了本申请实施例所提供的第一关键帧上各个第三像素点的示意图,图5示出了本申请实施例所提供的第二关键帧上各个第四像素点的示意图,如图4和图5所示,在计算第二差值时,具体可以是将第二关键帧上的每一个第四像素点的第四像素值与第一关键帧上对应位置处的第三像素点的第三像素值相减,得到每个第四像素点和对应位置处的第三像素点的第二差值。第三像素点的个数、第四像素点的个数和第二差值的个数相同。
在计算第二差值时,具体为86-65=21;95-95=0;156-156=0;226-83=143;62-26=36;6-16=-10;33-44=-11;96-89=7;17-17=0。具体计算原理可参考步骤S10141中计算第一差值时的实施例。
S1022:针对每个第二差值,将该第二差值的绝对值确定为差异图像上对应位置的像素点的第五像素值,以得到差异图像。
承接步骤S1021中的实施例,图6示出了本申请实施例所提供的差异图像上各个第五像素点的示意图,如图6所示,本申请中,针对每个第二差值,计算该第二差值的绝对值,然后将该第二差值的绝对值确定为差异图像上对应位置的像素点的第五像素值,以得到差异图像。
本申请中,通过对第一关键帧与第二关键帧的对应位置的像素点的像素值做差的方法,使得第一关键帧与第二关键帧中相同的背景区域去除掉了,只剩下两个关键帧之间不同的区域,即两个关键帧之间的差异的区域。
在一种可能的实施方式中,在执行步骤S103根据第一张量获取第一权重和第二权重时,具体可以按照以下步骤执行:
S1031:对第一张量进行全局池化,得到第二张量;其中,第一张量与第二张量中包含的通道数量相同;
在本申请的实施例中,检测模型包括X个单元,第一单元为检测模型中的第一个单元,图7示出了本申请实施例所提供的检测模型中的第一单元的结构示意图,如图7所示,第一单元包括通道层注意力机制模块、第一修正模块、非局部空间注意力机制模块和第二修正模块。
本申请中将第一张量通过输入模块输入到通道层注意力机制模块,在通道层注意力机制模块中对第一张量进行全局池化,得到第二张量,示例性的,第一张量对应的图像为H(图像长度)×W(图像宽度)×T(通道数量)一张图,进行全局池化后,得到的第二张量对应的图像为1(图像长度)×1(图像宽度)×T(通道数量)一张图。
S1032:将第二张量输入到激活函数中,输出第一张量中每个通道对应的第一权重。
在通道层注意力机制模块中,将第二张量输入到激活函数(Sigmoid函数)中,得到每个通道对应的第一权重。本申请中,通道层注意力机制模块输出各个通道对应的第一权重。即得到第一张量中各个通道所对应的第一权重。
S1033:针对第一张量中的每个通道,将第一张量与该通道对应的第一权重进行乘积操作,得到第三张量。
第一修正模块接收到输入模块输出的第一张量,以及通道层注意力机制模块输出的各个通道对应的第一权重,在第一修正模块中,针对第一张量中的每个通道,将第一张量与该通道对应的第一权重进行乘积操作,实现对第一张量中的各个通道进行特征修正,得到第三张量,第三张量对应的图像为H(图像长度)×W(图像宽度)×T(通道数量)一张图。
S1034:对第三张量进行全局平均池化,得到第四张量;第四张量中通道的数量为1。
将第一修正模块输出的第三张量输入到非局部空间注意力机制模块,在非局部空间注意力机制模块中,对第三张量进行全局平均池化,将第三张量中包含的T个通道归一化,得到第四张量,第四张量对应的图像为H(图像长度)×W(图像宽度)×1(通道数量)一张图。
S1035:将第四张量输入到卷积神经网络,得到第三张量所对应的(图像上)每个位置对应的第二权重;其中,卷积神经网络中包括激活函数。
在非局部空间注意力机制模块中,将第四张量输入到卷积神经网络,得到第三张量上每个位置对应的第二权重。卷积神经网络中包括sigmoid激活函数。非局部空间注意力机制模块输出第三张量上各个位置对应的第二权重。
在一种可能的实施方式中,在执行步骤S103根据第一权重与第二权重对第一张量进行修正,得到修正后的目标张量时,具体可以按照以下步骤执行:
S1036:针对第三张量与每个位置对应的第二权重,将第三张量与该位置对应的第二权重进行点乘操作,得到第五张量。
如图7所示,第二修正模块接收到非局部空间注意力机制模块输出的目标图像上各个位置对应的第二权重以及第一修正模块输出的第三张量,在第二修正模块中,针对目标图像上的每个位置对应的第二权重,将第三张量与该位置对应的第二权重进行点乘操作,得到第五张量。
S1037:将得到的第五张量作为新的第一张量,继续执行步骤对第一张量进行全局池化,得到第二张量,直到满足预设次数为止,将最后一次生成的第五张量作为修正后的目标张量。
由于本申请中的检测模型包括X个单元,其中,第一单元的第二修正模块输出的第五张量作为第一单元的输出,通过第一单元的输出模块输出,并在检测模型中将第一单元的输出作为下一个单元的输入,即将第一单元中第二修正模块输出的第五张量作为新的第一张量,输入到下一个单元的输入模块中,重复执行步骤S1031对第一张量进行全局池化,得到第二张量,直到通过X个单元,将第X个单元输出的第五张量作为修正后的目标张量。
在一种可能的实施方式中,在执行步骤S103根据目标张量确定检测结果时,具体可以按照以下步骤执行:检测模型中还包括全连接层,将目标张量输入到全连接层,通过全连接层进行分类,输出液体泄漏区域的位置信息和每个液体泄漏区域对应的置信度。
本申请中,通道层注意力机制模块是用于实现对于通道相关性权重提取,每一个通道代表一个检测器,因此通道层注意力机制模块可以判断哪些通道的特征对检测模型的网络学习有正向作用,具体方案为先全局池化到1×1×T(通道数量)的维度,然后通过卷积神经网络提取每个通道的特征,最后过sigmoid激活函数得到权重系数,与输入特征相乘即获得通道注意力机制的特征修正。
非局部空间注意力机制模块则用于弥补卷积局部感受野的缺点,通过非局部空间注意力模块关注每一个特征谱中不同位置相对于其他位置的重要性,针对H(图像长度)和W(图像宽度)维度进行权重提取。具体方案为针对给定的图像特征(本申请中指第三张量),先通过全局平均池化将T通道归一化,获得H(图像长度)×W(图像宽度)×1的特征,通过卷积和sigmoid激活函数获取第三张量所对应图像中每一个位置的重要性参数即空间特征权重谱,最后与第三张量进行点乘操作,即获得最终的输出(第五张量或目标张量)。
本申请中,将通道层注意力机制模块和非局部空间注意力机制模块进行串联结合,可以有效提取多维特征谱的权重信息,使得检测模型学习中关注更加感兴趣的区域即“液体泄漏区域”。
本申请的检测方法的一个具体实施例中,检测模型使用经典的ResNet50(Residual Network,残差网络)作为主干网络,使用RetinaNet作为检测模型的整体框架,在主干网络ResNet50结构的Stage2后加入了可分离注意力机制进行权重重分配,并将处理后的语义和时空特征图馈入后续的深层网络结果中,进行推理结算得到最终结果(即本申请中所说的检测结果)。应当理解的是,本领域技术人员可以根据实际情况选择不同的网络模型。
在一种可能的实施方式中,在执行步骤S103将第一张量输入到检测模型中,输出检测结果之后,具体还可以按照以下步骤执行:
S1041:根据每个液体泄漏区域的对应的置信度,筛选出置信度大于第一阈值的目标置信度,将目标置信度对应的液体泄漏区域作为候选液体泄漏区域。
在本申请中,检测模型输出的液体泄漏区域可能为多个,每个液体泄漏区域对应一个置信度。
S1042:根据计算出的任意两个候选液体泄漏区域之间的交并比,当交并比大于第二阈值时,将该交并比对应的候选液体泄漏区域进行合并,得到目标液体泄漏区域。
在本申请中,液体泄漏区域之间可能存在重合部分,交并比指的是两个候选液体泄漏区域之间的重合度。当两个候选液体泄漏区域之间的交并比大于第二阈值时,将这两个候选液体泄漏区域进行合并,形成一个目标液体泄漏区域。
S1043:将目标液体泄漏区域的位置信息发送到监测终进行液体泄漏预警。
通常监测终端为负责人的手持可移动终端,以实现对相关负责人进行预警。将目标液体泄漏区域的位置信息(即预警信息)发送到负责人的终端,以使负责人根据接收到的预警信息及时处理。其中,位置信息(即预警信息)可以通过图像、文字、视频中的任意一种或多种形式发送到负责人的终端。终端可以是负责人的手机、电脑等设备,本申请对此不予限制。
在一种可能的实施方式中,在执行步骤S103将第一张量输入到检测模型中,输出检测结果之前,还包括建立检测模型的步骤,本发明中的检测模型是通过历史视频数据经过学习、训练所建立的,具体可以按照以下步骤执行:
S1001:根据获取的历史视频数据,确定历史视频数据中任意两个历史视频帧之间的差异,将差异最大的两个历史视频帧作为第一历史关键帧和第二历史关键帧;
S1002:根据历史视频数据中的第一历史帧图像对应的第三颜色通道和历史差异图像对应的第四颜色通道,确定第一历史张量;其中,历史差异图像是由第一历史关键帧与第二历史关键帧之间的差异形成的图像;第三颜色通道为复合通道;第四颜色通道为复合通道或灰度通道;复合通道为红色通道、绿色通道和蓝色通道;
S1003:将第一历史张量和泄漏正确位置信息输入到待训练检测模型中,输出待训练检测模型预测出的预测检测结果;
S1004:将预测检测结果与对应的实际情况进行比较,得到损失数值;
S1005:使用损失数值对待训练检测模型进行本轮训练;
S1006:当训练此时达到预设次数时,停止训练,将训练完成的待训练检测模型作为检测模型。
其中,所提供的用于带训练检测模型的训练样本(历史视频数据)包括各种不同的场景状况:既包括存在泄漏情况的场景,也包括不存在泄漏情况的场景。通过大量正负样本对模型进行训练,提高检测模型的泛化能力,即提高模型输出结果的可靠性。
实施例二:
基于相同的技术构思,本申请实施例还提供一种液体泄漏检测装置,图8示出了本申请实施例所提供的一种检测装置的结构示意图,如图8所示,该装置包括:
获取模块801,用于根据获取的目标视频数据,比较所述目标视频数据中任意两个目标视频帧之间的差异,获取差异图像;
确定模块802,用于根据所述目标视频数据中的第一帧图像对应的第一颜色通道和所述差异图像对应的第二颜色通道,确定输入原始张量;
输入输出模块803,用于将所述输入原始张量输入到检测模型中,输出检测结果;其中,所述检测模型是在模型建立模块中根据历史视频数据建立的,所述检测结果包括液体泄漏区域的位置信息和每个所述液体泄漏区域对应的置信度。
其中,所述第一颜色通道为复合通道;所述第二颜色通道为所述复合通道或灰度通道;所述复合通道为红色通道、绿色通道和蓝色通道;
在所述检测模型中:将所述输入原始张量输入到所述检测模型中的卷积神经网络中,获取第一张量;
根据第一张量获取第一权重和第二权重;所述输入原始张量中包括所述第一颜色通道和所述第二颜色通道;根据所述第一权重与所述第二权重对所述第一张量进行修正,得到修正后的目标张量;根据所述目标张量确定所述检测结果。
可选的,在获取模块801根据获取的目标视频数据,确定所述目标视频数据中任意两个目标视频帧之间的差异,将所述差异最大的两个所述目标视频帧作为第一关键帧和第二关键帧时,具体用于:
获取目标时间段内的目标视频数据;
根据预设时间间隔,从所述目标视频数据中选取出至少两个所述目标视频帧;
当所述目标视频帧为两个时,将两个所述目标视频帧确定为所述第一关键帧和所述第二关键帧;
当所述目标视频帧大于两个时,根据任意两个相邻的所述目标视频帧之间的所述差异,将所述差异最大的两个相邻的所述目标视频帧确定为所述第一关键帧和所述第二关键帧。
可选的,所述获取模块801在当所述目标视频帧大于两个时,根据任意两个相邻的所述目标视频帧之间的所述差异,将所述差异最大的两个相邻的所述目标视频帧确定为所述第一关键帧和所述第二关键帧时,具体用于:
针对任意两个相邻的第一目标视频帧和第二目标视频帧,计算第一像素点的第一像素值与第二像素点的第二像素值之间第一差值;其中,所述第一像素点为所述第一目标视频帧上的任意一个像素点,所述第二像素点为所述第二目标视频帧上与所述第一像素点位于对应位置处的像素点;
针对每个所述第一差值,计算该第一差值的绝对值;
根据每个所述绝对值,计算所述绝对值的平均值,将所述平均值作为所述第一目标视频帧和所述第二目标视频帧之间的差异值;
根据任意两个相邻的所述目标视频帧之间的所述差异值,将所述差异值最大的两个相邻的所述目标视频帧确定为所述第一关键帧和所述第二关键帧。
可选的,所述第一关键帧对应的时间点早于所述第二关键帧对应的时间点;
所述获取模块的具体用于:
在所述确定模块802根据所述目标视频数据中的第一帧图像对应的第一颜色通道和差异图像对应的第二颜色通道,确定输入原始张量之前,计算第四像素点的第四像素值与第三像素点的第三像素值之间的第二差值;其中,所述第四像素点为所述第二关键帧上的任意一个像素点,所述第三像素点为所述第一关键帧上与所述第四像素点位于对应位置处的像素点;
用于针对每个所述第二差值,将该第二差值的绝对值确定为所述差异图像上对应位置的像素点的第五像素值,以得到所述差异图像。
可选的,所述输入输出模块803在根据第一张量获取第一权重和第二权重时,具体用于:
对所述第一张量进行全局池化,得到第二张量;其中,所述第二张量与所述第一张量中包含的通道数量相同;
将第二张量输入到激活函数中,输出第一张量每个通道对应的第一权重;从而得到第一张量中每个通道对应的第一权重;
针对第一张量中的每个通道,将第一张量与该通道对应的第一权重进行乘积操作,得到第三张量;
对第三张量进行全局平均池化,得到第四张量;第四张量中通道的数量为1;
将第四张量输入到卷积神经网络,得到第三张量所对应的(图像上)每个位置对应的第二权重;其中,所述卷积神经网络层中包括激活函数。
可选的,所述输入输出模块803在根据所述第一权重与所述第二权重对所述第一张量进行修正,得到修正后的目标张量时,具体用于:
通过第一张量和第一权重获取第三张量后,针对所述第三张量与每个位置对应的第二权重,将所述第三张量与该位置对应的所述第二权重进行点乘操作,得到第五张量;
将得到的所述第五张量作为新的第一张量,继续执行步骤对所述第一张量进行全局池化,得到第二张量,直到满足预设次数为止,将最后一次生成的第五张量作为修正后的所述目标张量。
可选的,还包括:
筛选模块,用于在所述输入输出模块803将所述输入原始张量输入到检测模型中,输出检测结果之后,根据每个所述液体泄漏区域的对应的所述置信度,筛选出所述置信度大于第一阈值的目标置信度,将所述目标置信度对应的所述液体泄漏区域作为候选液体泄漏区域;
合并模块,用于根据计算出的任意两个所述候选液体泄漏区域之间的交并比,当所述交并比大于第二阈值时,将该交并比对应的所述候选液体泄漏区域进行合并,得到目标液体泄漏区域;
发送模块,用于将所述目标液体泄漏区域的位置信息发送到监测终端进行预警。通常监测终端为负责人的手持可移动终端,以实现对相关负责人进行预警的作用。
关于具体执行的方法步骤和原理参见实施例一的说明,在此不再详细赘述。
实施例三:
基于相同的技术构思,本申请实施例还提供一种电子设备,图9示出了本申请实施例所提供的一种电子设备的结构示意图,如图9所示,该电子设备900包括:处理器901、存储器902和总线903,存储器存储有处理器可执行的机器可读指令,当电子设备运行时,处理器901与存储器902之间通过总线903通信,处理器901执行机器可读指令,以执行实施例一中所述的液体泄漏检测方法步骤。
关于具体执行的方法步骤和原理参见实施例一的说明,在此不再详细赘述。
实施例四:
基于相同的技术构思,本申请实施例四还提供了一种机器可读存储介质,该机器可读存储介质上存储有所述处理器可执行的机器可读指令,该机器可读指令被处理器执行时实现实施例一中所述的方法步骤。
具体地,机器可读存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质,当机器可读存储介质中包含的机器可读指令被执行时(可以是个人计算机,服务器,或者网络设备等计算机设备),实现本发明实施例一所述液体泄漏检测方法的全部或部分步骤。
关于具体执行的方法步骤和原理参见实施例一的说明,在此不再详细赘述。
实施例五:
基于相同的技术构思,本申请实施例还提供一种液体泄漏检测***,包括:视频采集装置,液体泄漏检测装置和监测终端,视频采集装置采集目标视频数据并传输给液体泄漏检测装置;液体泄漏检测装置接收所述目标视频数据并实现实施例一中所述的液体泄漏检测方法;监测终端接收液体泄漏区域的位置信息并进行预警。
视频采集装置可以通过有线或无线的方式将采集的视频数据实时传输给液体泄漏检测装置;应当理解的是,在多监测点的应用场景下,视频采集装置、监测终端可以针对于监测点进行对应设置。
关于具体执行的方法步骤和原理参见实施例一的说明,在此不再详细赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (14)
1.一种液体泄漏检测方法,其特征在于,包括下面步骤:
根据获取的目标视频数据,比较所述目标视频数据中任意两个目标视频帧之间的差异,获取差异图像;
根据所述目标视频数据中的第一帧图像对应的第一颜色通道和所述差异图像对应的第二颜色通道,确定输入原始张量;
将所述输入原始张量输入到检测模型中,输出所述检测结果;其中,所述检测模型是根据历史视频数据建立的,所述检测结果包括液体泄漏区域的位置信息和每个所述液体泄漏区域对应的置信度。
2.根据权利要求1所述的液体泄漏检测方法,其特征在于,所述的根据获取的目标视频数据,比较所述目标视频数据中任意两个目标视频帧之间的差异,获取差异图像的步骤包括:
获取目标时间段内待检测的目标视频数据;
根据预设时间间隔,从所述目标视频数据中选取出至少两个所述目标视频帧作为第一关键帧和第二关键帧,所述第一关键帧对应的时间点早于所述第二关键帧对应的时间点;
根据所述第一关键帧和所述第二关键帧获取所述差异图像;
其中,当所述目标视频帧为两个时,将两个所述目标视频帧确定为所述第一关键帧和所述第二关键帧;
当所述目标视频帧大于两个时,比较任意两个相邻的所述目标视频帧之间的差异,将所述差异最大的两个相邻的所述目标视频帧确定为所述第一关键帧和所述第二关键帧。
3.根据权利要求2所述的液体泄漏检测方法,其特征在于,所述的当所述目标视频帧大于两个时,比较任意两个相邻的所述目标视频帧之间的差异,将所述差异最大的两个相邻的所述目标视频帧确定为所述第一关键帧和所述第二关键帧的步骤包括:
针对任意两个相邻的第一目标视频帧和第二目标视频帧,计算第一像素点的第一像素值与第二像素点的第二像素值之间第一差值;其中,所述第一像素点为所述第一目标视频帧上的任意一个像素点,所述第二像素点为所述第二目标视频帧上与所述第一像素点位于对应位置处的像素点;
针对每个所述第一差值,计算该第一差值的绝对值;
根据每个所述绝对值,计算所述绝对值的平均值,将所述平均值作为所述第一目标视频帧和所述第二目标视频帧之间的差异值;
根据任意两个相邻的所述目标视频帧之间的所述差异值,将所述差异值最大的两个相邻的所述目标视频帧确定为所述第一关键帧和所述第二关键帧。
4.根据权利要求2所述的液体泄漏检测方法,其特征在于,所述的根据所述第一关键帧和所述第二关键帧获取所述差异图像的步骤包括:
计算第四像素点的第四像素值与第三像素点的第三像素值之间的第二差值;其中,所述第四像素点为所述第二关键帧上的任意一个像素点,所述第三像素点为所述第一关键帧上与所述第四像素点位于对应位置处的像素点;
针对每个所述第二差值,将该第二差值的绝对值确定为所述差异图像上对应位置的像素点的第五像素值,以得到所述差异图像。
5.根据权利要求1所述的液体泄漏检测方法,其特征在于,
所述的将所述输出原始张量输入到检测模型中,输出所述检测结果的步骤包括:
在所述检测模型中:将所述输入原始张量输入到所述检测模型中的卷积神经网络中,获取第一张量;其中,所述输入原始张量包括所述第一颜色通道和所述第二颜色通道;
根据所述第一张量获取第一权重和第二权重;
根据所述第一权重与所述第二权重对所述第一张量进行修正,得到修正后的目标张量;
根据所述目标张量确定所述检测结果。
6.根据权利要求5所述的液体泄漏检测方法,其特征在于,所述的根据所述第一张量获取第一权重和第二权重的步骤包括:
对所述第一张量进行全局池化,得到第二张量,所述第二张量的长度和宽度为1;其中,所述第二张量与所述第一张量中包含的通道的数量相同;
将所述第二张量输入到激活函数中,输出所述第一张量中每个通道对应的所述第一权重;
针对所述第一张量中的每个通道,将所述第一张量与该通道对应的所述第一权重进行乘积操作,得到第三张量;
对所述第三张量进行全局平均池化,得到通道数量为1的第四张量;将所述第四张量输入到所述检测模型的卷积神经网络,得到所述第四张量上每个位置对应的第二权重;其中,所述卷积神经网络中包括激活函数。
7.根据权利要求6所述的液体泄漏检测方法,其特征在于,所述的根据所述第一权重与所述第二权重对所述第一张量进行修正,得到修正后的目标张量的步骤包括:
针对所述第三张量与每个位置对应的第二权重,将所述第三张量与该位置对应的所述第二权重进行点乘操作,得到第五张量;
将得到的所述第五张量作为新的第一张量,继续执行步骤对所述第一张量进行全局池化,得到第二张量,直到满足预设次数为止,将最后一次生成的第五张量作为修正后的所述目标张量。
8.根据权利要求1所述的液体泄漏检测方法,其特征在于,所述第一颜色通道为复合通道;所述第二颜色通道为所述复合通道或灰度通道;所述复合通道为红色通道、绿色通道和蓝色通道。
9.根据权利要求1~8中任一项所述的液体泄漏检测方法,其特征在于,在所述的输出所述检测结果的步骤之后还包括步骤:
根据每个所述液体泄漏区域的对应的所述置信度,筛选出所述置信度大于第一阈值的目标置信度,将所述目标置信度对应的所述液体泄漏区域作为候选液体泄漏区域;
根据计算出的任意两个所述候选液体泄漏区域之间的交并比,当所述交并比大于第二阈值时,将该交并比对应的所述候选液体泄漏区域进行合并,得到目标液体泄漏区域。
10.根据权利要求9所述的液体泄漏检测方法,其特征在于,在所述的得到目标液体泄漏区域后还包括步骤:
将所述目标液体泄漏区域的位置信息发送到监测终端进行液体泄漏预警。
11.一种液体泄漏检测装置,其特征在于,包括:
获取模块,用于根据获取的目标视频数据;比较所述目标视频数据中任意两个目标视频帧之间的差异,获取差异图像;
确定模块,用于根据所述目标视频数据中的第一帧图像对应的第一颜色通道和所述差异图像对应的第二颜色通道,确定输入原始张量;
输入输出模块,用于将所述输入原始张量输入到检测模型中,输出所述检测结果;其中,所述检测模型是在模型建立模块中根据历史视频数据建立的,所述检测结果包括液体泄漏区域的位置信息和每个所述液体泄漏区域对应的置信度。
12.一种机器可读存储介质,其特征在于,该机器可读存储介质上存储有处理器可执行的机器可读指令,该机器可读指令被处理器执行时实现如权利要求1至10中任一项所述的液体泄漏检测方法。
13.一种液体泄漏检测***,其特征在于,包括:
视频采集装置,用于采集目标视频数据并传输给液体泄漏检测装置;
液体泄漏检测装置,用于接收所述目标视频数据并实现如权利要求1至10中任一项所述液体泄漏检测方法;
监测终端,用于接收液体泄漏区域的位置信息并进行预警。
14.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时实现如权利要求1至10任一所述液体泄漏检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111682398.8A CN116434100A (zh) | 2021-12-30 | 2021-12-30 | 液体泄漏检测方法、装置、***及机器可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111682398.8A CN116434100A (zh) | 2021-12-30 | 2021-12-30 | 液体泄漏检测方法、装置、***及机器可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116434100A true CN116434100A (zh) | 2023-07-14 |
Family
ID=87084171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111682398.8A Pending CN116434100A (zh) | 2021-12-30 | 2021-12-30 | 液体泄漏检测方法、装置、***及机器可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116434100A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117231524A (zh) * | 2023-11-14 | 2023-12-15 | 浙江嘉源和达水务有限公司 | 一种泵汽蚀状态监测诊断方法及*** |
-
2021
- 2021-12-30 CN CN202111682398.8A patent/CN116434100A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117231524A (zh) * | 2023-11-14 | 2023-12-15 | 浙江嘉源和达水务有限公司 | 一种泵汽蚀状态监测诊断方法及*** |
CN117231524B (zh) * | 2023-11-14 | 2024-01-26 | 浙江嘉源和达水务有限公司 | 一种泵汽蚀状态监测诊断方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cozzolino et al. | Noiseprint: A CNN-based camera model fingerprint | |
CN111709408B (zh) | 图像真伪检测方法和装置 | |
CN112287816B (zh) | 一种基于深度学习的危险工作区事故自动检测报警方法 | |
CN112669316B (zh) | 电力生产异常监控方法、装置、计算机设备和存储介质 | |
CN110826588A (zh) | 一种基于注意力机制的排水管道缺陷检测方法 | |
CN111507138A (zh) | 图像识别方法、装置、计算机设备及存储介质 | |
CN110852222A (zh) | 一种基于目标检测的校园走廊场景智能监控方法 | |
CN116030074A (zh) | 一种道路病害的识别方法、重识别方法及相关设备 | |
CN107730530A (zh) | 一种基于智慧城市的远程应急管理控制方法 | |
CN116434100A (zh) | 液体泄漏检测方法、装置、***及机器可读存储介质 | |
CN115346278A (zh) | 图像检测方法、装置、可读介质及电子设备 | |
CN116226435B (zh) | 基于跨模态检索的遥感图像与ais信息的关联匹配方法 | |
CN110909578A (zh) | 一种低分辨率图像识别方法、装置和存储介质 | |
CN117315537A (zh) | 一种基于预训练策略的视频敏感信息检测方法和*** | |
CN112580778A (zh) | 基于YOLOv5和Pose-estimation的工地工人手机使用检测方法 | |
CN117152094A (zh) | 基于计算机视觉的钢板表面缺陷分析方法、装置及*** | |
CN116824352A (zh) | 一种基于语义分割与图像异常检测的水面漂浮物识别方法 | |
CN111369557A (zh) | 图像处理方法、装置、计算设备和存储介质 | |
CN115457015A (zh) | 一种基于视觉交互感知双流网络的图像无参考质量评估方法及装置 | |
CN113298102B (zh) | 一种目标分类模型的训练方法及装置 | |
CN112435240B (zh) | 一种面向工人违规使用手机的深度视觉手机检测*** | |
CN114820755A (zh) | 一种深度图估计方法及*** | |
CN114049319A (zh) | 文本安全类型检测方法及其装置、设备、介质、产品 | |
CN112183359A (zh) | 视频中的暴力内容检测方法、装置及设备 | |
Chang et al. | On the predictability in reversible steganography |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |