CN109325520B - 一种石油泄漏的检查方法、装置及*** - Google Patents
一种石油泄漏的检查方法、装置及*** Download PDFInfo
- Publication number
- CN109325520B CN109325520B CN201810970710.5A CN201810970710A CN109325520B CN 109325520 B CN109325520 B CN 109325520B CN 201810970710 A CN201810970710 A CN 201810970710A CN 109325520 B CN109325520 B CN 109325520B
- Authority
- CN
- China
- Prior art keywords
- target image
- image
- oil leakage
- determining
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Examining Or Testing Airtightness (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种石油泄漏的检查方法、装置和***,其中,该方法包括:将无人机实时采集到的第一目标图像输入到预先训练的石油泄漏检测模型,确定发生石油泄漏的第一概率;若所述第一概率超过预设阈值,对所述第一目标图像进行抗干扰处理,以得到第二目标图像;将所述第二目标图像输入所述石油泄漏检测模型,确定发生石油泄漏的第二概率;在确定所述第二概率超过所述预设阈值后,确定发生石油泄漏。本申请实施例通过无人机自动巡检及训练石油泄漏检测模型对石油泄漏概率进行精准评估,自动化检测石油泄漏情况,可有效减少传统人工巡检方式中巡检人员的劳动强度和安全风险。
Description
技术领域
本申请涉及自动化控制技术领域,尤其是涉及一种石油泄漏的检查方法、装置及***。
背景技术
随着石油行业的蓬勃发展,截止2016年年初,我国的油气管道总里程已近15万公里,用于石油储运的储油罐数量超90万台,这些石油储运压力容器设施为国民经济和居民的日常生活提供着重要的能源保障。因为石油本身具有高腐蚀性,虽然目前用于石油储运的压力容器已经采用了很多技术进行相关防护,但是由于维护保养不及时或者外力破坏的原因(偷盗油、施工破坏等),不可避免地带来了石油泄漏风险和安全隐患。
目前主要是通过巡检的方式来排除石油储运压力容器设施的安全隐患。巡检的方式一般是通过人工检查,并人为的判断石油储运压力容器的安全状况,效率较低。
发明内容
有鉴于此,本申请的目的在于提供一种石油泄漏的检查方法、装置和***,以对石油泄漏概率进行精准评估,自动化检测石油泄漏情况,以有效减少巡检人员的劳动强度和安全风险。
第一方面,本申请实施例提供了一种石油泄漏的检查方法,其中,包括:
将无人机实时采集到的第一目标图像输入到预先训练的石油泄漏检测模型,确定发生石油泄漏的第一概率;
若所述第一概率超过预设阈值,对所述第一目标图像进行抗干扰处理,以得到第二目标图像;
将所述第二目标图像输入所述石油泄漏检测模型,确定发生石油泄漏的第二概率;
在确定所述第二概率超过所述预设阈值后,确定发生石油泄漏。
结合第一方面,本申请实施例提供了第一方面的第一种可能的实施方式,其中,所述若所述第一概率超过预设阈值,对所述第一目标图像进行抗干扰处理,以得到第二目标图像,包括:
根据所述第一目标图像的像素灰度值,将第一目标图像划分为第一前景图像部分和第一背景图像部分;
根据第一前景图像部分和第一背景图像部分之间的最大类别方差,确定分割前景和背景的分割阈值;
基于确定的所述分割阈值,对所述第一目标图像进行图像分割处理,得到所述第二目标图像。
结合第一方面的第一种可能的实施方式,本申请实施例提供了第一方面的第二种可能的实施方式,其中,根据以下步骤训练得到所述石油泄漏检测模型:
采用深度卷积神经网络模型作为基础训练模型;
将石油泄漏图像样本和石油未泄漏图像样本作为所述基础训练模型的训练集,将已知的石油泄漏结果作为所述基础训练模型的输出结果,训练得到所述石油泄漏检测模型。
结合第一方面,本申请实施例提供了第一方面的第三种可能的实施方式,其中,确定发生石油泄漏之后,还包括:
根据所述第一目标图像对应的目标区域的位置信息,确定石油泄漏的真实地理区域。
结合第一方面,本申请实施例提供了第一方面的第四种可能的实施方式,其中,确定发生石油泄漏之后,还包括:
获取无人机拍摄的所述第一目标图像的拍摄参数信息;所述拍摄参数信息包括无人机飞行高度、摄像机像素数、摄像机水平视场角和摄像机垂直视场角;
根据所述拍摄参数信息和所述第二目标图像的像素信息,计算石油泄漏面积。
第二方面,本申请实施例还提供一种石油泄漏的检查装置,其中,包括:第一数据获取模块、第一数据分析模块、第二数据分析模块、数据比较模块和第一数据处理模块;
所述数据获取模块,用于实时获取第一目标图像;
所述第一数据分析模块,用于将所述第一目标图像输入到预先训练的石油泄漏检测模型,以确定发生石油泄漏的第一概率;
所述数据比较模块,用于比较所述第一概率与预设阈值的大小;
所述第一数据处理模块,用于若所述第一概率超过预设阈值,对所述第一目标图像进行抗干扰处理,以得到第二目标图像;
所述第二数据分析模块,用于将所述第二目标图像输入所述石油泄漏检测模型,确定发生石油泄漏的第二概率。
结合第二方面,本申请实施例提供了第二方面的第一种可能的实施方式,其中,所述数据处理模块包括图像分割单元、图像确定单元和图像生成单元;
所述图像分割单元,用于根据所述第一目标图像的像素灰度值,以将第一目标图像划分为第一前景图像部分和第一背景图像部分;
所述图像确定单元,用于根据第一前景图像部分和第一背景图像部分之间的最大类别方差,以确定分割前景和背景的分割阈值;
所述图像生成单元,用于基于确定的所述分割阈值,对所述第一目标图像进行图像分割处理,以得到所述第二目标图像。
结合第二方面,本申请实施例提供了第二方面的第二种可能的实施方式,其中,还包括:图像确定模块;
所述图像确定模块,用于根据所述第一目标图像对应的目标区域的位置信息,确定石油泄漏的真实地理区域。
结合第二方面,本申请实施例提供了第二方面的第三种可能的实施方式,其中,还包括:第二数据获取模块和第二数据处理模块;
所述第二数据获取模块,用于获取无人机拍摄的所述第一目标图像的拍摄参数信息;
所述第二数据处理模块,用于根据所述拍摄参数信息和所述第二目标图像的像素信息,以计算石油泄漏面积。
第三方面,本申请实施例还提供一种石油泄漏的检查***,包括:数据处理服务器、无人机本体、地面通讯基站和企业智能控制中心;
所述数据处理服务器,用以执行如权利要求1至5任一所述的方法,并将执行结果传输给所述企业智能控制中心;
所述企业智能控制中心,用于基于所述数据处理服务器传输的执行结果,向所述地面通讯基站发送无人机本体操作指令;
所述地面通讯基站,用于响应所述企业智能控制中心发送的所述无人机本体操作指令。
本申请实施例提供的一种石油泄漏的检查方法、装置及***,采用将无人机实时采集到的第一目标图像输入到预先训练的石油泄漏检测模型,确定发生石油泄漏的第一概率;若所述第一概率超过预设阈值,对所述第一目标图像进行抗干扰处理,以得到第二目标图像;将所述第二目标图像输入所述石油泄漏检测模型,确定发生石油泄漏的第二概率;在确定所述第二概率超过所述预设阈值后,确定发生石油泄漏。通过训练的石油泄漏检测模型来确定是否发生石油泄漏,识别的准确度超过人工判断,不再高度依赖于操作人员目视检查。同时,相对于人工巡检或者人工控制无人机巡检的方法,效率更高,成本更小,自动化程度更高,受人工操作影响较小。除此之外,采用两级检测方式,在基于采集到的第一目标图像确定发生石油泄漏的第一概率超过预设阈值后,基于对第一目标图像进行抗干扰处理后的第二目标图像确定发生石油泄漏的第二概率是否超过预设阈值,只有第二概率也超过第二阈值后,才确认发生石油泄漏,从而降低了误判的概率。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种石油泄漏的检查方法的流程图;
图2示出了本申请实施例所提供的一种石油泄漏的检查方法的优化流程图;
图3示出了本申请实施例所提供的经过抗干扰处理后的效果图;
图4示出了本申请实施例所提供的另一种石油泄漏的检查方法的优化流程图;
图5示出了本申请实施例所提供的另一种石油泄漏的检查方法的优化流程图;
图6示出了本申请实施例所提供的经过最大类间方差算法处理过的效果图;
图7示出了本申请实施例所提供的使用最大极值稳定区域算法计算石油泄漏面积的原理示意图;
图8示出了本申请实施例所提供的一种石油泄漏的检查装置的结构示意图;
图9示出了本申请实施例所提供的企业智能生产中心监视器前端的示意图。
图10示出了本申请实施例所提供的利用石油泄漏的检查方法后的效果图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
随着石油行业的蓬勃发展,截止2016年年初,我国的油气管道总里程已近15万公里,用于石油储运的储油罐数量超90万台,这些石油储运压力容器设施为国民经济和居民的日常生活提供着重要的能源保障。由于石油本身具有高腐蚀性,虽然目前用于石油储运的压力容器已经采用了很多技术进行相关防护,但是因为维护保养不及时或者外力破坏的原因(偷盗油、施工破坏等),不可避免地带来了石油泄漏风险和安全隐患。石油一旦泄漏,会对环境造成不可逆的损伤,同时在明火等条件下容易燃烧、***,使人民的人身财产安全受到了威胁。
为了避免石油储运***发生泄漏,石油企业目前采用了多种技术手段来监测压力容器的完整性,但由于石油本身粘稠、成分复杂等物理特性的影响,目前最行之有效的还是对于压力容器的进行巡检。
传统的石油储运压力容器巡检工作主要是通过安检员的定期巡查和上级督查部门的不定期抽查两种方式,且均是采用人工接触方式,其劳动强度大、作业程序复杂、资源配置臃肿繁多、工效低、周期较长,特别是在困难地段往往无法按时保质保量完成测量任务。近年来,开始将无人机应用在拍摄石油泄漏的场景中。但目前巡检工作仍然高度依赖人工进行飞行控制和对于石油“跑冒滴漏”情况的判断,对于专业人员的进行相关培训会增加企业经营成本。且由于航拍图片的分辨率和拍摄时的外界环境(如光照、拍摄角度等)影响,哪怕是经过专业培训的人员,对于石油“跑冒滴漏”情况的检测效果都易受较大影响,在实际使用中有很大的局限性。
基于上述问题,本申请实施例提供了一种石油泄漏的检查方法、装置和***,下面通过实施例进行描述。
为便于对本实施例进行理解,首先对本申请实施例所公开的一种石油泄漏的检查方法进行详细介绍。
如图1所示,一种石油泄漏的检查方法,包括以下步骤:
S101,将实时采集到的第一目标图像输入到预先训练的石油泄漏检测模型,确定发生石油泄漏的第一概率;
S102,若所述第一概率超过预设阈值,对所述第一目标图像进行抗干扰处理,以得到第二目标图像;
S103,将所述第二目标图像输入所述石油泄漏检测模型,确定发生石油泄漏的第二概率;
S104,在确定所述第二概率超过所述预设阈值后,确定发生石油泄漏。
其中,步骤S101中,将实时采集到的第一目标图像输入到预先训练好的石油泄漏检测模型中。第一目标图像是包括石油泄漏场景的图像,由无人机实时实地拍摄。预先训练的石油泄漏检测模型是使用同型号无人机进行实地拍摄,获取石油泄漏图像样本,并将获取到的石油泄漏图像样本进行预处理后与石油未泄漏图像样本一同作为模型的训练集,然后在基础训练模型的基础上训练深度卷积神经网络,得到石油泄漏检测模型,并将石油泄漏检测模型部署于数据处理服务器上。基础训练模型可以是Google Net Inception V3预训练模型。通过石油泄漏模型,最后确定输入的图片中区域发生石油泄漏的概率,确定这个概率为第一概率。
步骤S102中,当第一概率超过预设阈值时,对第一目标图像进行抗干扰处理,以得到第二目标图像。预设阈值是一个人为设定的值,当经过石油泄漏检测模型后得出的概率是大于预设阈值的,则经过二次判断,确定发生石油泄漏。
步骤S103是在S102的基础上,将经过抗干扰处理的第二目标图像再次输入到石油泄漏检测模型,以得到第二概率。这是对输入石油泄漏检测模型的第一目标图像显示的区域是否发生石油泄漏的二次判断,以降低发生误判的可能性。
步骤S104是将前一步骤得到的第二概率与预设阈值进行比较,确定是否超过预设阈值,当第二概率仍然超过预设阈值时,则判定发生石油泄漏。
进一步的,如图2,步骤S102包括以下步骤:
S201,根据所述第一目标图像的像素灰度值,将第一目标图像划分为第一前景图像部分和第一背景图像部分;
S202,根据第一前景图像部分和第一背景图像部分之间的最大类别方差,确定分割前景和背景的分割阈值;
S203,基于确定的所述分割阈值,对所述第一目标图像进行图像分割处理,得到所述第二目标图像。
步骤S201至S203整体的步骤是通过第一目标图像的像素灰度值,将第一目标图像划分为第一前景图像部分和第一背景图像部分,当取最佳阈值时,两部分之间的差别应该是最大的,这里采用的衡量差别的标准就是较为常见的最大类间方差。第一前景图像部分和第一背景图像部分之间的类间方差如果越大,就说明构成图像的两个部分之间的差别越大,当部分目标被错分为背景或部分背景被错分为目标,都会导致两部分差别变小,当所取阈值的分割使类间方差最大时就意味着错分概率最小。当方差最大时,可以认为此时前景和背景差异最大,此时的灰度值是最佳阈值。这时根据确定的分割阈值,对第一目标图像进行分割处理,将第一前景图像部分和第一背景图像部分分割显示出来。同时,如图3所示,将前景图像部分也就是石油泄漏的区域在图片上圈出来,并将可能成为干扰物的背景用白色替代,以和石油泄漏区域的黑色形成鲜明的对比。或者把干扰物的背景进行遮挡,以突出前景图像部分,即石油泄漏区域,以得到抗干扰处理后的第二目标图像。
如图4所示,训练石油泄漏检测模型的步骤包括:
S401,采用深度卷积神经网络模型作为基础训练模型;
S402,将石油泄漏图像样本和石油未泄漏图像样本作为所述基础训练模型的训练集,将已知的石油泄漏结果作为所述基础训练模型的输出结果,训练得到所述石油泄漏检测模型。
步骤S401中,本申请将Google Net Inception V3作为基础训练模型参与训练。步骤S402具体包括以下处理过程。首先获取无人机从多个角度拍摄石油储运压力容器发生石油泄漏的实时视频,并且对这些实时视频按照一定的时间间隔截取成帧,得到石油泄漏图像样本;其次,对石油泄漏图像样本进行预处理。预处理的过程包括:调整原始图片的对比度以模拟不同光照条件下的石油泄漏场景,通过对原始图片按照每45°逆时针旋转一次生成新的图像以模拟不同拍摄角度下的石油泄漏情况,通过对原始图片按照一定比例放大缩小以模拟不同高度下拍摄到的石油泄漏情况;最后,使用预处理过的图片对Google NetInception V3基础模型的参数进行调整,训练出一个新的用于检测石油泄漏的深度卷积神经网络模型,并将该网络部署在数据处理服务器上。具体的,采用深度卷积神经网络来进行特征的提取并设计检测器完成石油泄漏区域的检测;将已标注出石油泄漏区域的石油泄漏图像样本作为所述基础训练模型的训练集,用标注的石油泄漏结果监督引导模型的训练,使得模型的输出结果不断收敛于标注结果,从而完成模型的训练。
在确定发生石油泄漏后,还可以根据所述第一目标图像对应的目标区域的位置信息,确定石油泄漏区域。位置信息包括所拍摄区域的经纬度,可以精确定位石油泄漏区域的位置。
如图5所示,在根据上述步骤确定了石油泄漏之后,还包括如下步骤:
S501,获取无人机拍摄的所述第一目标图像的拍摄参数信息;所述拍摄参数信息包括无人机飞行高度、摄像机像素数、摄像机水平视场角和摄像机垂直视场角;
S502,根据所述拍摄参数信息和所述第二目标图像的像素信息,计算石油泄漏面积。
根据石油储运压力容器的GPS坐标预设无人机巡检线路,让无人机按照特定飞行参数(速度、高度等)飞行。根据石油储运压力容器的GPS坐标规划无人机巡检线路,将路线写入无人机飞控***。
步骤S501中,获取无人机拍摄的所述第一目标图像的拍摄参数信息。其中,无人机的飞行高度可以在无人机传回的飞行参数中获得,摄像机像素数是根据无人机所携带的摄像机型号所确定的,摄像机的水平视场角和垂直视场角也是与摄像机型号相关。步骤S502中的第二目标图像的像素信息,是指针对第一目标图像经过抗干扰处理后得到的第二目标图像,数据处理服务器使用最大极值稳定区域算法,自动提取第二目标图像中被检测为含石油区域的连通部分所含像素值 P。如图6所示,为经过最大类间方差算法的效果图。将像素值P与步骤S401中所得到的第一目标图像的拍摄参数信息代入公式其中公式中的P0为摄像机像素总数,只由摄像机型号确定;公式中H的为无人机飞行高度,可从无人机传回的飞参数据中获得;公式中的α和β分别为镜头的水平和垂直视场角,仅与摄像机型号有关。如图7所示,为使用最大极值稳定区域算法计算石油泄漏面积的原理示意图。同时,通过无人机机载数传电台将数据打包同样发送至地面数据处理服务器,数据采样频率同截帧频率一致,保证每张图片和飞参数据一一对应。
综上,上述方法中,首先使用同型号无人机进行实地拍摄,获取石油泄漏图像样本,并将石油泄漏图像样本和石油未泄漏图像样本作为所述基础训练模型的训练集,将已知的石油泄漏结果作为所述基础训练模型的输出结果;然后在Google Net Inception V3基础模型的基础上根据人工标注的数据集训练深度卷积神经网络,并将模型部署于数据处理服务器上;最后将实际使用中无人机拍摄到的图像输入到模型中进行判断,对于超过一定阈值的图片使用最大类间方差算法消除干扰物,若仍被模型判断有石油泄漏情况则使用最大极值稳定区域算法自动提取石油泄漏区域,计算泄漏面积,评估漏油程度,并将相关信息展现在企业智能控制中心和移动终端上。
另外,如图8所示,本申请还提供了一种石油泄漏的检查装置,包括:第一数据获取模块801、第一数据分析模块802、第二数据分析模块803、数据比较模块804和第一数据处理模块805;第一数据获取模块801,用于实时获取第一目标图像;第一数据分析模块802,用于将第一目标图像输入到预先训练的石油泄漏检测模型,以确定发生石油泄漏的第一概率;数据比较模块804,用于比较第一概率与预设阈值的大小;第一数据处理模块805,用于若第一概率超过预设阈值,对第一目标图像进行抗干扰处理,以得到第二目标图像;第二数据分析模块803,用于将所述第二目标图像输入所述石油泄漏检测模型,确定发生石油泄漏的第二概率。
进一步的,第一数据处理模块805包括图像分割单元8051、图像确定单元8052和图像生成单元8053;
图像分割单元8051,用于根据第一目标图像的像素灰度值,以将第一目标图像划分为第一前景图像部分和第一背景图像部分;
图像确定单元8052,用于根据第一前景图像部分和第一背景图像部分之间的最大类别方差,以确定分割前景和背景的分割阈值;
图像生成单元8053,用于基于确定的所述分割阈值,对第一目标图像进行图像分割处理,以得到第二目标图像。
进一步的,该装置还包括:图像确定模块806;
图像确定模块806,用于根据所述第一目标图像对应的目标区域的位置信息,确定石油泄漏的真实地理区域。
另外,还装置还包括:第二数据获取模块807和第二数据处理模块808;
第二数据获取模块807,用于获取无人机拍摄的所述第一目标图像的拍摄参数信息;
第二数据处理模块808,用于根据所述拍摄参数信息和所述第二目标图像的像素信息,以计算石油泄漏面积。
本申请还提供一种石油泄漏的检查***,该***包括:数据处理服务器、无人机本体、地面通讯基站和企业智能控制中心;
所述数据处理服务器,用以执行如上述的方法,并将执行结果传输给所述企业智能控制中心;
所述企业智能控制中心,用于基于所述数据处理服务器传输的执行结果,向所述地面通讯基站发送无人机本体操作指令;
所述地面通讯基站,用于响应所述企业智能控制中心发送的所述无人机本体操作指令。
在无人机本体内设有飞行器控制***、通信***、任务载荷和动力***,其中所述飞行器控制***包括由GPS模块和惯性导航模块(Inertial measurement unit,IMU)组成的组合导航***以及可接受地面控制指令并向动力***发出指令的飞行控制***。其中,控制***包括机载微处理器、激光测距避障***、数传电台、图传电台、接收机、数据存储模块,双目视觉传感器、红外测距传感器、陀螺仪、IMU和GPS组合导航模块、电子调速器及其附属电机,所述机载微处理器与通讯***、任务载荷及动力***通过总线相连接。通信***包括用于接受地面控制信号的接收机、用于与地面通讯基站通过无线网络通讯的发射机和用于与卫星通过4G网络通讯的发射机。任务载荷包括高清摄像机(日间使用)、红外线摄像机(夜间使用)、用于安装固定摄像机的云台和其附属的步进电机。任务载荷***采用模块化设计,可由外场维护人员根据光照等自然环境切换不同模块。动力***包括无人机电源、电源稳压***、电机及其控制***。地面通讯基站包括基站供电***、无线信号收发台、基站控制器、天线。供电***向基站控制器和无线信号收发台提供电源,收发台包括用于向无人机发送控制指令的数传电台、用于接收并传输无人机飞行参数的数传电台和用于接收并传输无人机拍摄图片的图传电台。基站控制器用于无人机无线信道的分配、释放和管理,天线用于接收和发射无线电波。
在数据处理服务器上部署有预先根据石油泄漏图像样本训练好的石油泄漏检测模型,用于处理、判断、评估是否发生石油泄漏的情况并对泄漏严重程度进行评估。如图9所示,在企业智能控制中心包括地面监控显示器、实时远程监控平台和无人机远程控制***,实时监控平台可在地面监控显示器上显示企业历史生产数据、无人机实时飞行状态数据、生产片区安全状况,无人机远程控制***用于向无人机发送飞行姿态控制指令及控制任务载荷完成指定动作。如图10所示,为利用上述方法和***处理得到的石油泄漏区域效果图。
另外,该***还包括云服务器和移动终端。云服务器可以通过网络和地面数据处理服务器相连接,经过服务器处理后的结果上传到与云端,通过可视化技术在特定网页中展示实时巡检状态,移动终端可以通过访问网页对于状态进行查看,但在移动终端不能修改网页内容及操作无人机。
同时,地面数据处理服务器将处理结果同无人机数传电台传输回的飞参数据一同打包上载到云服务器,企业智能控制中心及移动终端可以通过访问网页的方式查看在可视化界面中实时展示的无人机巡检结果。根据企业智能控制中心监视器上展现的可视化界面,操作人员可以远程对无人机下达指令,调整无人机自动巡检时飞行的姿态、速度、高度等参数,也可以控制无人机自动围绕某一兴趣点盘旋环绕。同时,操作人员也可以将巡线***切换至手动操作模式,灵活控制无人机飞行。若无人机未检测石油泄漏情况,则按照预设线路继续巡线。
根据企业生产统计数据,某一区域的石油管道或者储油罐体发生过石油“跑冒滴漏”事故后再次发生漏油的概率会高于其他区域。使用无人机进行巡检时,当巡检到历史发生过石油泄漏的区域,无人机会减为原本设定速度的1/n(n为大于1的正数,可由企业根据历史生产数据自由设定)。
根据实际生产情况偷盗油事件一般发生于夜晚,在训练深度卷积神经网络时加入红外线摄像机拍摄到的人像图像。使用无人机在夜晚巡检时,当巡检***检测到储运石油压力容器一定范围内存在可疑人员时,可以控制无人机围绕相关人员进行环绕飞行并提示企业智能控制中心值班人员进行查看。
另外,无人机自动巡检***除了可用于企业正常生产中的日常巡线外,还可以用于检查压力容器检修后的修缮情况:无人机围绕着经过维修后的石油罐体进行环绕飞行,向经过维修的罐体中注入石油,如发生石油溢出情况,无人机巡检***可以自动发出漏油警报。
数据处理服务器由一系列高性能计算机组成,其中部署有基于大量实际生产中获取的石油泄漏图片(包括普通摄像机拍摄的和红外线摄像机拍摄的)数据集训练而成的模型,所述图片数据集在训练模型前,经过图片预处理以模拟不同光照和角度的环境;所述模型是基于Google Net Inception V3预训练模型根据实际数据集调整参数重新训练得到的,所述模型除深度卷积神经网络外还结合了最大类间方差算法(也称为大津法, OTSU)以消除类似于石油的背景干扰物对于深度卷积神经网络模型的影响,所述模型中加入了最大极值稳定区域算法(Maximally Stable Extremal Regions,MSER)来自动实现对于石油泄漏区域面积的评估;数据处理服务器与云服务器相连,对于无人机拍摄到的图片进行处理后,与接收到的无人机飞行参数共同打包上传至云服务器,在企业智能控制中心前端和移动终端均可可视化地展示无人机飞行位置、飞行状态参数、生产历史数据和石油泄漏概览及严重程度。
本申请中的方法、装置和***可以实现无人机对石油储运压力容器自动巡检,并利用计算机视觉技术自动检测是否发生石油泄漏事故,不再高度依赖于操作人员目视检查。基于高性能预训练网络构建模型,识别准确度超过人工判断;模型在训练时就已经加入了经过调整对比度、旋转、缩放处理过的真实样本,可以很好模拟真实环境,对于复杂环境有较高鲁棒性;使用最大类间方差算法消除干扰物影响;使用最大极值稳定区域算法自动计算石油泄漏面积;且可以控制无人机批量作业;通过更换电池等方式可实现24小时不间断巡检。因此相对于原有的人工巡检或者是人工控制无人机巡检方法,效率更高,成本更小,自动化程度更高,受人工操作影响较小。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory, RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
Claims (8)
1.一种石油泄漏的检查方法,其特征在于,包括:
将无人机实时采集到的第一目标图像输入到预先训练的石油泄漏检测模型,确定发生石油泄漏的第一概率;
若所述第一概率超过预设阈值,对所述第一目标图像进行抗干扰处理,以得到第二目标图像;
将所述第二目标图像输入所述石油泄漏检测模型,确定发生石油泄漏的第二概率;
在确定所述第二概率超过所述预设阈值后,确定发生石油泄漏;
所述若所述第一概率超过预设阈值,对所述第一目标图像进行抗干扰处理,以得到第二目标图像,包括:
根据所述第一目标图像的像素灰度值,将第一目标图像划分为第一前景图像部分和第一背景图像部分;
根据第一前景图像部分和第一背景图像部分之间的最大类别方差,确定分割前景和背景的分割阈值;
基于确定的所述分割阈值,对所述第一目标图像进行图像分割处理,将第一前景图像部分和第一背景图像部分分割显示出来,并对第一前景图像部分进行标记,将干扰物的背景进行替换或遮挡,得到所述第二目标图像。
2.根据权利要求1所述的方法,其特征在于,根据以下步骤训练得到所述石油泄漏检测模型:
采用深度卷积神经网络模型作为基础训练模型;
将石油泄漏图像样本和石油未泄漏图像样本作为所述基础训练模型的训练集,将已知的石油泄漏结果作为所述基础训练模型的输出结果,训练得到所述石油泄漏检测模型。
3.根据权利要求1所述的方法,其特征在于,确定发生石油泄漏之后,还包括:
根据所述第一目标图像对应的目标区域的位置信息,确定石油泄漏的真实地理区域。
4.根据权利要求1所述的方法,其特征在于,确定发生石油泄漏之后,还包括:
获取无人机拍摄的所述第一目标图像的拍摄参数信息;所述拍摄参数信息包括无人机飞行高度、摄像机像素数、摄像机水平视场角和摄像机垂直视场角;
根据所述拍摄参数信息和所述第二目标图像的像素信息,计算石油泄漏面积。
5.一种石油泄漏的检查装置,其特征在于,包括:第一数据获取模块、第一数据分析模块、第二数据分析模块、数据比较模块和第一数据处理模块;
所述第一数据获取模块,用于实时获取第一目标图像;
所述第一数据分析模块,用于将所述第一目标图像输入到预先训练的石油泄漏检测模型,以确定发生石油泄漏的第一概率;
所述数据比较模块,用于比较所述第一概率与预设阈值的大小;
所述第一数据处理模块,用于若所述第一概率超过预设阈值,对所述第一目标图像进行抗干扰处理,以得到第二目标图像;
所述第二数据分析模块,用于将所述第二目标图像输入所述石油泄漏检测模型,确定发生石油泄漏的第二概率;
所述第一数据处理模块包括图像分割单元、图像确定单元和图像生成单元;
所述图像分割单元,用于根据所述第一目标图像的像素灰度值,以将第一目标图像划分为第一前景图像部分和第一背景图像部分;
所述图像确定单元,用于根据第一前景图像部分和第一背景图像部分之间的最大类别方差,以确定分割前景和背景的分割阈值;
所述图像生成单元,用于基于确定的所述分割阈值,对所述第一目标图像进行图像分割处理,将第一前景图像部分和第一背景图像部分分割显示出来,并对第一前景图像部分进行标记,将干扰物的背景进行替换或遮挡,以得到所述第二目标图像。
6.根据权利要求5所述的装置,其特征在于,还包括:图像确定模块;
所述图像确定模块,用于根据所述第一目标图像对应的目标区域的位置信息,确定石油泄漏的真实地理区域。
7.根据权利要求5所述的装置,其特征在于,还包括:第二数据获取模块和第二数据处理模块;
所述第二数据获取模块,用于获取无人机拍摄的所述第一目标图像的拍摄参数信息;
所述第二数据处理模块,用于根据所述拍摄参数信息和所述第二目标图像的像素信息,以计算石油泄漏面积。
8.一种石油泄漏的检查***,其特征在于,包括:数据处理服务器、无人机本体、地面通讯基站和企业智能控制中心;
所述数据处理服务器,用以执行如权利要求1至4任一所述的方法,并将执行结果传输给所述企业智能控制中心;
所述企业智能控制中心,用于基于所述数据处理服务器传输的执行结果,向所述地面通讯基站发送无人机本体操作指令;
所述地面通讯基站,用于响应所述企业智能控制中心发送的所述无人机本体操作指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810970710.5A CN109325520B (zh) | 2018-08-24 | 2018-08-24 | 一种石油泄漏的检查方法、装置及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810970710.5A CN109325520B (zh) | 2018-08-24 | 2018-08-24 | 一种石油泄漏的检查方法、装置及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109325520A CN109325520A (zh) | 2019-02-12 |
CN109325520B true CN109325520B (zh) | 2021-06-29 |
Family
ID=65263795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810970710.5A Active CN109325520B (zh) | 2018-08-24 | 2018-08-24 | 一种石油泄漏的检查方法、装置及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109325520B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110363109B (zh) * | 2019-06-26 | 2023-03-24 | 成都新舟锐视科技有限公司 | 一种基于计算机视觉的覆盖式漏油检测***及方法 |
CN110553151B (zh) * | 2019-07-17 | 2021-05-07 | 石化盈科信息技术有限责任公司 | 一种管道泄漏监测方法和*** |
CN110705601A (zh) * | 2019-09-09 | 2020-01-17 | 安徽继远软件有限公司 | 基于单阶段目标检测的变电站设备渗漏油图像识别方法 |
CN111126196A (zh) * | 2019-12-10 | 2020-05-08 | 安徽银河物联通信技术有限公司 | 一种设备漏油检测方法 |
CN111414955B (zh) * | 2020-03-17 | 2023-08-25 | 昆仑数智科技有限责任公司 | 石油钻井井漏溢流智能检测方法、装置以及电子设备 |
CN111445462A (zh) * | 2020-03-30 | 2020-07-24 | 国家计算机网络与信息安全管理中心 | 一种基于神经网络和热像图的蓄电池漏液检测方法 |
CN113255737B (zh) * | 2021-04-30 | 2023-08-08 | 超节点创新科技(深圳)有限公司 | 对民航分拣线上的叠包行李分拣方法、电子设备和存储介质 |
CN113542595B (zh) * | 2021-06-28 | 2023-04-18 | 北京沧沐科技有限公司 | 一种基于昼夜图像的捕获与监控方法与*** |
CN113514193B (zh) * | 2021-07-13 | 2022-12-02 | 江铃汽车股份有限公司 | 基于图像识别的汽车碰撞燃油泄漏检测方法 |
CN113670524B (zh) * | 2021-07-13 | 2023-12-19 | 江铃汽车股份有限公司 | 用于汽车碰撞燃油泄漏的检测方法及检测*** |
CN114992813B (zh) * | 2022-06-17 | 2023-05-12 | 珠海格力电器股份有限公司 | 物质泄漏的检测方法、装置、空调设备及存储介质 |
CN115457297B (zh) * | 2022-08-23 | 2023-09-26 | 中国航空油料集团有限公司 | 航油油库漏油检测方法、装置及航油安全运维*** |
CN116052061B (zh) * | 2023-02-21 | 2024-02-27 | 嘉洋智慧安全科技(北京)股份有限公司 | 事件监测方法、装置、电子设备及存储介质 |
CN116259012B (zh) * | 2023-05-16 | 2023-07-28 | 新疆克拉玛依市荣昌有限责任公司 | 嵌入式增压柴油罐的监测***及其方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101170641A (zh) * | 2007-12-05 | 2008-04-30 | 北京航空航天大学 | 一种基于阈值分割的图像边缘检测方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101571915B (zh) * | 2009-06-16 | 2011-06-01 | 大连海事大学 | 基于特征值的sar图像溢油识别方法 |
US9727800B2 (en) * | 2015-09-25 | 2017-08-08 | Qualcomm Incorporated | Optimized object detection |
CN108073933B (zh) * | 2016-11-08 | 2021-05-25 | 杭州海康威视数字技术股份有限公司 | 一种目标检测方法及装置 |
US10380741B2 (en) * | 2016-12-07 | 2019-08-13 | Samsung Electronics Co., Ltd | System and method for a deep learning machine for object detection |
US10726244B2 (en) * | 2016-12-07 | 2020-07-28 | Samsung Electronics Co., Ltd. | Method and apparatus detecting a target |
CN107194368A (zh) * | 2017-06-08 | 2017-09-22 | 广东容祺智能科技有限公司 | 一种无人机海上原油泄漏搜查及应急处理方法 |
CN107871119B (zh) * | 2017-11-01 | 2021-07-06 | 西安电子科技大学 | 一种基于目标空间知识和两阶段预测学习的目标检测方法 |
CN108010156A (zh) * | 2017-11-01 | 2018-05-08 | 北京航天福道高技术股份有限公司 | 一种全天候自主油田巡检*** |
CN108154159B (zh) * | 2017-12-25 | 2018-12-18 | 北京航空航天大学 | 一种基于多级检测器的具有自恢复能力的目标跟踪方法 |
CN108363998A (zh) * | 2018-03-21 | 2018-08-03 | 北京迈格威科技有限公司 | 一种对象的检测方法、装置、***和电子设备 |
-
2018
- 2018-08-24 CN CN201810970710.5A patent/CN109325520B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101170641A (zh) * | 2007-12-05 | 2008-04-30 | 北京航空航天大学 | 一种基于阈值分割的图像边缘检测方法 |
Non-Patent Citations (4)
Title |
---|
Detection of stored-grain insects using deep learning;Yufeng Shen等;《Computers and Electronics in Agriculture》;20180228;第145卷;第319-325页 * |
Image segmentation based on gray stretch and threshold algorithm;Leiming Liu等;《Optik》;20150331;第126卷(第6期);第626-629页 * |
SAR图像去噪、分割及目标检测方法研究;郝亚冰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130415(第04期);第I136-795页 * |
区域建议网络的细粒度车型识别;杨娟等;《中国图象图形学报》;20180630;第23卷(第6期);第837-845页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109325520A (zh) | 2019-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109325520B (zh) | 一种石油泄漏的检查方法、装置及*** | |
CN107014827B (zh) | 基于影像处理的输电线路缺陷分析方法、装置和*** | |
CN111537515A (zh) | 基于三维实景模型的铁塔螺栓缺陷展示方法和*** | |
CN111311597A (zh) | 一种缺陷绝缘子的无人机巡检方法与*** | |
CN106099763A (zh) | 一种输电线路无人机巡检装置 | |
EP3523995B1 (en) | Method and system for remote processing and analysis of industrial asset inspection data | |
JP7065477B2 (ja) | 災害状況判定システムおよび災害判定飛行システム | |
Alharam et al. | Real time AI-based pipeline inspection using drone for oil and gas industries in Bahrain | |
CN111178424A (zh) | 一种石油化工生产现场安全合规性实时检测***及方法 | |
Jeon et al. | A real-time drone mapping platform for marine surveillance | |
CN111815576B (zh) | 金属部件腐蚀状况检测方法、装置、设备和存储介质 | |
CN116258980A (zh) | 一种基于视觉的无人机分布式光伏电站巡检方法 | |
CN117314157A (zh) | 一种矿山边坡稳定性的安全评估方法、装置、介质及设备 | |
CN115082813A (zh) | 检测方法、无人机、检测***及介质 | |
Obaid et al. | Deep Learning Approach for Oil Pipeline Leakage Detection Using Image-Based Edge Detection Techniques. | |
CN210511074U (zh) | 一种基于无人机遥感和深度学习的油气管道全智能巡检*** | |
US20240061100A1 (en) | Information processing device, information processing method, and non-transitory computer-readable storage medium | |
CN116363397A (zh) | 设备故障排查方法、装置及巡检*** | |
CN114140707A (zh) | 一种电网故障巡检方法 | |
WO2023059178A1 (en) | Methods, systems, and devices for inspecting structures and objects | |
CN113516120A (zh) | 扬尘检测方法、图像处理方法、装置、设备及*** | |
CN111126771A (zh) | 基于区域关注度预测安检员识图质量监督保障***及方法 | |
Astapov et al. | Improvement of energy efficiency of agricultural enterprises through the survey of high-voltage transmission lines using unmanned aerial vehicles | |
CN106779327B (zh) | 电力线路巡查飞行器、飞行器***和方法 | |
CN220506524U (zh) | 一种无人机智能巡航在油气管道泄漏检测*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |