CN112699750A - 基于边缘计算和ai的智慧加油站安全监测方法及*** - Google Patents

基于边缘计算和ai的智慧加油站安全监测方法及*** Download PDF

Info

Publication number
CN112699750A
CN112699750A CN202011525977.7A CN202011525977A CN112699750A CN 112699750 A CN112699750 A CN 112699750A CN 202011525977 A CN202011525977 A CN 202011525977A CN 112699750 A CN112699750 A CN 112699750A
Authority
CN
China
Prior art keywords
action
safety monitoring
gas station
edge calculation
smoking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011525977.7A
Other languages
English (en)
Inventor
赵铭
林圳杰
王李明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Power Grid Digital Grid Research Institute Co Ltd
Shenzhen Digital Power Grid Research Institute of China Southern Power Grid Co Ltd
Original Assignee
Shenzhen Digital Power Grid Research Institute of China Southern Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Digital Power Grid Research Institute of China Southern Power Grid Co Ltd filed Critical Shenzhen Digital Power Grid Research Institute of China Southern Power Grid Co Ltd
Priority to CN202011525977.7A priority Critical patent/CN112699750A/zh
Publication of CN112699750A publication Critical patent/CN112699750A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0637Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • G06Q50/265Personal security, identity or safety
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Psychiatry (AREA)
  • Computer Security & Cryptography (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明公开了一种基于边缘计算和AI的智慧加油站安全监测方法及***,方法包括以下步骤:加油站内的边缘计算单元通过双光谱摄像头获取加油站内的视频图像和热源信息;边缘计算单元内的图像识别模组通过视频图像获取视频帧,对获得的监测图片进行人物分割,获得人物分割图;边缘计算单元分析人物分割图中的姿态,结合热源信息判断人物是否存在危险动作;如果人物存在危险动作,边缘计算单元立即给现场以及上级管理中心发送警告。边缘计算单元结合视频帧图像和热源信息即可识别出人物是否存在吸烟打电话等多种危险动作,当发现有人做出危险动作后立即进行现场报警并且上报给管理中心提高加油站的安全性。

Description

基于边缘计算和AI的智慧加油站安全监测方法及***
技术领域
本发明涉及加油站安全监测领域,具体的涉及一种基于边缘计算和AI的智慧加油站安全监测方法及***。
背景技术
加油站为全天候连续作业,储存的易燃易爆物质数量大,事故潜在风险高,后果危害严重,因此,加油站安全生产工作直接影响公众安全和石油行业生产经营活动的正常运行,意义重大。加油站内部人员的安全意识和管理已经比较严格,但是加油站的外来人员通常安全意识淡漠,经常会进行打电话、吸烟等违规动作,光靠加油站工作人员通过双眼发现后再进行提醒效率低,反应速度慢。
目前,传统的加油站都配置有摄像头,但是只会使用摄像头来采集加油站的各种视频图像供后台进行人工监控,不会进行智能分析,这些视频图像没有得到很好地利用,光靠人工24小时观看摄像头进行安全监控不仅效率低,而且存在疏忽遗漏的可能,不能及时消除安全隐患。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种基于边缘计算和AI的智慧加油站安全监测方法及***,能够将视频图像利用起来进行智能分析,分析出危险动作后立即报警,及时消除安全隐患。
根据本发明实施例的一种基于边缘计算和AI的智慧加油站安全监测方法,包括以下步骤:
S100、双光谱摄像头获取加油站内的视频图像和热源信息;
S200、边缘计算单元内的图像识别模组通过视频图像获取视频帧,对获得的监测图片进行人物分割,获得人物分割图;
S300、边缘计算单元分析人物分割图中的姿态,结合热源信息判断人物是否存在危险动作;
S400、如果人物存在危险动作,边缘计算单元立即给现场和管理中心发送警告。
根据本发明实施例的一种基于边缘计算和AI的智慧加油站安全监测***,包括:管理中心、设置在各个加油站内的边缘计算单元和双光谱摄像头,边缘计算单元通过网络与管理中心通讯,所述边缘计算单元应用上述基于边缘计算和AI的智慧加油站安全监测方法进行安全监测和报警,所述管理中心用于将各个加油站的数据和告警信息进行汇总分析和展示。
根据本发明实施例的基于边缘计算和AI的智慧加油站安全监测方法及***,至少具有如下技术效果:本发明实施方式通过在各个加油站内设置边缘计算单元和双光谱摄像头,双光谱摄像头既可以采集图像信息又可以采集热源信息,边缘计算单元结合视频帧图像和热源信息即可识别出人物是否存在吸烟打电话等危险动作,当发现有人做出危险动作后立即进行现场报警并且上报给管理中心,可以自动对加油站进行监控,第一时间排除安全隐患,提高加油站的安全性。
根据本发明的一些实施例,所述步骤S200中通过Two-stage模型中的RMPE方法进行图片分割。
根据本发明的一些实施例,所述步骤S300中的危险动作包括吸烟动作和打电话动作。
根据本发明的一些实施例,所述吸烟动作的判定条件为:边缘计算单元通过人物分割图结合吸烟动作算法对判断是否存在吸烟动作;通过热源信息判断吸烟动作位置是否存在热源,如果同时存在吸烟动作和热源,则认定当前人物处于吸烟状态,否则认定当前人物不处于吸烟状态。
根据本发明的一些实施例,所述步骤吸烟动作算法的判定过程为:
通过预先训练好的模型提取人物分割图中人体上半部分的结构,并将该结构放入二分类网络结构中判定是否存在吸烟动作。
根据本发明的一些实施例,所述吸烟动作位置包括手部和嘴部。
根据本发明的一些实施例,所述打电话动作的判定条件为:边缘计算单元通过人物分割图结合打电话动作算法判断是否存在手部打电话动作以及口型动作,如果同时存在打电话动作以及口型动作则判断当前人物处于打电话状态,否则认定当前人物不处于打电话状态。
根据本发明的一些实施例,所述手部打电话动作包括以下连续行为:抬左手/右手、手放在耳边。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例中基于边缘计算和AI的智慧加油站安全监测方法的流程图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
参考图1,一种基于边缘计算和AI的智慧加油站安全监测方法,包括以下步骤:
S100、加油站内的边缘计算单元通过双光谱摄像头获取加油站内的视频图像和热源信息;
S200、边缘计算单元内的图像识别模组通过视频图像获取视频帧,对获得的监测图片进行人物分割,获得人物分割图,其中,本实施例通过Two-stage模型中的RMPE方法进行图片分割,具体步骤为:
S201、基于已存储的人体尺寸参数代表人体的大概范围,获得人体大概范围框架;
S202、通过RMPE姿态识别框架进行识别获得姿态识别框架;
S203、取姿态识别框架和人体大概范围框架这两个并集中的交集,获得包含人体边界框的人物分割图。
S300、边缘计算单元分析人物分割图中的姿态,结合热源信息判断人物是否存在危险动作,危险动作包括吸烟动作和打电话动作,还可以根据需要增加点烟、点燃打火机等其他危险动作;
其中,边缘计算单元对于吸烟动作的判定条件为:通过人物分割图结合吸烟动作算法对判断是否存在吸烟动作,吸烟动作算法通过预先训练好的模型提取人物分割图中人体上半部分的结构,并将该结构放入二分类网络结构中判定是否存在吸烟动作,模型的训练可以使用现有的吸烟动作监测模型,也可以采用VOC格式的数据集进行模型训练得到吸烟动作监测模型。
单纯通过动作识别判断是否吸烟存在很大的误报概率,吸烟一定伴随着烟头燃烧,因此本申请中设置的是可以获取热源信息的双光谱摄像头,边缘计算单元还通过热源信息判断吸烟动作位置是否存在热源,吸烟动作位置包括手部和嘴部,如果一个人存在吸烟动作,并且手部或嘴部存在热源,则认定当前人物处于吸烟状态,否则认定当前人物不处于吸烟状态。
边缘计算单元对于打电话动作的判定条件为:通过人物分割图结合打电话动作算法判断是否存在手部打电话动作以及口型动作,如果同时存在打电话动作以及口型动作则判断当前人物处于打电话状态,否则认定当前人物不处于打电话状态。
打电话动作算法采用RMPE姿态识别方法进行动作识别,包括手部打电话动作以及口型动作,其中手部打电话动作包括以下连续行为:抬左手/右手、手放在耳边。RMPE姿态识别方法对于动作的具体识别流程为:
首先进行对称空间变换网络SSTN变换,利用STN接收人体候选框,SDTN产生候选姿态;
然后使用Stacked Hourglass算法网络对边界框中的人体进行姿态识别;
接着识别完成后逆SSTN变换返回原图像;
最后使用NMS消除姿势冗余,从多余的候选框中选择置信度最高的作为参考,得到姿态向量。
也就是当边缘计算单元判断出人物连续出现抬左手/右手、手放在耳边,并且同时出现嘴部动作时判断该人物正在打电话。
以上是打电话和吸烟动作的具体检测过程,边缘计算单元还可以根据RMPE姿态识别方法进行其他的危险动作,例如打人、持刀、打火机等危险动作的识别。
S400、如果人物存在危险动作,边缘计算单元立即给现场发送警报,使现场工作人员进行阻值,并且上报给管理中心。
本发明还包括一种基于边缘计算和AI的智慧加油站安全监测***,包括:管理中心、设置在各个加油站内的边缘计算单元和双光谱摄像头,边缘计算单元通过网络与管理中心通讯,边缘计算单元应用权利要求1至8任意一项基于边缘计算和AI的智慧加油站安全监测方法进行安全监测以及监测到安全隐患时给管理中心报警,管理中心将各个加油站的数据和告警信息进行汇总分析和展示。
本发明实施方式通过在各个加油站内设置边缘计算单元和双光谱摄像头,双光谱摄像头既可以采集图像信息又可以采集热源信息,边缘计算单元结合视频帧图像和热源信息即可识别出人物是否存在吸烟打电话等多种危险动作,当发现有人做出危险动作后立即进行现场报警并且上报给管理中心,可以自动对加油站进行监控,第一时间排除安全隐患,提高加油站的安全性。
上面结合附图对本发明实施例作了详细说明,但是本发明不限于上述实施例,在所述技术领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (9)

1.一种基于边缘计算和AI的智慧加油站安全监测方法,其特征在于,包括以下步骤:
S100、双光谱摄像头获取加油站内的视频图像和热源信息并反馈给边缘计算单元;
S200、边缘计算单元内的图像识别模组通过视频图像获取视频帧,对获得的监测图片进行人物分割,获得人物分割图;
S300、边缘计算单元分析人物分割图中的姿态,结合热源信息判断人物是否存在危险动作;
S400、如果人物存在危险动作,边缘计算单元立即给现场和管理中心发送警告。
2.根据权利要求1所述的基于边缘计算和AI的智慧加油站安全监测方法,其特征在于:所述步骤S200中通过Two-stage模型中的RMPE方法进行图片分割。
3.根据权利要求1所述的基于边缘计算和AI的智慧加油站安全监测方法,其特征在于:所述步骤S300中的危险动作包括吸烟动作和打电话动作。
4.根据权利要求3所述的基于边缘计算和AI的智慧加油站安全监测方法,其特征在于:所述吸烟动作的判定条件为:边缘计算单元通过人物分割图结合吸烟动作算法对判断是否存在吸烟动作;通过热源信息判断吸烟动作位置是否存在热源,如果同时存在吸烟动作和热源,则认定当前人物处于吸烟状态,否则认定当前人物不处于吸烟状态。
5.根据权利要求4所述的基于边缘计算和AI的智慧加油站安全监测方法,其特征在于:所述步骤吸烟动作算法的判定过程为:
通过预先训练好的模型提取人物分割图中人体上半部分的结构,并将该结构放入二分类网络结构中判定是否存在吸烟动作。
6.根据权利要求4所述的基于边缘计算和AI的智慧加油站安全监测方法,其特征在于:所述吸烟动作位置包括手部和嘴部。
7.根据权利要求3所述的基于边缘计算和AI的智慧加油站安全监测方法,其特征在于:所述打电话动作的判定条件为:边缘计算单元通过人物分割图结合打电话动作算法判断是否存在手部打电话动作以及口型动作,如果同时存在打电话动作以及口型动作则判断当前人物处于打电话状态,否则认定当前人物不处于打电话状态。
8.根据权利要求7所述的基于边缘计算和AI的智慧加油站安全监测方法,其特征在于:所述手部打电话动作包括以下连续行为:抬左手/右手、手放在耳边。
9.一种基于边缘计算和AI的智慧加油站安全监测***,其特征在于,包括:管理中心、设置在各个加油站内的边缘计算单元和双光谱摄像头,边缘计算单元通过网络与管理中心通讯,所述边缘计算单元应用权利要求1至8任意一项所述的基于边缘计算和AI的智慧加油站安全监测方法进行安全监测,所述管理中心用于将各个加油站的数据和告警信息进行汇总分析和展示。
CN202011525977.7A 2020-12-22 2020-12-22 基于边缘计算和ai的智慧加油站安全监测方法及*** Pending CN112699750A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011525977.7A CN112699750A (zh) 2020-12-22 2020-12-22 基于边缘计算和ai的智慧加油站安全监测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011525977.7A CN112699750A (zh) 2020-12-22 2020-12-22 基于边缘计算和ai的智慧加油站安全监测方法及***

Publications (1)

Publication Number Publication Date
CN112699750A true CN112699750A (zh) 2021-04-23

Family

ID=75510194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011525977.7A Pending CN112699750A (zh) 2020-12-22 2020-12-22 基于边缘计算和ai的智慧加油站安全监测方法及***

Country Status (1)

Country Link
CN (1) CN112699750A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343859A (zh) * 2021-06-10 2021-09-03 浙江大华技术股份有限公司 吸烟行为检测方法、装置、存储介质及电子装置
CN114120241A (zh) * 2021-12-02 2022-03-01 天津港电力有限公司 一种基于边缘计算及视觉分析的港口流动加油监控***
CN116558574A (zh) * 2023-06-29 2023-08-08 深圳市秒加能源科技有限公司 基于大数据的气站安全监测方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614939A (zh) * 2018-12-13 2019-04-12 四川长虹电器股份有限公司 基于人体姿态估计的“玩手机”行为检测识别方法
CN110110631A (zh) * 2019-04-25 2019-08-09 深兰科技(上海)有限公司 一种识别打电话的方法及设备
CN110276316A (zh) * 2019-06-26 2019-09-24 电子科技大学 一种基于深度学习的人体关键点检测方法
CN110969130A (zh) * 2019-12-03 2020-04-07 厦门瑞为信息技术有限公司 一种基于yolov3司机危险动作识别方法及***
CN111553329A (zh) * 2020-06-14 2020-08-18 深圳天海宸光科技有限公司 一种基于机器视觉的加油站智能安全处理***及方法
CN111553275A (zh) * 2020-04-28 2020-08-18 厦门博海中天信息科技有限公司 基于ai及热成像的吸烟监测方法、模块、设备及介质
CN111932709A (zh) * 2020-09-03 2020-11-13 四川弘和通讯有限公司 一种基于ai识别实现加油站巡检作业违规***的方法
CN112004062A (zh) * 2020-09-03 2020-11-27 四川弘和通讯有限公司 一种基于计算机图像识别技术实现加油站安全规范的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614939A (zh) * 2018-12-13 2019-04-12 四川长虹电器股份有限公司 基于人体姿态估计的“玩手机”行为检测识别方法
CN110110631A (zh) * 2019-04-25 2019-08-09 深兰科技(上海)有限公司 一种识别打电话的方法及设备
CN110276316A (zh) * 2019-06-26 2019-09-24 电子科技大学 一种基于深度学习的人体关键点检测方法
CN110969130A (zh) * 2019-12-03 2020-04-07 厦门瑞为信息技术有限公司 一种基于yolov3司机危险动作识别方法及***
CN111553275A (zh) * 2020-04-28 2020-08-18 厦门博海中天信息科技有限公司 基于ai及热成像的吸烟监测方法、模块、设备及介质
CN111553329A (zh) * 2020-06-14 2020-08-18 深圳天海宸光科技有限公司 一种基于机器视觉的加油站智能安全处理***及方法
CN111932709A (zh) * 2020-09-03 2020-11-13 四川弘和通讯有限公司 一种基于ai识别实现加油站巡检作业违规***的方法
CN112004062A (zh) * 2020-09-03 2020-11-27 四川弘和通讯有限公司 一种基于计算机图像识别技术实现加油站安全规范的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343859A (zh) * 2021-06-10 2021-09-03 浙江大华技术股份有限公司 吸烟行为检测方法、装置、存储介质及电子装置
CN114120241A (zh) * 2021-12-02 2022-03-01 天津港电力有限公司 一种基于边缘计算及视觉分析的港口流动加油监控***
CN116558574A (zh) * 2023-06-29 2023-08-08 深圳市秒加能源科技有限公司 基于大数据的气站安全监测方法和装置
CN116558574B (zh) * 2023-06-29 2023-09-26 深圳市秒加能源科技有限公司 基于大数据的气站安全监测方法和装置

Similar Documents

Publication Publication Date Title
CN112699750A (zh) 基于边缘计算和ai的智慧加油站安全监测方法及***
CN110516529A (zh) 一种基于深度学习图像处理的投喂检测方法和***
CN105540377A (zh) 具有人脸匹配功能的物联网远程电梯监控***
CN210691345U (zh) 一种基于深度学习的云智能安检辅助***
CN111310562A (zh) 基于人工智能的车辆驾驶风险管控方法及其相关设备
CN112112629A (zh) 一种钻井作业过程中的安全业务管理***和方法
CN114782897A (zh) 基于机器视觉及深度学习的危险行为检测方法及***
CN115761537B (zh) 一种面向动态特征补充机制的输电线路异物入侵识别方法
CN110930262A (zh) 一种突发事件电力应急处置现场全域监测信息交互支撑前置服务***及方法
CN111696203A (zh) 一种紧急事件分级推送方法、***、装置和存储介质
CN111640280A (zh) 一种基于多源信息融合的地铁站污染物预警方法
CN113269039A (zh) 一种在岗人员行为识别方法和***
CN110930632B (zh) 一种基于人工智能的预警***
CN115620471A (zh) 一种基于大数据筛查的图像识别安防***
CN111951390A (zh) 一种警情显示方法、***、装置和存储介质
CN116665419B (zh) 电力生产作业中基于ai分析的故障智能预警***及方法
CN111339970A (zh) 一种适用于公共环境下的吸烟行为检测方法
CN115103155A (zh) 一种基于大数据的公共视频监控***
CN115909212A (zh) 一种电力作业典型违章行为实时预警方法
CN115953815A (zh) 基建现场的监测方法及装置
US20230267779A1 (en) Method and system for collecting and monitoring vehicle status information
CN109358558A (zh) 一种矿井搜救机器人的控制***及其控制方法
CN115690687A (zh) 一种基于深度学习技术的安全穿戴规范检测***
CN115330262A (zh) 一种智慧城市公共管理方法、***和存储介质
CN111310607B (zh) 基于计算机视觉和人工智能的公路安全风险识别方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination