CN109561281A - 工业设备安全监控方法、装置、中控设备及可读存储介质 - Google Patents

工业设备安全监控方法、装置、中控设备及可读存储介质 Download PDF

Info

Publication number
CN109561281A
CN109561281A CN201811362708.6A CN201811362708A CN109561281A CN 109561281 A CN109561281 A CN 109561281A CN 201811362708 A CN201811362708 A CN 201811362708A CN 109561281 A CN109561281 A CN 109561281A
Authority
CN
China
Prior art keywords
industrial equipment
target
information
region
multiple images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811362708.6A
Other languages
English (en)
Inventor
吴宁海
何阳
李�浩
崔磊
鲁冰
刘宇坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Ruihai Engineering Wisdom Data Technology Co Ltd
Original Assignee
Shaanxi Ruihai Engineering Wisdom Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Ruihai Engineering Wisdom Data Technology Co Ltd filed Critical Shaanxi Ruihai Engineering Wisdom Data Technology Co Ltd
Priority to CN201811362708.6A priority Critical patent/CN109561281A/zh
Publication of CN109561281A publication Critical patent/CN109561281A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种工业设备安全监控方法、装置、中控设备及可读存储介质,属于安全监控领域。该方法包括:获取多个图像采集器采集的多个监控区域范围的多个图像信息;对于每一个图像信息,提取图像信息中的特定像素,将提取的特定像素作为一个子图像信息;多个图像采集器对应的多个子图像信息中的特定像素对应于一个目标三维区域,多个图像采集器对应的多个监控区域覆盖目标三维区域;将多个子图像信息输入到预设机器学习模型中,获得用于表征工业设备是否处于安全状态的输出结果。该中控设备可实时获得工业设备在目标三维区域内的图像信息,从而可对工业设备进行实时监控,以提高工业设备的安全性,进而避免了人力物力资源的浪费问题。

Description

工业设备安全监控方法、装置、中控设备及可读存储介质
技术领域
本发明涉及安全监控领域,具体而言,涉及一种工业设备安全监控方法、装置、中控设备及可读存储介质。
背景技术
在一些对安全有较高要求的工程和工业领域,例如电力、化工、建筑等领域,安全和规范监测是一个长期存在的需求。例如,在电力设施施工和电力设备巡检领域,传统的做法都是安排人工的巡检方式,对高压电塔等设备进行定期的巡视,以确认设备状态良好,没有异物滞留、入侵、破坏以及周边违规施工。这种方法往往需要大量的人力物力资源,甚至还会造成人的生命造成威胁,从而无法对这些工业设备的安全进行实时监控。
发明内容
本发明实施例的目的在于提供一种工业设备安全监控方法、装置、中控设备及可读存储介质。
第一方面,本发明实施例提供了一种工业设备安全监控方法,所述方法包括:获取多个图像采集器采集的多个监控区域范围的多个图像信息;对于每一个图像信息,提取所述图像信息中的特定像素,将提取的特定像素作为一个子图像信息;所述多个图像采集器对应的多个子图像信息中的像素对应于一个目标三维区域,所述多个图像采集器对应的多个监控区域覆盖所述目标三维区域;将所述多个子图像信息输入到预设机器学习模型中,获得用于表征工业设备是否处于安全状态的输出结果。
可选地,将所述多个子图像信息输入到预设机器学习模型中,获得用于表征所述工业设备是否处于安全状态的输出结果,包括:将所述多个子图像信息输入到预设机器学习模型中,获得目标物体的特征信息;根据所述目标物体的特征信息判断所述工业设备是否处于安全状态,获得用于表征所述工业设备是否处于安全状态的输出结果。
可选地,所述预设机器学习模型为神经网络模型、卷积神经网络模型、深度神经网络模型中的任意一种。
可选地,所述目标物体的特征信息包括至少以下一种:所述目标物体的种类、所述目标物体的数量、所述目标物体的状态信息、所述目标物体处于所述目标三维区域内的时间及所述目标物体处于所述目标三维区域内的存在方式。
可选地,所述多个图像采集器分别设置于的所述工业设备的附近空间区域中的不同位置,或设置于所述工业设备上的不同位置,所述多个图像采集器监控所述工业设备的多个监控区域范围至少有一定区域不重叠或部分重叠,以使所述多个图像采集器的总的监控区域覆盖所述目标三维区域。
可选地,将所述多个子图像信息输入到预设机器学习模型中,获得用于表征所述工业设备是否处于安全状态的输出结果,包括:将所述多个子图像信息进行拼接,获得所述工业设备对应于所述目标三维区域的图像信息;将所述工业设备对应于所述目标三维区域的图像信息输入到所述预设机器学习模型中,获得用于表征所述工业设备是否处于安全状态的输出结果。
可选地,将所述图像信息输入到预设机器学习模型中,获得用于表征所述工业设备是否处于安全状态的输出结果之后,还包括:在判断所述工业设备处于危险状态时,发送报警信息。
可选地,所述工业设备设置于预定场所,所述预定场所为高压电塔、水电站机轮组、石油管道、地下电缆中的至少一种。
第二方面,本发明实施例提供了一种工业设备安全监控装置,所述装置包括:图像信息获取模块,用于获取多个图像采集器采集的多个监控区域范围的多个图像信息;像素提取模块,用于提取所述每个图像信息中的特定像素,将提取的特定像素作为一个子图像信息,其中,所述多个图像采集器对应的多个子图像信息中的特定像素对应于一个目标三维区域,所述多个图像采集器对应的多个监控区域覆盖所述目标三维区域;安全判断模块,用于将所述多个子图像信息输入到预设机器学习模型中,获得用于表征工业设备是否处于安全状态的输出结果。
可选地,所述安全判断模块,具体用于将所述多个子图像信息输入到预设机器学习模型中,获得目标物体的特征信息;根据所述目标物体的特征信息判断所述工业设备是否处于安全状态,获得用于表征所述工业设备是否处于安全状态的输出结果。
可选地,所述预设机器学习模型为神经网络模型、卷积神经网络模型、深度神经网络模型中的任意一种。
可选地,所述目标物体的特征信息包括至少以下一种:所述目标物体的种类、所述目标物体的数量、所述目标物体的状态信息、所述目标物体处于所述监控区域范围内的时间及所述目标物体处于所述监控区域范围内的存在方式。
可选地,所述多个图像采集器分别设置于的所述工业设备的附近空间区域中的不同位置,或设置于所述工业设备上的不同位置,所述多个图像采集器监控所述工业设备的多个监控区域范围至少有一定区域不重叠或部分重叠,以使所述多个图像采集器的总的监控区域覆盖所述目标三维区域。
可选地,所述安全判断模块,还用于:将所述多个子图像信息进行拼接,获得所述工业设备对应于所述目标三维区域的图像信息;将所述工业设备对应于所述目标三维区域的图像信息输入到所述预设机器学习模型中,获得用于表征所述工业设备是否处于安全状态的输出结果。
可选地,所述装置还包括:报警信息发送模块,用于在判断所述工业设备处于危险状态时,发送报警信息。
第三方面,本发明实施例提供一种中控设备,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如第一方面提供的方法中的步骤。
第四方面,本发明实施例提供一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时运行如第一方面提供的方法中的步骤。
本发明实施例的有益效果是:
本发明实施例提供一种工业设备安全监控方法、装置、中控设备及可读存储介质,该方法通过中控设备获取所述多个图像采集器采集的多个监控区域范围的多个图像信息,提取特定像素以获得多个子图像;然后将所述多个子图像信息输入到预设机器学习模型中,获得用于表征所述工业设备是否处于安全状态的输出结果,所以,中控设备可实时获得工业设备在目标三维区域内的图像信息,从而可对工业设备进行实时监控,以提高工业设备的安全性,进而避免了人力物力资源的浪费问题。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了一种可应用于本申请实施例中的中控设备的结构框图;
图2为本发明实施例提供的一种工业设备安全监控方法的流程图;
图3为本发明实施例提供的一种基于铁塔的目标三维区域示意图;
图4为本发明实施例提供的一种采用两个图像采集器对铁塔进行监控的示意图;
图5为本发明实施例提供的一种采用四个图像采集器对铁塔进行监控的示意图;
图6为本发明实施例提供的一种采用不同的像素提取方式进行图像拼接的示意图;
图7为本发明实施例提供的一种拼接后的图像信息与目标三维区域的示意图;
图8为本发明实施例提供的一种对地底电缆实现监控的示意图;
图9为本发明实施例提供的一种工业设备安全监控装置的结构框图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
请参照图1,图1示出了一种可应用于本申请实施例中的中控设备100的结构框图。中控设备100可以包括工业设备安全监控装置、存储器101、存储控制器102、处理器103、外设接口104、输入输出单元105、音频单元106、显示单元107。
所述存储器101、存储控制器102、处理器103、外设接口104、输入输出单元105、音频单元106、显示单元107各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述工业设备安全监控装置包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述工业设备安全监控装置的操作***(operating system,OS)中的软件功能模块。所述处理器103用于执行存储器101中存储的可执行模块,例如所述工业设备安全监控装置包括的软件功能模块或计算机程序。
其中,存储器101可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器101用于存储程序,所述处理器103在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的服务器所执行的方法可以应用于处理器103中,或者由处理器103实现。
处理器103可以是一种集成电路芯片,具有信号的处理能力。上述的处理器103可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器103也可以是任何常规的处理器等。
所述外设接口104将各种输入/输出装置耦合至处理器103以及存储器101。在一些实施例中,外设接口104,处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
输入输出单元105用于提供给用户输入数据实现用户与所述服务器(或本地终端)的交互。所述输入输出单元105可以是,但不限于,鼠标和键盘等。
音频单元106向用户提供音频接口,其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。
显示单元107在所述中控设备100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中,所述显示单元107可以是液晶显示器或触控显示器。若为触控显示器,其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作,并将该感应到的触控操作交由处理器103进行计算和处理。
所述外设接口104将各种输入/输出装置耦合至处理器103以及存储器101。在一些实施例中,外设接口104,处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
输入输出单元105用于提供给用户输入数据实现用户与处理终端的交互。所述输入输出单元105可以是,但不限于,鼠标和键盘等。
可以理解,图1所示的结构仅为示意,所述中控设备100还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2,图2为本发明实施例提供的一种工业设备安全监控方法的流程图,所述方法包括如下步骤:
步骤S110:获取多个图像采集器采集的多个监控区域范围的多个图像信息。所述多个图像采集器对应多个监控区域,即每个图像采集器采集一个监控区域的图像信息。
本实施例中的工业设备安全监控方法应用于中控设备,中控设备一般设置于与工业设备距离不远处的中控室中,监控人员可以通过中控室中的中控设备对工业设备进行实时监控,中控设备与用于实时采集工业设备多个监控区域的图像信息的多个图像采集器连接。
多个图像采集器可设置于工业设备上的不同位置,也可设置于工业设备周围不同位置,可用于对工业设备进行实时图像采集即可,多个图像采集器可以对工业设备进行拍照或者录像,从而可采集所述多个图像采集器的监控区域范围内的图像信息。在一些实施例中,多个图像采集器监控工业设备的多个监控区域范围至少有一定区域不重叠或部分重叠,以使所述多个监控区域的总的监控区域能够覆盖一个目标三维区域。在一些实施例中,所述目标三维区域为目标监控区域,所述目标三维区域的形状可以是长方体、圆柱体、正方体,任意规则立体形状或任意不规则立体形状。
工业设备一般指用于工业目的的中大型设备,一般而言,工业设备在预定场所内不发生较大的变化,例如,高压铁塔、水电站机轮组、石油管道、地下电缆等。
多个图像采集器将采集的对应于多个监控区域的多个图像发送至中控设备,由于多个图像采集器是对工业设备进行实时图像采集,所以,多个图像采集器发送图像的方式可以是按照预设时间间隔进行发送,例如,多个图像采集器将采集的图像或视频信息进行存储,在每隔十分钟或者一小时将图像发送至中控设备,当然,多个图像采集器还可以实时将采集的图像发送至中控设备。
每个图像采集器设有无线模块,其可以与中控设备无线连接,从而中控设备可以通过无线传输实时获取每个图像采集器采集的图像信息,为了对工业设备进行有效监控,中控设备可以从获取的图像中选择目标时间段内的图像信息。在一些实施例中,所述多个图像采集器之间,或多个图像采集器与中控设备之间的连接方式可以是有线连接。
另外,图像采集器可以为RGB图像传感器、单目图像传感器、双目图像传感器、红外图像传感器、激光点云图像传感器等。
步骤S120:对于每一个图像信息,提取所述图像信息中的特定像素,将提取的特定像素作为一个子图像信息。对于一个图像采集器来说,其采集的一幅图像中可能存在并不属于目标三维区域的图像信息。因此,需要将不属于目标三维区域的图像信息剔除,保留属于目标三维区域的图像信息。特别地,对采集的图像中的像素进行处理,剔除不属于目标三维区域的像素点,保留属于目标三维区域的像素点。处理后的像素点可以作为一个子图像信息。
步骤S130:将所述多个子图像信息输入到预设机器学习模型中,获得用于表征所述工业设备是否处于安全状态的输出结果。在一些实施例中,所述预设机器学习模型为神经网络模型、卷积神经网络模型、深度神经网络模型中的任意一种。
在一些实施例中,所述将所述多个子图像信息输入到预设机器学习模型中,获得用于表征所述工业设备是否处于安全状态的输出结果,包括:将所述多个子图像信息输入到预设机器学习模型中,获得目标物体的特征信息;根据所述目标物体的特征信息判断所述工业设备是否处于安全状态,获得用于表征所述工业设备是否处于安全状态的输出结果。
在一些实施例中,所述将所述多个子图像信息输入到预设机器学习模型中,获得用于表征所述工业设备是否处于安全状态的输出结果,包括:将所述多个子图像信息进行拼接,获得所述工业设备对应于所述目标三维区域的图像信息;将所述工业设备对应于所述目标三维区域的图像信息输入到所述预设机器学习模型中,获得用于表征所述工业设备是否处于安全状态的输出结果。在一些实施例中,在将所述多个子图像信息输入到预设机器学习模型前,可以对所述多个子图像信息进行拼接,获得所述工业设备对应于所述目标三维区域的图像信息;并将所述工业设备对应于所述目标三维区域的图像信息输入到所述预设机器学习模型中,获得用于表征所述工业设备是否处于安全状态的输出结果。
中控设备在获取工业设备的多个子图像信息后,可以基于所述多个子图像信息判断该工业设备是否处于安全状态,具体地,通过将所述多个子图像信息输入到预设机器学习模型中,预设机器学习模型可以从所述多个子图像信息中识别出是否有除工业设备以外的物体靠近工业设备,即是否有外来入侵物体出现在图像采集器的目标三维区域内,若在目标时间段的图像信息中均有该外来入侵物体,且该物体逐渐靠近工业设备,则可判定该工业设备处于危险状态,若在目标时间段内的目标三维区域没有出现任何外来物体,则可判定工业设备处于安全状态。
其中,所述目标三维区域可以如图3所示,图3为基于铁塔的目标三维区域示意图,图3中多个图像采集器(未示出)的监控范围至少部分不重叠或部分重叠,且能够覆盖所述目标三维区域。例如,若基于所述图像信息,分析出若有外来物体侵入监测空间(即目标三维区域)2内,则认为该外来物体对铁塔产生了一定的威胁,即判定铁塔处于危险状态,监控空间可以根据威胁的种类或监控需要而不同,图3中监测空间1大于监测空间2,两个监测空间内对空间的监测需求不同,例如,如果是异物入侵,则监测空间可以较小,而人员或施工现场则需要在更大的范围内进行监测。
其中,表征所述工业设备是否处于安全状态的输出结果可以采用任何方式进行表示,例如输出结果为1表示工业设备处于安全状态,输出结果为0表示工业设备处于非安全状态,或者输出结果还可以是“安全”/“不安全”的提示信息。
所以,本实施例中,通过获取多个图像采集器采集的监控区域的多个图像信息,经过处理得到目标三维空间(监控区域)的子图像信息,然后将所述多个子图像信息输入到预设机器学习模型中,获得用于表征所述工业设备是否处于安全状态的输出结果,进一步地,中控设备可实时获得工业设备对应于目标三维区域内的拼接后的图像信息,从而可对工业设备目标三维空间进行实时监控,以提高工业设备的安全性。
为了对工业设备进行全方位监控,所述图像采集器为多个,多个所述图像采集器分别设置于所述工业设备的附近空间区域的不同位置,多个所述图像采集器监控所述工业设备的监控区域至少部分不重叠或部分重叠,以使多个所述图像采集器的总的监控区域为所述监控区域范围。
多个图像采集器可以放置于工业设备相关的不同位置,使得能够识别工业设备相关空间的一个区域,多个图像采集器获取的图像在监控区域内至少有一定区域不重叠,此时只需要设定图像采集器的数量和分布位置,就能够使得其多个图像采集器的监控区域组合成总的监控区域范围。
请参照图4和图5,图4中为两个图像采集器对工业设备(如铁塔)进行监控,两个图像采集器朝向铁塔下方,并且在监控区域上不完全重合,此时,两个图像采集器总的监控区域覆盖了所述目标三维区域(圆柱形区域),图5中为四个图像采集器被放置在周围一个矩形的四个边上,左右两个图像采集器对称设置,底部图像采集器朝向上方,顶部图像采集器朝向下方,此时,四个图像采集器总的监控区域能够覆盖所述目标三维区域(矩形空间区域)。
作为一种实施方式,为了能够对细微的目标物体进行识别,每个图像采集器的分辨率大于预设分辨率值。
作为一种实施方式,为了在雨天等天气不好的情况下也能获取工业设备清晰的图像信息,则每个图像采集器安装在透明保护装置内,并且,透明保护装置不仅可以使得图像采集器可以在雨天等恶劣天气下也能采集清晰的图像,并且还可以延长图像采集器的使用寿命,使得图像采集器可以不受到外界环境的影响。其中,透明保护装置可以为透明塑料外壳等。
另外,作为一种实施方式,图像采集器可以包括主图像采集器和备图像采集器,所述主图像采集器以及所述备图像采集器皆与所述中控设备无线连接,当中控设备检测到主图像采集器处于非正常状态时,控制所述备图像采集器开启,以通过所述备图像采集器采集所述工业设备在目标时间段内的图像信息。
其中,备图像采集器的设置位置一般位于主图像采集器的旁边,以使得两个图像采集器的监控区域可以大部分重叠,若图像采集器为多个时,则每个图像采集器均包括主图像采集器和备图像采集器。
其中,主图像采集器的非正常状态是指主图像采集器处于故障状态无法进行图像采集、或者主图像采集器无法与中控设备进行通信、或者主图像采集器的电量用尽等等状态,以使得中控设备无法获取主图像采集器采集的图像,则此时启用备图像采集器继续采集工业设备的图像信息,则可以使得图像信息的采集不中断,从而中控设备可以对工业设备进行持续不间断地监控。
由此,中控设备获得工业设备在目标时间段内的图像信息的过程中,中控设备首先可以获取多个所述图像采集器采集的所述工业设备的多个图像信息,然后从所述多个图像信息中提取像素,确定多个子图像信息;然后将所述多个子图像信息进行拼接,获得所述工业设备对应所述目标三维区域的图像信息。
其中,对图像进行拼接的过程为:首先对每个图像进行预处理,所述预处理包括从时序的多个图像帧中抽取一定的帧,并从抽取的图像帧中提取多个个对应的像素组,所述每个像素组为属于目标三维空间的像素集合,所述一个像素组可以作为一个子图像信息,然后对所述多个子图像进行拼接,所述提取像素组对于每个图像采集器获得的图像提取方式可能不同,例如,一个简单的提取方法为:按照一个坐标和尺寸,从图像帧中提取一个连续二维像素阵列,图6给出了不同图像采集器(即图6中的传感器)的像素提取方法,具体的帧和像素提取***由中控设备给出,中控设备根据每个图像采集器的位置以及监控区域来计算每个图像采集器的提取方式,并进一步将提取的多个子图像信息拼接成一个对应所述目标三维区域的图像信息,虽然具体的计算过程较为复杂,并且可能需要事前人工校准,但是由于工业设备(如铁塔)的规格往往固定,因此一次计算就可以使得提取方法适用于大量工业设备的监控。最后拼接获得的图像信息对应于整个目标三维区域,也就是说,出现在这个目标三维区域内的目标物体就会呈现在拼接后的图像信息中的一个对应位置,目标三维区域的边界与拼接后的图像信息中的一个边界对应。
图7给出了上述拼接后的图像信息与目标三维区域的示意图,需要说明的是,拼接后的图像信息中并不必须会得到一个与真实工业设备形状对应的工业设备图像,也可能是工业设备的不同部件的任一拼接。
在上述实施例中,所述预设机器学习模型为神经网络模型、卷积神经网络模型、深度神经网络模型中的任意一种。中控设备可以将所述多个子图像信息输入到预设机器学习模型中,获得用于表征所述工业设备是否处于安全状态的输出结果,其中,可以通过预设机器学习模型识别出图像信息中是否有目标物体,如果有目标物体,为了进一步判断该目标物体是否危及工业设备的安全,则可通过预设机器学习模型从图像信息中识别出目标物体的特征信息,然后根据所述目标物体的特征信息判断所述工业设备是否处于安全状态,获得用于表征所述工业设备是否处于安全状态的输出结果,其中,该目标物体的特征信息包括至少以下一种:所述目标物体的种类、所述目标物体的数量、所述目标物体的状态信息、所述目标物体处于所述目标三维区域内的时间及所述目标物体处于所述目标三维区域内的存在方式。
其中,目标物体的种类可以为如铁塔、人、车辆、植物、动物、塑料、金属物体等,目标物体的状态信息可以为如车辆驶入、进行施工、人员攀爬等等;所述目标物体处于监控区域范围内的存在方式可以为如静止方式、运动方式等等。
为了利用预设机器学习模型对图像信息进行识别,预先对预设机器学习模型进行训练,训练数据可以使用上述相同图像采集器设置和图像抽取和拼接方法得到训练数据,并在训练数据中标注目标物体,标注目标物体包括目标物体的种类,例如铁塔、人、车辆、植物、动物、塑料、金属物体等,也可以标注目标物体的状态,例如车辆驶入、进行施工、人员攀爬等等。基于以上训练数据,预设机器学习模型能够在输入的子图像信息中识别对应的目标物体以及目标物体的特征信息。
其中,在得到训练数据后,基于训练方法训练一个空白或预训练的模型,该训练过程可以基于例如BP算法或者使用谷歌提供的TensorFlow框架***,***根据模型输出的识别结果(即目标物体的特征信息)。
然后中控设备可以判断所述工业设备是否处于安全状态,例如若所述目标物体的特征信息为一个人出现在图像采集器的目标三维区域内,则还可判断该人处于目标三维区域内的时间是否超过一个预设时间,在为是时,则判断工业设备处于危险状态,输出用于表征所述工业设备处于非安全状态(即危险状态)的输出结果。在工业设备处于危险状态时,中控设备还可控制警报装置发出警报。若该人员只是在少数几帧图像中出现,则可判定工业设备处于安全状态,则不发出警报。
在一种实施方式中,需要根据不同目标物体的组合状态信息判断工业设备是否处于安全状态,例如,当中控设备识别目标物体为风筝在目标三维区域内出现时,则不发出警报,但是如果风筝挂载在铁塔之上,则发出警报。
在一种实施方式中,可以通过监控多个不同的目标三维区域,例如,在一个较大的监控区域内识别无相关人员时,则不发出警报,但是在该监控区域内识别出施工工程车辆时,则发出警报。
所以,工业设备的安全状态判断可以根据目标物体的类型、状态、数量、存在时间、存在方式等(即目标物体的特征信息)综合判断。
另外,如图8所示,图8为对地底电缆实现监控的示意图,地底电缆一般安置于地底隧道之内,由于地底隧道一般没有照明***,因此可以采用红外传感器进行图像采集,还可通过多个图像采集器以及对应的图像抽取和整合(即拼接)方式,中控设备能够获得多根电缆的全部外表面图像信息,然后基于图像信息判断该电缆是否处于安全状态,例如,当电缆表面出现破损时,能够通过红外图像识别该破损,当电缆内部发热异常时,电缆的红外图像的颜色强度也会发生改变,此时中控设备能够根据图像信息识别出电缆的过热异常,并且通过设置封闭监控区域,将监控区域集中在电缆相关的封闭空间,因此不会由于其他外界的热量改变而误判电缆过热。由此,可对电缆的安全状态实现较为准确的判断。
另外,作为另一种实施方式,在判断所述工业设备处于危险状态时,中控设备还可以发送报警信息,使得中控室的监控人员可以通过报警信息知晓工业设备处于危险状态。
或者,中控设备还可将报警信息发送至与所述工业设备距离最近的监控人员的用户终端上。具体地,中控设备在判断工业设备处于危险状态时,即搜索工业设备周围监控人员,获得工业设备周围监控人员与工业设备的距离信息,然后选择距离信息最近的监控人员,则向该监控人员的用户终端发送报警信息,由此,监控人员可及时排除工业设备的危险状态,进而保证工业设备的安全。
或者,若中控设备将报警信息发送至距离最近的监控人员的用户终端后,若在一定时间段内,该工业设备还是处于危险状态,即该监控人员未及时排除工业设备的危险状态,则中控设备可再次将报警信息发送至与工业设备距离第二近的监控人员的用户终端,使得该监控人员对工业设备进行危险状态排除。
由此,可及时保证工业设备从危险状态转换为安全状态,确保了工业设备的运行安全。
请参照图9,图9为本发明实施例提供的一种工业设备安全监控装置200的结构框图,该装置运行于上述的中控设备,所述装置包括:
图像信息获取模块210,用于获取多个图像采集器采集的多个监控区域范围的多个图像信息;
像素提取模块220,用于提取所述每个图像信息中的特定像素,将提取的特定像素作为一个子图像信息,其中,所述多个图像采集器对应的多个子图像信息中的特定像素对应于一个目标三维区域,所述多个图像采集器对应的多个监控区域覆盖所述目标三维区域;
安全判断模块230,用于将所述多个子图像信息输入到预设机器学习模型中,获得用于表征工业设备是否处于安全状态的输出结果。
可选地,所述安全判断模块220,具体用于将所述多个子图像信息输入到预设机器学习模型中,获得所述目标物体的特征信息;根据所述目标物体的特征信息判断所述工业设备是否处于安全状态,获得用于表征所述工业设备是否处于安全状态的输出结果。
可选地,所述预设机器学习模型为神经网络模型、卷积神经网络模型、深度神经网络模型中的任意一种。
可选地,所述目标物体的特征信息包括至少以下一种:所述目标物体的种类、所述目标物体的数量、所述目标物体的状态信息、所述目标物体处于所述目标三维区域内的时间及所述目标物体处于所述目标三维区域内的存在方式。
可选地,所述多个图像采集器分别设置于的所述工业设备的附近空间区域中的不同位置,或设置于所述工业设备上的不同位置,所述多个图像采集器监控所述工业设备的多个监控区域不重叠或部分重叠,以使所述多个图像采集器的总的监控区域覆盖所述目标三维区域。
可选地,所述安全判断模块230,具体用于:
将所述多个子图像信息进行拼接,获得所述工业设备对应于所述目标三维区域的图像信息;
将所述工业设备对应于所述目标三维区域的图像信息输入到所述预设机器学习模型中,获得用于表征所述工业设备是否处于安全状态的输出结果。
可选地,所述装置还包括:
报警信息发送模块,用于在判断所述工业设备处于危险状态时,发送报警信息。
可选地,所述图像采集器中每个图像采集器的分辨率大于预设分辨率值。
可选地,每个图像采集器安装在透明保护装置内。
可选地,所述图像采集器包括主图像采集器以及备图像采集器,所述主图像采集器以及所述备图像采集器皆与所述中控设备无线连接,所述装置还包括:
备图像采集器开启模块,用于在检测到所述主图像采集器处于非正常状态时,控制所述备图像采集器开启,以通过所述备图像采集器采集所述工业设备在目标时间段内的图像信息。
本发明实施例提供一种可读取存储介质,所述计算机程序被处理器执行时,执行如图2所示方法实施例中的中控设备所执行的方法过程。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法中的对应过程,在此不再过多赘述。
综上所述,本发明实施例提供一种工业设备安全监控方法、装置、中控设备及可读存储介质,该方法通过中控设备获取所述多个图像采集器采集的多个监控区域范围的多个图像信息,提取特定像素以获得多个子图像;然后将所述多个子图像信息输入到预设机器学习模型中,获得用于表征所述工业设备是否处于安全状态的输出结果,所以,中控设备可实时获得工业设备在目标三维区域内的图像信息,从而可对工业设备进行实时监控,以提高工业设备的安全性,进而避免了人力物力资源的浪费问题。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (11)

1.一种工业设备安全监控方法,其特征在于,所述方法包括:
获取多个图像采集器采集的多个监控区域的多个图像信息;
对于每一个图像信息,提取所述图像信息中的特定像素,将提取的特定像素作为一个子图像信息;
所述多个图像采集器对应的多个子图像信息中的特定像素对应于一个目标三维区域,所述多个图像采集器对应的多个监控区域覆盖所述目标三维区域;
将所述多个子图像信息输入到预设机器学习模型中,获得用于表征工业设备是否处于安全状态的输出结果。
2.根据权利要求1所述的方法,其特征在于,将所述多个子图像信息输入到预设机器学习模型中,获得用于表征所述工业设备是否处于安全状态的输出结果,包括:
将所述多个子图像信息输入到预设机器学习模型中,获得目标物体的特征信息;
根据所述目标物体的特征信息判断所述工业设备是否处于安全状态,获得用于表征所述工业设备是否处于安全状态的输出结果。
3.根据权利要求2所述的方法,其特征在于,所述预设机器学习模型为神经网络模型、卷积神经网络模型、深度神经网络模型中的任意一种。
4.根据权利要求2所述的方法,其特征在于,所述目标物体的特征信息包括至少以下一种:所述目标物体的种类、所述目标物体的数量、所述目标物体的状态信息、所述目标物体处于所述目标三维区域内的时间及所述目标物体处于所述目标三维区域内的存在方式。
5.根据权利要求1所述的方法,其特征在于,所述多个图像采集器分别设置于的所述工业设备的附近空间区域中的不同位置,或设置于所述工业设备上的不同位置,所述多个图像采集器监控所述工业设备的多个监控区域范围至少有一定区域不重叠或部分重叠,以使所述多个图像采集器的总的监控区域覆盖所述目标三维区域。
6.根据权利要求1所述的方法,其特征在于,将所述多个子图像信息输入到预设机器学习模型中,获得用于表征所述工业设备是否处于安全状态的输出结果,包括:
将所述多个子图像信息进行拼接,获得所述工业设备对应于所述目标三维区域的图像信息;
将所述工业设备对应于所述目标三维区域的图像信息输入到所述预设机器学习模型中,获得用于表征所述工业设备是否处于安全状态的输出结果。
7.根据权利要求1-6任一所述的方法,其特征在于,将所述多个子图像信息输入到预设机器学习模型中,获得用于表征所述工业设备是否处于安全状态的输出结果之后,还包括:
在判断所述工业设备处于危险状态时,发送报警信息。
8.根据权利要求1-6任一所述的方法,其特征在于,所述工业设备设置于预定场所,所述预定场所为高压电塔、水电站机轮组、石油管道、地下电缆中的至少一种。
9.一种工业设备安全监控装置,其特征在于,所述装置包括:
图像信息获取模块,用于获取多个图像采集器采集的多个监控区域范围的多个图像信息;
像素提取模块,用于提取所述每个图像信息中的特定像素,将提取的特定像素作为一个子图像信息,其中,所述多个图像采集器对应的多个子图像信息中的特定像素对应于一个目标三维区域,所述多个图像采集器对应的多个监控区域覆盖所述目标三维区域;
安全判断模块,用于将所述多个子图像信息输入到预设机器学习模型中,获得用于表征工业设备是否处于安全状态的输出结果。
10.一种中控设备,其特征在于,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如权利要求1-8任一所述方法中的步骤。
11.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时运行如权利要求1-8任一所述方法中的步骤。
CN201811362708.6A 2018-11-15 2018-11-15 工业设备安全监控方法、装置、中控设备及可读存储介质 Pending CN109561281A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811362708.6A CN109561281A (zh) 2018-11-15 2018-11-15 工业设备安全监控方法、装置、中控设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811362708.6A CN109561281A (zh) 2018-11-15 2018-11-15 工业设备安全监控方法、装置、中控设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN109561281A true CN109561281A (zh) 2019-04-02

Family

ID=65866617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811362708.6A Pending CN109561281A (zh) 2018-11-15 2018-11-15 工业设备安全监控方法、装置、中控设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN109561281A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110927731A (zh) * 2019-11-15 2020-03-27 深圳市镭神智能***有限公司 一种立体防护方法、三维检测装置和计算机可读存储介质
CN112748734A (zh) * 2020-12-18 2021-05-04 河北润忆安全技术服务有限公司 一种自适应式巡检方法及巡检***
CN113112427A (zh) * 2021-04-16 2021-07-13 广东韶钢松山股份有限公司 一种铁水运输的监测方法、装置、设备及存储介质
CN115879897A (zh) * 2023-03-03 2023-03-31 中国水利水电科学研究院 一种水利水电工程建设管理***以及管理方法
CN116909196A (zh) * 2023-08-31 2023-10-20 国网山东省电力公司济南供电公司 基于物联网技术的电缆通道智能化监控***及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530569A (zh) * 2016-10-17 2017-03-22 北京小米移动软件有限公司 火患监测的方法及装置
CN106973255A (zh) * 2016-01-14 2017-07-21 维布络有限公司 关注区域监控方法及其监控装置
US20170318283A1 (en) * 2016-04-27 2017-11-02 Disney Enterprises, Inc. Systems and Methods for Creating an Immersive Video Content Environment
CN107729807A (zh) * 2017-09-05 2018-02-23 南京理工大学 一体化防外破目标识别与智能预警***
CN108765870A (zh) * 2018-06-28 2018-11-06 信利光电股份有限公司 车内安全监控方法、装置、设备及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106973255A (zh) * 2016-01-14 2017-07-21 维布络有限公司 关注区域监控方法及其监控装置
US20170318283A1 (en) * 2016-04-27 2017-11-02 Disney Enterprises, Inc. Systems and Methods for Creating an Immersive Video Content Environment
CN106530569A (zh) * 2016-10-17 2017-03-22 北京小米移动软件有限公司 火患监测的方法及装置
CN107729807A (zh) * 2017-09-05 2018-02-23 南京理工大学 一体化防外破目标识别与智能预警***
CN108765870A (zh) * 2018-06-28 2018-11-06 信利光电股份有限公司 车内安全监控方法、装置、设备及计算机可读存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110927731A (zh) * 2019-11-15 2020-03-27 深圳市镭神智能***有限公司 一种立体防护方法、三维检测装置和计算机可读存储介质
CN110927731B (zh) * 2019-11-15 2021-12-17 深圳市镭神智能***有限公司 一种立体防护方法、三维检测装置和计算机可读存储介质
CN112748734A (zh) * 2020-12-18 2021-05-04 河北润忆安全技术服务有限公司 一种自适应式巡检方法及巡检***
CN113112427A (zh) * 2021-04-16 2021-07-13 广东韶钢松山股份有限公司 一种铁水运输的监测方法、装置、设备及存储介质
CN113112427B (zh) * 2021-04-16 2024-05-10 广东韶钢松山股份有限公司 一种铁水运输的监测方法、装置、设备及存储介质
CN115879897A (zh) * 2023-03-03 2023-03-31 中国水利水电科学研究院 一种水利水电工程建设管理***以及管理方法
CN116909196A (zh) * 2023-08-31 2023-10-20 国网山东省电力公司济南供电公司 基于物联网技术的电缆通道智能化监控***及方法
CN116909196B (zh) * 2023-08-31 2024-03-15 国网山东省电力公司济南供电公司 基于物联网技术的电缆通道智能化监控***及方法

Similar Documents

Publication Publication Date Title
CN109561281A (zh) 工业设备安全监控方法、装置、中控设备及可读存储介质
CN101577812B (zh) 一种岗位监测的方法和***
CN109308447A (zh) 在电力远程监控中自动提取设备运行参数和运行状态的方法
CN109484935A (zh) 一种电梯轿厢监控方法、装置及***
CN106408833A (zh) 周界入侵检测方法及***
CN108702485A (zh) 在视频监视***中保护隐私
CN108872781A (zh) 基于电力设施智能巡检的分析方法及装置
CN106534789A (zh) 一种一体化智慧型安防视频监控***
CN104796667A (zh) 一种校园夜视三维虚拟监控***及方法
CN107451709A (zh) 在地图上显示atm站点或其它远程监控站点的动态风险水平指示符的***和方法
CN112990057A (zh) 一种人体姿态识别方法、装置及电子设备
CN112487891B (zh) 一种应用于电力作业现场的视觉智能动态识别模型构建方法
CN112541393A (zh) 一种基于深度学习的变电站人员检测方法及装置
CN109308448A (zh) 一种采用图像处理技术来防止变配电误操作的方法
CN113469654B (zh) 一种基于智能算法融合的变电站多层次安全管控***
CN115393566A (zh) 电力设备的故障识别与预警方法、装置、存储介质、设备
CN115457446A (zh) 一种基于视频分析的异常行为监管***
CN106710651B (zh) 一种展示核电站中核事故状态变迁的方法和***
CN106650594A (zh) 视频火灾检测方法、装置及***
CN210222962U (zh) 一种智能电子围栏***
CN116846059A (zh) 一种用于电网巡检和监控的边缘检测***
CN104574729A (zh) 一种报警方法、装置及***
CN113505704A (zh) 图像识别的人员安全侦测方法、***、设备及存储介质
CN202916936U (zh) 视频监控光纤围栏***
Chang et al. Safety risk assessment of electric power operation site based on variable precision rough set

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190402