CN110428589B

CN110428589B - 监控方法、装置、设备和存储介质

Info

Publication number: CN110428589B
Application number: CN201910691383.4A
Authority: CN
Inventors: 侯宇辉; 蒙泽敏; 刘广金; 赵雅娟; 翟展民
Original assignee: Jingying Digital Technology Co Ltd
Current assignee: Jingying Digital Technology Co Ltd
Priority date: 2019-07-29
Filing date: 2019-07-29
Publication date: 2020-08-21
Anticipated expiration: 2039-07-29
Also published as: CN110428589A

Abstract

本发明实施例涉及监测技术领域，具体涉及一种监控方法、装置、设备和存储介质。一种监控方法，包括：获取上车点的当前的图像帧；确定所述图像帧中上车动作相关的时间信息；根据所述动作相关的时间信息判断上车是否违规。上述方法通过确定所述图像帧中有上车动作的动作时间信息；根据所述动作时间信息确定上车是否违规。用机器代替了人力监控，提高了监控的效果。

Description

监控方法、装置、设备和存储介质

技术领域

本发明实施例涉智能监控技术领域，具体涉及一种监控方法、装置、设备和存储介质。

背景技术

猴车是煤矿上下井作业人员的运输工具，猴车由吊椅、索道、电机等部件构成，作业人员在煤矿井口、井底乘车区猴车悬挂点摘取猴车吊椅后，将猴车吊椅挂在猴车索道上，吊椅上的抱索器抱紧索道，人员跨坐在吊椅上，电机驱动索道带动猴车吊椅往复运转，起到往复运输人员的作用。目前煤矿在猴车乘车区专门设一人负责监督上下井作业人员是否按规定间距乘坐猴车，但是监督人员存在长时间离岗脱岗现象，监督存在不客观、不及时、效果差、成本高的缺点。

发明内容

本发明实施例的目的在于提供一种监控方法、装置、设备和存储介质，用以解决现有技术采用人工监控而导致的监督效果差的问题。

为实现上述目的，本发明实施例主要提供如下技术方案：

第一方面，本发明实施例提供了一种监测方法，包括：获取上车点的当前的图像帧；

确定所述图像帧中上车动作相关的时间信息；

根据所述上车动作相关的时间信息判断上车是否违规，若违规则输出报警指令。

进一步地，所述动作相关的时间信息包括：

上车的起始时间点和上车的完成时间点；

根据所述上车动作相关的时间信息确定是否违规，包括：

计算所述完成时间点减去所述起始时间点得到上车所消耗的时间；

如果所述上车所消耗的时间大于预定的第二阈值，则确定所述上车的动作违规。

进一步地，根据所述上车动作相关的时间信息判断是否违规，包括：

确定当前图像帧中的上车的起始时间点；

计算所述起始时间点与预先存储的上一辆车的上车完成时间点的时间差；

如果所述时间差小于预定的第三阈值，则确定所述上车的动作违规。

进一步地，确定所述上车的起始时间点，包括：

从所述当前的图像帧中确定挂吊椅杆的动作；

获取所述吊椅杆的标记框的实时的宽度和高度值；

根据所述标记框的实时的宽度和高度值计算得到实时的宽高比值；

计算所述实时的宽高比值与预定的宽高比值的标准值的差值的绝对值；

如果所述差值的绝对值达到了预定的第一阈值；

则记录达到所述预定的第一阈值的时间点为所述上车的起始时间点。

进一步地，确定所述上车的完成时间点，包括：

从所述当前的图像帧中确定乘坐吊椅杆的动作；

获取吊椅杆标记框的中心点的纵坐标；以及人的标记框的中心点的纵坐标；

计算所述吊椅杆标记框的中心点的纵坐标以及人的标记框的中心点的纵坐标的差值；

如果所述差值达到了预定的第四阈值，则记录达到所述预定的第四阈值的时间点为所述上车的完成时间点。

进一步地，根据所述上车动作相关的时间信息确定所述上车的动作是违规后，包括：提示坐下一趟车。

进一步地，如果确定上车点的当前的图像帧中有吊椅栏并且没有人，并且接下来的多个图像帧中没有吊椅栏，则确定是空车发出；向上车指示灯发出电信号，以使所述指示灯处于允许上车的状态。

第二方面，本发明实施例还提供一种监测装置，包括：

获取模块，用于获取上车点的当前的图像帧；确定模块，用于确定所述图像帧中上车动作相关的时间信息；

判断模块，用于根据所述上车动作相关的时间信息判断上车是否违规，若违规则输出报警指令。

进一步地，所述上车动作相关的时间信息包括：

上车的起始时间点和上车的完成时间点；

所述判断模块还用于，计算所述完成时间点减去所述起始时间点得到上车所消耗的时间；

进一步地，判断模块还用于，确定当前图像帧中的上车的起始时间点；

进一步地，判断模块还用于，获取吊椅杆的标记框的实时的宽度和高度值；

如果所述差值的绝对值达到了预定的第一阈值；

进一步地，判断模块还用于，从所述当前的图像帧中确定乘坐吊椅的动作；

获取吊椅杆标记框的中心点的纵坐标；以及钢丝绳的标记框的中心点的纵坐标；

进一步地，还包括提示模块，用于提示坐下一趟车。

进一步地，还包括指示控制模块，如果确定上车点的当前的图像帧中有吊椅栏并且没有人，并且接下来的多个图像帧中没有吊椅栏，则确定是空车发出；向上车指示灯发出电信号，以使所述指示灯处于允许上车的状态。

第三方面，本发明实施例还提供一种监控设备，包括：至少一个处理器和至少一个存储器；

所述存储器用于存储一个或多个程序指令；

所述处理器，用于运行一个或多个程序指令，用以执行上述任一项所述的方法。

第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被执行上述任一项所述的方法。

本发明实施例提供的技术方案至少具有如下优点：确定所述图像帧中上车的动作以及相关的时间信息；根据动作相关的时间信息确定上车是否违规，提高了监控的效果，降低了人力成本。

附图说明

图1为本发明实施例提供的一种猴车的吊椅示意图；

图2为本发明实施例提供的监控方法流程图；

图3为本发明实施例提供的上车完成时刻的标记框的分布示意图；

图4为本发明实施例提供的完整的监控方法流程图；

图5为本发明实施例提供的监控装置结构示意图；

图6为本发明实施例提供的监控设备结构示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的***、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

在矿业领域中，工人上下井时经常使用猴车来实现，节省了工人的体力，缩短上下班时所消耗的时间。在矿井中设置了往返运动的钢丝绳，猴车掉在钢丝绳之上，工人骑在猴车上，参见附图1所示的吊椅的结构示意图，包括挂钩101，用来挂在钢丝绳上；座椅102；人坐在上面；吊椅杆103。

在现有技术中，工人需要先把吊椅从仓库中取出来，然后走到固定的上车点，将进行挂猴车的动作，该动作是把吊椅杆固定到钢丝绳上面；然后上车，坐在吊椅上。并且操作规范要求，上车的动作过程中，摆动幅度不能够过大，否在带来危险。上车的时间也有要求，上一辆车走后，为了保持一定的距离，避免扎堆上车，需要等待预定时间之后才能上车；并且上车的时间不能够太长，因为上车时，人手持吊椅上挂到运动的钢丝绳，如果时间过长，会跌落上车台，造成危险。现有技术中，都是采用专业的监控人员来监控工人在上车点进行上车，以保证工人的安全，如果有违规的动作，则及时报警，停止钢丝绳运行，避免产生更大的危险。但是监督人员存在长时间离岗、脱岗现象，监督存在不客观、不及时、效果差、成本高的缺点。

基于此，本申请提出了一种监控的方法，参见附图2所示的一种监控方法流程，该方法包括：

步骤S201，获取上车点的当前的图像帧；

采用摄像机在固定的上车点附近，采集上车点的图像信息；上猴车必须在规定的上车点进行；包括挂猴车动作和上猴车动作；工人手持吊椅，将吊椅吊在钢丝上，固定后；再上去坐在吊椅上，坐稳后，上车完成。

步骤S202，确定所述图像帧中的上车动作相关的时间信息；

其中，采用卷积神经网络来实现从图像中识别出上车的动作，卷积神经网络包括输入层、卷积层、池化层、全连接层和输出层。其中，输入层用于输入图像，卷积层用于将图像转化为特征图，池化层用于对特征图进行池化处理，以减少特征图中的特征数量，全连接层用于将经过卷积层和池化层处理后的特征图映射为一维特征向量，输出层用于根据全连接层输出的一维特征向量，输出第一概率值。卷积神经网络的输出层可以由分类器实现，分类器可以是Softmax分类器，用于实现二分类任务。关于二分类任务，包括比如：图片中的物体是不是猴车；图片是否有人；图片中是否有钢丝绳。都可以利用卷积神经网络进行实现。在采用样本对神经网络进行训练的时候，样本的数量越多，神经网络识别的准确率就越高。并且还可以识别出人手持吊椅挂在钢丝绳的动作。首先，先从图像中识别出上车的动作，然后再确定出上车动作的相关的时间信息。

步骤S203，根据所述上车动作的时间信息确定上车的是否违规，若违规则输出报警指令。

值得强调的是，本申请中的车辆包括猴车，也可以是其他类型的车辆，本申请不做具体的限制，只要是需要用对目标对象进行监控的场景中，都可以应用本申请上述的方法来进行监控。

上述方法，是通过图像，智能地完成了上车是否违规的判断，提高了监督的效果，降低了人力成本，提高了采矿施工中的监控的智能化程度。

在判断上车是否违规中，主要有两方面，一方面是上车的消耗时间不能够太长，因为人手持吊椅站在上车台上如果很长时间不能够完成挂车的动作，可能会产生危险。另一方面是上一辆吊椅发出之后，当前的吊椅不能够马上出发，而是间隔一定的时间，为了避免扎堆。

下面分两种实施方式分别介绍，对于第一方面，所述动作相关的时间信息包括：上车的起始时间点和上车的完成时间点；根据所述时间信息确定是否违规时，计算所述完成时间点减去所述起始时间点得到上车所消耗的时间；如果所述上车所消耗的时间大于预定的第二阈值，则确定所述上车的动作违规。

其中，对于确定所述上车的起始时间点，采取以下的步骤：

从所述图像帧中确定挂吊椅杆的动作；

其中，当人挂吊椅杆时，具有特定的动作姿态，两只手扶着吊椅的吊椅杆上挂的动作；采用预先经过训练的卷积神经网络来识别出挂吊椅杆的动作；

获取所述吊椅杆的标记框的实时的宽度和高度值；

上述的实时的宽高比值，是由于人坐上吊椅之后，产生晃动，所以标记框的宽高比值也会实时变化。

如果所述差值的绝对值达到了预定的第一阈值；

人上车之后的瞬间，原来是平衡位置的吊椅必然会发生倾斜，为了确定出一个具体的上车的时间点，本申请采用了最大倾斜的时间点作为上车的时间点，倾斜度最大时，标记框的宽高比与预定的平衡位置时的宽高比标准值的差值也达到最大，当计算出的差值达到预定的阈值时，则记录下该时间点，作为上车开始的时间点。

对于如何确定出上车的完成时间点，方法包括：

从所述当前的图像帧中确定乘坐吊椅的动作；

参见附图3所示的上车完成时刻的标记框的分布示意图；其中，31为人的标记框；32为吊椅杆的标记框；33为钢丝绳的标记框；为了简化表示，人物没有绘出；当最终上车完成时，人坐在吊椅上，吊椅垂直于钢丝绳，乘坐人员双手握住吊椅杆，双脚置于脚踏杆上。

根据目标追踪算法，依次识别多个图像帧，当识别到人物从手持吊车杆上车的动作开始，人物标记框由高变矮；并且采用以下方式确定上车结束的时间点：

所述第二阈值为整个吊椅的长度的一半。

下面介绍前后相邻的车不能够距离太近为原则来判断是否违规，该方法中需要存储上一辆车的上车完成时间；计算出当前车辆的上车完成时间；采取以下步骤：

确定当前图像帧中的上车的起始时间点；

计算所述起始时间点与预先存储的上一辆猴车的上车完成时间点的时间差；

如果所述时间差小于预定的第三阈值，则确定所述上车的动作违规。可以发出提醒，提示该上车人员不要再上车。

在一种实施方式中，方法还包括：如果确定当前的图像帧中有吊椅栏并且没有人，接下来的多个图像帧中没有吊椅栏，则确定是空车发出；向上车指示灯发出电信号，以使所述指示灯处于允许上车的状态。

其中，上车指示灯有红灯和绿灯两种状态；允许上车的状态是绿灯状态；不允许上车的状态是红灯状态；指示灯接收到控制电信号时，可以实现红绿灯状态的切换。

正常的情况下，上一个人坐车出发后，指示灯为红灯状态持续一段时间之后变为绿灯；然后下一个人再上车；所以如果确定出上一辆车是空车发出，人没有成功的坐上车；则指示灯则要缩短等待的时间；甚至不需要等待；可以控制指示灯为绿灯状态，指示没有坐上上一辆车人马上挂另一个吊椅坐下一辆车。从而避免因为错过上车而造成的前后间隔过大，钢丝绳上的受力不平衡。

下面介绍一种整体的猴车监控方法，参加附图4所示的一种完整的猴车监控方法流程示意图；摄像头实时监测猴车乘车点区域，对监测到的视频利用***中已训练好的模型进行实时分析，每隔N帧对图像采集一帧，N为大于一的正整数。将每个摄像头拍摄到每张图片进行识别，识别步骤如下：

步骤S401，开始时利用目标检测算法识别图片中的是否有工作人员挂猴车的动作，如果有，则执行步骤S402，如果没有，则指示灯变为绿色；

步骤S402，利用目标检测算法识别图片中的吊椅杆；以及判断吊椅杆是否倾斜；可以根据吊椅杆标记框的长宽比例，判断该吊椅杆是否发生倾斜，如果是，则执行步骤S403，否则指示灯为绿色；

步骤S403，记录时间t1；

步骤S404，判断吊椅杆的标记框与人的标记框的中心点的纵坐标的差值等于预先设定的第四阈值或者落在阈值范围内；

其中，第四阈值是吊椅的长度的一半；值得注意的是，为了提高准确性，上述步骤之前，还可以进行以下步骤：通过多个图像帧来分析判断人的标记框的中心点的纵坐标经历了一个从高变低的过程，这个过程能够表明人是在落座的过程。还可以设置一个阈值范围，比如以预定的第四阈值为中心，左右浮动一个差值的裕度，形成一个阈值范围，如果吊椅杆的标记框与人的标记框的中心点的纵坐标的差值落在阈值范围内，则确定上车动作完成。

如果是，则执行步骤S405，否则，执行步骤S406；

步骤S405，记录时间t2；

步骤S407，计算时间t3＝t2-t1；

步骤S408，判断t3是否大于***报警阈值T1；

如果是，则返回步骤S401；如果否，则执行步骤S409；

步骤S409，进行下一次识别是否有挂猴车动作；

如果有，则执行步骤S410；如果否，则返回步骤S405；

步骤S410，***将报警信息传输给声光报警器，声光报警器发出报警信号，并且LED屏提示禁止坐猴车；

步骤S406，记录时间t4；

步骤S411，判断下一帧中吊椅杆的标记框与人的标记框的中心点的纵坐标的差值等于预先设定的第四阈值；

如果是，则执行步骤S405；如果否，则执行步骤S412；

步骤S412，记录时间t5；

步骤S414，计算时间t6＝t5-t4；

步骤S414，判断t6是否大于***报警阈值T2；如果是，则说明在规定时间内未坐上猴车，则执行步骤S415，如果否，则返回步骤S411；

步骤S415，记录时间t7；

步骤S416，报警并提示；

其中，***将报警信息传输给声光报警器，声光报警器发出报警信号，并且LED屏提示坐下一辆猴车；

步骤S417，记录时间t8；

步骤S418，计算时间t9＝t8-t7；

步骤S419，判断t9是否大于***报警阈值T3；如果是，说明无人乘坐的猴车已离开一定时间，可以继续判断是否有挂猴车动作，则返回步骤S401；

如果否，则执行步骤S420；

步骤S420，判断下一帧是否有挂猴车动作；如果是则执行步骤S421；如果否，则返回步骤S417；

步骤S421，报警并提示；声光报警器发出报警信号，并且LED屏提示禁止坐猴车。

第二方面，本申请还提出了一种监测装置，参见附图5所示的监测装置结构示意图，该装置包括：

获取模块51，用于获取上车点的当前的图像帧；

确定模块52，用于确定所述图像帧中的上车动作相关的时间信息；

判断模块53，用于根据所述上车动作的时间信息判断上车是否违规，若违规则输出报警指令。

进一步地，所述判断模块53还用于，计算所述完成时间点减去所述起始时间点得到上车所消耗的时间；如果所述上车所消耗的时间大于预定的第二阈值，则确定所述上车的动作违规。

进一步地，判断模块53还用于，确定当前图像帧中的上车的起始时间点；

进一步地，判断模块53还用于，获取吊椅杆的标记框的实时的宽度和高度值；

如果所述差值的绝对值达到了预定的第一阈值；

进一步地，判断模块53还用于，

从所述当前的图像帧中确定乘坐吊椅的动作；

进一步地，还包括提示模块，用于提示坐下一趟车。

进一步地，还包括指示控制模块，用于如果确定上车点的当前的图像帧中有吊椅栏并且没有人，并且接下来的多个图像帧中没有吊椅栏，则确定是空车发出；向上车指示灯发出电信号，以使所述指示灯处于允许上车的状态。

根据本发明实施例的第三方面，本申请还提出了一种矿车队列的监测设备，参见附图6所示的矿车队列的监测设备结构示意图，包括：至少一个处理器61和至少一个存储器62；所述存储器61用于存储一个或多个程序指令；

所述处理器62，用于运行一个或多个程序指令，用以执行上述任一项所述的方法。

根据本发明实施例的第四方面，一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被执行如上述任一项所述的方法。

在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific工ntegrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。

存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。

易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。

本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims

1.一种监控方法，其特征在于，包括：

获取上车点的当前的图像帧；确定所述图像帧中的上车动作相关的时间信息；

根据所述上车动作相关的时间信息判断上车是否违规，若违规则输出报警指令；

上车动作相关的时间信息包括上车的起始时间点；

确定所述上车的起始时间点，包括：

从所述当前的图像帧中确定挂吊椅杆的动作；

获取所述吊椅杆的标记框的实时的宽度和高度值；

如果所述差值的绝对值达到了预定的第一阈值，则记录达到所述预定的第一阈值的时间点为所述上车的起始时间点。

2.如权利要求1所述的方法，其特征在于，所述上车动作相关的时间信息还包括：

上车的完成时间点；

根据所述上车动作相关的时间信息确定是否违规，包括：

3.如权利要求1所述的方法，其特征在于，

根据所述上车动作相关的时间信息判断是否违规，包括：

确定当前图像帧中的上车的起始时间点；

4.如权利要求2所述的方法，其特征在于，确定所述上车的完成时间点，包括：

从所述当前的图像帧中确定乘坐吊椅的动作；

5.如权利要求1所述的方法，其特征在于，根据所述动作相关的时间信息确定所述上车的动作是违规后，包括：提示坐下一趟车。

6.如权利要求2所述的方法，其特征在于，还包括：如果确定上车点的当前的图像帧中有吊椅栏并且没有人，并且接下来的多个图像帧中没有吊椅栏，则确定是空车发出；向上车指示灯发出电信号，以使所述指示灯处于允许上车的状态。

7.一种监控装置，其特征在于，包括：

获取模块，用于获取上车点的当前的图像帧；

确定模块，用于确定所述图像帧中上车动作相关的时间信息；

上车动作相关的时间信息包括上车的起始时间点；

确定所述上车的起始时间点，包括：

从所述当前的图像帧中确定挂吊椅杆的动作；

获取所述吊椅杆的标记框的实时的宽度和高度值；

如果所述差值的绝对值达到了预定的第一阈值，则记录达到所述预定的第一阈值的时间点为所述上车的起始时间点；

判断模块，用于根据所述上车动作相关的时间信息判断上车是否违规。

8.一种监控设备，其特征在于，包括：至少一个处理器和至少一个存储器；

所述存储器用于存储一个或多个程序指令；

所述处理器，用于运行一个或多个程序指令，用以执行如权利要求1-6任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被执行如权利要求1-6任一项所述的方法。