CN112261380B - 一种电梯的控制方法和装置 - Google Patents

一种电梯的控制方法和装置 Download PDF

Info

Publication number
CN112261380B
CN112261380B CN202011154786.4A CN202011154786A CN112261380B CN 112261380 B CN112261380 B CN 112261380B CN 202011154786 A CN202011154786 A CN 202011154786A CN 112261380 B CN112261380 B CN 112261380B
Authority
CN
China
Prior art keywords
preset
video
detection result
elevator
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011154786.4A
Other languages
English (en)
Other versions
CN112261380A (zh
Inventor
任亦立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202011154786.4A priority Critical patent/CN112261380B/zh
Publication of CN112261380A publication Critical patent/CN112261380A/zh
Application granted granted Critical
Publication of CN112261380B publication Critical patent/CN112261380B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B50/00Energy efficient technologies in elevators, escalators and moving walkways, e.g. energy saving or recuperation technologies

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Indicating And Signalling Devices For Elevators (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种电梯的控制方法和装置,方法包括:当电梯处于开门状态时,实时获取电梯内摄像机拍摄的当前的监控视频;基于预设物品的整体图像,对当前的监控视频进行检测,得到当前的监控视频中是否存在预设物品的第一整体检测结果;如果第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取基于预设物品的多个局部图像,对当前的监控视频进行检测,得到的当前的监控视频中是否存在预设物品的第一局部检测结果;如果第一局部检测结果为当前的监控视频中存在预设物品,向电梯发送第一开门控制信号,以使电梯保持开门状态,进而,能有效地阻止预设物品乘坐电梯。

Description

一种电梯的控制方法和装置
技术领域
本申请涉及视频监控技术领域,特别是涉及一种电梯的控制方法和装置。
背景技术
为了方便用户出行,楼房通常设有电梯。用户可以通过电梯快速到达较高的楼层,也可以通过电梯将物品运送至较高的楼层。
然而,在一些场景中,可能会限制一些物品乘坐电梯。例如,办公区的楼房会禁止宠物乘坐电梯,进而,防止宠物进入办公区。另外,居民区的楼房会禁止电瓶车乘坐电梯,进而,防止居民将电瓶车停在较高楼层的消防通道,或者,在较高楼层的室内对电瓶车进行充电,以避免安全隐患。
如何对电梯进行控制,以阻止被限制物品乘坐电梯,是需要解决的问题。
发明内容
本申请实施例的目的在于提供一种电梯的控制方法和装置,以有效地阻止预设物品乘坐电梯。具体技术方案如下:
第一方面,为了达到上述目的,本申请实施例公开了一种电梯的控制方法,所述方法包括:
当电梯处于开门状态时,实时获取电梯内摄像机拍摄的当前的监控视频;
基于预设物品的整体图像,对当前的监控视频进行检测,得到当前的监控视频中是否存在预设物品的第一整体检测结果;
如果所述第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取基于预设物品的多个局部图像,对当前的监控视频进行检测,得到的当前的监控视频中是否存在预设物品的第一局部检测结果;
如果所述第一局部检测结果为当前的监控视频中存在预设物品,向所述电梯发送第一开门控制信号,以使所述电梯保持开门状态。
可选的,所述方法还包括:
如果所述第一整体检测结果为当前的监控视频中存在预设物品,向所述电梯发送第二开门控制信号,以使所述电梯保持开门状态;
如果所述第一局部检测结果为当前的监控视频中不存在预设物品,停止向所述电梯发送所述第二开门控制信号。
可选的,所述基于预设物品的整体图像,对当前的监控视频进行检测,得到当前的监控视频中是否存在预设物品的第一整体检测结果,包括:
基于预设物品的整体图像,对当前时刻之前第二预设时长内的各个第一视频帧进行物品整体检测,得到所述各个第一视频帧中存在整个预设物品的概率;
确定所述各个第一视频帧中存在整个预设物品的概率大于第一概率的视频帧,作为第二视频帧;
如果所述第二视频帧的数目与所述各个第一视频帧的数目的比值大于第一阈值,确定第一整体检测结果为当前的监控视频中存在预设物品;
如果所述第二视频帧的数目与所述各个第一视频帧的数目的比值不大于第一阈值,确定第一整体检测结果为当前的监控视频中不存在预设物品。
可选的,所述基于预设物品的整体图像,对当前时刻之前第二预设时长内的各个第一视频帧进行物品整体检测,得到所述各个第一视频帧中存在整个预设物品的概率,包括:
将所述当前时刻之前第二预设时长内的各个第一视频帧分别输入预先训练好的第一神经网络模型,得到各个第一视频帧中存在整个预设物品的概率;
其中,所述第一神经网络模型,是基于多个第一正样本视频帧和多个第一负样本视频帧进行训练获得的;所述第一正样本视频帧为包含预设物品的整体图像的视频帧,所述第一负样本视频帧为不包含预设物品的整体图像的视频帧。
可选的,所述如果所述第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取基于预设物品的多个局部图像,对当前的监控视频进行检测,得到的当前的监控视频中是否存在预设物品的第一局部检测结果,包括:
如果所述第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取基于预设物品的多个局部图像,对当前时刻之前第三预设时长内的各个第三视频帧进行物品局部检测,得到的所述各个第三视频帧中存在预设物品的局部的概率;
针对预设物品的每一局部,确定所述各个第三视频帧中存在该局部的概率大于第二概率的第四视频帧;
如果存在对应的第四视频帧的数目与所述各个第三视频帧的数目的比值大于第二阈值的局部,确定第一局部检测结果为当前的监控视频中存在预设物品;
如果不存在对应的第四视频帧的数目与所述各个第三视频帧的数目的比值大于第二阈值的局部,确定第一局部检测结果为当前的监控视频中不存在预设物品。
可选的,所述如果所述第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取基于预设物品的多个局部图像,对当前时刻之前第三预设时长内的各个第三视频帧进行物品局部检测,得到的所述各个第三视频帧中存在预设物品的局部的概率,包括:
如果所述第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取将所述当前时刻之前第三预设时长内的各个第三视频帧分别输入预先训练好的第二神经网络模型,得到的各个第三视频帧中存在预设物品的局部的概率;
其中,所述第二神经网络模型,是基于多个第二正样本视频帧和多个第二负样本视频帧进行训练获得的;所述第二正样本视频帧为包含预设物品的局部图像的视频帧,所述第二负样本视频帧为不包含预设物品的局部图像的视频帧。
可选的,在向所述电梯发送第一开门控制信号之后,所述方法还包括:
当基于对当前的监控视频进行检测得到的第二整体检测结果和第二局部检测结果,均为当前的监控视频中不存在预设物品时,停止向所述电梯发送所述第一开门控制信号。
可选的,所述方法还包括:
如果所述第一局部检测结果为当前的监控视频中存在预设物品,播放禁止预设物品入电梯的提醒语音。
可选的,所述方法还包括:
如果所述第一局部检测结果为当前的监控视频中存在预设物品,向预设终端发送第一提醒消息,以提醒用户预设物品进入电梯;
当接收到所述预设终端发送的解除控制消息时,停止向所述电梯发送所述第一开门控制信号。
可选的,在基于预设物品的整体图像,对当前的监控视频进行检测,得到当前的监控视频中是否存在预设物品的第一整体检测结果之前,所述方法还包括:
基于当前的监控视频的像素点的像素值,确定所述摄像机是否被遮挡;
如果确定被遮挡,向所述电梯发送第三开门控制信号,以使所述电梯保持开门状态;
当达到第四预设时长时,停止向所述电梯发送所述第三开门控制信号,并在检测到所述摄像机被遮挡的情况下,向预设终端发送第二提醒消息,以提醒用户所述摄像机被遮挡;
如果确定未被遮挡,执行所述基于预设物品的整体图像,对当前的监控视频进行检测,得到当前的监控视频中是否存在预设物品的第一整体检测结果的步骤。
第二方面,为了达到上述目的,本申请实施例公开了一种电梯的控制装置,所述装置包括:
监控视频获取模块,用于当电梯处于开门状态时,实时获取电梯内摄像机拍摄的当前的监控视频;
第一整体检测结果获取模块,用于基于预设物品的整体图像,对当前的监控视频进行检测,得到当前的监控视频中是否存在预设物品的第一整体检测结果;
第一局部检测结果获取模块,用于如果所述第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取基于预设物品的多个局部图像,对当前的监控视频进行检测,得到的当前的监控视频中是否存在预设物品的第一局部检测结果;
第一开门控制信号发送模块,用于如果所述第一局部检测结果为当前的监控视频中存在预设物品,向所述电梯发送第一开门控制信号,以使所述电梯保持开门状态。
可选的,所述装置还包括:
第二开门控制信号发送模块,用于如果所述第一整体检测结果为当前的监控视频中存在预设物品,向所述电梯发送第二开门控制信号,以使所述电梯保持开门状态;
第一处理模块,用于如果所述第一局部检测结果为当前的监控视频中不存在预设物品,停止向所述电梯发送所述第二开门控制信号。
可选的,所述第一整体检测结果获取模块,包括:
第一概率获取子模块,用于基于预设物品的整体图像,对当前时刻之前第二预设时长内的各个第一视频帧进行物品整体检测,得到所述各个第一视频帧中存在整个预设物品的概率;
第二视频帧确定子模块,用于确定所述各个第一视频帧中存在整个预设物品的概率大于第一概率的视频帧,作为第二视频帧;
第一处理子模块,用于如果所述第二视频帧的数目与所述各个第一视频帧的数目的比值大于第一阈值,确定第一整体检测结果为当前的监控视频中存在预设物品;
第二处理子模块,用于如果所述第二视频帧的数目与所述各个第一视频帧的数目的比值不大于第一阈值,确定第一整体检测结果为当前的监控视频中不存在预设物品。
可选的,所述第一概率获取子模块,具体用于将所述当前时刻之前第二预设时长内的各个第一视频帧分别输入预先训练好的第一神经网络模型,得到各个第一视频帧中存在整个预设物品的概率;
其中,所述第一神经网络模型,是基于多个第一正样本视频帧和多个第一负样本视频帧进行训练获得的;所述第一正样本视频帧为包含预设物品的整体图像的视频帧,所述第一负样本视频帧为不包含预设物品的整体图像的视频帧。
可选的,所述第一局部检测结果获取模块,包括:
第二概率获取子模块,用于如果所述第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取基于预设物品的多个局部图像,对当前时刻之前第三预设时长内的各个第三视频帧进行物品局部检测,得到的所述各个第三视频帧中存在预设物品的局部的概率;
第四视频帧确定子模块,用于针对预设物品的每一局部,确定所述各个第三视频帧中存在该局部的概率大于第二概率的第四视频帧;
第三处理子模块,用于如果存在对应的第四视频帧的数目与所述各个第三视频帧的数目的比值大于第二阈值的局部,确定第一局部检测结果为当前的监控视频中存在预设物品;
第四处理子模块,用于如果不存在对应的第四视频帧的数目与所述各个第三视频帧的数目的比值大于第二阈值的局部,确定第一局部检测结果为当前的监控视频中不存在预设物品。
可选的,所述第二概率获取子模块,具体用于如果所述第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取将所述当前时刻之前第三预设时长内的各个第三视频帧分别输入预先训练好的第二神经网络模型,得到的各个第三视频帧中存在预设物品的局部的概率;
其中,所述第二神经网络模型,是基于多个第二正样本视频帧和多个第二负样本视频帧进行训练获得的;所述第二正样本视频帧为包含预设物品的局部图像的视频帧,所述第二负样本视频帧为不包含预设物品的局部图像的视频帧。
可选的,所述装置还包括:
第二处理模块,用于在向所述电梯发送第一开门控制信号之后,当基于对当前的监控视频进行检测得到的第二整体检测结果和第二局部检测结果,均为当前的监控视频中不存在预设物品时,停止向所述电梯发送所述第一开门控制信号。
可选的,所述装置还包括:
播放模块,用于如果所述第一局部检测结果为当前的监控视频中存在预设物品,播放禁止预设物品入电梯的提醒语音。
可选的,所述装置还包括:
第一提醒消息发送模块,用于如果所述第一局部检测结果为当前的监控视频中存在预设物品,向预设终端发送第一提醒消息,以提醒用户预设物品进入电梯;
第三处理模块,用于当接收到所述预设终端发送的解除控制消息时,停止向所述电梯发送所述第一开门控制信号。
可选的,所述装置还包括:
遮挡检测模块,用于在基于预设物品的整体图像,对当前的监控视频进行检测,得到当前的监控视频中是否存在预设物品的第一整体检测结果之前,基于当前的监控视频的像素点的像素值,确定所述摄像机是否被遮挡;如果是,触发第三开门控制信号发送模块,如果否,触发所述第一整体检测结果获取模块;
所述第三开门控制信号发送模块,用于向所述电梯发送第三开门控制信号,以使所述电梯保持开门状态;
第四处理模块,用于当达到第四预设时长时,停止向所述电梯发送所述第三开门控制信号,并在检测到所述摄像机被遮挡的情况下,向预设终端发送第二提醒消息,以提醒用户所述摄像机被遮挡。
在本申请实施的另一方面,为了达到上述目的,本申请实施例还公开了一种电子设备,所述电子设备包括处理器、通信接口、存储器和通信总线,其中,所述处理器,所述通信接口,所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序时,实现如上述第一方面所述的电梯的控制方法。
在本申请实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,实现如上述第一方面所述的电梯的控制方法。
在本申请实施的又一方面,本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面所述的电梯的控制方法。
本申请实施例提供了一种电梯的控制方法,当电梯处于开门状态时,实时获取电梯内摄像机拍摄的当前的监控视频;基于预设物品的整体图像,对当前的监控视频进行检测,得到当前的监控视频中是否存在预设物品的第一整体检测结果;如果第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取基于预设物品的多个局部图像,对当前的监控视频进行检测,得到的当前的监控视频中是否存在预设物品的第一局部检测结果;如果第一局部检测结果为当前的监控视频中存在预设物品,向电梯发送第一开门控制信号,以使电梯保持开门状态。
基于上述处理,能够在检测到当前的监控视频中存在预设物品,即,检测到预设物品进入电梯时,控制电梯处于开门状态,也就是不运行,也就能有效地阻止预设物品乘坐电梯。
当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的电梯的控制方法的一种流程图;
图2为本申请实施例提供的电梯的控制方法的另一种流程图;
图3为本申请实施例提供的电梯的控制方法的另一种流程图;
图4为本申请实施例提供的电梯的控制方法的另一种流程图;
图5为本申请实施例提供的电梯的控制方法的另一种流程图;
图6为本申请实施例提供的电梯的控制方法的另一种流程图;
图7为本申请实施例提供的电梯的控制方法的另一种流程图;
图8为本申请实施例提供的电梯的控制***的一种结构图;
图9为本申请实施例提供的电梯的控制装置的一种结构图;
图10为本申请实施例提供的电子设备的一种结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了有效地阻止预设物品乘坐电梯,本申请实施例提供了一种电梯的控制方法,参见图1,图1为本申请实施例提供的电梯的控制方法的一种流程图,该方法可以包括以下步骤:
S101:当电梯处于开门状态时,实时获取电梯内摄像机拍摄的当前的监控视频;
S102:基于预设物品的整体图像,对当前的监控视频进行检测,得到当前的监控视频中是否存在预设物品的第一整体检测结果。
S103:如果第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取基于预设物品的多个局部图像,对当前的监控视频进行检测,得到的当前的监控视频中是否存在预设物品的第一局部检测结果。
S104:如果第一局部检测结果为当前的监控视频中存在预设物品,向电梯发送第一开门控制信号,以使电梯保持开门状态。
本申请实施例提供的电梯的控制方法,能够在检测到当前的监控视频中存在预设物品,即,检测到预设物品进入电梯时,控制电梯处于开门状态,也就是不运行,也就能有效地阻止预设物品乘坐电梯。
一种实现方式中,本申请实施例的方法可以应用于电梯中安装的摄像机,或者,也可以应用于能够与电梯中的摄像机进行数据通信的电子设备(例如,服务器),该电子设备可以从摄像机获取监控视频,并基于本申请实施例的方法进行处理。
其中,预设物品可以由电梯所在的场景需求确定,例如,针对办公区的楼房的电梯,预设物品可以为宠物;针对居民区的楼房的电梯,预设物品可以为电瓶车;针对专用货梯,预设物品可以是人。
在一个实施例中,可以对摄像机采集的每一视频帧进行检测,或者,也可以对摄像机采集的视频帧进行采样,基于采样得的采样视频帧进行检测,也就说,获取的监控视频可以包括上述采样视频帧。
第一预设时长可以由用户根据需要设置,例如,第一预设时长可以为2秒,或者,也可以为4秒,但并不限于此。
在一个实施例中,参见图2,该方法还可以包括以下步骤:
S105:如果第一整体检测结果为当前的监控视频中存在预设物品,向电梯发送第二开门控制信号,以使电梯保持开门状态。
S106:如果第一局部检测结果为当前的监控视频中不存在预设物品,停止向电梯发送第二开门控制信号。
在本申请实施例中,为了及时阻止预设物品乘坐电梯,如果第一整体检测结果为当前的监控视频中存在预设物品,可以直接向电梯发送第二开门控制信号,以控制电梯处于开门状态。
后续,如果第一局部检测结果为当前的监控视频中不存在预设物品,表明第一整体检测结果为误报,因此,可以停止向电梯发送第二开门控制信号,使电梯正常运行。
在一个实施例中,参见图3,步骤S102可以包括以下步骤:
S1021:基于预设物品的整体图像,对当前时刻之前第二预设时长内的各个第一视频帧进行物品整体检测,得到各个第一视频帧中存在整个预设物品的概率。
S1022:确定各个第一视频帧中存在整个预设物品的概率大于第一概率的视频帧,作为第二视频帧。
S1023:如果第二视频帧的数目与各个第一视频帧的数目的比值大于第一阈值,确定第一整体检测结果为当前的监控视频中存在预设物品。
S1024:如果第二视频帧的数目与各个第一视频帧的数目的比值不大于第一阈值,确定第一整体检测结果为当前的监控视频中不存在预设物品。
其中,第二预设时长、第一概率和第一阈值可以由技术人员根据经验进行设置,例如,第二预设时长可以为2秒,或者,也可以为3秒,但并不限于此。第一阈值可以为0.5,或者,也可以为0.6,但并不限于此。第一概率可以为50%,或者,也可以为60%,但并不限于此。
在本申请实施例中,可以确定当前时刻之前的第二预设时长内进行物品整体检测时,所检测的各个视频帧(即第一视频帧),另外,还可以确定所检测的各个第一视频帧中,存在整个预设物品的概率大于第一概率的视频帧(即第二视频帧)。
相应的,如果第二视频帧的数目与第一视频帧的数目的比值大于第一阈值,表明基于物品整体检测确定当前的监控视频中存在预设物品,否则,确定当前的监控视频中不存在预设物品。
在一个实施例中,针对步骤S1021,可以计算第一视频帧与包含预设物品的整体图像的视频帧的相似度,如果该相似度大于第一相似度阈值,则可以确定第一视频帧中存在整个预设物品,否则,确定第一视频帧中不存在整个预设物品。
在一个实施例中,S1021可以包括以下步骤:将当前时刻之前第二预设时长内的各个第一视频帧分别输入预先训练好的第一神经网络模型,得到各个第一视频帧中存在整个预设物品的概率。
其中,第一神经网络模型,是基于多个第一正样本视频帧和多个第一负样本视频帧进行训练获得的;第一正样本视频帧为包含预设物品的整体图像的视频帧,第一负样本视频帧为不包含预设物品的整体图像的视频帧。
在本申请实施例中,第一神经网络模型可以为卷积神经网络模型。具体的,第一神经网络模型可以包括卷积层和分类层。例如,可以设置第一正样本视频帧的第一标签为1,表示包含预设物品的整体图像;设置第一负样本视频帧的第一标签为1,表示不包含预设物品的整体图像。
在对第一神经网络模型进行训练时,可以将第一正样本视频帧和第一负样本视频帧作为输入参数,将对应的第一标签作为输出参数,进而,可以得到第一神经网络模型的实际输出,并计算实际输出与第一标签之间的损失函数,并根据损失函数对第一神经网络模型的模型参数进行调整,直至第一神经网络模型达到收敛条件。
进而,可以将获取的第一视频帧输入至第一神经网络模型,可以得到第一视频帧中存在整个预设物品的概率。如果该概率大于第一概率,可以确定该第一视频帧中存在整个预设物品,否则,确定该第一视频帧中不存在整个预设物品。
在一个实施例中,参见图3,步骤S103可以包括以下步骤:
S1031:如果第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取基于预设物品的多个局部图像,对当前时刻之前第三预设时长内的各个第三视频帧进行物品局部检测,得到的各个第三视频帧中存在预设物品的局部的概率。
S1032:针对预设物品的每一局部,确定各个第三视频帧中存在该局部的概率大于第二概率的第四视频帧。
S1033:如果存在对应的第四视频帧的数目与各个第三视频帧的数目的比值大于第二阈值的局部,确定第一局部检测结果为当前的监控视频中存在预设物品。
S1034:如果不存在对应的第四视频帧的数目与各个第三视频帧的数目的比值大于第二阈值的局部,确定第一局部检测结果为当前的监控视频中不存在预设物品。
其中,第三预设时长、第二概率和第二阈值可以由技术人员根据经验进行设置,例如,第三预设时长可以为2秒,或者,也可以为3秒,但并不限于此。第二阈值可以为0.3,或者,也可以为0.4,但并不限于此。第二概率可以为30%,或者,也可以为40%,但并不限于此。
例如,预设物品为电瓶车,则预设物品的局部可以包括车头、车尾、车轮和车灯等。预设物品为宠物狗,则预设物品的局部可以包括狗的头部、狗的尾巴和狗的四肢等。预设物品为人,则预设物品的局部可以包括人的头部和人的四肢等。
在一个实施例中,第三预设时长可以为上述第一预设时长和第二预设时长的和值,或者,如果上述第一预设时长不为0,则第三预设时长也可以与上述第一预设时长相同。
在本申请实施例中,当达到第一预设时长时,可以确定当前时刻之前的第三预设时长内进行物品局部检测时,所检测的各个视频帧(即第三视频帧)。
另外,针对每一局部,还可以确定第三预设时长内所检测的各个第三视频帧中,存在该局部的视频帧(即存在该局部的概率大于第二概率的视频帧,也就是本申请中的第四视频帧)。
相应的,如果存在一局部,且该局部对应的第四视频帧的数目与第三视频帧的数目的比值大于第二阈值,则可以确定第一局部检测结果为当前的监控视频中存在预设物品,否则,确定第一局部检测结果为当前的监控视频中不存在预设物品。
也就是说,只要基于物品局部检测确定出第三预设时长内所检测的视频帧中,包含任意一个局部视频帧所占的比例大于第二阈值,就可以确定当前的监控视频中存在预设物品。
在一个实施例中,针对步骤S102,可以采用上述步骤S1021-S1024,同时,针对步骤S103,可以采用步骤S1031-S1034进行处理。或者,针对步骤S102,可以采用上述步骤S1021-S1024,而对于步骤S103并不进行限定。或者,针对步骤S103,可以采用上述步骤S1031-S1034,而对于步骤S102并不进行限定。
在一个实施例中,可以基于实时采集到的视频帧,同时进行物品整体检测和物品局部检测,得到视频帧中存在整个预设物品的概率,以及视频帧中存在预设物品的局部的概率,进而,可以基于得到的概率,确定当前时刻之前第二预设时长内的第一视频帧对应的第一整体检测结果,并在经过第一预设时长后,获取当前时刻之前的第三预设时长内的第三视频帧对应的第一局部检测结果。
或者,也可以基于实时采集到的视频帧进行物品整体检测,得到视频帧中存在整个预设物品的概率,进而,可以基于得到的概率,确定当前时刻之前第二预设时长内的第一视频帧对应的第一整体检测结果,并在经过第一预设时长后,基于当前时刻之前第三预设时长内的第三视频帧进行物品局部检测,得到第一局部检测结果。
在一个实施例中,针对步骤S1031,可以计算第三视频帧与包含预设物品的局部图像的视频帧的相似度,如果该相似度大于第二相似度阈值,则可以确定第三视频帧中存在预设物品的局部,否则,确定第三视频帧中不存在预设物品的局部。
在一个实施例中,步骤S1031可以包括以下步骤:如果第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取将当前时刻之前第三预设时长内的各个第三视频帧分别输入预先训练好的第二神经网络模型,得到的各个第三视频帧中存在预设物品的局部的概率。
其中,第二神经网络模型,是基于多个第二正样本视频帧和多个第二负样本视频帧进行训练获得的;第二正样本视频帧为包含预设物品的局部图像的视频帧,第二负样本视频帧为不包含预设物品的局部图像的视频帧。
在本申请实施例中,第二神经网络模型可以为卷积神经网络模型。具体的,第二神经网络模型可以包括卷积层和分类层。
例如,针对预设物品的一个局部,第二正样本视频帧包含该局部,则该第二正样本视频帧与该局部对应的第二标签可以为1;如果第二负样本视频帧不包含该局部,则该第二负样本视频帧与该局部对应的第二标签可以为0。
在对第二神经网络模型进行训练时,可以将第二正样本视频帧和第二负样本视频帧作为输入参数,将对应的第二标签作为输出参数,进而,可以得到第二神经网络模型的实际输出,并计算实际输出与第二标签之间的损失函数,并根据损失函数对第二神经网络模型的模型参数进行调整,直至第二神经网络模型达到收敛条件。
进而,可以将获取的第三视频帧输入至第二神经网络模型,可以得到第三视频帧中存在预设物品的局部的概率。针对一局部,如果该局部对应的概率大于第二概率,可以确定该第三视频帧中存在该局部,否则,确定该第三视频帧中不存在该局部。
在一个实施例中,可以基于实时采集的视频帧,分别基于第一神经网络模型和第二神经网络模型进行物品整体检测和物品局部检测,也就是说,利用两个神经网络模型分别进行检测。
在一个实施例中,也可以利用同一神经网络模型(可以称为第三神经网络模型),同时进行物品整体检测和物品局部检测,即,第三神经网络模型的训练样本可以同时具有第一标签和第二标签。
进而,将获取的视频帧输入至训练好的第三神经网络模型,第三神经网络模型可以输出该视频帧中存在整个预设物品的概率,以及该视频帧中存在预设物品的局部的概率。
在一个实施例中,参见图4,在图1的基础上,在步骤S104之后,该方法还可以包括以下步骤:
S107:当基于对当前的监控视频进行检测得到的第二整体检测结果和第二局部检测结果,均为当前的监控视频中不存在预设物品时,停止向电梯发送第一开门控制信号。
在本申请实施例中,在向电梯发送第一开门控制信号后,预设物品可能会退出电梯。为了保证电梯的正常运行,在向电梯发送第一开门控制信号后,在后续对实时采集到的视频帧进行检测的过程中,如果进行物品整体检测得到的结果(即第二整体检测结果),以及进行物品局部检测得到的结果(即第二局部检测结果)均为当前的监控视频中不存在预设物品,表明预设物品已从电梯退出,此时,则可以停止向电梯发送第一开门控制信号,使得电梯处于正常运行状态。
在本申请实施例中,得到第二整体检测结果的方法,可以参考上述实施例中得到第一整体检测结果的方法;得到第二局部检测结果的方法,可以参考上述实施例中得到第一局部检测结果的方法。
在一个实施例中,参见图5,在图1的基础上,该方法还可以包括以下步骤:
S108:如果第一局部检测结果为当前的监控视频中存在预设物品,播放禁止预设物品入电梯的提醒语音。
在本申请实施例中,如果第一整体检测结果和第一局部检测结果均为当前的监控视频中存在预设物品,则可以播放禁止预设物品入电梯的提醒语音。
在一个实施例中,参见图6,在图1的基础上,该方法还可以包括以下步骤:
S109:如果第一局部检测结果为当前的监控视频中存在预设物品,向预设终端发送第一提醒消息,以提醒用户预设物品进入电梯。
S1010:当接收到预设终端发送的解除控制消息时,停止向电梯发送第一开门控制信号。
在本申请实施例中,如果第一整体检测结果和第一局部检测结果均为当前的监控视频中存在预设物品,则可以向预设终端发送第一提醒消息,该预设终端可以为负责管理电梯的人员登录的终端,例如,可以为楼房的物业人员登录的终端。
另外,如果进入电梯的是残疾人专用电瓶车等允许进入电梯的电瓶车,或者,进入电梯的预设物品为临时允许进入的,则在预设终端接收到第一提醒消息后,负责管理电梯的人员可以通过预设终端发送解除控制消息,相应的,当接收到解除控制消息时,则可以停止向电梯发送第一开门控制信号,使得电梯处于正常运行状态,保证用户的正常使用。
在一个实施例中,参见图7,在步骤S102之前,该方法还可以包括以下步骤:
S1011:基于当前的监控视频的像素点的像素值,确定摄像机是否被遮挡,如果是,执行S1012,如果否,执行S102。
S1012:向电梯发送第三开门控制信号,以使电梯保持开门状态。
S1013:当达到第四预设时长时,停止向电梯发送第三开门控制信号,并在检测到摄像机被遮挡的情况下,向预设终端发送第二提醒消息,以提醒用户摄像机被遮挡。
其中,第四预设时长可以由技术人员根据经验进行设置,例如,第四预设时长可以为4秒,或者,也可以为5秒,但并不限于此。
在本申请实施例中,还可以基于当前的监控视频的像素点的像素值,确定用户是否遮挡摄像机。例如,当检测到相邻两个视频帧的像素点的像素值之间的差值大于预设差值,和/或当检测到当前的视频帧的像素点的整体像素值小于第三阈值时,可以确定摄像机被遮挡,此时,可以向电梯发送用于控制电梯开门的第三开门控制信号,第三开门控制信号的持续时长为第四预设时长。
相应的,如果达到第四预设时长时,仍检测到摄像机被遮挡,则可以向预设终端发送第二提醒消息,以提醒用户摄像机被遮挡。
另外,也可以播放禁止遮挡摄像机的提醒语音。
另外,如果检测到摄像机未被遮挡,则可以基于预设物品的整体图像,对当前的监控视频进行检测,得到当前的监控视频中是否存在预设物品的第一整体检测结果,并进行后续处理。
在一个实施例中,本申请实施例提供的方法可以由电子设备执行,参见图8,图8为本申请实施例提供的电梯的控制***的结构图,该***可以包括该电子设备和电梯控制面板806,该电子设备可以包括视频采集模块801、报警输出单元802、语音播放模块803、人工控制模块804和遮挡检测模块805。
其中,报警输出单元802可以包括整体检测模块8021、报警信号预触发模块8022、局部检测模块8023、报警信号二次确认模块8024、报警信号解除模块8025。
具体的,视频采集模块801用于实时获取电梯内当前的监控视频。
整体检测模块8021可以对当前的监控视频进行检测,确定视频帧中存在整个预设物品的概率。
当报警信号预触发模块8022基于当前时刻之间2秒内,视频帧中存在整个预设物品的概率,确定整体检测结果为当前的监控视频中存在预设物品时,可以向电梯控制面板806发送第二开门控制信号,该第二开门控制信号可以持续5秒,并向报警信号二次确认模块8024发送预报警信号。
局部检测模块8023可以对当前的监控视频进行检测,确定视频帧中存在预设物品的局部的概率。
报警信号二次确认模块8024接收到预报警信号时,可以开始计时,当计时时长达到2秒时,可以获取当前时刻之前2秒内,视频帧中存在整个预设物品的概率,并确定局部检测结果是否为当前的监控视频中存在预设物品。如果是,可以向电梯控制面板806发送第一开门控制信号,向语音播放模块803发送播放信号,还可以向预设终端发送第一提醒消息。
当接收到播放信号时,语音播放模块803可以播放禁止预设物品入电梯的提醒语音。
后续,如果整体检测结果和局部检测结果,均为当前的监控视频中不存在预设物品,报警信号解除模块8025可以解除第一开门控制信号。
用户可以通过人工控制模块804向报警信号解除模块8025发送解除控制消息,相应的,报警信号解除模块8025也可以解除第一开门控制信号。
遮挡检测模块805可以基于当前的监控视频的像素点的像素值确定摄像机是否被遮挡,如果是,则可以向电梯控制面板806发送第三开门控制信号,当达到第四预设时长时,停止发送第三开门控制信号,且如果检测到摄像机仍被遮挡,向预设终端发送第二提醒消息,以提醒用户摄像机被遮挡。如果否,则可以触发整体检测模块8021。
基于相同的发明构思,本申请实施例还提供了一种电梯的控制装置,参见图9,图9为本申请实施例提供的电梯的控制装置的一种结构图,装置包括:
监控视频获取模块901,用于当电梯处于开门状态时,实时获取电梯内摄像机拍摄的当前的监控视频;
第一整体检测结果获取模块902,用于基于预设物品的整体图像,对当前的监控视频进行检测,得到当前的监控视频中是否存在预设物品的第一整体检测结果;
第一局部检测结果获取模块903,用于如果所述第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取基于预设物品的多个局部图像,对当前的监控视频进行检测,得到的当前的监控视频中是否存在预设物品的第一局部检测结果;
第一开门控制信号发送模块904,用于如果所述第一局部检测结果为当前的监控视频中存在预设物品,向所述电梯发送第一开门控制信号,以使所述电梯保持开门状态。
可选的,所述装置还包括:
第二开门控制信号发送模块,用于如果所述第一整体检测结果为当前的监控视频中存在预设物品,向所述电梯发送第二开门控制信号,以使所述电梯保持开门状态;
第一处理模块,用于如果所述第一局部检测结果为当前的监控视频中不存在预设物品,停止向所述电梯发送所述第二开门控制信号。
可选的,所述第一整体检测结果获取模块902,包括:
第一概率获取子模块,用于基于预设物品的整体图像,对当前时刻之前第二预设时长内的各个第一视频帧进行物品整体检测,得到所述各个第一视频帧中存在整个预设物品的概率;
第二视频帧确定子模块,用于确定所述各个第一视频帧中存在整个预设物品的概率大于第一概率的视频帧,作为第二视频帧;
第一处理子模块,用于如果所述第二视频帧的数目与所述各个第一视频帧的数目的比值大于第一阈值,确定第一整体检测结果为当前的监控视频中存在预设物品;
第二处理子模块,用于如果所述第二视频帧的数目与所述各个第一视频帧的数目的比值不大于第一阈值,确定第一整体检测结果为当前的监控视频中不存在预设物品。
可选的,所述第一概率获取子模块,具体用于将所述当前时刻之前第二预设时长内的各个第一视频帧分别输入预先训练好的第一神经网络模型,得到各个第一视频帧中存在整个预设物品的概率;
其中,所述第一神经网络模型,是基于多个第一正样本视频帧和多个第一负样本视频帧进行训练获得的;所述第一正样本视频帧为包含预设物品的整体图像的视频帧,所述第一负样本视频帧为不包含预设物品的整体图像的视频帧。
可选的,所述第一局部检测结果获取模块903,包括:
第二概率获取子模块,用于如果所述第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取基于预设物品的多个局部图像,对当前时刻之前第三预设时长内的各个第三视频帧进行物品局部检测,得到的所述各个第三视频帧中存在预设物品的局部的概率;
第四视频帧确定子模块,用于针对预设物品的每一局部,确定所述各个第三视频帧中存在该局部的概率大于第二概率的第四视频帧;
第三处理子模块,用于如果存在对应的第四视频帧的数目与所述各个第三视频帧的数目的比值大于第二阈值的局部,确定第一局部检测结果为当前的监控视频中存在预设物品;
第四处理子模块,用于如果不存在对应的第四视频帧的数目与所述各个第三视频帧的数目的比值大于第二阈值的局部,确定第一局部检测结果为当前的监控视频中不存在预设物品。
可选的,所述第二概率获取子模块,具体用于如果所述第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取将所述当前时刻之前第三预设时长内的各个第三视频帧分别输入预先训练好的第二神经网络模型,得到的各个第三视频帧中存在预设物品的局部的概率;
其中,所述第二神经网络模型,是基于多个第二正样本视频帧和多个第二负样本视频帧进行训练获得的;所述第二正样本视频帧为包含预设物品的局部图像的视频帧,所述第二负样本视频帧为不包含预设物品的局部图像的视频帧。
可选的,所述装置还包括:
第二处理模块,用于在向所述电梯发送第一开门控制信号之后,当基于对当前的监控视频进行检测得到的第二整体检测结果和第二局部检测结果,均为当前的监控视频中不存在预设物品时,停止向所述电梯发送所述第一开门控制信号。
可选的,所述装置还包括:
播放模块,用于如果所述第一局部检测结果为当前的监控视频中存在预设物品,播放禁止预设物品入电梯的提醒语音。
可选的,所述装置还包括:
第一提醒消息发送模块,用于如果所述第一局部检测结果为当前的监控视频中存在预设物品,向预设终端发送第一提醒消息,以提醒用户预设物品进入电梯;
第三处理模块,用于当接收到所述预设终端发送的解除控制消息时,停止向所述电梯发送所述第一开门控制信号。
可选的,所述装置还包括:
遮挡检测模块,用于在基于预设物品的整体图像,对当前的监控视频进行检测,得到当前的监控视频中是否存在预设物品的第一整体检测结果之前,基于当前的监控视频的像素点的像素值,确定所述摄像机是否被遮挡;如果是,触发第三开门控制信号发送模块,如果否,触发所述第一整体检测结果获取模块902;
所述第三开门控制信号发送模块,用于向所述电梯发送第三开门控制信号,以使所述电梯保持开门状态;
第四处理模块,用于当达到第四预设时长时,停止向所述电梯发送所述第三开门控制信号,并在检测到所述摄像机被遮挡的情况下,向预设终端发送第二提醒消息,以提醒用户所述摄像机被遮挡。
本申请实施例还提供了一种电子设备,如图10所示,包括处理器1001、通信接口1002、存储器1003和通信总线1004,其中,处理器1001,通信接口1002,存储器1003通过通信总线1004完成相互间的通信,
存储器1003,用于存放计算机程序;
处理器1001,用于执行存储器1003上所存放的程序时,实现如下步骤:
当电梯处于开门状态时,实时获取电梯内摄像机拍摄的当前的监控视频;
基于预设物品的整体图像,对当前的监控视频进行检测,得到当前的监控视频中是否存在预设物品的第一整体检测结果;
如果所述第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取基于预设物品的多个局部图像,对当前的监控视频进行检测,得到的当前的监控视频中是否存在预设物品的第一局部检测结果;
如果所述第一局部检测结果为当前的监控视频中存在预设物品,向所述电梯发送第一开门控制信号,以使所述电梯保持开门状态。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例提供的电子设备,能够在检测到当前的监控视频中存在预设物品,即,检测到预设物品进入电梯时,控制电梯处于开门状态,也就是不运行,也就能有效地阻止预设物品乘坐电梯。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行本申请实施例提供的电梯的控制方法。
具体的,上述电梯的控制方法,包括:
当电梯处于开门状态时,实时获取电梯内摄像机拍摄的当前的监控视频;
基于预设物品的整体图像,对当前的监控视频进行检测,得到当前的监控视频中是否存在预设物品的第一整体检测结果;
如果所述第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取基于预设物品的多个局部图像,对当前的监控视频进行检测,得到的当前的监控视频中是否存在预设物品的第一局部检测结果;
如果所述第一局部检测结果为当前的监控视频中存在预设物品,向所述电梯发送第一开门控制信号,以使所述电梯保持开门状态。
需要说明的是,上述电梯的控制方法的其他实现方式与前述方法实施例部分相同,这里不再赘述。
通过运行本申请实施例提供的计算机可读存储介质中存储的指令,能够在检测到当前的监控视频中存在预设物品,即,检测到预设物品进入电梯时,控制电梯处于开门状态,也就是不运行,也就能有效地阻止预设物品乘坐电梯。
本申请实施例还提供了另一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行本申请实施例提供的电梯的控制方法。
具体的,上述电梯的控制方法,包括:
当电梯处于开门状态时,实时获取电梯内摄像机拍摄的当前的监控视频;
基于预设物品的整体图像,对当前的监控视频进行检测,得到当前的监控视频中是否存在预设物品的第一整体检测结果;
如果所述第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取基于预设物品的多个局部图像,对当前的监控视频进行检测,得到的当前的监控视频中是否存在预设物品的第一局部检测结果;
如果所述第一局部检测结果为当前的监控视频中存在预设物品,向所述电梯发送第一开门控制信号,以使所述电梯保持开门状态。
需要说明的是,上述电梯的控制方法的其他实现方式与前述方法实施例部分相同,这里不再赘述。
通过运行本申请实施例提供的计算机程序产品,能够在检测到当前的监控视频中存在预设物品,即,检测到预设物品进入电梯时,控制电梯处于开门状态,也就是不运行,也就能有效地阻止预设物品乘坐电梯。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、计算机可读存储介质、计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。

Claims (18)

1.一种电梯的控制方法,其特征在于,所述方法包括:
当电梯处于开门状态时,实时获取电梯内摄像机拍摄的当前的监控视频;
基于预设物品的整体图像,对当前的监控视频进行检测,得到当前的监控视频中是否存在预设物品的第一整体检测结果;所述第一整体检测结果为对当前时刻之前第二预设时长内的各个第一视频帧进行物品整体检测得到的;
如果所述第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取基于预设物品的多个局部图像,对当前的监控视频进行检测,得到的当前的监控视频中是否存在预设物品的第一局部检测结果;
如果所述第一局部检测结果为当前的监控视频中存在预设物品,向所述电梯发送第一开门控制信号,以使所述电梯保持开门状态;
所述如果所述第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取基于预设物品的多个局部图像,对当前的监控视频进行检测,得到的当前的监控视频中是否存在预设物品的第一局部检测结果,包括:
如果所述第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取基于预设物品的多个局部图像,对当前时刻之前第三预设时长内的各个第三视频帧进行物品局部检测,得到的所述各个第三视频帧中存在预设物品的局部的概率;其中,所述第三预设时长为所述第一预设时长和所述第二预设时长的和值;
针对预设物品的每一局部,确定所述各个第三视频帧中存在该局部的概率大于第二概率的第四视频帧;
如果存在对应的第四视频帧的数目与所述各个第三视频帧的数目的比值大于第二阈值的局部,确定第一局部检测结果为当前的监控视频中存在预设物品;
如果不存在对应的第四视频帧的数目与所述各个第三视频帧的数目的比值大于第二阈值的局部,确定第一局部检测结果为当前的监控视频中不存在预设物品;
所述方法还包括:
如果所述第一整体检测结果为当前的监控视频中存在预设物品,向所述电梯发送第二开门控制信号,以使所述电梯保持开门状态;
如果所述第一局部检测结果为当前的监控视频中不存在预设物品,停止向所述电梯发送所述第二开门控制信号。
2.根据权利要求1所述的方法,其特征在于,所述基于预设物品的整体图像,对当前的监控视频进行检测,得到当前的监控视频中是否存在预设物品的第一整体检测结果,包括:
基于预设物品的整体图像,对当前时刻之前第二预设时长内的各个第一视频帧进行物品整体检测,得到所述各个第一视频帧中存在整个预设物品的概率;
确定所述各个第一视频帧中存在整个预设物品的概率大于第一概率的视频帧,作为第二视频帧;
如果所述第二视频帧的数目与所述各个第一视频帧的数目的比值大于第一阈值,确定第一整体检测结果为当前的监控视频中存在预设物品;
如果所述第二视频帧的数目与所述各个第一视频帧的数目的比值不大于第一阈值,确定第一整体检测结果为当前的监控视频中不存在预设物品。
3.根据权利要求2所述的方法,其特征在于,所述基于预设物品的整体图像,对当前时刻之前第二预设时长内的各个第一视频帧进行物品整体检测,得到所述各个第一视频帧中存在整个预设物品的概率,包括:
将所述当前时刻之前第二预设时长内的各个第一视频帧分别输入预先训练好的第一神经网络模型,得到各个第一视频帧中存在整个预设物品的概率;
其中,所述第一神经网络模型,是基于多个第一正样本视频帧和多个第一负样本视频帧进行训练获得的;所述第一正样本视频帧为包含预设物品的整体图像的视频帧,所述第一负样本视频帧为不包含预设物品的整体图像的视频帧。
4.根据权利要求1所述的方法,其特征在于,所述如果所述第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取基于预设物品的多个局部图像,对当前时刻之前第三预设时长内的各个第三视频帧进行物品局部检测,得到的所述各个第三视频帧中存在预设物品的局部的概率,包括:
如果所述第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取将所述当前时刻之前第三预设时长内的各个第三视频帧分别输入预先训练好的第二神经网络模型,得到的各个第三视频帧中存在预设物品的局部的概率;
其中,所述第二神经网络模型,是基于多个第二正样本视频帧和多个第二负样本视频帧进行训练获得的;所述第二正样本视频帧为包含预设物品的局部图像的视频帧,所述第二负样本视频帧为不包含预设物品的局部图像的视频帧。
5.根据权利要求1所述的方法,其特征在于,在向所述电梯发送第一开门控制信号之后,所述方法还包括:
当基于对当前的监控视频进行检测得到的第二整体检测结果和第二局部检测结果,均为当前的监控视频中不存在预设物品时,停止向所述电梯发送所述第一开门控制信号。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
如果所述第一局部检测结果为当前的监控视频中存在预设物品,播放禁止预设物品入电梯的提醒语音。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
如果所述第一局部检测结果为当前的监控视频中存在预设物品,向预设终端发送第一提醒消息,以提醒用户预设物品进入电梯;
当接收到所述预设终端发送的解除控制消息时,停止向所述电梯发送所述第一开门控制信号。
8.根据权利要求1所述的方法,其特征在于,在基于预设物品的整体图像,对当前的监控视频进行检测,得到当前的监控视频中是否存在预设物品的第一整体检测结果之前,所述方法还包括:
基于当前的监控视频的像素点的像素值,确定所述摄像机是否被遮挡;
如果确定被遮挡,向所述电梯发送第三开门控制信号,以使所述电梯保持开门状态;
当达到第四预设时长时,停止向所述电梯发送所述第三开门控制信号,并在检测到所述摄像机被遮挡的情况下,向预设终端发送第二提醒消息,以提醒用户所述摄像机被遮挡;
如果确定未被遮挡,执行所述基于预设物品的整体图像,对当前的监控视频进行检测,得到当前的监控视频中是否存在预设物品的第一整体检测结果的步骤。
9.一种电梯的控制装置,其特征在于,所述装置包括:
监控视频获取模块,用于当电梯处于开门状态时,实时获取电梯内摄像机拍摄的当前的监控视频;
第一整体检测结果获取模块,用于基于预设物品的整体图像,对当前的监控视频进行检测,得到当前的监控视频中是否存在预设物品的第一整体检测结果;所述第一整体检测结果为对当前时刻之前第二预设时长内的各个第一视频帧进行物品整体检测得到的;
第一局部检测结果获取模块,用于如果所述第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取基于预设物品的多个局部图像,对当前的监控视频进行检测,得到的当前的监控视频中是否存在预设物品的第一局部检测结果;
第一开门控制信号发送模块,用于如果所述第一局部检测结果为当前的监控视频中存在预设物品,向所述电梯发送第一开门控制信号,以使所述电梯保持开门状态;
所述第一局部检测结果获取模块,包括:
第二概率获取子模块,用于如果所述第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取基于预设物品的多个局部图像,对当前时刻之前第三预设时长内的各个第三视频帧进行物品局部检测,得到的所述各个第三视频帧中存在预设物品的局部的概率;其中,所述第三预设时长为所述第一预设时长和所述第二预设时长的和值;
第四视频帧确定子模块,用于针对预设物品的每一局部,确定所述各个第三视频帧中存在该局部的概率大于第二概率的第四视频帧;
第三处理子模块,用于如果存在对应的第四视频帧的数目与所述各个第三视频帧的数目的比值大于第二阈值的局部,确定第一局部检测结果为当前的监控视频中存在预设物品;
第四处理子模块,用于如果不存在对应的第四视频帧的数目与所述各个第三视频帧的数目的比值大于第二阈值的局部,确定第一局部检测结果为当前的监控视频中不存在预设物品;
所述装置还包括:
第二开门控制信号发送模块,用于如果所述第一整体检测结果为当前的监控视频中存在预设物品,向所述电梯发送第二开门控制信号,以使所述电梯保持开门状态;
第一处理模块,用于如果所述第一局部检测结果为当前的监控视频中不存在预设物品,停止向所述电梯发送所述第二开门控制信号。
10.根据权利要求9所述的装置,其特征在于,所述第一整体检测结果获取模块,包括:
第一概率获取子模块,用于基于预设物品的整体图像,对当前时刻之前第二预设时长内的各个第一视频帧进行物品整体检测,得到所述各个第一视频帧中存在整个预设物品的概率;
第二视频帧确定子模块,用于确定所述各个第一视频帧中存在整个预设物品的概率大于第一概率的视频帧,作为第二视频帧;
第一处理子模块,用于如果所述第二视频帧的数目与所述各个第一视频帧的数目的比值大于第一阈值,确定第一整体检测结果为当前的监控视频中存在预设物品;
第二处理子模块,用于如果所述第二视频帧的数目与所述各个第一视频帧的数目的比值不大于第一阈值,确定第一整体检测结果为当前的监控视频中不存在预设物品。
11.根据权利要求10所述的装置,其特征在于,所述第一概率获取子模块,具体用于将所述当前时刻之前第二预设时长内的各个第一视频帧分别输入预先训练好的第一神经网络模型,得到各个第一视频帧中存在整个预设物品的概率;
其中,所述第一神经网络模型,是基于多个第一正样本视频帧和多个第一负样本视频帧进行训练获得的;所述第一正样本视频帧为包含预设物品的整体图像的视频帧,所述第一负样本视频帧为不包含预设物品的整体图像的视频帧。
12.根据权利要求9所述的装置,其特征在于,所述第二概率获取子模块,具体用于如果所述第一整体检测结果为当前的监控视频中存在预设物品,当达到第一预设时长时,获取将所述当前时刻之前第三预设时长内的各个第三视频帧分别输入预先训练好的第二神经网络模型,得到的各个第三视频帧中存在预设物品的局部的概率;
其中,所述第二神经网络模型,是基于多个第二正样本视频帧和多个第二负样本视频帧进行训练获得的;所述第二正样本视频帧为包含预设物品的局部图像的视频帧,所述第二负样本视频帧为不包含预设物品的局部图像的视频帧。
13.根据权利要求9所述的装置,其特征在于,所述装置还包括:
第二处理模块,用于在向所述电梯发送第一开门控制信号之后,当基于对当前的监控视频进行检测得到的第二整体检测结果和第二局部检测结果,均为当前的监控视频中不存在预设物品时,停止向所述电梯发送所述第一开门控制信号。
14.根据权利要求9所述的装置,其特征在于,所述装置还包括:
播放模块,用于如果所述第一局部检测结果为当前的监控视频中存在预设物品,播放禁止预设物品入电梯的提醒语音。
15.根据权利要求9所述的装置,其特征在于,所述装置还包括:
第一提醒消息发送模块,用于如果所述第一局部检测结果为当前的监控视频中存在预设物品,向预设终端发送第一提醒消息,以提醒用户预设物品进入电梯;
第三处理模块,用于当接收到所述预设终端发送的解除控制消息时,停止向所述电梯发送所述第一开门控制信号。
16.根据权利要求9所述的装置,其特征在于,所述装置还包括:
遮挡检测模块,用于在基于预设物品的整体图像,对当前的监控视频进行检测,得到当前的监控视频中是否存在预设物品的第一整体检测结果之前,基于当前的监控视频的像素点的像素值,确定所述摄像机是否被遮挡;如果是,触发第三开门控制信号发送模块,如果否,触发所述第一整体检测结果获取模块;
所述第三开门控制信号发送模块,用于向所述电梯发送第三开门控制信号,以使所述电梯保持开门状态;
第四处理模块,用于当达到第四预设时长时,停止向所述电梯发送所述第三开门控制信号,并在检测到所述摄像机被遮挡的情况下,向预设终端发送第二提醒消息,以提醒用户所述摄像机被遮挡。
17.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,所述处理器,所述通信接口,所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序时,实现权利要求1-8任一所述的方法步骤。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法步骤。
CN202011154786.4A 2020-10-26 2020-10-26 一种电梯的控制方法和装置 Active CN112261380B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011154786.4A CN112261380B (zh) 2020-10-26 2020-10-26 一种电梯的控制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011154786.4A CN112261380B (zh) 2020-10-26 2020-10-26 一种电梯的控制方法和装置

Publications (2)

Publication Number Publication Date
CN112261380A CN112261380A (zh) 2021-01-22
CN112261380B true CN112261380B (zh) 2023-04-07

Family

ID=74262962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011154786.4A Active CN112261380B (zh) 2020-10-26 2020-10-26 一种电梯的控制方法和装置

Country Status (1)

Country Link
CN (1) CN112261380B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113955600B (zh) * 2021-11-12 2023-07-28 深圳云天励飞技术股份有限公司 非机动车监测方法、电梯监测***及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101932535B1 (ko) * 2012-08-27 2018-12-27 한화테크윈 주식회사 실내 감시 시스템 및 실내 감시 방법
CN109165620B (zh) * 2018-09-04 2022-10-11 张晓飞 一种电动车的检测方法、***及终端设备
CN111439644A (zh) * 2020-02-28 2020-07-24 浙江大华技术股份有限公司 电梯内电瓶车的报警方法及相关装置
CN111776905B (zh) * 2020-08-13 2021-11-23 浙江新再灵科技股份有限公司 一种结合重识别的电瓶车入梯告警方法及***

Also Published As

Publication number Publication date
CN112261380A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
US10950120B2 (en) Processing alarm signals
CN110222659B (zh) 电动车识别方法、装置和***
CN108382940B (zh) 电梯运行安全监控方法、设备及可读存储介质
CN109516334B (zh) 一种乘梯保护方法、装置、***、设备和存储介质
CN108358002B (zh) 防止电梯救援***被恶意呼叫的方法、装置及智能设备
CN110304513B (zh) 一种避险方法、装置、终端设备及存储介质
KR102292333B1 (ko) 모니터링되는 환경에 관련된 결정 요인에 따라 전관 방송을 송출하는 기법
CN112261380B (zh) 一种电梯的控制方法和装置
CN113936245A (zh) 一种电梯控制方法及控制装置
CN114999141B (zh) 电瓶车停放管理方法、装置、设备、***及可读存储介质
CN115196455A (zh) 一种电梯控制方法、电梯、计算机可读存储介质
CN113479732B (zh) 电梯控制方法、装置及存储介质
CN112699746A (zh) 一种对象检测方法、装置、设备及存储介质
CN113955600B (zh) 非机动车监测方法、电梯监测***及存储介质
CN114701934B (zh) 电梯的安防控制方法、装置、***以及云平台、存储介质
CN114455414A (zh) 电梯乘客晕倒告警方法及装置、电子设备
CN113421431B (zh) 应急通道监测方法及装置
CN115258859B (zh) 遮挡行为识别方法、装置及电梯***
CN111210546A (zh) 一种利用智能锁实现的出入口控制管理方法和***
CN111341133B (zh) 自动驾驶车辆的控制方法及装置、存储介质、处理器
CN112299211B (zh) 电梯控制方法、装置及***
CN114339152A (zh) 宠物安防监测方法、装置、存储介质及电子设备
CN115367578A (zh) 电梯运行监控方法、装置、设备、存储介质及程序
CN114455413B (zh) 电梯困人告警方法及装置、电子设备
CN207209628U (zh) 一种电梯厅外呼梯***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant