CN110516720A - 安全监控设备和安全监控方法 - Google Patents

安全监控设备和安全监控方法 Download PDF

Info

Publication number
CN110516720A
CN110516720A CN201910745798.5A CN201910745798A CN110516720A CN 110516720 A CN110516720 A CN 110516720A CN 201910745798 A CN201910745798 A CN 201910745798A CN 110516720 A CN110516720 A CN 110516720A
Authority
CN
China
Prior art keywords
characteristic point
training
information
monitored object
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910745798.5A
Other languages
English (en)
Inventor
毛亮
丁杰
贾钧翔
章成锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN201910745798.5A priority Critical patent/CN110516720A/zh
Publication of CN110516720A publication Critical patent/CN110516720A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Alarm Systems (AREA)

Abstract

提供了一种安全监控设备和安全监控方法。该安全监控设备包括：用于从至少一个三维体感相机接收对监控区域采集的监控数据，该监控数据包括所述监控区域中的监控对象的特征点信息；分类器，用于利用有监督学习对特征点训练信息进行学习而获得训练结果模型，并利用训练结果模型对所述特征点信息进行分类；以及判断器，基于所述分类器的分类来判断所述监控对象的状态。

Description

安全监控设备和安全监控方法
技术领域
本公开涉及安全监控技术，更具体地，涉及一种安全监控设备和安全监控方法。
背景技术
目前，在许多场所需要安全监控。人处于室外或室内环境时均有可能发生安全事故。例如，在游泳过程中由于游泳者自身身体素质突发变化等可能会导致游泳者溺水，并需要及时进行救助；在游乐场或溜冰场中，也可能发生安全危险。对于危险情况，需要及时发现，并及时对有危险的人员进行救助。
对受保护对象进行实时安全监控可以很大程度上减少安全事故的发生或使遭受安全事故的受保护对象及时得到救援。例如，目前采用的辅助救援者判断游泳者是否溺水的措施主要包括使游泳者佩戴手环等检测装置对其进行跟踪。
发明内容
本申请的至少一个实施例提供了一种安全监控设备和安全监控方法。利用该技术方案，能够实现如下效果中的一个或多个：更准确、及时检测到监控对象的状态，同时能够降低设备管理成本，消除设备丢失率高等问题。
根据本申请的第一方面，提供了一种安全监控设备。该安全监控设备可包括：接收器，用于从至少一个三维体感相机接收对监控区域采集的监控数据，该监控数据包括所述监控区域中的监控对象的特征点信息；分类器，用于利用有监督学习对特征点训练信息进行学习而获得训练结果模型，并利用训练结果模型对所述特征点信息进行分类；以及判断器，基于所述分类器的分类来判断所述监控对象的状态。
结合第一方面，在第一方面的一种实现方式中，所述至少一个三维体感相机是多个三维体感相机，该多个三维体感相机的每个被设置在所述监控区域的不同位置，并且该多个三维体感相机之一用于采集所述监控区域的一部分的监控数据。
结合第一方面及其上述实现方式，在第一方面的另一实现方式中，所述特征点训练信息是对训练对象的监控数据进行处理而得到的，并包括利用三维体感相机从不同位置对同一训练对象获取的特征点训练信息。
结合第一方面及其上述实现方式，在第一方面的另一实现方式中，所述特征点训练信息包括训练对象在时间序列上的特征点训练位置、和该特征点训练位置在所述时间序列的不同时间点上的位置差值。
结合第一方面及其上述实现方式，在第一方面的另一实现方式中，所述特征点训练信息还包括在相关联的特征点训练位置之间的角度、和该角度在不同时间上的角度差值。
结合第一方面及其上述实现方式，在第一方面的另一实现方式中，所述特征点训练信息是通过对如下的至少一个监控数据进行处理而得到的：对用于模拟安全事故的专业人员所采集的第一监控数据；和在实际安全事故现场的第二监控数据。
结合第一方面及其上述实现方式，在第一方面的另一实现方式中，所述分类器利用所述训练结果模型将所述监控对象的特征点信息分类为正样本或负样本，所述判断器基于所述正样本或负样本来判断所述监控对象处于危险状态或安全状态。
结合第一方面及其上述实现方式，在第一方面的另一实现方式中，所述分类器利用所述训练结果模型对所述特征点信息进行打分，所述判断器根据打分的分数来判断所述监控对象处于危险状态、疑似危险状态或安全状态之一。
结合第一方面及其上述实现方式，在第一方面的另一实现方式中，所述安全监控设备还包括危险指示器，用于在所述判断器判断所述监控对象没有处于安全状态时发出告警信息。
结合第一方面及其上述实现方式，在第一方面的另一实现方式中，所述安全监控设备还包括危险***，用于定位所述监控对象的位置，其中，在所述判断器判断所述监控对象没有处于安全状态时，所述危险***基于所述三维体感相机的位置和监控对象相对于所述三维体感相机的位置来确定所述监控对象的位置。
根据本申请的第二方面，提供一种安全监控方法。该安全监控方法可包括：基于从至少一个三维体感相机接收的对监控区域采集的监控数据获取所述监控区域中的监控对象的特征点信息；利用有监督学习对特征点训练信息进行学习而获得训练结果模型；利用训练结果模型对所述特征点信息进行分类；以及基于所述分类来判断所述监控对象的状态。
结合第二方面，在第二方面的一种实现方式中，所述至少一个三维体感相机是多个三维体感相机，该多个三维体感相机的每个被设置在所述监控区域的不同位置，并且该多个三维体感相机之一用于采集所述监控区域的一部分的监控数据。
结合第二方面及其上述实现方式，在第二方面的另一实现方式中，所述特征点训练信息是对训练对象的监控数据进行处理而得到的，并包括利用三维体感相机从不同位置对同一训练对象获取的特征点训练信息。
结合第二方面及其上述实现方式，在第二方面的另一实现方式中，所述特征点训练信息包括训练对象在时间序列上的特征点训练位置、和该特征点训练位置在所述时间序列的不同时间点上的位置差值。
结合第二方面及其上述实现方式，在第二方面的另一实现方式中，所述特征点训练信息还包括在相关联的特征点训练位置之间的角度、和该角度在不同时间上的角度差值。
结合第二方面及其上述实现方式，在第二方面的另一实现方式中，所述特征点训练信息是通过对如下的至少一个监控数据进行处理而得到的：通对用于模拟安全事故的专业人员所采集的第一监控数据；和在实际安全事故现场的第二监控数据。
结合第二方面及其上述实现方式，在第二方面的另一实现方式中，对所述特征点信息进行分类包括利用所述训练结果模型将所述监控对象的特征点信息分类为正样本或负样本；所述基于所述分类来判断所述监控对象的状态包括基于所述正样本或负样本来判断所述监控对象处于危险状态或安全状态。
结合第二方面及其上述实现方式，在第二方面的另一实现方式中，对所述特征点信息进行分类包括利用所述训练结果模型对所述特征点信息进行打分；所述基于所述分类来判断所述监控对象的状态包括根据打分的分数来判断所述监控对象处于危险状态、疑似危险状态或安全状态之一。
结合第二方面及其上述实现方式，在第二方面的另一实现方式中，所述安全监控方法还包括：在判断所述监控对象没有处于安全状态时发出告警信息。
结合第二方面及其上述实现方式，在第二方面的另一实现方式中，所述安全监控方法还包括：在判断所述监控对象没有处于安全状态时，基于所述三维体感相机的位置和监控对象相对于所述三维体感相机的位置来定位所述监控对象的位置。
根据本申请的第三方面，提供了一种安全监控设备。该安全监控设备可包括：存储器，用于存储计算机可执行指令；处理器，当运行所述计算机可执行指令时，执行上述任一项安全监控方法。
本申请通过基于监控对象的监控数据中的特征点信息的分类来判断监控对象的状态，能够更准确、及时检测到监控对象的状态，同时能够降低设备管理成本，消除设备丢失率高等问题。通过利用三维体感相机获取监控对象的监控数据，能够得到高质量的监控视频流，并能够有效消除利用普通摄像头的情况下视频图像中监控对象之间互相遮挡对于判断监控对象是否处于安全状态的影响，消除利用手环等检测装置的情况下检测装置丢失率高、难于管理的缺点。此外，通过发出告警信息、定位监控对象位置等手段，能够帮助救援者更快地针对监控对象实施救援。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是图示了根据本申请的实施例所应用于的场景100的示意图；
图2是示意性图示了根据本申请实施例的安全监控设备200的框图；
图3示出了人体的关键骨骼点的示意图；
图4是示意性图示了根据本申请实施例的安全监控设备400的框图；
图5是示意性图示了根据本申请实施例的安全监控方法500的流程图；
图6是示意性图示了根据本申请实施例的安全监控方法600的流程图；
图7是示意性图示了根据本申请实施例的又一安全监控设备700的框图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
接下来要介绍的示例仅是相应的具体例子，而不作为限制本发明的实施例必须为示出和描述的具体的外形、硬件、连接关系、步骤、数值、条件、数据、顺序等等。本领域技术人员可以通过阅读本说明书来运用本发明的构思来构造本说明书中未提到的更多实施例。
在本申请中，当描述到特定部件位于第一部件和第二部件之间时，在该特定部件与第一部件或第二部件之间可以存在居间部件，也可以不存在居间部件；当描述到特定部件连接其它部件时，该特定部件可以与所述其它部件直接连接而不具有居间部件、也可以不与所述其它部件直接连接而具有居间部件。
在诸如游泳池、溜冰场、拓展中心等场所，为了进行安全监控，可以为在场所内参加活动的监控对象佩戴手环，并在所述场所中设置通信器件。例如，在游泳池中，可以使游泳者佩戴手环等检测装置对其进行跟踪，所述手环用于检测监控对象的运动姿态以判断监控对象是否处于危险状态；并且在处于危险状态时向所述通信器件发送报警消息，以提醒安全监控人员实施救援。然而，诸如手环的检测装置丢失率高，并且当多个检测装置的位置靠近时，各个监控对象之间存在相互干扰，难以辨别处于危险中的监控对象、并且难以判断位置。其
在本公开的实施例中，利用布置活动场所中的3D体感相机来监控各个监控对象的状态，该3D体感相机能够有效消除利用普通视频图像中监控对象之间互相遮挡的问题、并且能够获取监控对象的特征点训练信息。通过基于所述特征点信息的分类来判断监控对象的状态，能够更准确、及时检测到监控对象处于危险状态。而且，在本公开的实施例中，监控对象无需佩戴检测装置，降低了设备管理成本，消除了设备丢失率高的问题。
Kinect是微软公布的一款体感周边外设，它是一种三维(3D)体感相机，具有即时动态捕捉、影像辨识等功能，能够通过摄像头捕捉人体各个关键骨骼点的动作特征。Kinect的图像采集范围大约为4米×4米，可以识别和区分采集范围内的大约20个人体目标。Kinect有三个摄像头，中间的摄像头是RGB彩色摄像头，用来采集彩色图像；左右两边的摄像头则分别为红外线发射器和红外线CMOS摄像头所构成的3D结构光深度感应器，用来采集深度数据(场景中物体到Kinect的距离)。利用Kinect能够得到高质量的监控视频流，并且可以得到下列图像数据：1)彩色数据：就是彩色摄像头采集到的数据；2)深度数据：就是红外线CMOS摄像头采集到的数据；3)带监控对象ID的深度数据：Kinect可以检测多个监控对象，所以深度数据中携带有标示该深度数据所对应的监控对象的监控对象ID；4)骨骼点数据：包含了Kinect采集到的图像数据中人的关键骨骼点的位置等信息。
本申请通过诸如Kinect的3D体感相机，获取监控对象的特征点训练信息，在该特征点训练信息上执行有监督的机器学习算法(例如，贝叶斯分类算法、K-近邻(k-NearestNeighbors，KNN)等分类算法)来获得训练结果模型，利用该训练结果模型对实际监控数据进行分类，进而判断监控对象是否处于危险状态。通过这种方式，能够得到高质量的监控视频流，并能够有效消除利用普通摄像头的情况下视频图像中监控对象之间互相遮挡对于判断监控对象是否处于危险的影响，消除利用手环等检测装置的情况下检测装置丢失率高、难于管理的缺点，并且能够更准确、及时判断监控对象是否危险状态、自动发出告警信息、确定监控对象位置。
图1是图示了根据本申请的实施例所应用于的场景100的示意图。在图1中，包括接收器110、分类器120和判断器130。接收器110与分类器120通信耦接，分类器120与判断器130通信耦接。接收器110例如可以是处于通信网络中的能够与诸如Kinect的3D体感相机通信耦接的任何处理装置。分类器120例如可以是基于有监督的机器学***板计算机、笔记本计算机、台式计算机、手持设备、云端服务器等之中，本申请对此不作限定。
具体的实践示例如下。根据本申请的一个实施例，在第一阶段，可以利用基于诸如Kinect的3D体感相机采集的训练对象的监控数据得到的训练对象的特征点训练信息对分类器120进行训练，从而得到训练结果模型。例如，可以将训练对象的特征点训练信息和训练对象的状态(例如安全状态或危险状态，作为特征点训练信息的类别)作为分类器120的训练数据对其进行训练。特征点训练信息可以包括训练对象在时间序列上的特征点训练位置、和该特征点训练位置在所述时间序列的不同时间点上的位置差值。可替换地，特征点训练信息可以包括在相关联的特征点训练位置之间的角度、和该角度在不同时间上的角度差值。在本文中，所述特征点可以指训练对象的关键骨骼点，所述训练位置和所述位置差值可以反映出训练对象的关键骨骼点的运动轨迹、运动速率和动作幅度等信息，所述角度和所述角度差值可以反映出训练对象的关键骨骼点的相对位置变化、动作频率、动作幅度等信息，而针对处于安全状态和危险状态(例如，溺水状态)的训练对象，这些信息显然是不同的。
在第二阶段，接收器110从诸如Kinect的3D体感相机接收现场监控数据，分类器120利用训练结果模型对该现场监控数据中包括的监控对象的特征点信息进行分类，判断器130基于该分类结果来判断监控对象的状态(例如，安全状态或危险状态)。进一步地，接收器110从诸如Kinect的3D体感相机接收的现场监控数据中发生实际安全事故(例如，溺水)的监控对象的特征点信息及其对应的现场判断结果(例如，危险，不是判断器的判断结果)，也可以作为用于对分类器120进行训练的训练数据，从而优化训练结果模型，实现更准确的分类。
由于诸如Kinect的3D体感相机能够识别和区分采集范围内的多个人体目标，通过利用从诸如Kinect的3D体感相机接收的数据作为监控数据，使得能够区分各个特征点信息分别归属于哪个监控对象，消除利用普通摄像头获取的视频图像中监控对象之间互相遮挡对于判断监控对象是否处于危险状态(例如，溺水)的影响，所述监控对象是游泳馆中的游泳者、溜冰场中的溜冰者、或者拓展中心的拓展者等。此外，在游泳馆的情况中，可按照预定布局将诸如Kinect的3D体感相机布置在水上、水下的预定位置，在溜冰场的情况中，可以将3D体感相机布置在四周、地面、空中等，在拓展中心的情况中，可以将3D体感相机布置在地面、拓展器材上等，从而可以消除利用手环等检测装置的情况下检测装置丢失率高、难于管理的缺点。本申请公开的实施例通过利用诸如Kinect的3D体感相机获取诸如游泳者的监控对象的特征点信息，基于有监督学习算法的分类器对特征点信息进行分类，从而能够更准确、及时判断监控对象是否处于危险状态。进一步地，还能够自动发出告警信息、确定监控对象的位置等。
图2是示意性图示了根据本申请实施例的安全监控设备200的框图。如图2所示，该安全监控设备200可以包括接收器210、分类器220和判断器230。接收器210与分类器220通信耦接，分类器220与判断器230通信耦接。接收器210例如可以是处于通信网络中的能够与诸如Kinect的3D体感相机通信耦接的任何处理装置。分类器220例如可以是基于有监督的机器学***板计算机、笔记本计算机、台式计算机、手持设备、云端服务器等之中，本申请对此不作限定。
接收器210可以从至少一个三维体感相机接收对监控区域(例如，游泳馆、溜冰场、拓展中心或海滨浴场等)采集的监控数据，该监控数据包括所述监控区域中的监控对象的特征点信息。分类器220可以利用有监督学习对特征点训练信息进行学习而获得训练结果模型，并利用训练结果模型对所述特征点信息进行分类。判断器230可以基于所述分类器的分类来判断所述监控对象的状态。
三维体感相机例如是上述的Kinect。所述至少一个三维体感相机可以是一个或多个三维体感相机。在多个三维体感相机的情况中，该多个三维体感相机的每个被设置在监控区域的不同位置，并且该多个三维体感相机之一用于采集所述监控区域的一部分的监控数据。
根据本申请的实施例，分类器220是基于有监督的机器学习算法的分类器(例如，贝叶斯分类器、K-近邻(k-Nearest Neighbors，KNN)分类器等)。可以利用训练对象的训练数据来训练分类器220，从而得到训练结果模型，利用该训练结果模型对实际监控数据中包括的监控对象的特征点信息进行分类，进而由判断器230判断监控对象的状态(例如，游泳者是否溺水、溜冰者是否受伤、拓展者是否处于困境等)。也就是说，分类器220利用有监督学习对特征点训练信息进行学习而获得训练结果模型，所述特征点训练信息是对训练对象的监控数据进行处理而得到的。可以利用本领域已知的任何方法来获得训练结果模型，其不构成对本申请的限制。
在本申请的实施例中，特征点训练信息包括利用诸如Kinect的3D体感相机从不同位置对同一训练对象获取的特征点训练信息，所述特征点训练信息是通过对用于模拟安全事故的专业人员进行采集而得到的、和/或在实际安全事故的现场监控数据。这样可以保证特征点训练信息的全面性和多样性。
根据本申请实施例的监控区域可以例如是儿童游乐场、游泳池、溜冰场、拓展中心或海滨浴场等。以游泳池为例，可以在游泳池内布置多个Kinect，聘请专业救生员在游泳池内模拟正常游泳行为与溺水行为，这些专业救生员即是训练对象。利用该多个Kinect进行视频流的采集得到监控数据。对于同一救生员，其监控数据是该救生员在时间序列上的一组动作集合的图像，对该监控数据进行处理后，可以得到对应的特征点训练信息。作为一个示例，对于同一游泳池中的救生员，可以将Kinect置于池底、侧壁、水面等不同的位置，从不同的角度采集模拟溺水的救生员的监控数据，将对该监控数据进行处理得到的特征点训练信息及其对应的判断结果(危险)作为训练分类器的训练数据，从而提高分类器执行的分类的准确性。类似地，在溜冰场或拓展中心中可以请安全保护员作为训练对象来模拟危险状态或正常活动状态，并利用所布置的多个Kinect来进行监控而得到监控数据，将对该监控数据进行处理得到的特征点训练信息及其对应的判断结果作为训练分类器的训练数据。
所述特征点训练信息是通过对用于模拟安全事故的专业人员所采集的监控数据进行处理而得到的。除此之外，还可以通过对在实际安全事故现场的监控数据进行处理而得到。作为示例，可以从诸如Kinect的3D体感相机接收的现场监控数据中发生实际安全事故(例如，溺水、溜冰受伤、拓展被困)的实际监控对象(即，视作训练对象)的特征点信息及其对应的实际判断结果(危险)，也可以作为用于对分类器120进行训练的训练数据，从而优化训练结果模型，实现更准确的分类。也就是说，也可以将实际监控对象视为训练对象，并将其对应信息用作训练数据。值得注意的是，上述训练数据可以仅包括训练对象处于安全状态下的对应的特征点训练信息及其对应状态(安全)，也可以仅包括训练对象处于危险状态下的对应的特征点训练信息及其对应状态(危险)，或者也可以包括上述两种状态下的对应特征点训练信息及状态，本申请对此不作限制。在实践中，可以组合不同的用于得到特征点训练信息的方式，来加强对分类器的训练，以得到更准确的训练结果模型。
如前所述，根据本申请的实施例的特征点训练信息是对训练对象的监控数据进行处理而得到的。根据本申请的一个实现方式，所述特征点训练信息可以包括训练对象在时间序列上的特征点训练位置、和该特征点训练位置在所述时间序列的不同时间点上的位置差值。
在本文中，所述特征点是指人体的关键骨骼点，所述特征点训练位置是指训练对象的关键骨骼点的位置。图3示出了人体的关键骨骼点的示意图。在一个示例中，可以针对同一训练对象的监控数据(在时间序列T＝{t1，t2，t3，……，tk}上的一组动作集合的图像，其中k指示时间序列中时间点的数目)，获取其中每个关键骨骼点在时间序列T上各个时间点(t1，t2，t3，……，tk)的位置(通过结合使用诸如Kinect的3D体感相机采集的彩色数据、带ID的深度数据、骨骼点数据)，所述位置是指该关键骨骼点相对于诸如Kinect的3D体感相机的位置(距离)，包括垂直位置、水平位置和深度位置。进一步，基于每个关键骨骼点在时间序列上各个时间点的位置来分析每个动作的上下文状态，即，对于每个关键骨骼点，计算其在所述时间序列的不同时间点上的位置差值。所述位置差值包括垂直位置差值、水平位置差值和深度位置差值。例如，对于同一关键骨骼点，针对所述时间序列T中的某个时间点ti，可以获取所述关键骨骼点在所述时间点ti的前n个时间点(ti-n，ti-n+1，……，ti-1)和后m个时间点(ti+1，ti+2，……，ti+m)的位置的位置差值，其中n和m可以根据需要预先进行设定。可以将上述位置和位置差值用作所述特征点训练信息，其可以反映出训练对象的关键骨骼点的运动轨迹、运动速率和动作幅度等信息，而针对处于安全状态和危险状态(例如，溺水状态)的监控对象，这些信息显然是不同的。
可替换地，根据本申请的一个实现方式，所述特征点训练信息可以包括在相关联的特征点训练位置之间的角度、和该角度在不同时间上的角度差值。在本文中，所述特征点是指人体的关键骨骼点。
参照图3，相关联的特征点可以例如是肘与头，或者是肘与腕和拇指，或者是膝与脚踝和脚。相关联的骨骼点可以根据需要预先进行设定。在一个示例中，可以针对同一训练对象的监控数据(在时间序列T＝{t1，t2，t3，……，tk}上的一组动作集合的图像，其中k指示时间序列中时间点的数目)，计算其中相关联的关键骨骼点位置的连线之间在时间序列T上各个时间点(t1，t2，t3，……，tk)的角度(通过结合使用诸如Kinect的3D体感相机采集的彩色数据、带ID的深度数据、骨骼点数据)，该角度例如可以通过所述连线之间的余弦值来指示。
再参照图3，假设相关联的骨骼点可以是左肘骨骼点、左肩骨骼点、脊柱肩骨骼点、颈骨骼点、头骨骼点，相关联的关键骨骼点位置的连线可以是左肘骨骼点与左肩骨骼点之间的连线L1、左肩骨骼点与脊柱肩骨骼点之间的连线L2、脊柱肩骨骼点与颈骨骼点之间的连线L3、颈骨骼点与头骨骼点之间的连线L4，则相关联的关键骨骼点位置的连线之间的角度可以是L1与L2之间的夹角α1、L2与L3之间的夹角α2和L3与L4之间的夹角α3，并且可以计算上述夹角α1、α2和α3分别在时间序列上各个时间点的角度值。进一步，可以基于上述夹角α1、α2和α3分别在时间序列上各个时间点的余弦值来分析每个动作的上下文状态，即，对于每个夹角，计算其在所述时间序列的不同时间点上的角度值的差值。例如，对于夹角α1，针对所述时间序列T中的某个时间点ti，可以获取所述夹角α1在所述时间点ti的前n个时间点(ti-n，ti-n+1，……，ti-1)和后m个时间点(ti+1，ti+2，……，ti+m)的角度值的差值，其中n和m可以根据需要预先进行设定。可以将上述角度和角度差值用作所述特征点训练信息，其可以反映出训练对象(例如，游泳者、溜冰者或拓展者)的关键骨骼点的相对位置变化、动作频率、动作幅度等信息，而针对处于安全状态和危险状态的监控对象，这些信息显然是不同的。
通过引入上述不同的信息(位置、位置差值、角度、角度差值)作为特征点训练信息，增强了训练数据的丰富性，从而能够得到更好的训练结果模型，获得更准确的判断结果。
返回参照图2，在获得特征点训练信息后，分类器220利用有监督学习对特征点训练信息进行学习，从而得到训练结果模型，进而在执行安全监控时，接收器210接收对监控区域采集的实际监控数据(相对于训练对象的监控数据而言)，分类器220利用训练结果模型对实际监控数据中包括的监控对象的特征点信息进行分类，判断器230基于所述分类器220的分类来判断所述监控对象的状态。
在执行安全监控时，根据本申请实施例的接收器210可以从诸如Kinect的至少一个3D体感相机接收对监控区域(例如，游泳馆、溜冰场、拓展中心或海滨浴场等)采集的监控数据，该至少一个3D体感相机之一用于采集所述监控区域的一部分的监控数据，该监控数据包括所述监控区域中的监控对象的特征点信息。特征点信息类似于上述特征点训练信息，其区别在于特征点信息是针对实际监控对象进行安全监控的，而特征点训练信息是针对训练对象来训练分类器以获得更准确的训练结果模型。可以以类似于上述获得特征点训练信息那样的方式对监控对象的监控数据进行处理而得到监控对象的特征点信息，该监控对象的特征点信息也可以包括监控对象在时间序列上的特征点位置、和该特征点位置在所述时间序列的不同时间点上的位置差值或者可以包括在相关联的特征点位置之间的角度、和该角度在不同时间上的角度差值。通过在监控区域布置多个3D体感相机，可以从多个角度和位置获得监控对象的监控数据，为后续数据处理提供更丰富的数据输入。
在获得特征点信息之后，分类器220可以利用上述训练结果模型对所述特征点信息进行分类。根据本申请的一个实现方式，分类器220可以利用训练结果模型将所述监控对象的特征点信息分类为正样本或负样本，判断器230可以基于所述正样本或负样本来判断所述监控对象处于危险状态或安全状态。
在一个示例中，在训练数据仅包括训练对象处于安全状态下的对应的特征点训练信息及其对应状态(安全)的情况下，即，将训练对象处于安全状态下的对应的特征点训练信息视为正样本的情况下，被训练结果模型确定为与该训练数据中的特征点训练信息相关的监控对象的特征点信息将被分类器220分类为正样本，判断器230将基于所述正样本将该监控对象判断为处于安全状态，否则，被训练结果模型确定为与该训练数据中的特征点训练信息不相关的监控对象的特征点信息将被分类器220分类为负样本，判断器230将基于所述负样本将该监控对象判断为处于危险状态。
在另一示例中，在训练数据仅包括训练对象处于危险状态下的对应的特征点训练信息及其对应状态(危险)的情况下，即，将训练对象处于危险状态下的对应的特征点训练信息视为正样本的情况下，被训练结果模型确定为与该训练数据中的特征点训练信息相关的监控对象的特征点信息将被分类器220分类为正样本，判断器230将基于所述正样本将该监控对象判断为处于危险状态，否则，被训练结果模型确定为与该训练数据中的特征点训练信息不相关的监控对象的特征点信息将被分类器220分类为负样本，判断器230将基于所述负样本将该监控对象判断为处于安全状态。
在又一示例中，在训练数据包括安全和危险两种状态下的对应特征点训练信息及状态的情况下，可以预先将与安全状态对应的特征点训练信息定义为正样本，并且将与危险状态对应的特征点训练信息定义为负样本，进而对监控对象的特征点信息进行分类。
根据本申请的一个实现方式，分类器220可以利用训练结果模型对监控对象的特征点信息进行打分，所述判断器230根据打分的分数来判断所述监控对象处于危险状态、疑似危险状态或安全状态之一。在该实现方式中，分类器220不是简单地将特征点训练信息分类为正样本和负样本，而是，分类器220可以对特征点信息进行打分，从而对监控对象的状态进行进一步的细分。作为一个示例，在训练数据仅包括训练对象处于危险状态下的对应的特征点训练信息及其对应状态(危险)的情况下，可以基于将监控对象的特征点信息的分数计算为该特征点信息与特征点训练信息的相似度，即，该分数的范围为0至1。进一步，设置危险状态阈值Vth1和疑似危险状态阈值Vth2，例如，假设Vth1＝0.7，Vth2＝0.2，则，分数在0.7至1之间的特征点信息对应的监控对象将被判断器230判断为处于危险状态，分数在0.2至0.7之间的特征点信息对应的监控对象将被判断器230判断为处于疑似危险状态，分数在0至0.2之间的特征点信息对应的监控对象将被判断器230判断为处于安全状态。
图4是示意性图示了根据本申请实施例的安全监控设备400的框图。如图4所示，该安全监控设备400可以包括接收器410、分类器420、判断器430、危险指示器440和危险***450。图4中的接收器410、分类器420和判断器430分别对应于图2中的接收器210、分类器220和判断器230，因此省略其详细描述。图4的安全监控设备400与图2的安全监控设备200的区别在于安全监控设备400进一步还包括危险指示器440和危险***450。危险指示器440和危险***450中的一个或多个例如可以实现在智能手机、平板计算机、笔记本计算机、台式计算机、手持设备、云端服务器等之中，本申请对此不作限定。
危险指示器440与判断器430通信耦接，可以在判断器430判断所述监控对象没有处于安全状态时发出告警信息。在判断监控对象处于危险状态或疑似危险状态后，安全监控设备400可以通过危险指示器440自动发出告警信息，能够及时引导救援。告警信息可以采用文字、振动、声音等各种形式，只要可以对相关救援人员起到告警和提示作用即可，本申请对此不做限制。
危险***450与判断器430和接收器410通信耦接，可以定位监控对象的位置。作为一个示例，在判断器430判断监控对象没有处于安全状态时，危险***450可以基于诸如Kinect的3D体感相机的位置和监控对象相对于所述3D体感相机的位置来确定所述监控对象的位置。被判断器430判断为没有处于安全状态的监控对象的监控数据是通过诸如Kinect的至少一个3D体感相机中的某个(些)3D体感相机采集的，基于该没有处于安全状态的监控对象的监控数据可以获得该监控对象相对于所述某个(些)3D体感相机的位置，包括垂直位置、水平位置和深度位置。基于所述某个(些)3D体感相机的位置、所述没有处于安全状态的监控对象相对于所述某个(些)3D体感相机的位置可以确定所述没有处于安全状态的监控对象的位置，从而帮助救援人员更快地定位需要救援的监控对象，及时执行救援。
根据本申请实施例的安全监控设备能够有效消除利用普通摄像头的情况下视频图像中监控对象之间互相遮挡对于判断监控对象是否处于危险状态的影响，消除利用手环等检测装置的情况下检测装置丢失率高、难于管理的缺点，并且能够更准确、及时判断监控对象是否处于危险状态、自动发出告警信息、确定有危险的位置。
图5是示意性图示了根据本申请实施例的安全监控方法500的流程图。如图5所示，在步骤S510，基于从至少一个三维体感相机接收的对监控区域(例如，游乐场、、溜冰场、拓展中心或海滨浴场等)采集的监控数据获取所述监控区域中的监控对象的特征点信息。在步骤S520，利用有监督学习对特征点训练信息进行学习而获得训练结果模型。在步骤S530，利用训练结果模型对所述特征点信息进行分类。在步骤S540，基于所述分类来判断所述监控对象的状态。安全监控方法500可以由上述安全监控设备200或安全监控设备400执行。
三维体感相机例如是上述的Kinect。所述至少一个三维体感相机可以是一个或多个三维体感相机。在多个三维体感相机的情况中，该多个三维体感相机的每个被设置在监控区域的不同位置，并且该多个三维体感相机之一用于采集所述监控区域的一部分的监控数据。
根据本申请的实施例，步骤S520可以包括利用有监督学习对特征点训练信息进行学习而获得的训练结果模型对所述特征点信息进行分类，所述特征点训练信息是对训练对象的监控数据进行处理而得到的。用于有监督学习的算法例如可以是贝叶斯分类算法、K-近邻(k-Nearest Neighbors，KNN)分类算法等。可以利用学习后所得的训练结果模型对实际监控数据中包括的监控对象的特征点信息进行分类，进而判断监控对象的状态(例如，游泳者是否溺水、溜冰者是否受伤、拓展者是否处于困境等)。可以利用本领域已知的任何方法来获得训练结果模型，其不构成对本申请的限制。
在本申请的实施例中，特征点训练信息包括利用诸如Kinect的3D体感相机从不同位置对同一训练对象获取的特征点训练信息，所述特征点训练信息是通过对用于模拟安全事故的专业人员进行采集而得到的、和/或在实际安全事故的现场监控数据。这样可以保证特征点训练信息的全面性和多样性。根据本申请实施例的监控区域可以例如是游泳馆、溜冰场、拓展中心或海滨浴场等。
以游泳池为例，可以在游泳池内布置多个Kinect，聘请专业救生员在游泳池内模拟正常游泳行为与溺水行为，这些专业救生员即是训练对象。利用该多个Kinect进行视频流的采集得到监控数据。对于同一救生员，其监控数据是该救生员在时间序列上的一组动作集合的图像，对该监控数据进行处理后，可以得到对应的特征点训练信息。
作为一个示例，对于同一游泳池中的救生员，可以将Kinect置于池底、侧壁、水面等不同的位置，从不同的角度采集模拟溺水的救生员的监控数据，将对该监控数据进行处理得到的特征点训练信息及其对应的判断结果(危险)作为用于获得训练结果模型的训练数据，从而提高分类的准确性。
类似地，在溜冰场或拓展中心中，可以请安全保护员作为训练对象来模拟危险状态或正常活动状态，并利用所布置的多个Kinect来进行监控而得到监控数据，将对该监控数据进行处理得到的特征点训练信息及其对应的判断结果作为训练分类器的训练数据。
所述特征点训练信息是通过对用于模拟安全事故的专业人员所采集的监控数据进行处理而得到的。除此之外，还可以通过对在实际安全事故现场的监控数据进行处理而得到。作为示例，可以从诸如Kinect的3D体感相机接收的现场监控数据中发生实际安全事故(例如，溺水、受伤等)的实际监控对象(即，视作训练对象)的特征点信息及其对应的实际判断结果(危险)，也可以作为特征点训练数据，从而优化训练结果模型，实现更准确的分类。也就是说，也可以将实际监控对象视为训练对象，并将其对应信息用作训练数据。值得注意的是，上述训练数据可以仅包括训练对象处于安全状态下的对应的特征点训练信息及其对应状态(安全)，也可以仅包括训练对象处于危险状态下的对应的特征点训练信息及其对应状态(危险)，或者也可以包括上述两种状态下的对应特征点训练信息及状态，本申请对此不作限制。在实践中，可以组合不同的用于得到特征点训练信息的方式，来加强对分类器的训练，以得到更准确的训练结果模型。
如前所述，根据本申请的实施例的特征点训练信息是对训练对象的监控数据进行处理而得到的。根据本申请的一个实现方式，所述特征点训练信息可以包括训练对象在时间序列上的特征点训练位置、和该特征点训练位置在所述时间序列的不同时间点上的位置差值。在本文中，所述特征点是指人体的关键骨骼点，所述特征点训练位置是指训练对象的关键骨骼点的位置。
图3示出了人体的关键骨骼点的示意图。在一个示例中，可以针对同一训练对象的监控数据(在时间序列T＝{t1，t2，t3，……，tk}上的一组动作集合的图像，其中k指示时间序列中时间点的数目)，获取其中每个关键骨骼点在时间序列T上各个时间点(t1，t2，t3，……，tk)的位置(通过结合使用诸如Kinect的3D体感相机采集的彩色数据、带ID的深度数据、骨骼点数据)，所述位置是指该关键骨骼点相对于诸如Kinect的3D体感相机的位置(距离)，包括垂直位置、水平位置和深度位置。进一步，基于每个关键骨骼点在时间序列上各个时间点的位置来分析每个动作的上下文状态，即，对于每个关键骨骼点，计算其在所述时间序列的不同时间点上的位置差值。所述位置差值包括垂直位置差值、水平位置差值和深度位置差值。例如，对于同一关键骨骼点，针对所述时间序列T中的某个时间点ti，可以获取所述关键骨骼点在所述时间点ti的前n个时间点(ti-n，ti-n+1，……，ti-1)和后m个时间点(ti+1，ti+2，……，ti+m)的位置的位置差值，其中n和m可以根据需要预先进行设定。可以将上述位置和位置差值用作所述特征点训练信息，其可以反映出训练对象(例如，专业救生员、安全保护员等)的关键骨骼点的运动轨迹、运动速率和动作幅度等信息，而针对处于安全状态和危险状态(例如，溺水状态)的训练对象，这些信息显然是不同的。
可替换地，根据本申请的一个实现方式，所述特征点训练信息可以包括在相关联的特征点训练位置之间的角度、和该角度在不同时间上的角度差值。在本文中，所述特征点是指人体的关键骨骼点。参照图3，相关联的特征点可以例如是肘与头，或者是肘与腕和拇指，或者是膝与脚踝和脚。相关联的骨骼点可以根据需要预先进行设定。在一个示例中，可以针对同一训练对象的监控数据(在时间序列T＝{t1，t2，t3，……，tk}上的一组动作集合的图像，其中k指示时间序列中时间点的数目)，计算其中相关联的关键骨骼点位置的连线之间在时间序列T上各个时间点(t1，t2，t3，……，tk)的角度(通过结合使用诸如Kinect的3D体感相机采集的彩色数据、带ID的深度数据、骨骼点数据)，该角度例如可以通过所述连线之间的余弦值来指示。
再参照图3，假设相关联的骨骼点可以是左肘骨骼点、左肩骨骼点、脊柱肩骨骼点、颈骨骼点、头骨骼点，相关联的关键骨骼点位置的连线可以是左肘骨骼点与左肩骨骼点之间的连线L1、左肩骨骼点与脊柱肩骨骼点之间的连线L2、脊柱肩骨骼点与颈骨骼点之间的连线L3、颈骨骼点与头骨骼点之间的连线L4，则相关联的关键骨骼点位置的连线之间的角度可以是L1与L2之间的夹角α1、L2与L3之间的夹角α2和L3与L4之间的夹角α3，并且可以计算上述夹角α1、α2和α3分别在时间序列上各个时间点的角度值。进一步，可以基于上述夹角α1、α2和α3分别在时间序列上各个时间点的余弦值来分析每个动作的上下文状态，即，对于每个夹角，计算其在所述时间序列的不同时间点上的角度值的差值。例如，对于夹角α1，针对所述时间序列T中的某个时间点ti，可以获取所述夹角α1在所述时间点ti的前n个时间点(ti-n，ti-n+1，……，ti-1)和后m个时间点(ti+1，ti+2，……，ti+m)的角度值的差值，其中n和m可以根据需要预先进行设定。可以将上述角度和角度差值用作所述特征点训练信息，其可以反映出训练对象(例如，专业救生员、安全保护员等)的关键骨骼点的相对位置变化、动作频率、动作幅度等信息，而针对处于安全状态和危险状态的训练对象，这些信息显然是不同的。
通过引入上述不同的信息(位置、位置差值、角度、角度差值)作为特征点训练信息，增强了训练数据的丰富性，从而能够得到更好的训练结果模型，获得更准确的判断结果。
返回参照图5，在S520中，在获得特征点训练信息后，利用有监督学习对特征点训练信息进行学习，从而得到训练结果模型。在执行安全监控时，在步骤S510获取实际监控数据(相对于训练对象的监控数据而言)中包括的监控对象的特征点信息，在步骤S530利用训练结果模型对监控对象的特征点信息进行分类，在步骤S540利用所述分类来判断所述监控对象的状态。
在执行安全监控时，根据本申请的实施例，对监控区域(例如，游泳馆、溜冰场、拓展中心或海滨浴场等)采集的监控数据可以是从诸如Kinect的至少一个3D体感相机接收的，该至少一个3D体感相机之一用于采集所述监控区域的一部分的监控数据，该监控数据包括所述监控区域中的监控对象的特征点信息。特征点信息类似于上述特征点训练信息，其区别在于特征点信息是针对实际监控对象进行安全监控的，而特征点训练信息是针对训练对象来训练分类器以获得更准确的训练结果模型。可以以类似于上述获得特征点训练信息那样的方式对监控对象的监控数据进行处理而得到监控对象的特征点信息，该监控对象的特征点信息也可以包括监控对象在时间序列上的特征点位置、和该特征点位置在所述时间序列的不同时间点上的位置差值或者可以包括在相关联的特征点位置之间的角度、和该角度在不同时间上的角度差值。通过在监控区域布置多个3D体感相机，可以从多个角度和位置获得监控对象的监控数据，为后续数据处理提供更丰富的数据输入。
在获得特征点信息之后，可以利用上述训练结果模型对所述特征点信息进行分类。根据本申请的一个实现方式，步骤S530可以包括利用训练结果模型将所述监控对象的特征点信息分类为正样本或负样本，步骤S540可以包括基于所述正样本或负样本来判断所述监控对象处于危险状态或安全状态。
在一个示例中，在训练数据仅包括训练对象处于安全状态下的对应的特征点训练信息及其对应状态(安全)的情况下，即，将训练对象处于安全状态下的对应的特征点训练信息视为正样本的情况下，被训练结果模型确定为与该训练数据中的特征点训练信息相关的监控对象的特征点信息将被分类为正样本，基于所述正样本将该监控对象判断为处于安全状态，否则，被训练结果模型确定为与该训练数据中的特征点训练信息不相关的监控对象的特征点信息将被分类为负样本，基于所述负样本将该监控对象判断为处于危险状态。
在另一示例中，在训练数据仅包括训练对象处于危险状态下的对应的特征点训练信息及其对应状态(危险)的情况下，即，将训练对象处于危险状态下的对应的特征点训练信息视为正样本的情况下，被训练结果模型确定为与该训练数据中的特征点训练信息相关的监控对象的特征点信息将被分类为正样本，基于所述正样本将该监控对象判断为处于危险状态，否则，被训练结果模型确定为与该训练数据中的特征点训练信息不相关的监控对象的特征点信息将被分类为负样本，基于所述负样本将该监控对象判断为处于安全状态。
在又一示例中，在训练数据包括安全和危险两种状态下的对应特征点训练信息及状态的情况下，可以预先将与安全状态对应的特征点训练信息定义为正样本，并且将与危险状态对应的特征点训练信息定义为负样本，进而对监控对象的特征点信息进行分类。
根据本申请的一个实现方式，步骤S530可以包括利用训练结果模型对监控对象的特征点信息进行打分，步骤S540可以包括根据打分的分数来判断所述监控对象处于危险状态、疑似危险状态或安全状态之一。在该实现方式中，不是简单地将特征点训练信息分类为正样本和负样本，而是可以对特征点信息进行打分，从而对监控对象的状态进行进一步的细分。作为一个示例，在训练数据仅包括训练对象处于危险状态下的对应的特征点训练信息及其对应状态(危险)的情况下，可以基于将监控对象的特征点信息的分数计算为该特征点信息与特征点训练信息的相似度，即，该分数的范围为0至1。进一步，设置危险状态阈值Vth1和疑似危险状态阈值Vth2，例如，假设Vth1＝0.7，Vth2＝0.2，则，分数在0.7至1之间的特征点信息对应的监控对象将被判断为处于危险状态，分数在0.2至0.7之间的特征点信息对应的监控对象将被判断为处于疑似危险状态，分数在0至0.2之间的特征点信息对应的监控对象将被判断为处于安全状态。
图6是示意性图示了根据本申请实施例的安全监控方法600的框图。如图6所示，该安全监控方法600可以包括步骤S610-S660。图6中的步骤S610、S620、S630和S640分别对应于图5中的步骤S510、S520、S530和S540，因此省略其详细描述。图6的安全监控方法600与图5的安全监控方法500的区别在于安全监控方法500进一步还包括步骤S650和S660。
在步骤S630判断所述监控对象没有处于安全状态时，可以在步骤S650发出告警信息。在判断监控对象处于危险状态或疑似危险状态后，安全监控方法600可以自动发出告警信息，能够及时引导救援。告警信息可以采用文字、振动、声音等各种形式，只要可以对相关救援人员起到告警和提示作用即可，本申请对此不做限制。
在步骤S630判断所述监控对象没有处于安全状态时，可以在步骤S660定位监控对象的位置。作为一个示例，在判断监控对象没有处于安全状态时，可以基于诸如Kinect的3D体感相机的位置和监控对象相对于所述3D体感相机的位置来确定所述监控对象的位置。被判断为没有处于安全状态的监控对象的监控数据是通过诸如Kinect的至少一个3D体感相机中的某个(些)3D体感相机采集的，基于该没有处于安全状态的监控对象的监控数据可以获得该监控对象相对于所述某个(些)3D体感相机的位置，包括垂直位置、水平位置和深度位置。基于所述某个(些)3D体感相机的位置、所述没有处于安全状态的监控对象相对于所述某个(些)3D体感相机的位置可以确定所述没有处于安全状态的监控对象的位置，从而帮助救援人员更快地定位需要救援的监控对象，及时执行救援。
根据本申请实施例的安全监控方法能够有效消除利用普通摄像头的情况下视频图像中监控对象之间互相遮挡对于判断监控对象是否处于危险状态的影响，消除利用手环等检测装置的情况下检测装置丢失率高、难于管理的缺点，并且能够更准确、及时判断监控对象是否处于危险状态、自动发出告警信息、确定处于危险的监控对象的位置。
图7是示意性图示了根据本申请实施例的又一安全监控设备700的框图。如图7所示，安全监控设备700包括用于存储计算机可执行指令存储器710和处理器720。当运行所述计算机可执行指令时，处理器720执行参照图5描述的安全监控方法500或者参照图6描述的安全监控方法600。
根据本申请实施例的安全监控设备和安全监控方法能够有效消除利用普通摄像头的情况下视频图像中监控对象之间互相遮挡对于判断监控对象是否处于危险状态的影响，消除利用手环等检测装置的情况下检测装置丢失率高、难于管理的缺点，并且能够更准确、及时判断监控对象是否处于危险状态、自动发出告警信息、确定处于危险的监控对象的位置。
当然，上述的具体实施例仅是例子而非限制，且本领域技术人员可以根据本公开的构思从上述分开描述的各个实施例中合并和组合一些步骤和装置来实现本公开的效果，这种合并和组合而成的实施例也被包括在本公开中，在此不一一描述这种合并和组合。
注意，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的***、方法、装置的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些***、方法、装置。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
本公开中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。此外，例如使用冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。
另外，本文中的各个实施例中的步骤和装置并非仅限定于某个实施例中实行，事实上，可以根据本公开的概念来结合本文中的各个实施例中相关的部分步骤和部分装置以构思新的实施例，而这些新的实施例也包括在本公开的范围内。
以上描述的方法的各个操作可以通过能够进行相应的功能的任何适当的手段而进行。该手段可以包括各种硬件和/或软件组件和/或模块，包括但不限于硬件的电路、专用集成电路(ASIC)或处理器。
可以利用被设计用于进行在此描述的功能的通用处理器、数字信号处理器(DSP)、ASIC、场可编程门阵列信号(FPGA)或其它可编程逻辑器件(PLD)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合而实现或进行描述的各个例示的逻辑块、模块和电路。通用处理器可以是微处理器，但是作为替换，该处理器可以是任何商业上可获得的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如DSP和微处理器的组合，多个微处理器、与DSP核协作的一个或多个微处理器或任何其它这样的配置。
结合本公开描述的方法或算法的步骤可以直接嵌入在硬件中、处理器执行的软件模块中或者这两种的组合中。软件模块可以存在于任何形式的有形存储介质中。可以使用的存储介质的一些例子包括随机存取存储器(RAM)、只读存储器(ROM)、快闪存储器、EPROM存储器、EEPROM存储器、寄存器、硬碟、可移动碟、CD-ROM等。存储介质可以耦接到处理器以便该处理器可以从该存储介质读取信息以及向该存储介质写信息。在替换方式中，存储介质可以与处理器是整体的。软件模块可以是单个指令或者许多指令，并且可以分布在几个不同的代码段上、不同的程序之间以及跨过多个存储介质。
在此公开的方法包括用于实现描述的方法的一个或多个动作。方法和/或动作可以彼此互换而不脱离权利要求的范围。换句话说，除非指定了动作的具体顺序，否则可以修改具体动作的顺序和/或使用而不脱离权利要求的范围。
上述功能可以按硬件、软件、固件或其任意组合而实现。如果以软件实现，功能可以作为一个或多个指令存储在切实的计算机可读介质上。存储介质可以是可以由计算机访问的任何可用的切实介质。通过例子而不是限制，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光碟存储、磁碟存储或其它磁存储器件或者可以用于携带或存储指令或数据结构形式的期望的程序代码并且可以由计算机访问的任何其它切实介质。如在此使用的，碟(disk)和盘(disc)包括紧凑盘(CD)、激光盘、光盘、数字通用盘(DVD)、软碟和蓝光盘，其中碟通常磁地再现数据，而盘利用激光光学地再现数据。
因此，计算机程序产品可以进行在此给出的操作。例如，这样的计算机程序产品可以是具有有形存储(和/或编码)在其上的指令的计算机可读的有形介质，该指令可由一个或多个处理器执行以进行在此描述的操作。计算机程序产品可以包括包装的材料。
软件或指令也可以通过传输介质而传输。例如，可以使用诸如同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或诸如红外、无线电或微波的无线技术的传输介质从网站、服务器或者其它远程源传输软件。
此外，用于进行在此描述的方法和技术的模块和/或其它适当的手段可以在适当时由用户终端和/或基站下载和/或其它方式获得。例如，这样的设备可以耦接到服务器以促进用于进行在此描述的方法的手段的传送。或者，在此描述的各种方法可以经由存储部件(例如RAM、ROM、诸如CD或软碟等的物理存储介质)提供，以便用户终端和/或基站可以在耦接到该设备或者向该设备提供存储部件时获得各种方法。此外，可以利用用于将在此描述的方法和技术提供给设备的任何其它适当的技术。
其它例子和实现方式在本公开和所附权利要求的范围和精神内。例如，由于软件的本质，以上描述的功能可以使用由处理器、硬件、固件、硬连线或这些的任意的组合执行的软件实现。实现功能的特征也可以物理地位于各个位置，包括被分发以便功能的部分在不同的物理位置处实现。而且，如在此使用的，包括在权利要求中使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其它例子更好。
可以不脱离由所附权利要求定义的教导的技术而进行对在此描述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上描述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此描述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其它方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (21)

1.一种安全监控设备，包括：
接收器，用于从至少一个三维体感相机接收对监控区域采集的监控数据，该监控数据包括所述监控区域中的监控对象的特征点信息；
分类器，用于利用有监督学习对特征点训练信息进行学习而获得训练结果模型，并利用训练结果模型对所述特征点信息进行分类；以及
判断器，基于所述分类器的分类来判断所述监控对象的状态。
2.根据权利要求1的安全监控设备，其中，所述至少一个三维体感相机是多个三维体感相机，该多个三维体感相机的每个被设置在所述监控区域的不同位置，并且该多个三维体感相机之一用于采集所述监控区域的一部分的监控数据。
3.根据权利要求1的安全监控设备，其中，所述特征点训练信息是对训练对象的监控数据进行处理而得到的，包括利用三维体感相机从不同位置对同一训练对象获取的特征点训练信息。
4.根据权利要求3的安全监控设备，其中，所述特征点训练信息包括训练对象在时间序列上的特征点训练位置、和该特征点训练位置在所述时间序列的不同时间点上的位置差值。
5.根据权利要求4的安全监控设备，其中，所述特征点训练信息还包括在相关联的特征点训练位置之间的角度、和该角度在不同时间上的角度差值。
6.根据权利要求1的安全监控设备，其中，所述特征点训练信息是通过对如下的至少一个监控数据进行处理而得到的：
对用于模拟安全事故的专业人员所采集的第一监控数据；和
在实际安全事故现场的第二监控数据。
7.根据权利要求3的安全监控设备，其中，所述分类器利用所述训练结果模型将所述监控对象的特征点信息分类为正样本或负样本，所述判断器基于所述正样本或负样本来判断所述监控对象处于危险状态或安全状态。
8.根据权利要求3的安全监控设备，其中，所述分类器利用所述训练结果模型对所述特征点信息进行打分，所述判断器根据打分的分数来判断所述监控对象处于危险状态、疑似危险状态或安全状态之一。
9.根据权利要求1的安全监控设备，还包括危险指示器，用于在所述判断器判断所述监控对象没有处于安全状态时发出告警信息。
10.根据权利要求2的安全监控设备，还包括危险***，用于定位所述监控对象的位置，
其中，在所述判断器判断所述监控对象没有处于安全状态时，所述危险***基于所述三维体感相机的位置和监控对象相对于所述三维体感相机的位置来确定所述监控对象的位置。
11.一种安全监控方法，包括：
基于从至少一个三维体感相机接收的对监控区域采集的监控数据获取所述监控区域中的监控对象的特征点信息；
利用有监督学习对特征点训练信息进行学习而获得训练结果模型；
利用训练结果模型对所述特征点信息进行分类；以及
基于所述分类来判断所述监控对象的状态。
12.根据权利要求11的安全监控方法，其中，所述至少一个三维体感相机是多个三维体感相机，该多个三维体感相机的每个被设置在所述监控区域的不同位置，并且该多个三维体感相机之一用于采集所述监控区域的一部分的监控数据。
13.根据权利要求11的安全监控方法，其中，所述特征点训练信息是对训练对象的监控数据进行处理而得到的，并包括利用三维体感相机从不同位置对同一训练对象获取的特征点训练信息。
14.根据权利要求13的安全监控方法，其中，所述特征点训练信息包括训练对象在时间序列上的特征点训练位置、和该特征点训练位置在所述时间序列的不同时间点上的位置差值。
15.根据权利要求14的安全监控方法，其中，所述特征点训练信息还包括在相关联的特征点训练位置之间的角度、和该角度在不同时间上的角度差值。
16.根据权利要求13的安全监控方法，其中，所述特征点训练信息是通过对如下的至少一个监控数据进行处理而得到的：
对用于模拟安全事故的专业人员所采集的第一监控数据；和
在实际安全事故现场的第二监控数据。
17.根据权利要求13的安全监控方法，其中，
对所述特征点信息进行分类包括利用所述训练结果模型将所述监控对象的特征点信息分类为正样本或负样本；
所述基于所述分类来判断所述监控对象的状态包括基于所述正样本或负样本来判断所述监控对象处于危险状态或安全状态。
18.根据权利要求13的安全监控方法，其中，
对所述特征点信息进行分类包括利用所述训练结果模型对所述特征点信息进行打分；
所述基于所述分类来判断所述监控对象的状态包括根据打分的分数来判断所述监控对象处于危险状态、疑似危险状态或安全状态之一。
19.根据权利要求11的安全监控方法，还包括：在判断所述监控对象没有处于安全状态时发出告警信息。
20.根据权利要求12的安全监控方法，还包括：在判断所述监控对象没有处于安全状态时，基于所述三维体感相机的位置和监控对象相对于所述三维体感相机的位置来定位所述监控对象的位置。
21.一种安全监控设备，包括：
存储器，用于存储计算机可执行指令；
处理器，当运行所述计算机可执行指令时，执行如权利要求11-20中任一项所述的安全监控方法。
CN201910745798.5A 2019-08-13 2019-08-13 安全监控设备和安全监控方法 Pending CN110516720A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910745798.5A CN110516720A (zh) 2019-08-13 2019-08-13 安全监控设备和安全监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910745798.5A CN110516720A (zh) 2019-08-13 2019-08-13 安全监控设备和安全监控方法

Publications (1)

Publication Number Publication Date
CN110516720A true CN110516720A (zh) 2019-11-29

Family

ID=68625729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910745798.5A Pending CN110516720A (zh) 2019-08-13 2019-08-13 安全监控设备和安全监控方法

Country Status (1)

Country Link
CN (1) CN110516720A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021114766A1 (zh) * 2019-12-09 2021-06-17 深圳市鸿逸达科技有限公司 一种基于深度数据的人员行为模式分析方法和***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542301A (zh) * 2011-12-28 2012-07-04 浙江大学 基于视频的早期溺水行为动作检测方法
CN104866860A (zh) * 2015-03-20 2015-08-26 武汉工程大学 一种室内人体行为识别方法
CN106056035A (zh) * 2016-04-06 2016-10-26 南京华捷艾米软件科技有限公司 一种基于体感技术的幼儿园智能监控方法
CN107491717A (zh) * 2016-06-13 2017-12-19 科大讯飞股份有限公司 ***检测方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542301A (zh) * 2011-12-28 2012-07-04 浙江大学 基于视频的早期溺水行为动作检测方法
CN104866860A (zh) * 2015-03-20 2015-08-26 武汉工程大学 一种室内人体行为识别方法
CN106056035A (zh) * 2016-04-06 2016-10-26 南京华捷艾米软件科技有限公司 一种基于体感技术的幼儿园智能监控方法
CN107491717A (zh) * 2016-06-13 2017-12-19 科大讯飞股份有限公司 ***检测方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021114766A1 (zh) * 2019-12-09 2021-06-17 深圳市鸿逸达科技有限公司 一种基于深度数据的人员行为模式分析方法和***

Similar Documents

Publication Publication Date Title
US11990160B2 (en) Disparate sensor event correlation system
US10748581B2 (en) Multi-sensor event correlation system
US9911045B2 (en) Event analysis and tagging system
CN105027550B (zh) 用于处理视觉信息以检测事件的***和方法
US11159769B2 (en) Drowning detection enhanced by swimmer analytics
US20090060352A1 (en) Method and system for the detection and the classification of events during motion actions
US20150317801A1 (en) Event analysis system
US10909372B2 (en) Assistive device for the visually-impaired
CN210955266U (zh) 物联网温感身高人证识别一体机
JP2013232181A (ja) 画像処理装置、画像処理方法
US10657448B2 (en) Devices and methods to navigate in areas using a machine learning model
WO2017011811A1 (en) Event analysis and tagging system
CN110516720A (zh) 安全监控设备和安全监控方法
CA2433885A1 (en) System and method for the measurement of the relative position of an object with respect to a point of reference
CN114187651A (zh) 基于混合现实的太极拳训练方法及***、设备及存储介质
CN113869415A (zh) 一种问题行为检测与预警***
WO2020217812A1 (ja) 被写体の状態を認識する画像処理装置及びその方法
CN115475373B (zh) 运动数据的展示方法、装置、存储介质及电子装置
CN114821961A (zh) 室内防儿童走失方法、电子设备及存储介质
CN113158933A (zh) 一种走失人员识别的方法、***、装置及存储介质
Zhang (Retracted) Swimming pool safety detection device based on computer vision
CN113744335B (zh) 一种基于场地标记的运动引导方法、***及存储介质
Alejano et al. Multi-agent system design-based smart device for aquatic-accidents alerting and avoidance
JP4251394B2 (ja) 立体映像により視野範囲を測定する方法と装置
CN117649641A (zh) 一种基于实时图像分析的泳池防溺水***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191129