CN110287923A - 人体姿态获取方法、装置、计算机设备及存储介质 - Google Patents

人体姿态获取方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110287923A
CN110287923A CN201910581506.9A CN201910581506A CN110287923A CN 110287923 A CN110287923 A CN 110287923A CN 201910581506 A CN201910581506 A CN 201910581506A CN 110287923 A CN110287923 A CN 110287923A
Authority
CN
China
Prior art keywords
key point
human body
video frame
target
target body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910581506.9A
Other languages
English (en)
Other versions
CN110287923B (zh
Inventor
陈泳君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910581506.9A priority Critical patent/CN110287923B/zh
Publication of CN110287923A publication Critical patent/CN110287923A/zh
Application granted granted Critical
Publication of CN110287923B publication Critical patent/CN110287923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请是关于一种人体姿态获取方法。该方法包括:获取图像采集设备采集到的视频流中的有效视频帧;提取所述有效视频帧中的目标人体的人体关键点信息,所述人体关键点信息包括所述目标人体中的至少两个关键点的位置信息;根据所述人体关键点信息获取所述目标人体的人体姿态,所述人体姿态包括跌倒姿态和非跌倒姿态;本方案不需要对连续的视频帧进行识别,也不必须识别出视频帧中的人脸,只需要识别单独的视频帧中的两个或者两个以上人体关键点,即可以识别出人体是否跌倒,由于人体中的关键点数量较多,因此,本申请所示的方案不容易发生漏检测,能够提高人体姿态检测的准确性。

Description

人体姿态获取方法、装置、计算机设备及存储介质
技术领域
本申请实施例涉及视频监控技术领域,特别涉及一种人体姿态获取方法、装置、计算机设备及存储介质。
背景技术
跌倒对于老年人已经成为一个高危健康问题,尤其是独居的老人,承受更多的跌倒风险,而基于普通监控摄像头的跌倒检测可以减少人力不间断巡查跌倒的异常状况。
在相关技术中,在检测目标人体是否跌倒时,可以通过人脸检测模块检测到监控视频帧中的人脸位置,将人脸位置作为目标对人体头部所在的位置,根据连续两帧视频帧中目标人体头部的位置,计算出目标人体头部下降的速度,并通过与预设下降速度阈值比较来判断目标人体是否跌倒。
然而,相关技术中的方案需要在连续的视频帧中都检测到人脸位置,才能够进一步检测出人脸对应的目标人体是否跌倒,容易发生漏检测的情况,导致跌倒姿态检测的准确性低。
发明内容
本申请实施例提供了一种人体姿态获取方法、装置、计算机设备及存储介质,可以提高基于视频图像进行跌倒姿态检测的准确性,技术方案如下:
一方面,提供了一种人体姿态获取方法,所述方法包括:
获取图像采集设备采集到的视频流中的有效视频帧;
提取所述有效视频帧中的目标人体的人体关键点信息,所述人体关键点信息包括所述目标人体中的至少两个关键点的位置信息;
根据所述人体关键点信息获取所述目标人体的人体姿态,所述人体姿态包括跌倒姿态和非跌倒姿态。
另一方面,提供了一种人体姿态获取装置,所述装置包括:
视频帧获取模块,用于获取图像采集设备采集到的视频流中的有效视频帧;
关键点提取模块,用于提取所述有效视频帧中的目标人体的人体关键点信息,所述人体关键点信息包括所述目标人体中的至少两个关键点的位置信息;
姿态获取模块,用于根据所述人体关键点信息获取所述目标人体的人体姿态,所述人体姿态包括跌倒姿态和非跌倒姿态。
可选的,所述姿态获取模块,用于
根据所述至少两个关键点的位置信息,获取所述至少两个关键点之间的相对位置关系;
根据所述至少两个关键点之间的相对位置关系,获取所述目标人体的人体姿态。
可选的,所述至少两个关键点的位置信息,包括所述目标人体中至少两个头部关键点的位置信息,以及所述目标人体中至少两个下半身关键点的位置信息;
在根据所述至少两个关键点的位置信息,获取所述至少两个关键点之间的相对位置关系时,姿态获取模块,用于,
根据所述至少两个头部关键点的位置信息获取第一纵坐标,所述第一纵坐标是所述至少两个头部关键点各自在指定坐标系中的纵坐标的平均值;所述指定坐标系的纵坐标轴的方向是所述有效视频帧中的竖直方向;
根据所述至少两个下半身关键点的位置信息获取第二纵坐标,所述第二纵坐标是所述至少两个下半身关键点各自在所述指定坐标系中的纵坐标的平均值;
将所述第一纵坐标和所述第二纵坐标之间的高低关系获取为所述至少两个关键点之间的相对位置关系;
在根据所述至少两个关键点之间的相对位置关系,获取所述目标人体的人体姿态时,姿态获取模块,用于,
当所述第一纵坐标低于所述第二纵坐标时,确定所述目标人体的人体姿态为跌倒姿态。
可选的,所述至少两个关键点的位置信息,包括所述目标人体的左上半身关键点,以及所述目标人体的左胯部关键点;所述左上半身关键点包括左眼关键点或者左肩关键点;
在根据所述至少两个关键点的位置信息,获取所述至少两个关键点之间的相对位置关系时,姿态获取模块,用于,
根据所述左上半身关键点的位置信息,以及所述左胯部关键点的位置信息,确定所述左上半身关键点与所述左胯部关键点之间的连线;
将所述连线与所述有效视频帧中的竖直方向之间的夹角获取为所述至少两个关键点之间的相对位置关系;
在根据所述至少两个关键点之间的相对位置关系,获取所述目标人体的人体姿态时,姿态获取模块,用于,
当所述夹角大于第一角度阈值时,确定所述目标人体的人体姿态为跌倒姿态。
可选的,所述至少两个关键点的位置信息,包括所述目标人体的右上半身关键点,以及所述目标人体的右胯部关键点;所述右上半身关键点包括右眼关键点或者右肩关键点;
在根据所述至少两个关键点的位置信息,获取所述至少两个关键点之间的相对位置关系时,姿态获取模块,用于,
根据所述右上半身关键点的位置信息,以及所述右胯部关键点的位置信息,确定所述右上半身关键点与所述右胯部关键点之间的连线;
将所述连线与所述有效视频帧中的竖直方向之间的夹角获取为所述至少两个关键点之间的相对位置关系;
在根据所述至少两个关键点之间的相对位置关系,获取所述目标人体的人体姿态时,姿态获取模块,用于,
当所述夹角大于第一角度阈值时,确定所述目标人体的人体姿态为跌倒姿态。
可选的,所述视频帧获取模块,用于,
获取所述图像采集设备即时采集得到的当前视频帧;
对所述当前视频帧进行运动目标检测;
当所述当前视频帧中包含运动目标时,将所述当前视频帧确定为本次获取的有效视频帧。
可选的,所述视频帧获取模块,还用于,
当所述当前视频帧中不包含运动目标时,获取当前帧间隔,所述当前帧间隔是所述当前视频帧的与前一次获取的有效视频帧之间的帧间隔;
当所述当前帧间隔大于帧间隔阈值时,将所述当前视频帧确定为本次获取的有效视频帧。
可选的,所述装置还包括:
光流速度获取模块,用于当所述目标人体的人体姿态为非跌倒姿态时,获取所述目标人体在所述目标视频帧中的头肩区域的光流速度;
姿态修改模块,用于当所述光流速度满足预设条件时,将所述目标人体的人体姿态修改为跌倒姿态。
可选的,所述装置还包括:
头肩速度获取模块,用于在所述姿态修改模块将所述目标人体的人体姿态修改为跌倒姿态之前,将所述光流速度除以所述头肩区域的面积,获得所述目标人体的头肩速度;
条件确地模块,用于当所述头肩速度大于速度阈值时,确定所述光流速度满足所述预设条件。
可选的,所述装置还包括:
关键点获取模块,用于在光流速度获取模块获取所述目标人体在所述目标视频帧中的头肩区域的光流速度之前,获取所述目标人体头肩部位的至少三个关键点;所述至少三个关键点包括所述目标人体的左肩关键点和右肩关键点;
区域获取模块,用于将所述至少三个关键点的最小外接矩形对应的区域,获取为所述目标人体在所述目标视频帧中的头肩区域,所述最小外接矩形是包含所述至少三个关键点的最小矩形。
可选的,所述装置还包括:
告警模块,用于当所述目标人体的人体姿态为跌倒姿态时,向用户终端发送告警信息。
可选的,所述告警模块,用于若所述目标人体的人体姿态在最近获取到的至少两个有效视频帧内保持跌倒姿态,则向所述用户终端发送所述告警信息。
又一方面,提供了一种计算机设备,所述计算机设备包含处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上所述的人体姿态获取方法。
又一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上所述的人体姿态获取方法。
本申请提供的技术方案可以包括以下有益效果:
通过本方案,不需要对连续的视频帧进行识别,也不必须识别出视频帧中的人脸,只需要识别单独的视频帧中的两个或者两个以上人体关键点,即可以识别出人体是否跌倒,由于人体中的关键点数量较多,因此,本申请所示的方案不容易发生漏检测,能够提高人体姿态检测的准确性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是本申请各个实施例涉及的一种视频监控***的***构成图;
图2是图1所示实施例涉及视频监控***的***功能示意图;
图3是根据一示例性实施例示出的一种人体姿态获取方法的流程图;
图4是根据一示例性实施例示出的一种人体姿态获取方法的流程图;
图5是图4所示实施例涉及的跌倒姿态检测流程示意图;
图6是根据一示例性实施例示出的一种人体姿态获取装置的结构方框图;
图7是根据一示例性实施例示出的一种计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
本申请提出了一种通过视频帧中的人体的关键点的位置,来确定该人体是否跌倒的方案,该方案能够通过单幅视频帧准确的获取人体姿态。为了便于理解,下面对本申请实施例涉及的几个名词进行解释。
请参考图1,其示出了本申请各个实施例涉及的一种视频监控***的***构成图。如图1所示,该***包括:若干个图像采集设备110、姿态识别设备120、服务器130以及用户终端140。
其中,图像采集设备110可以是专用的监控摄像头;或者,图像采集设备110也可以是临时充当监控摄像头的其它设备,比如具有摄像头的智能手机、平板电脑、智能电视等等。
图像采集设备110可以设置在人体跌倒情况高发的场所,或者,设置在人体跌倒后需要快速救护的场所,以对易跌倒人群进行实时监控。比如,图像采集设备110可以设置在民宅内部、养老院、医院或者幼儿园等任意需要监控人体跌倒姿态的场所。
图像采集设备110通过通信网络与姿态识别设备120相连。
上述姿态识别设备120可以是独立部署的,专用于从视频帧中识别出目标人体的人体姿态的计算机设备。
比如,上述姿态识别设备120可以是安装在用户住宅、机房内,运行有姿态识别算法的专用设备。
或者,上述姿态识别设备120可以是安装有姿态识别软件,或者,运行有姿态识别算法的智能家居设备。
比如,上述姿态识别设备120可以是智能网关或者智能路由器等。
姿态识别设备120通过通信网络与服务器130相连。或者,上述姿态识别设备120也可以实现为服务器130的一部分。
上述服务器130可以是一台服务器,或者由若干台服务器,或者是一个虚拟化平台,或者是一个云计算服务中心。
服务器130可以由一个或多个功能单元组成。可选的,服务器130还可以连接数据库。其中,该数据库可以是分布式数据库,或者,也可以是其它类型数据库。其中,数据库用于存储各类数据,比如,各个图像采集设备110采集到的视频帧等等。
服务器130可以通过通信网络与用户终端140相连。
终端140可以是具有网络连接功能的终端设备,比如,终端160可以是手机、平板电脑、电子书阅读器、智能眼镜、智能手表、膝上型便携计算机和台式计算机等等。
可选的,终端140中可以安装有服务器130对应的应用程序,并且,基于该应用程序可以实现对图像采集设备110的相关操作,比如,查看图像采集设备110采集到的即时视频或者历史视频,或者,对图像采集设备110执行开启、关闭、休眠、唤醒以及拍摄角度调整等控制。
可选的,该通信网络是有线网络或无线网络。
可选的,上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络,包括但不限于局域网(Local Area Network,LAN)、城域网(Metropolitan Area Network,MAN)、广域网(Wide Area Network,WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中,使用包括超文本标记语言(Hyper Text Mark-up Language,HTML)、可扩展标记语言(Extensible MarkupLanguage,XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer,SSL)、传输层安全(Transport Layer Security,TLS)、虚拟专用网络(Virtual Private Network,VPN)、网际协议安全(Internet ProtocolSecurity,IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
请参考图2,其示出了本申请实施例涉及的视频监控***的***功能示意图。如图2所示,上述***功能如下:
1)用户终端140或者服务器130向图像采集设备110下发控制命令。
在一种可能的实现方式中,用户终端140可以通过服务器130对应的应用程序,向图像采集设备110发送控制命令,以控制图像采集设备110开启、关闭、休眠、唤醒以及拍摄角度调整等。
在另一种可能的实现方式中,也可以由服务器130按照预先配置的控制策略,自动向图像采集设备110发送控制命令。
其中,上述控制策略可以是开发人员预先设置的控制策略,也可以是用户终端140对应的用户通过应用程序设置并上传的控制策略。
2)图像采集设备110向服务器130或者用户终端上报状态。
在本申请实施例中,图像采集设备110发生状态变化时,可以向服务器130或者用户终端140上报自己的状态,比如,上报是否处于拍摄状态,上报当前拍摄角度,以及上报当前电量等等。
3)图像采集设备110采集到实时视频后,将采集到的视频帧提供给姿态识别设备120,由姿态识别设备120进行姿态识别。
其中,处于拍摄状态的图像采集设备110将采集到的视频帧传输给姿态识别设备120,姿态识别设备识别视频帧中包含的目标人体的人体姿态是跌倒姿态还是非跌倒姿态。
4)姿态识别设备120向用户终端140发送告警信息。
在本申请实施例中,当姿态识别设备120识别出目标人体的人体姿态是跌倒姿态时,可以向用户终端140发出告警。
图3是根据一示例性实施例示出的一种人体姿态获取方法的流程图,该人体姿态获取方法可以用于计算机设备中,以对图像采集设备采集到的视频帧中的目标人体进行姿态检测。以该计算机设备是上述图1所示***中的姿态识别设备120为例,如图3所示,该人体姿态获取方法可以包括如下步骤:
步骤301,获取图像采集设备采集到的视频流中提取有效视频帧。
在一种可能的实现方式中,图像采集设备传输给姿态识别设备的视频数据可以是视频流数据,该视频流数据的格式可以是实时流传输协议(Real Time StreamingProtocol,RTSP)格式/实时消息传输协议(Real Time Messaging Protocol,RTMP)格式或者其它的自定义协议格式。姿态识别设备对获取到的视频流数据进行解码获得视频帧,并从获得的视频帧中提取有效视频帧。
在另一种可能的实现方式中,图像采集设备传输给姿态识别设备的视频数据可以是由一系列的视频帧构成的视频帧序列,姿态识别设备从获取到的视频帧序列中直接提取有效视频帧。
在本申请实施例中,上述有效视频帧可以是满足筛选条件的视频帧,其中,该筛选条件可以包括以下条件中的至少一种:视频帧中存在运动目标、视频帧中存在人体、以及视频帧的图像质量达到预设质量要求等。
步骤302,提取该有效视频帧中的目标人体的人体关键点信息,该人体关键点信息包括该目标人体中的至少两个关键点的位置信息。
其中,目标人体中的关键位置点可以是目标人体上具有明显视觉特征的各个关键点。比如,上述目标人体中的至少两个关键点可以包括以下18个关键点中的至少两个关键点:
左眼关键点、右眼关键点、左耳关键点、右耳关键点、鼻子关键点、颈部关键点、左肩关键点、右肩关键点、左手肘关键点、右手肘关键点、左手腕关键点、右手腕关键点、左胯部关键点、右胯部关键点、左膝盖关键点、右膝盖关键点、左脚踝关键点以及右脚踝关键点。
在本申请实施例中,关键点可以是对应人体部位在有效视频帧中的所在区域的中心点。
比如,目标人体的左眼关键点,可以是有效视频帧中的目标人体的左眼或者左瞳孔所在的区域的中心点,再比如,目标人体的左耳关键点,可以是有效视频帧中的目标人体的左耳所在的区域的中心点,再比如,目标人体的鼻子关键点,可以是有效视频帧中的目标人体的鼻子所在的区域的中心点,以此类推。
其中,本申请实施例仅以上述18个关键点为例介绍人体关键点,在其它可能的实现方式中,目标人体中的关键点也可以包含人体中其它部分的关键点。
在本申请实施例中,上述关键点的位置信息,可以包括对应的关键点在视频帧中的二维坐标。
步骤303,根据该人体关键点信息获取该目标人体的人体姿态,该人体姿态包括跌倒姿态和非跌倒姿态。
在本申请实施例中,姿态识别设备可以通过目标人体中的至少两个关键点的位置信息,确定目标人体是否处于跌倒姿态。比如,当识别出目标人体中的头肩部位中的某个关键点(比如鼻子关键点)处于下半身关键点(比如膝盖关键点)以下时,即可以判断出人体姿态为跌倒姿态。
综上所述,在本申请所示方案的执行过程中,姿态识别设备不需要对连续的视频帧进行识别,也不必须识别出视频帧中的人脸,只需要识别单独的视频帧中的两个或者两个以上人体关键点,即可以识别出人体是否跌倒,由于人体中的关键点数量较多,因此,本申请所示的方案不容易发生漏检测,能够提高人体姿态检测的准确性。
图4是根据一示例性实施例示出的一种人体姿态获取方法的流程图,该人体姿态获取方法可以用于计算机设备中,以对图像采集设备采集到的视频帧中的目标人体进行姿态检测。以该计算机设备是上述图1所示***中的姿态识别设备120为例,如图4所示,该人体姿态获取方法可以包括如下步骤:
步骤401,获取图像采集设备采集到的视频流中的有效视频帧。
在一种可能的实现方式中,姿态识别设备可以获取该图像采集设备即时采集得到的当前视频帧;并对该当前视频帧进行运动目标检测;当该当前视频帧中包含运动目标时,将该当前视频帧确定为本次获取的有效视频帧。
在本申请实施例中,若对图像采集设备采集到的视频流中每个视频帧都进行姿态检测,则需要较高的处理性能,影响姿态识别的部署场景。为了避免不必要的姿态检测过程,减少后续姿态检测过程的处理资源消耗,对于图像采集设备采集到的视频流中的当前视频帧,可以先对当前视频帧进行运动目标检测,以检测当前视频帧中是否存在运动目标,若是存在运动目标,则说明当前视频帧中可能会存在人体,需要进行人体姿态的检测,此时,可以将当前视频帧确定为本次获取的有效视频帧。
在一种可能的实现方式中,姿态识别设备可以通过运动目标检测算法对当前视频帧进行运动目标检测。其中,该运动目标检测算法可以是帧间差分法,或者,该目标运动检测算法也可以是其它背景建模算法,如混合高斯建模算法等。
可选的,当该当前视频帧中不包含运动目标时,姿态识别设备可以获取当前帧间隔,该当前帧间隔是该当前视频帧的与前一次获取的有效视频帧之间的帧间隔;当该当前帧间隔大于帧间隔阈值时,将该当前视频帧确定为本次获取的有效视频帧。
当视频帧中有人体跌倒时,若跌倒的人体静止不动,则姿态识别设备可能识别不出其中的运动目标,而这样的视频帧若不进行识别,则会出现漏检测的情况,因此,在本申请实施例中,如果姿态检测设备从当前视频帧中未检测出运动目标,并不会直接丢弃当前视频帧,还会继续获取当前视频帧与前一次获取的有效视频帧之间的帧间隔,若获取到的帧间隔高于预设帧间隔阈值,也会将当前视频帧确定为本次获取的有效视频帧,这样能够保证每隔一定的时间至少能够进行一次人体姿态的检测,以避免漏检测的情况。
比如,以监控摄像头为例,假设在第一时刻,监控摄像头的拍摄范围中有人体跌倒,但是被其它物体遮挡(比如车辆或者其它人体等),因此姿态识别设备未能检测出运动目标,或者检测出运动目标但后续并未检测出人体跌倒姿态,在第一时刻之后,跌倒的人体保持跌倒姿态静止不动,在第一时刻之后的第二时刻,姿态识别设备确定该第二时刻对应的视频帧距离前一次获取的有效视频帧之间的间隔大于某一阈值时,将该第二时刻对应的视频帧获取为有效视频帧,并进行后续人体跌倒检测的步骤。
可选的,上述帧间隔以及帧间隔阈值可以是两帧之间的相隔的帧数(比如150帧),或者,上述帧间隔以及帧间隔阈值也可以是两帧之间的相隔的时长(比如3s)。
可选的,上述帧间隔阈值可以是开发人员预先在姿态识别设备中设置的,或者,上述帧间隔阈值也可以是用户通过用户终端中的应用程序设置的。
在获取到有效视频帧之后,姿态识别设备即可以对有效视频帧进行人体姿态的识别。
步骤402,提取该有效视频帧中的目标人体的人体关键点信息,该人体关键点信息包括该目标人体中的至少两个关键点的位置信息。
在本申请实施例中,姿态识别设备从有效视频帧中提取目标人体的人体关键点信息的步骤可以分为以下两步:
1)检测有效视频帧中是否存在人体。
在本申请实施例中,姿态识别设备可以先检测有效视频帧中是否存在人体,若不存在人体,则丢弃有效视频帧,否则,执行后续步骤。
其中,姿态识别设备可以通过人体检测算法检测有效视频帧中是否存在人体。比如,上述人体检测算法可以是单点多框探测器(Single Shot MultiBox Detector,SSD)算法,YOLO(You Only Look Once)算法,快速区域卷积神经网络(faster Region-Convolutional Neural Networks,faster RCNN)算法中的任意一种。
2)当有效视频帧中存在人体时,通过人体姿态识别算法,从有效视频帧中提取出目标人体的人体关键点信息。
在本申请实施例中,姿态识别设备可以通过密集姿态(DensePose)算法、开放姿态(OpenPose)算法、实时多人姿态估计(Realtime Multi-Person Pose Estimation)算法等人体姿态识别算法提取目标人体的人体关键点信息。
其中,上述人体关键点信息中包含的关键点的位置信息,可以是关键点在指定坐标系中的二维坐标。其中,该指定坐标系的纵坐标轴的方向是有效视频帧中的竖直方向,而横坐标轴的方向是有效视频帧中的水平方向。
在本申请实施例中,上述人体姿态识别算法可以是基于卷积神经网络的机器学习算法。姿态识别设备通过上述人体姿态识别算法提取人体关键点信息时,可以将包含有目标人体的图像对应的图像数据输入到训练好的卷积神经网络,由该卷积神经网络对图像数据进行特征提取以及特征映射等处理操作,输出目标人体中的各个关键点对应的人体关键点信息。
在一种可能的实现方式中,上述卷积神经网络可以是预先通过标注好的人体关键点的样本图像进行训练获得的,对于不同的人体姿态识别算法,上述样本图像、卷积神经网络的层级结构以及训练流程可以不同。
其中,上述包含有目标人体的图像可以是整个有效视频帧,或者,也可以是根据上述人体检测结果,从有效视频帧中截取出的,该目标人体所在位置处的图像。
步骤403,根据该人体关键点信息获取该目标人体的人体姿态,该人体姿态包括跌倒姿态和非跌倒姿态。
可选的,在根据该人体关键点信息获取该目标人体的人体姿态时,姿态识别设备可以根据该至少两个关键点的位置信息,获取该至少两个关键点之间的相对位置关系;并根据该至少两个关键点之间的相对位置关系,获取该目标人体的人体姿态。
其中,当人体成跌倒姿态时,人体中的各个部位的关键点之间的相对位置也会满足一定的条件,比如,人体上半身某些关键点会低于下半身某些关键点,或者,人体中某些关键点之间的连线会呈一定的角度。基于上述原理,本申请所示的方案,就是根据目标人体中各个关键点之间的位置关系,来确定目标人体的人体姿态是否为跌倒姿态。
其中,姿态识别设备获取人体姿态的方式可以包括如下几种:
1)上述至少两个关键点的位置信息,包括该目标人体中至少两个头部关键点的位置信息,以及该目标人体中至少两个下半身关键点的位置信息。
在根据该至少两个关键点的位置信息,获取该至少两个关键点之间的相对位置关系时,姿态识别设备可以根据该至少两个头部关键点的位置信息获取第一纵坐标,并根据该至少两个下半身关键点的位置信息获取第二纵坐标。
其中,上述第一纵坐标是该至少两个头部关键点各自在指定坐标系中的纵坐标的平均值,该第二纵坐标是该至少两个下半身关键点各自在该指定坐标系中的纵坐标的平均值;该指定坐标系的纵坐标轴的方向是该有效视频帧中的竖直方向。
在根据该至少两个关键点之间的相对位置关系,获取该目标人体的人体姿态时,当该第一纵坐标低于该第二纵坐标时,姿态识别设备可以确定该目标人体的人体姿态为跌倒姿态。
其中,上述至少两个头部关键点可以包括左眼关键点、右眼关键点、左耳关键点、右耳关键点、鼻子关键点、颈部关键点、左肩关键点、右肩关键点等8个关键点中的任意两个或两个以上关键点。
上述至少两个下半身关键点可以包括左胯部关键点、右胯部关键点、左膝盖关键点、右膝盖关键点、左脚踝关键点以及右脚踝关键点中的任意两个或两个以上关键点。
由于图像采集组件采集到的图像中的竖直方向,通常与实际三维空间中的竖直方向相同,因此,在上述以有效视频帧中的竖直方向为纵坐标轴方向的坐标系中,当目标人体的头部关键点的平均纵坐标低于下半身关键点的平均纵坐标时,说明目标人体的头部总体上与下半身齐平或者低于下半身,此时,可以认为目标人体的人体姿态为跌倒姿态。反之,如果目标人体的头部关键点的平均纵坐标不低于下半身关键点的平均纵坐标,则说明目标人体的头部总体上处于下半身之上,此时,可以认为目标人体的人体姿态为非跌倒姿态。
2)上述至少两个关键点的位置信息,包括该目标人体的左上半身关键点,以及该目标人体的左胯部关键点;该左上半身关键点包括左眼关键点或者左肩关键点;
在根据该至少两个关键点的位置信息,获取该至少两个关键点之间的相对位置关系时,姿态识别设备可以根据该左上半身关键点的位置信息,以及该左胯部关键点的位置信息,确定该左上半身关键点与该左胯部关键点之间的连线;然后将该连线与该有效视频帧中的竖直方向之间的夹角获取为该至少两个关键点之间的相对位置关系。
在根据该至少两个关键点之间的相对位置关系,获取该目标人体的人体姿态时,当该夹角大于第一角度阈值时,姿态识别设备可以确定该目标人体的人体姿态为跌倒姿态。
3)上述至少两个关键点的位置信息,包括该目标人体的右上半身关键点,以及该目标人体的右胯部关键点;该右上半身关键点包括右眼关键点或者右肩关键点;
在根据该至少两个关键点的位置信息,获取该至少两个关键点之间的相对位置关系时,姿态识别设备可以根据该右上半身关键点的位置信息,以及该右胯部关键点的位置信息,确定该右上半身关键点与该右胯部关键点之间的连线;并将该连线与该有效视频帧中的竖直方向之间的夹角获取为该至少两个关键点之间的相对位置关系。
在根据该至少两个关键点之间的相对位置关系,获取该目标人体的人体姿态时,姿态识别设备可以当该夹角大于第一角度阈值时,确定该目标人体的人体姿态为跌倒姿态。
其中,上述第一角度阈值与第二角度阈值可以是相同的角度阈值,也可以是不同的角度阈值。
当人体呈跌倒姿态时,人体的头肩部位和胯部都会靠近地面,因此,位于人体同一侧的头肩部位和胯部的高度基本相当,相应的,位于人体同一侧的头肩部位和胯部之间的连线与有效视频帧中的竖直方向的夹角较大,而与有效视频帧中的水平方向的夹角较小,因此,在本申请实施例中,姿态识别设备可以获取位于目标人体同一侧的头肩部位和胯部之间的连线与有效视频帧中的竖直方向的夹角,并将获取到的夹角与预设的角度阈值(比如45°)进行比较,如果获取到的夹角大于预设的角度阈值,则确定目标人体的人体姿态为跌倒姿态。反之,如果获取到的夹角不大于预设的角度阈值,则确定目标人体的人体姿态为非跌倒姿态。
其中,上述角度阈值可以由开发人员在姿态识别设备中预先设置,或者,上述角度阈值也可以由用户通过应用程序进行设置。
在本申请实施例中,上述三种获取人体姿态的方式可以单独使用,也可以结合使用。
比如,上述三种获取人体姿态的方式中,任意一种方式确定目标人体的人体姿态为跌倒姿态,则姿态识别设备获取目标人体的人体姿态为跌倒姿态。
或者,上述三种获取人体姿态的方式中,当通过第一种方式确定目标人体的人体姿态为跌倒姿态,且通过第二种和第三种方式中的任一方式确定目标人体的人体姿态为跌倒姿态时,姿态识别设备获取目标人体的人体姿态为跌倒姿态。
本申请实施例所示的方案仅以上述三种方式为例说明姿态识别设备如何获取目标人体的人体姿态。本领域技术人员可以理解的是,也可以通过其它方式,根据目标人体中各个关键点之间的相对位置关系确定目标人体是否为跌倒姿态。
步骤404,当该目标人体的人体姿态为非跌倒姿态时,获取该目标人体在该目标视频帧中的头肩区域的光流速度。
可选的,在获取该目标人体在该目标视频帧中的头肩区域的光流速度之前,姿态识别设备可以获取该目标人体头肩部位的至少三个关键点;该至少三个关键点包括该目标人体的左肩关键点和右肩关键点;将该至少三个关键点的最小外接矩形对应的区域,获取为该目标人体在该目标视频帧中的头肩区域,该最小外接矩形是包含该至少三个关键点的最小矩形。
在本申请实施例中,目标人体的头肩区域可以由目标人体中头肩部位的关键点来确定。其中,目标人体中头肩部位的关键点可以包括姿态识别设备从有效视频帧中提取出的,该目标人体的左眼关键点、右眼关键点、左耳关键点、右耳关键点、鼻子关键点、左肩关键点、右肩关键点这7个关键点中的至少3个关键点,且该至少3个关键点中需要同时包含左肩关键点和右肩关键点。若姿态识别设备从有效视频帧中提取出的头肩部位的关键点中不同时包含左肩关键点和右肩关键点,则不执行后续获取光流速度的步骤。
其中,上述最小外接矩形可以是相邻两条边在目标视频帧中分别呈竖直方向和水平方向的矩形。比如,该最小外接矩形是的上下两条边,分别是经过上述至少三个关键点中,位于最上方和最下方的关键点的两条边;而该最小外接矩形是的左右两条边,分别是经过上述至少三个关键点中,位于最左侧和最右侧的关键点的两条边。
或者,上述最小外接矩形也可以是任意旋转角度的矩形,只需要保证识别到的目标人体中头肩部位的关键点都位于矩形范围内,且面积最小即可。
步骤405,当该光流速度满足预设条件时,将该目标人体的人体姿态修改为跌倒姿态。
在本申请实施例中,姿态识别设备不仅可以检测出处于跌倒姿态的目标人体,也可以是检测出正在跌倒的目标人体。
其中,当人体发生跌倒时,其头肩部位会在短时间内快速移动。基于上述原理,在本申请实施例中,当通过上述步骤402和步骤403确定目标人体为非跌倒姿态时,姿态识别设备还进一步获取目标人体中的头肩部位的光流速度,然后根据光流速度确定目标人体的头肩速度,当头肩速度满足一定条件,比如,当头肩速度大于某速度阈值是,可以认为目标人体正在跌倒,此时,可以将目标人体的人体姿态由跌倒姿态修改为非跌倒姿态。
可选的,将该目标人体的人体姿态修改为跌倒姿态之前,姿态识别设备可以将该光流速度除以该头肩区域的面积,获得该目标人体的头肩速度;并当该头肩速度大于速度阈值时,确定该光流速度满足该预设条件。
其中,上述速度阈值可以是开发人员预先在姿态识别设备中设置的阈值,也可以是用于通过应用程序自行设置的阈值。
在本申请实施例中,目标人体的头肩速度可以通过光流速度来计算。比如,姿态识别设备确定出目标人体的头肩区域后,通过密集光流算法计算出头肩区域的光流速度,然后将计算出的光流速度除以头肩区域的面积,即获得目标人体的头肩速度。
可选的,上述计算头肩区域的算法也可以是其它光流算法,或者,也可以通过目标人体的头肩区域在有效视频帧与该有效视频帧的前一帧中位置差来上述计算头肩速度。
步骤406,当该目标人体的人体姿态为跌倒姿态时,向用户终端发送告警信息。
在本申请实施例中,当姿态识别设备获取到的目标人体的人体姿态为跌倒姿态时,即可以发出告警,以提醒用户有人跌倒,以便用户及时确定是否需要救护。
其中,上述姿态识别设备可以直接,或者通过服务器间接向用户终端发送告警信息,比如,可以通过短信、邮件、应用程序通知消息、应用程度弹窗等方式向用户终端发送告警信息。
可选的,上述告警信息中可以包含当前的有效视频帧,以便用户更准确的了解人体跌倒的情况。
可选的,若该目标人体的人体姿态在最近获取到的至少两个有效视频帧内保持跌倒姿态,则向该用户终端发送该告警信息。
在本申请实施例中,为了避免姿态识别设备将单帧有效视频帧中的目标人体错误识别成跌倒姿态而导致误告警,在识别出当前有效视频帧中的目标人体为跌倒姿态时,可以进一步获取前一帧或者多帧有效视频帧中的目标人体的人体姿态,若前一帧或者多帧有效视频帧中的目标人体的人体姿态同样为跌倒姿态,则向用户终端发送告警信息。
本申请所示的方案首先利用帧间差分法,提取有运动目标的视频帧,并结合设定固定时间间隔提取视频帧,对其进行跌倒检测;之后利用人体检测和人体姿态估计算法检测视频画面中的人员及其身体姿态,最后通过判断人体关键点间的相互位置关系和头肩部的运动速度来判断是否发生跌倒。本方案可实时检测跌倒行为的发生。
请参考图5,其示出了本申请实施例涉及的跌倒姿态检测流程示意图。如图5所示,姿态识别设备接收解码后的视频帧(S51),首先通过运动目标检测算法判断是否有运动目标,且间隔时间是否超过设定时间间隔阈值(S52),如果没有运动目标,且间隔时间未超过设定时间间隔阈值则抛弃当前帧,继续获取下一视频帧(即返回S51);如果有运动目标,或者,没有运动目标但是间隔时间超过设定时间间隔阈值,则利用人体检测算法检测画面中是否有人体及人员所在位置(S53),检测到人体后则利用人体姿态估计算法定位人体关键点(当前利用18个关键点:左眼、右眼、左耳、右耳、鼻子、颈部、左右肩、左右手肘、左右手腕、左右胯部、左右膝盖、左右脚踝)的坐标(S54),之后判断人体姿态是否属于跌倒(S55),属于跌倒则直接报警(S56),姿态判断为正常时获取头肩速度(S57),判断头肩速度是否大于设定速度(S58),如果头肩运动速度大于设定速度上限则报警,否则返回S51。
本方案同时利用单帧静态视频图片中的人体姿态和连续视频帧计算运动速度,不仅可在跌倒发生瞬间进行检测,还可以在跌倒发生之后继续进行监护。有效增加跌倒行为的检测率和报警设置的灵活性。
综上所述,在本申请所示方案的执行过程中,姿态识别设备不需要对连续的视频帧进行识别,也不必须识别出视频帧中的人脸,只需要识别单独的视频帧中的两个或者两个以上人体关键点,即可以识别出人体是否跌倒,由于人体中的关键点数量较多,因此,本申请所示的方案不容易发生漏检测,能够提高人体姿态检测的准确性。
此外,在本申请实施例所示的方案中,在获取有效视频帧时,姿态识别设备对当前视频帧进行运动目标检测,当检测出运动目标时,将当前视频帧获取为目标视频帧,避免对所有视频帧都进行检测而导致计算资源消耗过多的问题,减少了资源消耗,降低对硬件能力的需求。
此外,当检测出当前视频帧中不存在运动目标时,姿态识别设备还进一步获取当前视频帧与前一次获取的有效视频帧之间的帧间隔,当帧间隔达到预设阈值时,将当前视频帧获取为目标视频帧,避免对漏检测的情况,提高跌倒姿态检测的准确性。
另外,在本申请实施例所示的方案中,当通过目标人体的关键点信息检测出目标人体的人体姿态为非跌倒姿态时,姿态识别设备还进一步获取目标人体的头肩速度,并根据头肩速度确定目标人体是否正处于跌倒状态,从而进一步提高跌倒姿态检测的准确性。
图6是根据一示例性实施例示出的一种人体姿态获取装置的结构方框图。该人体姿态获取装置可以用于计算机设备中,以执行图3或图4所示实施例中的全部或者部分步骤。该人体姿态获取装置可以包括:
视频帧获取模块601,用于获取图像采集设备采集到的视频流中的有效视频帧;
关键点提取模块602,用于提取所述有效视频帧中的目标人体的人体关键点信息,所述人体关键点信息包括所述目标人体中的至少两个关键点的位置信息;
姿态获取模块603,用于根据所述人体关键点信息获取所述目标人体的人体姿态,所述人体姿态包括跌倒姿态和非跌倒姿态。
可选的,所述姿态获取模块603,用于
根据所述至少两个关键点的位置信息,获取所述至少两个关键点之间的相对位置关系;
根据所述至少两个关键点之间的相对位置关系,获取所述目标人体的人体姿态。
可选的,所述至少两个关键点的位置信息,包括所述目标人体中至少两个头部关键点的位置信息,以及所述目标人体中至少两个下半身关键点的位置信息;
在根据所述至少两个关键点的位置信息,获取所述至少两个关键点之间的相对位置关系时,姿态获取模块603,用于,
根据所述至少两个头部关键点的位置信息获取第一纵坐标,所述第一纵坐标是所述至少两个头部关键点各自在指定坐标系中的纵坐标的平均值;所述指定坐标系的纵坐标轴的方向是所述有效视频帧中的竖直方向;
根据所述至少两个下半身关键点的位置信息获取第二纵坐标,所述第二纵坐标是所述至少两个下半身关键点各自在所述指定坐标系中的纵坐标的平均值;
将所述第一纵坐标和所述第二纵坐标之间的高低关系获取为所述至少两个关键点之间的相对位置关系;
在根据所述至少两个关键点之间的相对位置关系,获取所述目标人体的人体姿态时,姿态获取模块603,用于,
当所述第一纵坐标低于所述第二纵坐标时,确定所述目标人体的人体姿态为跌倒姿态。
可选的,所述至少两个关键点的位置信息,包括所述目标人体的左上半身关键点,以及所述目标人体的左胯部关键点;所述左上半身关键点包括左眼关键点或者左肩关键点;
在根据所述至少两个关键点的位置信息,获取所述至少两个关键点之间的相对位置关系时,姿态获取模块603,用于,
根据所述左上半身关键点的位置信息,以及所述左胯部关键点的位置信息,确定所述左上半身关键点与所述左胯部关键点之间的连线;
将所述连线与所述有效视频帧中的竖直方向之间的夹角获取为所述至少两个关键点之间的相对位置关系;
在根据所述至少两个关键点之间的相对位置关系,获取所述目标人体的人体姿态时,姿态获取模块603,用于,
当所述夹角大于第一角度阈值时,确定所述目标人体的人体姿态为跌倒姿态。
可选的,所述至少两个关键点的位置信息,包括所述目标人体的右上半身关键点,以及所述目标人体的右胯部关键点;所述右上半身关键点包括右眼关键点或者右肩关键点;
在根据所述至少两个关键点的位置信息,获取所述至少两个关键点之间的相对位置关系时,姿态获取模块603,用于,
根据所述右上半身关键点的位置信息,以及所述右胯部关键点的位置信息,确定所述右上半身关键点与所述右胯部关键点之间的连线;
将所述连线与所述有效视频帧中的竖直方向之间的夹角获取为所述至少两个关键点之间的相对位置关系;
在根据所述至少两个关键点之间的相对位置关系,获取所述目标人体的人体姿态时,姿态获取模块603,用于,
当所述夹角大于第一角度阈值时,确定所述目标人体的人体姿态为跌倒姿态。
可选的,所述视频帧获取模块601,用于,
获取所述图像采集设备即时采集得到的当前视频帧;
对所述当前视频帧进行运动目标检测;
当所述当前视频帧中包含运动目标时,将所述当前视频帧确定为本次获取的有效视频帧。
可选的,所述视频帧获取模块601,还用于,
当所述当前视频帧中不包含运动目标时,获取当前帧间隔,所述当前帧间隔是所述当前视频帧的与前一次获取的有效视频帧之间的帧间隔;
当所述当前帧间隔大于帧间隔阈值时,将所述当前视频帧确定为本次获取的有效视频帧。
可选的,所述装置还包括:
光流速度获取模块,用于当所述目标人体的人体姿态为非跌倒姿态时,获取所述目标人体在所述目标视频帧中的头肩区域的光流速度;
姿态修改模块,用于当所述光流速度满足预设条件时,将所述目标人体的人体姿态修改为跌倒姿态。
可选的,所述装置还包括:
头肩速度获取模块,用于在所述姿态修改模块将所述目标人体的人体姿态修改为跌倒姿态之前,将所述光流速度除以所述头肩区域的面积,获得所述目标人体的头肩速度;
条件确地模块,用于当所述头肩速度大于速度阈值时,确定所述光流速度满足所述预设条件。
可选的,所述装置还包括:
关键点获取模块,用于在光流速度获取模块获取所述目标人体在所述目标视频帧中的头肩区域的光流速度之前,获取所述目标人体头肩部位的至少三个关键点;所述至少三个关键点包括所述目标人体的左肩关键点和右肩关键点;
区域获取模块,用于将所述至少三个关键点的最小外接矩形对应的区域,获取为所述目标人体在所述目标视频帧中的头肩区域,所述最小外接矩形是包含所述至少三个关键点的最小矩形。
可选的,所述装置还包括:
告警模块,用于当所述目标人体的人体姿态为跌倒姿态时,向用户终端发送告警信息。
可选的,所述告警模块,用于若所述目标人体的人体姿态在最近获取到的至少两个有效视频帧内保持跌倒姿态,则向所述用户终端发送所述告警信息。
综上所述,在本申请所示方案的执行过程中,姿态识别设备不需要对连续的视频帧进行识别,也不必须识别出视频帧中的人脸,只需要识别单独的视频帧中的两个或者两个以上人体关键点,即可以识别出人体是否跌倒,由于人体中的关键点数量较多,因此,本申请所示的方案不容易发生漏检测,能够提高人体姿态检测的准确性。
此外,在本申请实施例所示的方案中,在获取有效视频帧时,姿态识别设备对当前视频帧进行运动目标检测,当检测出运动目标时,将当前视频帧获取为目标视频帧,避免对所有视频帧都进行检测而导致计算资源消耗过多的问题,减少了资源消耗,降低对硬件能力的需求。
此外,当检测出当前视频帧中不存在运动目标时,姿态识别设备还进一步获取当前视频帧与前一次获取的有效视频帧之间的帧间隔,当帧间隔达到预设阈值时,将当前视频帧获取为目标视频帧,避免对漏检测的情况,提高跌倒姿态检测的准确性。
另外,在本申请实施例所示的方案中,当通过目标人体的关键点信息检测出目标人体的人体姿态为非跌倒姿态时,姿态识别设备还进一步获取目标人体的头肩速度,并根据头肩速度确定目标人体是否正处于跌倒状态,从而进一步提高跌倒姿态检测的准确性。
图7是根据一示例性实施例示出的一种计算机设备的结构示意图。所述计算机设备700包括中央处理单元(CPU)701、包括随机存取存储器(RAM)702和只读存储器(ROM)703的***存储器704,以及连接***存储器704和中央处理单元701的***总线705。所述计算机设备700还包括帮助计算机内的各个器件之间传输信息的基本输入/输出***(I/O***)706,和用于存储操作***713、应用程序714和其他程序模块715的大容量存储设备707。
所述基本输入/输出***706包括有用于显示信息的显示器708和用于用户输入信息的诸如鼠标、键盘之类的输入设备709。其中所述显示器708和输入设备709都通过连接到***总线705的输入输出控制器710连接到中央处理单元701。所述基本输入/输出***706还可以包括输入输出控制器710以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器710还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备707通过连接到***总线705的大容量存储控制器(未示出)连接到中央处理单元701。所述大容量存储设备707及其相关联的计算机可读介质为计算机设备700提供非易失性存储。也就是说,所述大容量存储设备707可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术,CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的***存储器704和大容量存储设备707可以统称为存储器。
计算机设备700可以通过连接在所述***总线705上的网络接口单元711连接到互联网或者其它网络设备。
所述存储器还包括一个或者一个以上的程序,所述一个或者一个以上程序存储于存储器中,中央处理器701通过执行该一个或一个以上程序来实现图3、或图4所示的方法中的全部或者部分步骤。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括计算机程序(指令)的存储器,上述程序(指令)可由计算机设备的处理器执行以完成本申请各个实施例所示的方法的全部或者部分步骤。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (15)

1.一种人体姿态获取方法,其特征在于,所述方法包括:
获取图像采集设备采集到的视频流中的有效视频帧;
提取所述有效视频帧中的目标人体的人体关键点信息,所述人体关键点信息包括所述目标人体中的至少两个关键点的位置信息;
根据所述人体关键点信息获取所述目标人体的人体姿态,所述人体姿态包括跌倒姿态和非跌倒姿态。
2.根据权利要求1所述的方法,其特征在于,所述根据所述人体关键点信息获取所述目标人体的人体姿态,包括:
根据所述至少两个关键点的位置信息,获取所述至少两个关键点之间的相对位置关系;
根据所述至少两个关键点之间的相对位置关系,获取所述目标人体的人体姿态。
3.根据权利要求2所述的方法,其特征在于,所述至少两个关键点的位置信息,包括所述目标人体中至少两个头部关键点的位置信息,以及所述目标人体中至少两个下半身关键点的位置信息;
所述根据所述至少两个关键点的位置信息,获取所述至少两个关键点之间的相对位置关系,包括:
根据所述至少两个头部关键点的位置信息获取第一纵坐标,所述第一纵坐标是所述至少两个头部关键点各自在指定坐标系中的纵坐标的平均值;所述指定坐标系的纵坐标轴的方向是所述有效视频帧中的竖直方向;
根据所述至少两个下半身关键点的位置信息获取第二纵坐标,所述第二纵坐标是所述至少两个下半身关键点各自在所述指定坐标系中的纵坐标的平均值;
将所述第一纵坐标和所述第二纵坐标之间的高低关系获取为所述至少两个关键点之间的相对位置关系;
所述根据所述至少两个关键点之间的相对位置关系,获取所述目标人体的人体姿态,包括:
当所述第一纵坐标低于所述第二纵坐标时,确定所述目标人体的人体姿态为跌倒姿态。
4.根据权利要求2所述的方法,其特征在于,所述至少两个关键点的位置信息,包括所述目标人体的左上半身关键点,以及所述目标人体的左胯部关键点;所述左上半身关键点包括左眼关键点或者左肩关键点;
所述根据所述至少两个关键点的位置信息,获取所述至少两个关键点之间的相对位置关系,包括:
根据所述左上半身关键点的位置信息,以及所述左胯部关键点的位置信息,确定所述左上半身关键点与所述左胯部关键点之间的连线;
将所述连线与所述有效视频帧中的竖直方向之间的夹角获取为所述至少两个关键点之间的相对位置关系;
所述根据所述至少两个关键点之间的相对位置关系,获取所述目标人体的人体姿态,包括:
当所述夹角大于第一角度阈值时,确定所述目标人体的人体姿态为跌倒姿态。
5.根据权利要求2所述的方法,其特征在于,所述至少两个关键点的位置信息,包括所述目标人体的右上半身关键点,以及所述目标人体的右胯部关键点;所述右上半身关键点包括右眼关键点或者右肩关键点;
所述根据所述至少两个关键点的位置信息,获取所述至少两个关键点之间的相对位置关系,包括:
根据所述右上半身关键点的位置信息,以及所述右胯部关键点的位置信息,确定所述右上半身关键点与所述右胯部关键点之间的连线;
将所述连线与所述有效视频帧中的竖直方向之间的夹角获取为所述至少两个关键点之间的相对位置关系;
所述根据所述至少两个关键点之间的相对位置关系,获取所述目标人体的人体姿态,包括:
当所述夹角大于第一角度阈值时,确定所述目标人体的人体姿态为跌倒姿态。
6.根据权利要求1至5任一所述的方法,其特征在于,所述获取图像采集设备采集到的视频流中的有效视频帧,包括:
获取所述图像采集设备即时采集得到的当前视频帧;
对所述当前视频帧进行运动目标检测;
当所述当前视频帧中包含运动目标时,将所述当前视频帧确定为本次获取的有效视频帧。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
当所述当前视频帧中不包含运动目标时,获取当前帧间隔,所述当前帧间隔是所述当前视频帧的与前一次获取的有效视频帧之间的帧间隔;
当所述当前帧间隔大于帧间隔阈值时,将所述当前视频帧确定为本次获取的有效视频帧。
8.根据权利要求1至5任一所述的方法,其特征在于,所述方法还包括:
当所述目标人体的人体姿态为非跌倒姿态时,获取所述目标人体在所述目标视频帧中的头肩区域的光流速度;
当所述光流速度满足预设条件时,将所述目标人体的人体姿态修改为跌倒姿态。
9.根据权利要求8所述的方法,其特征在于,所述将所述目标人体的人体姿态修改为跌倒姿态之前,还包括:
将所述光流速度除以所述头肩区域的面积,获得所述目标人体的头肩速度;
当所述头肩速度大于速度阈值时,确定所述光流速度满足所述预设条件。
10.根据权利要求8所述的方法,其特征在于,所述获取所述目标人体在所述目标视频帧中的头肩区域的光流速度之前,还包括:
获取所述目标人体头肩部位的至少三个关键点;所述至少三个关键点包括所述目标人体的左肩关键点和右肩关键点;
将所述至少三个关键点的最小外接矩形对应的区域,获取为所述目标人体在所述目标视频帧中的头肩区域,所述最小外接矩形是包含所述至少三个关键点的最小矩形。
11.根据权利要求1至5任一所述的方法,其特征在于,所述方法还包括:
当所述目标人体的人体姿态为跌倒姿态时,向用户终端发送告警信息。
12.根据权利要求11所述的方法,其特征在于,所述当所述目标人体的人体姿态为跌倒姿态时,向用户终端发送告警信息,包括:
若所述目标人体的人体姿态在最近获取到的至少两个有效视频帧内保持跌倒姿态,则向所述用户终端发送所述告警信息。
13.一种人体姿态获取装置,其特征在于,所述装置包括:
视频帧获取模块,用于获取图像采集设备采集到的视频流中的有效视频帧;
关键点提取模块,用于提取所述有效视频帧中的目标人体的人体关键点信息,所述人体关键点信息包括所述目标人体中的至少两个关键点的位置信息;
姿态获取模块,用于根据所述人体关键点信息获取所述目标人体的人体姿态,所述人体姿态包括跌倒姿态和非跌倒姿态。
14.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有程序,所述程序由所述处理器执行以实现如权利要求1至12任一所述的人体姿态获取方法。
15.一种计算机可读存储介质,其特征在于,所述存储介质中存储有指令,所述指令由计算机设备的处理器执行以实现如权利要求1至12任一所述的人体姿态获取方法。
CN201910581506.9A 2019-06-29 2019-06-29 人体姿态获取方法、装置、计算机设备及存储介质 Active CN110287923B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910581506.9A CN110287923B (zh) 2019-06-29 2019-06-29 人体姿态获取方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910581506.9A CN110287923B (zh) 2019-06-29 2019-06-29 人体姿态获取方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110287923A true CN110287923A (zh) 2019-09-27
CN110287923B CN110287923B (zh) 2023-09-15

Family

ID=68020206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910581506.9A Active CN110287923B (zh) 2019-06-29 2019-06-29 人体姿态获取方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110287923B (zh)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889334A (zh) * 2019-11-06 2020-03-17 江河瑞通(北京)技术有限公司 人员闯入识别方法及装置
CN110992629A (zh) * 2019-12-06 2020-04-10 江西洪都航空工业集团有限责任公司 一种基于视频监控的检测静止人体方法
CN111062283A (zh) * 2019-12-06 2020-04-24 湖南集思汇智电子有限公司 一种看护机器人的看护方法
CN111079518A (zh) * 2019-10-31 2020-04-28 高新兴科技集团股份有限公司 一种基于执法办案区场景下的倒地异常行为识别方法
CN111242004A (zh) * 2020-01-10 2020-06-05 厦门瑞为信息技术有限公司 一种基于电梯监控数据处理的自动告警方法及***
CN111297367A (zh) * 2019-11-26 2020-06-19 北京海益同展信息科技有限公司 一种动物状态监测方法、装置、电子设备及存储介质
CN111428703A (zh) * 2020-06-15 2020-07-17 西南交通大学 一种电力运检人员坑洞倚靠行为检测方法
CN111444812A (zh) * 2020-03-23 2020-07-24 星汉智能科技股份有限公司 一种用于公安日常训练的人体姿态评估方法及***
CN111460886A (zh) * 2020-02-21 2020-07-28 珠海格力电器股份有限公司 监护方法、装置和计算机设备
CN111539267A (zh) * 2020-04-03 2020-08-14 成都云盯科技有限公司 一种人体几何特征提取方法、装置、设备及***
CN111582158A (zh) * 2020-05-07 2020-08-25 济南浪潮高新科技投资发展有限公司 一种基于人体姿态估计的摔倒检测方法
CN111597879A (zh) * 2020-04-03 2020-08-28 成都云盯科技有限公司 一种基于监控视频的姿态检测方法、装置及***
CN111767888A (zh) * 2020-07-08 2020-10-13 北京澎思科技有限公司 对象状态检测方法、计算机设备、存储介质和电子设备
CN111783702A (zh) * 2020-07-20 2020-10-16 杭州叙简科技股份有限公司 一种基于图像增强算法和人体关键点定位的高效行人摔倒检测方法
CN111798466A (zh) * 2020-07-01 2020-10-20 中国海洋石油集团有限公司 基于视觉定位的钻井支持平台动能实时测量方法和***
CN111898518A (zh) * 2020-07-28 2020-11-06 中移(杭州)信息技术有限公司 一种摔倒检测方法、电子设备和存储介质
CN111914661A (zh) * 2020-07-06 2020-11-10 广东技术师范大学 异常行为识别方法、目标异常识别方法、设备及介质
CN111914676A (zh) * 2020-07-10 2020-11-10 泰康保险集团股份有限公司 人体摔倒检测方法、装置、电子设备和存储介质
CN111931733A (zh) * 2020-09-25 2020-11-13 西南交通大学 基于深度相机的人体姿态检测方法
CN112215185A (zh) * 2020-10-21 2021-01-12 成都信息工程大学 一种从监控视频中检测跌倒行为的***及方法
CN112287868A (zh) * 2020-11-10 2021-01-29 上海依图网络科技有限公司 一种人体动作识别方法及装置
CN112287867A (zh) * 2020-11-10 2021-01-29 上海依图网络科技有限公司 一种多摄像头的人体动作识别方法及装置
CN112287759A (zh) * 2020-09-26 2021-01-29 浙江汉德瑞智能科技有限公司 基于关键点的跌倒检测方法
CN112597961A (zh) * 2020-12-30 2021-04-02 上海大学 一种基于大数据的兴趣目标提取方法及***
CN112613386A (zh) * 2020-12-18 2021-04-06 宁波大学科学技术学院 一种基于脑电波的监控方法及装置
CN112674759A (zh) * 2020-12-21 2021-04-20 西南交通大学 一种婴儿站立状态识别方法及***
CN112699706A (zh) * 2019-10-22 2021-04-23 广州弘度信息科技有限公司 跌倒检测方法、***和存储介质
CN112749658A (zh) * 2020-04-30 2021-05-04 杨九妹 大数据金融安防***行人行为分析方法、***及机器人
CN112784662A (zh) * 2018-12-30 2021-05-11 奥瞳***科技有限公司 基于视频的跌倒风险评价***
CN112907892A (zh) * 2021-01-28 2021-06-04 上海电机学院 基于多视图的人体跌倒报警方法
CN113191319A (zh) * 2021-05-21 2021-07-30 河南理工大学 一种人体姿态智能识别方法及计算机设备
CN113505735A (zh) * 2021-05-26 2021-10-15 电子科技大学 一种基于分级滤波的人体关键点稳定方法
TWI765290B (zh) * 2020-06-30 2022-05-21 奇美醫療財團法人奇美醫院 病人監視警示系統
CN114783059A (zh) * 2022-04-20 2022-07-22 浙江东昊信息工程有限公司 一种基于深度相机的寺庙香客参拜管理方法和***
CN116343341A (zh) * 2023-05-12 2023-06-27 天津志听医疗科技有限公司 一种基于姿态识别的动作预测分析方法和***

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010203A1 (ja) * 2012-07-13 2014-01-16 日本電気株式会社 転倒検知装置および転倒検知方法、転倒検知カメラ、並びにコンピュータ・プログラム
KR20140059962A (ko) * 2012-11-09 2014-05-19 오티스 엘리베이터 컴파니 엘리베이터 방범시스템 및 방법
CN104598896A (zh) * 2015-02-12 2015-05-06 南通大学 基于Kinect骨架追踪的人体摔倒自动检测方法
CN106529418A (zh) * 2016-10-19 2017-03-22 中国科学院计算技术研究所 一种跌倒检测及报警方法
US20180186452A1 (en) * 2017-01-04 2018-07-05 Beijing Deephi Technology Co., Ltd. Unmanned Aerial Vehicle Interactive Apparatus and Method Based on Deep Learning Posture Estimation
CN108491762A (zh) * 2018-02-27 2018-09-04 浙江大华技术股份有限公司 一种人体跌倒的检测方法及装置
US20180300538A1 (en) * 2015-06-10 2018-10-18 Konica Minolta, Inc. Image processing system, image processing apparatus, image processing method, and image processing program
US20190147292A1 (en) * 2017-11-13 2019-05-16 Hitachi, Ltd. Image retrieving apparatus, image retrieving method, and setting screen used therefor
CN109919132A (zh) * 2019-03-22 2019-06-21 广东省智能制造研究所 一种基于骨架检测的行人跌倒识别方法
CN109920208A (zh) * 2019-01-31 2019-06-21 深圳绿米联创科技有限公司 跌倒预测方法、装置、电子设备及***

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010203A1 (ja) * 2012-07-13 2014-01-16 日本電気株式会社 転倒検知装置および転倒検知方法、転倒検知カメラ、並びにコンピュータ・プログラム
KR20140059962A (ko) * 2012-11-09 2014-05-19 오티스 엘리베이터 컴파니 엘리베이터 방범시스템 및 방법
CN104598896A (zh) * 2015-02-12 2015-05-06 南通大学 基于Kinect骨架追踪的人体摔倒自动检测方法
US20180300538A1 (en) * 2015-06-10 2018-10-18 Konica Minolta, Inc. Image processing system, image processing apparatus, image processing method, and image processing program
CN106529418A (zh) * 2016-10-19 2017-03-22 中国科学院计算技术研究所 一种跌倒检测及报警方法
US20180186452A1 (en) * 2017-01-04 2018-07-05 Beijing Deephi Technology Co., Ltd. Unmanned Aerial Vehicle Interactive Apparatus and Method Based on Deep Learning Posture Estimation
US20190147292A1 (en) * 2017-11-13 2019-05-16 Hitachi, Ltd. Image retrieving apparatus, image retrieving method, and setting screen used therefor
CN108491762A (zh) * 2018-02-27 2018-09-04 浙江大华技术股份有限公司 一种人体跌倒的检测方法及装置
CN109920208A (zh) * 2019-01-31 2019-06-21 深圳绿米联创科技有限公司 跌倒预测方法、装置、电子设备及***
CN109919132A (zh) * 2019-03-22 2019-06-21 广东省智能制造研究所 一种基于骨架检测的行人跌倒识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王君泽;朱小龙;瞿畅;: "基于Kinect骨架追踪的人体摔倒自动检测", 上海交通大学学报, no. 09 *
金浩阳: "基于彩色深度图像的室内人体跌倒检测", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 07 *

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784662A (zh) * 2018-12-30 2021-05-11 奥瞳***科技有限公司 基于视频的跌倒风险评价***
CN112699706A (zh) * 2019-10-22 2021-04-23 广州弘度信息科技有限公司 跌倒检测方法、***和存储介质
CN111079518A (zh) * 2019-10-31 2020-04-28 高新兴科技集团股份有限公司 一种基于执法办案区场景下的倒地异常行为识别方法
CN111079518B (zh) * 2019-10-31 2023-08-29 高新兴科技集团股份有限公司 一种基于执法办案区场景下的倒地异常行为识别方法
CN110889334A (zh) * 2019-11-06 2020-03-17 江河瑞通(北京)技术有限公司 人员闯入识别方法及装置
CN111297367A (zh) * 2019-11-26 2020-06-19 北京海益同展信息科技有限公司 一种动物状态监测方法、装置、电子设备及存储介质
WO2021104007A1 (zh) * 2019-11-26 2021-06-03 京东数科海益信息科技有限公司 一种动物状态监测方法、装置、电子设备及存储介质
CN110992629A (zh) * 2019-12-06 2020-04-10 江西洪都航空工业集团有限责任公司 一种基于视频监控的检测静止人体方法
CN111062283A (zh) * 2019-12-06 2020-04-24 湖南集思汇智电子有限公司 一种看护机器人的看护方法
CN111242004A (zh) * 2020-01-10 2020-06-05 厦门瑞为信息技术有限公司 一种基于电梯监控数据处理的自动告警方法及***
CN111460886A (zh) * 2020-02-21 2020-07-28 珠海格力电器股份有限公司 监护方法、装置和计算机设备
CN111460886B (zh) * 2020-02-21 2024-01-16 珠海格力电器股份有限公司 监护方法、装置和计算机设备
CN111444812A (zh) * 2020-03-23 2020-07-24 星汉智能科技股份有限公司 一种用于公安日常训练的人体姿态评估方法及***
CN111597879A (zh) * 2020-04-03 2020-08-28 成都云盯科技有限公司 一种基于监控视频的姿态检测方法、装置及***
CN111539267A (zh) * 2020-04-03 2020-08-14 成都云盯科技有限公司 一种人体几何特征提取方法、装置、设备及***
CN112749658A (zh) * 2020-04-30 2021-05-04 杨九妹 大数据金融安防***行人行为分析方法、***及机器人
CN111582158A (zh) * 2020-05-07 2020-08-25 济南浪潮高新科技投资发展有限公司 一种基于人体姿态估计的摔倒检测方法
CN111428703A (zh) * 2020-06-15 2020-07-17 西南交通大学 一种电力运检人员坑洞倚靠行为检测方法
TWI765290B (zh) * 2020-06-30 2022-05-21 奇美醫療財團法人奇美醫院 病人監視警示系統
CN111798466A (zh) * 2020-07-01 2020-10-20 中国海洋石油集团有限公司 基于视觉定位的钻井支持平台动能实时测量方法和***
CN111914661A (zh) * 2020-07-06 2020-11-10 广东技术师范大学 异常行为识别方法、目标异常识别方法、设备及介质
CN111767888A (zh) * 2020-07-08 2020-10-13 北京澎思科技有限公司 对象状态检测方法、计算机设备、存储介质和电子设备
CN111914676A (zh) * 2020-07-10 2020-11-10 泰康保险集团股份有限公司 人体摔倒检测方法、装置、电子设备和存储介质
CN111783702A (zh) * 2020-07-20 2020-10-16 杭州叙简科技股份有限公司 一种基于图像增强算法和人体关键点定位的高效行人摔倒检测方法
CN111898518A (zh) * 2020-07-28 2020-11-06 中移(杭州)信息技术有限公司 一种摔倒检测方法、电子设备和存储介质
CN111931733A (zh) * 2020-09-25 2020-11-13 西南交通大学 基于深度相机的人体姿态检测方法
CN112287759A (zh) * 2020-09-26 2021-01-29 浙江汉德瑞智能科技有限公司 基于关键点的跌倒检测方法
CN112215185A (zh) * 2020-10-21 2021-01-12 成都信息工程大学 一种从监控视频中检测跌倒行为的***及方法
CN112287868A (zh) * 2020-11-10 2021-01-29 上海依图网络科技有限公司 一种人体动作识别方法及装置
CN112287868B (zh) * 2020-11-10 2021-07-13 上海依图网络科技有限公司 一种人体动作识别方法及装置
CN112287867A (zh) * 2020-11-10 2021-01-29 上海依图网络科技有限公司 一种多摄像头的人体动作识别方法及装置
CN112287867B (zh) * 2020-11-10 2021-06-08 上海依图网络科技有限公司 一种多摄像头的人体动作识别方法及装置
CN112613386A (zh) * 2020-12-18 2021-04-06 宁波大学科学技术学院 一种基于脑电波的监控方法及装置
CN112613386B (zh) * 2020-12-18 2023-12-19 宁波大学科学技术学院 一种基于脑电波的监控方法及装置
CN112674759A (zh) * 2020-12-21 2021-04-20 西南交通大学 一种婴儿站立状态识别方法及***
CN112597961A (zh) * 2020-12-30 2021-04-02 上海大学 一种基于大数据的兴趣目标提取方法及***
CN112907892A (zh) * 2021-01-28 2021-06-04 上海电机学院 基于多视图的人体跌倒报警方法
CN113191319A (zh) * 2021-05-21 2021-07-30 河南理工大学 一种人体姿态智能识别方法及计算机设备
CN113505735A (zh) * 2021-05-26 2021-10-15 电子科技大学 一种基于分级滤波的人体关键点稳定方法
CN113505735B (zh) * 2021-05-26 2023-05-02 电子科技大学 一种基于分级滤波的人体关键点稳定方法
CN114783059A (zh) * 2022-04-20 2022-07-22 浙江东昊信息工程有限公司 一种基于深度相机的寺庙香客参拜管理方法和***
CN116343341A (zh) * 2023-05-12 2023-06-27 天津志听医疗科技有限公司 一种基于姿态识别的动作预测分析方法和***
CN116343341B (zh) * 2023-05-12 2023-08-15 天津志听医疗科技有限公司 一种基于姿态识别的动作预测分析方法和***

Also Published As

Publication number Publication date
CN110287923B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
CN110287923A (zh) 人体姿态获取方法、装置、计算机设备及存储介质
Liao et al. Slip and fall event detection using Bayesian Belief Network
CN109309808A (zh) 一种基于人脸识别的监控***及方法
WO2021082112A1 (zh) 神经网络训练、骨骼图构建、异常行为监控方法和***
CN105989683A (zh) 增强型住宅安全***
Chen et al. Fall detection system based on real-time pose estimation and SVM
CN106796746A (zh) 活动监视方法以及***
Zhong et al. Multi-occupancy fall detection using non-invasive thermal vision sensor
Ezzahout et al. Conception and development of a video surveillance system for detecting, tracking and profile analysis of a person
CN114218992A (zh) 异常对象的检测方法及相关装置
Pramerdorfer et al. Fall detection based on depth-data in practice
Pinitkan et al. Abnormal activity detection and notification platform for real-time ad hoc network
Tang et al. Intelligent video surveillance system for elderly people living alone based on ODVS
Dileep et al. Suspicious human activity recognition using 2D pose estimation and convolutional neural network
US20220062702A1 (en) Information processing apparatus and information processing method
Ezatzadeh et al. Fall detection for elderly in assisted environments: Video surveillance systems and challenges
US20210019508A1 (en) System and Method for Detecting Potentially Dangerous Situations Based on Video Data
Bauer et al. Modeling bed exit likelihood in a camera-based automated video monitoring application
CN117315532A (zh) 一种智能看护***及方法
US20230230465A1 (en) Computer vision system and methods for anomalous event detection
Zhao et al. Abnormal behavior detection based on dynamic pedestrian centroid model: Case study on u-turn and fall-down
CN108551493A (zh) 基于移动云计算的智慧城市环境监测装置及方法
Yuan et al. Fall detection and direction judgment based on posture estimation
SALIH JUBOORI et al. Designing the IoT based Social Distancing Monitoring System for Reducing the impact of Covid-19.
US20220076554A1 (en) Social Distancing and Contact Mapping Alerting Systems for Schools and other Social Gatherings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant