CN109920208A - 跌倒预测方法、装置、电子设备及*** - Google Patents

Abstract

本申请公开了一种跌倒预测方法、装置、电子设备及***，该方法包括：获取被监护人员的目标图像；提取所述目标图像中的骨架信息特征；对所述骨架信息特征进行预测，判断是否即将有跌倒事件发生；如果判定即将有跌倒事件发生，则输出跌倒预警。本方法可以实时获取被监护人员的图像，并利用深度学习对获取的目标图像进行特征提取与预测，所述目标图像可以不通过深度相机获取，只需普通摄像头获取图像即可，如此，在很大程度上可以节约成本，另外，本申请可以实时监控被监护人员是否有跌倒事件发生，有效避免被监护人跌倒损伤。

Description

跌倒预测方法、装置、电子设备及***

技术领域

本申请涉及计算机技术领域，更具体地，涉及一种跌倒预测方法、装置、电子设备及***。

背景技术

随着我国老龄化问题越来越严重，养老问题日益成为社会关注的焦点问题。由于子女不可能一直陪在父母身边，当老人跌倒时，如果不能及时发现，将会导致很严重的后果。因此，对老人的跌倒行为及时检测并呼叫救援成为了迫切需要解决的问题，即对于老年人的智能护理需求日益增多。

申请内容

有鉴于此，本申请提出了一种跌倒预测方法、装置、电子设备及***，以改善上述缺陷。

第一方面，本申请实施例提供了一种跌倒预测方法，该方法包括：获取被监护人员的目标图像；提取所述目标图像中的骨架信息特征；对所述骨架信息特征进行预测，判断是否即将有跌倒事件发生；如果判定即将有跌倒事件发生，则输出跌倒预警。

第二方面，本申请实施例提供了一种跌倒预测装置，该装置应用于服务器或者网关，所述装置包括：获取模块、特征提取模块、跌倒预测模块和报警模块。获取模块用于获取被监护人员的目标图像。特征提取模块用于提取所述目标图像中的骨架信息特征。跌倒预测模块用于对所述骨架信息特征进行预测，判断是否即将有跌倒事件发生。报警模块用于如果判定即将有跌倒事件发生，则输出跌倒预警。

第三方面，本申请实施例提供了一种跌倒预测***，该***包括图像采集装置和服务器或者网关。图像采集装置用于获取被监护人员的目标图像。服务器或者网关用于提取所述目标图像中的骨架信息特征，对所述骨架信息特征进行预测，判断是否即将有跌倒事件发生，如果判定即将有跌倒事件发生，则输出跌倒预警。

第四方面，本发明实施例提供了一种电子设备，该电子设备包括：一个或多个处理器；存储器，用于存储一个或多个程序；一个或多个应用程序；其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行本申请任意实施例提供的跌倒预测的方法。

第五方面，本申请实施例提供了一种计算机***，计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行本申请任意实施例提供的跌倒预测的方法。

相对于现有技术，本申请实施例提出了一种跌倒预测方法、装置、电子设备及***，获取被监护人员的目标图像；提取所述目标图像中的骨架信息特征；对所述骨架信息特征进行预测，判断是否即将有跌倒事件发生；如果判定即将有跌倒事件发生，则输出跌倒预警。本申请通过对获取到的目标图像进行骨架信息特征提取和骨架信息特征预测来判断是否有跌倒事件发生，如果预测到即将有跌倒事件发生则可立即输出跌倒预警，如此，能够实时监控被监护人员，可以有效减轻跌倒给被监护人员带来的伤害。

为使本申请的上述目的、特征和优点能够更明显易懂，下文特举较佳实施例，并配合所附附图，做详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请提出的一种网络***的结构示意图；

图2示出了本申请一个实施例提出的一种跌倒预测方法流程图；

图3示出了本申请一个实施例提出的一种跌倒预测方法中人体骨架信息示意图；

图4本申请一个实施例提出的一种跌倒预测方法中人体两种状态示意图；

图5示出了本申请另一个实施例提出的一种跌倒预测方法流程图；

图6示出了本申请又一个实施例提出的一种跌倒预测方法流程图；

图7示出了本申请又一实施例提出的一种跌倒预测方法中的跌倒行为预测结构图；

图8示出了本申请又一实施例提出的一种跌倒预测方法中两个时间序列数据的关系1的示意图；

图9示出了本申请又一实施例提出的一种跌倒预测方法中两个时间序列数据的关系2的示意图；

图10示出了本申请又一实施例提出的一种跌倒预测方法的跌倒行为预测过程示意图；

图11示出了本申请实施例提出的一种跌倒预测装置的结构框图；

图12示出了本申请实施例提出的一种跌倒预测***的结构框图；

图13示出了本申请实施例提出的一种跌倒预测***的详细结构框图；

图14示出了本申请实施例提出的用于执行根据本申请实施例的跌倒预测方法的电子设备的结构框图；

图15示出了本申请实施例提出的用于保存或者携带实现根据本申请实施例的跌倒预测方法的程序代码的存储单元。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号或字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为了便于详细说明本申请方案，下面先将结合附图对本申请的***进行介绍。

本申请下述实施例如无特别说明均可应用于如图1所示的***10中，该***10可以包括终端设备11、服务器/云端服务器12、网关13、电子设备14及路由器15。其中，网关13可以为网关摄像头也可以为ZIGBEE网关，当网关13为网关摄像头时，其主要用于对目标图像进行采集，并将采集的目标图像通过路由器15上传至服务器/云端服务器12；当网关13为ZIGBEE网关时，其主要用于接收电子设备14发送的目标图像，并将接收的目标图像通过路由器15上传至服务器/云端服务器12。

电子设备14可以包括图像采集装置和智能家具设备，其中图像采集装置可以为摄像头，其主要用于实时获取目标图像，并将获取的目标图像传输至网关13，而智能家居设备可以为防跌装置，当发生跌倒事件时其主要起防护作用。电子设备14可以通过网关13和路由器15接收服务器/云端服务器12发送的控制指令，该控制指令可以控制电子设备14执行与控制指令相对应的电子设备的场景和/或自动化的动作。

网关13以及终端设备11均可以与路由器15连接，并通过路由器15接入到以太网中，路由器15可以通过2G/3G/4G/5G、WIFI等接入服务器/云端服务器12。可选的，终端设备11可以通过2G/3G/4G/5G、WIFI等与服务器/云端服务器12建立网络连接，从而可以获取服务器/云端服务器12下发的数据。服务器/云端服务器12通过有线或无线网络与终端设备11连接、其中，终端设备11可以包括：手机、PC(personal computer)电脑、平板电脑、笔记本电脑、移动互联网设备(MID，mobile internet device)或其他类型的设备和/或平台。

本实施例中的服务器/云端服务器12可以包括云服务器、网络接入服务器、数据库服务器、验证服务器等多个服务器。

随着深度学习的快速发展，目前已经可以使用深度学习的方法来提取视频/图像中人体的骨架信息，但是现有技术中利用深度学习进行行为预测的较少。

因此，为了克服上述缺陷，如图2，本申请实施例提供了一种跌倒预测方法，作为一种实施方式，本方法的执行主体可以是上述服务器或者网关，该方法包括步骤S110至步骤S140。

步骤S110：获取被监护人员的目标图像。

获取被监护人员的目标图像，所述被监护人员的目标图像可以直接通过网关摄像头实时拍摄获取，当网关摄像头获取到被监护人员的目标图像后可以直接将其通过路由器上传至服务器或者网关。被监护人员的目标图像也可以通过图像采集装置进行实时获取，图像采集装置可以为红外摄像头、彩色摄像头等，图像采集装置的具体类型在本申请实施例中并不作为限定。本实施例中图像采集装置可以安装于被监控人员经常活动的场所，例如，老人的卧室/客厅、养老院、医院等。本实施例中被监护人员可以是老人、孩子、病人或者是盲人等，具体为哪一类人群这里不进行明确限制，例如，家中有老人并且老人行动不方便，如果子女想要更好的保护老人，那么老人就可以是被监护人员。另外，目标图像中可以同时存在多个被监护人员，例如，养老院中目标图像可能就同时包括多个被监护人员，当出现这种情况时，一个被监护人员包括一个区域，后续会分别对这些区域的被监护人员的骨架信息进行分析与预测。本实施例中图像采集装置主要获取的资源为视频资源，图像采集装置将采集的视频资源上传至服务器或者网关，故服务器或者网关将接收到视频资源解码生成目标图像。

需要说明的是，服务器或者网关在获取到被监护人员的目标图像后，可以对所述目标图像进行预处理，例如，去噪、灰度变换、滤波等，通过对图像进行预处理操作可以将目标图像中的干扰信息剔除掉，如此便于提取骨架信息特征。

步骤S120：提取所述目标图像中的骨架信息特征。

当服务器或者网关获取到被监护人员的目标图像后，将所述目标图像输入至训练好的特征提取模型中，进行骨架信息特征提取。所述特征提取模型存储在服务器或者网关上，其是通过海量数据集训练获取的，本实施例中海量数据集是包含人体骨架信息的图像构成的，这些图像可以通过图像采集装置获取，也可以利用网络爬虫从互联网中获取尺度不同、位置不同、光照情况不同以及姿势不同的骨架图片，并将相关图片自动转换成固定尺寸、固定格式的图片，例如，将相关图片自动转换成32*32的jpg图片。根据深度学习的要求，本申请实施例的每个分类目标可以采集一万张以上的图片数据以获得较好的效果。需要说明的是，如果构建的数据集不足，可以通过图像处理获取更多的数据集，例如，可以对已经构建的数据集进行滤波、加噪等处理。获取到大量数据集后，将所述大量数据集输入至构建好的特征提取网络，训练获取到特征提取网络模型。

图3示出了本申请一个实施例提出的一种跌倒预测方法中人体骨架信息图，从图3可以看出人体骨架信息特征主要指的是人体骨架关键点。人体骨架关键点可以包括头、脖子、右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左髋、左膝、左踝、胸部、鼻子、左眼、右眼、左耳、右耳、中臀围、左大趾、左小趾、左脚跟、右大趾、右小趾以及右脚跟等。通过上述可以得出，人体骨架关键点可以有多个，具体是多少个这里不进行明确限制。通过特征提取网络提取这些关键点的特征就可以获取到人体的骨架信息特征。

步骤S130：对所述骨架信息特征进行预测，判断是否即将有跌倒事件发生。

服务器或者网关获取到骨架信息特征后可以利用跌倒预测模型来对骨架特征进行预测，然后根据该预测进行判断是否即将有跌倒事件发生，和特征提取模型类似跌倒预测模型也需要通过海量数据集训练获取。常用的跌倒预测模型有循环神经网络模型、卡尔曼滤波预测模型或者组合预测模型等，具体如何训练获取这里就不进行详细赘述。

步骤S140：如果判定即将有跌倒事件发生，则输出跌倒预警。

服务器或者网关如果判定即将有跌倒事件发生，则输出跌倒预至监护人员的终端设备，和或则发送控制指令至防跌装置，所述控制指令用于控制所述防跌装置启动防跌功能。

本实施例中终端设备可以是被监护人员亲属的手机，例如，当被监护人员是老人时，终端设备可以是子女的手机。另外，终端设备也可以是一些看护机构的工作人员的手机，或者是看护机构配置的监控设备，如电脑、监控以及平板等。当监护人员收到警报信息后就可以及时去查看被监护人员的情况，从而可以避免被监护人员跌倒很久而没有人发现的情况，这也可以为被监护人员及时得到医治而争取更多的时间。

在一个实施例中，防跌装置可以是安全气囊，当服务器或者网关预测到即将有跌倒事件发生时，其在向终端设备发送警报信息的同时可以向防跌装置发送控制指令，通过所述控制指令将防跌装置进行启动，当被监护人员摔倒后防跌装置就可以及时作出保护动作，如此可以在一定程度上减轻被监护人员身体的损害。

另外，防跌装置上也可以安装声光警报，当发生跌倒事件后防跌装置不仅可以起保护作用，也可以通过声光警报通知附近的监护人员，如此监护人员可以及时赶到，因为监护人员有时可能会忽略终端设备的信息，或者没有携带终端设备时就不能及时发现跌倒事件。需要说明的是，声光警报也可以安装在监护人员或者被监护人员经常出入的场所，当其安装在监护人员或者被监护人员经常出入的场所时，可以通过服务器或者网关对其进行控制，声光警报具体安装在哪里这里不进行明确限制，用户可以根据个人需求进行安装。

综上所述，在进行骨架信息特征提取和跌倒事件预测的时候需要提前训练特征提取模型和跌倒预测模型，本实施例中两个模型可以存储在云服务器或者网关上，并在云服务器或者网关上进行相关操作。需要说明的是，特征提取模型和跌倒预测模型也可以存储并运行在图像采集装置上，例如，摄像机端，在这种情况下对摄像机的性能有会有较高的要求。

本申请实施例提出了一种跌倒预测方法，无需借助体感设备，只需要有一段视频作为输入，就可以预测画面中的人体是否存在跌倒的可能性。在需要老人看护的场景中，安装一个普通摄像头，即可通过本方案监控老人的行为，当预测到老人存在跌倒的可能时，即可启动一些包括但不限于防跌气囊等的设备，减轻跌倒给老人带来的伤害，并进行预警信息的联动输出。

为了更好的提取目标图像中的骨架信息特征，本申请另一实施例提出了一种跌倒预测方法，请参阅图5，从图5可以看出该方法包括步骤S210至步骤S240，详细如下所示：

步骤S210：获取被监护人员的目标图像。

步骤S220：提取所述目标图像中的骨架信息特征。

其中，步骤S220可以包括步骤S221至步骤S222。

步骤S221：提取所述目标图像中的目标关键点，所述目标关键点为人体骨架关键点。

当获取到被监护人员的目标图像后，将所述目标图像输入至构建好的特征提取网络中模型中进行特征提取，本实施例中特征提取网络使用的是卷积神经网络(Convolutionneural network,CNN)，卷积神经网络是基于深度学习理论的一种人工神经网络，其优势在于利用权值共享来减小传统神经网络中的参数膨胀问题。

在一种实施例中，利用图像采集装置采集的目标图像中不仅包括被监护人员，也可能包括被监护人员所在场景下的其他物体，例如，花草、凳子、沙发、动物或者其他家电等，本实施中可以将这些物体都看作是背景，将人体图像看作是前景，可以通过对背景进行建模来提取前景，建好模型后，对目标图像中的每个像素进行匹配，若是匹配则是背景，否则为前景。得到前景图像后，生成的图像可以为二值区域，前景区域像素值为255，背景区域像素值为0，如此就可以提取到目标图像中的人体图像。

卷积神经网络可以是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。通常，卷积神经网络的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接收域连接，并提取该局部的特征，一旦该局部特征被提取后，它与其它特征向量的位置关系也随之确定下来；其二是特征映射层，特征映射层采用激活函数，使得特征映射具有位移不变性。因此，卷积神经网络常用来做区域定位模型和特征提取模型的初始模型。

本实施例中人体骨架信息的提取基于卷积神经网络的方法实现，该实现方法包括但不限于Mask R-CNN,DensePose等。本实施例以Mask R-CNN为例，它继承于Faster R-CNN，在Faster R-CNN上面添加了一个Mask Prediction Branch(Mask预测分支)，并且改良了ROI Pooling，提出了ROI Align。Mask R-CNN可以用来做“目标检测”、“目标实例分割”、“目标关键点检测”等，本实施例用于获取人体骨架信息的方法就是基于目标关键点检测实现的。

本申请可以利用卷积神经网络获取人体图像中的目标关键点，所述目标关键点指的是人体骨架关键点，本实施例中人体骨架关键点可以是15个，其关键点顺序是：1头，2脖子，3右肩，4右肘，5右腕，6左肩，7左肘，8左腕，9右髋，10右膝，11右踝，12左髋，13左膝，14左踝，15胸部，即人体关键点可以包括15个关键点。人体骨架关键点也可以是18个，其关键点顺序是：1鼻子，2脖子，3右肩，4右肘，5右腕，6左肩，7左肘，8左腕，9右髋，10右膝，11右踝，12左髋，13左膝，14左踝，15左眼，16右眼，17左耳，18右耳。同理，人体骨架关键点可以是25个，其关键点顺序是：1鼻子，2脖子，3右肩，4右肘，5右腕，6左肩，7左肘，8左腕，9中臀围，10右髋，11右膝，12右踝，13左髋，14左膝，15左踝，16左眼，17右眼，18左耳，19右耳，20左大趾，21左小趾，22左脚跟，23右大趾，24右小趾，25右脚跟。通过上述可以得出，人体骨架关键点可以有多个，即可以是15个，18个或者25个，也可以是其他的，而这些多个关键点的顺序也是不相同的，人体骨架关键点具体是多少个这里不进行明确限制。

步骤S222：基于所获取的多个目标关键点确定骨架信息特征。

获取到目标图像中被监护人的骨架关键点后，需要基于所述多个目标关键点确定骨架信息特征，所述骨架信息特征可以是用于对骨架图像区域中的骨架进行描述的信息，包括但不限于骨架相关的各种基本要素，例如，骨架动作、骨架轮廓、骨架位置、骨架纹理等。

步骤S230：对所述骨架信息特征进行预测，判断是否即将有跌倒事件发生。

步骤S240：如果判定即将有跌倒事件发生，则输出跌倒预警。

本申请可以利用卷积神经网络对目标图像中的骨架信息进行特征提取，在一定程度上可以提高预测的准确率，因为卷积神经网络能够提取到最大程度区分事物的特征。另外，卷积神经网络通过卷积和池化操作可以自动学习图像在各个层次的特征，这也符合人对图像理解的常识，人在认知图像时是分层抽象的，首先理解的是颜色和亮度，然后是边缘、角点、直线等局部细节特征，接下来是纹理、几何形状等复杂的信息和结构，最后形成整个物体的概念，而卷积神经网络则恰当的融合了这些特征，如此可以使得其在进行特征提取的时候更具有优势，而其提取的特征也更加准确。通过对卷积神经网络的使用可以提高对跌倒事件预测的准确率，从而可以对被监护人员进行更加准确的保护。

在对骨架信息进行预测的时候，通常会出现误判的现象，例如，被监护人员坐下，可能会被误判为跌倒，为了对骨架信息的预测更加准确，本申请又一实施例提出了一种跌倒预测方法，请参阅图6，通过图6可以看出该方法包括步骤S310至步骤S340，详细如下所示：

步骤S310：获取被监护人员的目标图像。

步骤S320：提取所述目标图像中的骨架信息特征。

其中，步骤S320可以包括步骤S321至步骤S322。

步骤S321：提取所述目标图像中的目标关键点，所述目标关键点为人体骨架关键点。

步骤S322：基于所获取的多个目标关键点确定骨架信息特征。

因上述已对步骤S321至步骤S322进行了详细描述这里就不再进行一一赘述。

步骤S330：对所述骨架信息特征进行预测，判断是否即将有跌倒事件发生。

其中，步骤S330可以包括步骤S331至步骤S333.

步骤S331：获取所述骨架信息特征，所述骨架信息特征包括目标时间段的骨架数据。

所述目标时间段的骨架数据为人体骨架关键点的坐标位置，通过上述介绍可以知道人体骨架关键点可以是15个、18个或者25个，也可以是其他的，而这些多个关键点的顺序也是不相同的，人体骨架关键点具体是多少个这里不进行明确限制。

本实施例中目标时间段的骨架数据为人体骨架关键点的坐标位置，所述坐标位置指的是人体关键点的位置信息，其格式可以为(x_i,y_i,score_i)，其中(x_i,y_i)为人体骨骼关节点的坐标位置，i指的是人体骨骼关节点的编号，通过人体关键点介绍可以知道左肩的编号为6，而6左肩的坐标则可以通过关键点的检测获取。例如，6左肩的坐标可以为(261,294)。另外，score指的是人体关键点的状态，本实施例中人体关键点的状态有三种，分别是可见、不可见以及不在图内或不可预测，即当score＝1时人体关键点可见，score＝2时人体关键点不可见，score＝3时人体关键点不在图内或不可预测。例如，一张图中左肩被遮挡不可见时，则score＝2，故在这个示例中6左肩的坐标位置等于(261,294,1)，其他关键点的坐标也是同样的，这里就不再一一进行赘述。

步骤S332：分析所述目标时间段的所述骨架数据，并得出所述目标时间段的下个时间段对应的骨架数据。

本实施例中跌倒预测模型可以是基于循环神经网络的方法实现的，该实现方法包括但不限于RNN(Recurrent Neural Network，递归神经网络)，LSTM(Long Short TermMemory，长短期记忆网络)等。以RNN为例，它的主要用途是处理和预测序列数据。所谓时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。RNN是包含循环的网络，允许信息的持久化，它的输出依赖于当前的输入和记忆。

图7给出了跌倒行为预测结构图，图7中的x为输入层，输入层用于接收来自神经网络外部的信息，本实施例中输入到循环神经网络中的数据是图像，所述图像可以以二维图像形式直接输入到循环神经网络中。o为输出层，其主要用于输出网络的计算结果，输出层是神经网络的最后一层，其结点个数与骨骼的分类数相同，可以用softmax逻辑回归进行分类。h为中间隐含层，其主要用于解决线性不可分的问题，隐含层和输入层与输出层的最大区别是他不接受外界的信号，也不直接向外界发送信号。A和B都是一段连续的人体骨架数据，也叫人体骨架信息时间序列数据，通过A段人体骨架信息时间序列数据的分析，可以得到B段人体骨架信息时间序列数据，即A表示的是输入的人体骨架信息时间序列数据，而B表示的是输出的人体骨架信息时间序列数据。

本实施例中A段人体骨架信息时间序列数据(以下简称输入时间序列A)和B段人体骨架数据(以下简称输出时间序列B)的关系有如下两种可能，可能关系1如图8所示，从图8可以看出输入时间序列A和输出时间序列B两个时间长度相同都为△t，输入时间序列A的结束时间为t_a，输出时间序列B的结束时间为t_b；△t_p为输入时间序列A完整输入预测网络后到给出预测结果所需的处理时间，所述预测网络可以为循环神经网络；由图8可以看出，能够***跌倒行为的时间范围为[△t_Min,△t_Max]，其中

Δt_Min＝t_b-t_a-Δt_p-Δt，

Δt_Max＝t_b-t_a-Δt_p，

通过上述分析可以知道，如果输入时间序列A和输出时间序列B满足上述可能关系1，则说明循环神经网络可以有预测跌倒的功能。

另外，输入时间序列A和输出时间序列B还可能存在可能关系2，详细如图9所示，和图8类似，输入时间序列A和输出时间序列B两个时间长度相同都为△t，输入时间序列A的结束时间为t_a，输出时间序列B的结束时间为t_b；△t_p为输入时间序列A完整输入预测网络后到给出预测结果所需的处理时间，由图9可以看出，能够***跌倒行为的时间范围为[0,△t_Max]，其中

Δt_Max＝t_b-t_a-Δt_p，

上述这种关系情况下，因为输入时间序列A和输出时间序列B存在重合，所以当跌倒行为发生在时间点t_c之前时，此循环神经网络就没有跌倒行为的预测功能了。因此，本实施例在训练预测模块时，首先会保证预测网络—循环神经网络具有预测功能。

步骤S333：根据所述下个时间段对应的骨架数据判断是否即将有跌倒事件发生。

图10示出了本申请又一实施例提出的一种跌倒预测方法的跌倒行为预测过程示意图，结合图8可以知道，通过输入时间序列A可以获取到输出时间序列B，所述输出时间序列B即为下个时间段对应的骨架数据，如果输出的时间序列B为跌倒的状态，则判断有跌倒事件发生，否则的话则没有跌倒事件发生，继续获取下一个时间段人体骨架信息时间序列数据并做出相应的分析。如图10所示，可以通过某一帧图像预测到最终的跌倒行为，本实施例获取到输出时间序列B以后可以通过人体两髋中心点离地面的高度的来判断是否即将有跌倒事件发生，可以通过高度阈值来进行判断，即当人体两髋中心点离地面的高度小于高度阈值时，则判断即将有跌倒事件发生。需要注意的是，当人下蹲或者坐下的时候也可能会出现两髋中心点离地面的高度小于高度阈值的情况，所以在这之前还需先判断人体中心点的下降速度是否大于临界速度阈值，如果人体中心点的下降速度大于临界速度阈值并且人体两髋中心点离地面的高度小于高度阈值，则可以判断有跌倒事件发生。

步骤S340：如果判定即将有跌倒事件发生，则输出跌倒预警。

本申请可以通过卷积神经网络和循环神经网络对人体跌倒行为进行预测，即可以利用卷积神经网络对图像中的人体骨架信息进行提取，并且可以输入连续的人体骨架信息进入循环神经网络，同时可以利用所述循环神经网络对被监护人员下一个时间段的行为进行预测。本实施例基于行为进行预判，可以主动的进行跌倒预防和跌倒信息判断，在减轻跌倒给老人带来伤害的同时可以进行跌倒预警的联动输出。

请参阅图11，本申请实施例提出的一种跌倒预测装置400，本装置的执行主体可以是服务器或者网关，该装置包括获取模块410，特征提取模块420，跌倒预测模块430，发送模块440。

获取模块410，用获取被监护人员的目标图像。

特征提取模块420，用于提取所述目标图像中的骨架信息特征。

提取所述目标图像中的骨架信息特征包括：提取所述目标图像中的目标关键点，所述目标关键点为人体骨架关键点；基于所获取的多个目标关键点确定骨架信息特征。

跌倒预测模块430，用于对所述骨架信息特征进行预测，判断是否即将有跌倒事件发生。

对所述骨架信息特征进行预测，判断是否即将有跌倒事件发生可以包括：获取所述骨架信息特征，所述骨架信息特征包括目标时间段的骨架数据；分析所述目标时间段的所述骨架数据，并得出所述目标时间段的下个时间段对应的骨架数据；根据所述下个时间段对应的骨架数据判断是否即将有跌倒事件发生。所述目标时间段的骨架数据为人体骨架关键点的坐标位置。

报警模块440，用于如果判定即将有跌倒事件发生，则输出跌倒预警。

如果判定即将有跌倒事件发生，则输出预警信息至监护人员的终端设备，和或则发送控制指令至防跌装置，所述控制指令用于控制所述防跌装置启动防跌功能。

请参阅图12，本申请实施例提出的一种跌倒预测***500，该***包括图像采集装置510，服务器/网关520。

图像采集装置510，用获取被监护人员的目标图像。

服务器/网关520，用于提取所述目标图像中的骨架信息特征，对所述骨架信息特征进行预测，判断是否即将有跌倒事件发生，如果判定即将有跌倒事件发生，则输出跌倒预信息警。

请参阅图13，本申请实施例提出的一种跌倒预测***500还可以包括路由器530、防跌装置540和终端设备550。

路由器530，用于将所述图像采集装置510获取的所述目标图像上传至服务器/网关520。

防跌装置540，用于接收所述服务器/网关520发送的控制指令，并启动防跌功能。

终端设备550，用于接收所述服务器/网关520输出的跌倒预警信息。

请参阅图14，本申请实施例提出的跌倒预测方法的电子设备的结构框图。该电子设备600可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备600可以包括一个或多个如下部件：处理器610、存储器620、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器620中并被配置为由一个或多个处理器610执行，一个或***的指令多个程序配置用于执行如前述方法实施例所描述的方法。

处理器610可以包括一个或者多个处理核。处理器610利用各种接口和线路连接整个电子设备600内的各个部分，通过运行或执行存储在存储器620内的指令、程序、代码集或指令集，以及调用存储在存储器620内的数据，执行电子设备600的各种功能和处理数据。可选地，处理器610可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器610可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器610中，单独通过一块通信芯片进行实现。

存储器620可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器620可用于存储指令、程序、代码、代码集或指令集。存储器620可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端电子设备600在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图15，本申请实施例提出的用于保存或者携带实现根据本申请实施例的跌倒预测方法的程序代码的存储单元。该计算机可读存储介质700中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质700可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质700包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质700具有执行上述方法中的任何方法步骤的程序代码710的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码710可以例如以适当形式进行压缩。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者装置中还存在另外的相同要素。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制，虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请，任何熟悉本专业的技术人员，在不脱离本申请技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本申请技术方案内容，依据本申请的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本申请技术方案的范围内。

Claims (10)

1.一种跌倒预测方法，其特征在于，包括：

获取被监护人员的目标图像；

提取所述目标图像中的骨架信息特征；

对所述骨架信息特征进行预测，判断是否即将有跌倒事件发生；

如果判定即将有跌倒事件发生，则输出跌倒预警。

2.根据权利要求1所述的方法，其特征在于，提取所述目标图像中的骨架信息特征，包括：

提取所述目标图像中的目标关键点，所述目标关键点为人体骨架关键点；

基于所获取的多个目标关键点确定骨架信息特征。

3.根据权利要求1所述的方法，其特征在于，对所述骨架信息特征进行预测，判断是否即将有跌倒事件发生，包括：

获取所述骨架信息特征，所述骨架信息特征包括目标时间段的骨架数据；

分析所述目标时间段的所述骨架数据，并得出所述目标时间段的下个时间段对应的骨架数据；

根据所述下个时间段对应的骨架数据判断是否即将有跌倒事件发生。

4.根据权利要求3所述的方法，其特征在于，所述目标时间段的骨架数据为人体骨架关键点的坐标位置。

5.根据权利要求1所述的方法，其特征在于，如果判定即将有跌倒事件发生，则输出跌倒预警，包括：

如果判定即将有跌倒事件发生，则发送报警信息至监护人员的终端设备，和/或则发送控制指令至防跌装置，所述控制指令用于控制所述防跌装置启动防跌功能。

6.一种跌倒预测装置，其特征在于，包括：

获取模块，用于获取被监护人员的目标图像；

特征提取模块，用于提取所述目标图像中的骨架信息特征；

跌倒预测模块，用于对所述骨架信息特征进行预测，判断是否即将有跌倒事件发生；

报警模块，用于如果判定即将有跌倒事件发生，则输出跌倒预警。

7.一种跌倒预测***，其特征在于，包括图像采集装置、服务器或者网关：

所述图像采集装置，用于获取被监护人员的目标图像；

所述服务器或者网关，用于提取所述目标图像中的骨架信息特征，对所述骨架信息特征进行预测，判断是否即将有跌倒事件发生，如果判定即将有跌倒事件发生，则输出跌倒预警。

8.根据权利要求7所述的***，其特征在于，所述***还包括路由器、防跌装置及终端设备：

所述路由器，用于将所述图像采集装置获取的所述目标图像上传至服务器或者网关；

所述防跌装置，用于接收所述服务器或者网关发送的控制指令，并启动防跌功能；

所述终端设备，用于接收所述服务器或者网关发送的跌倒预警。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-5任一项所述的方法。

10.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-5任一项所述的方法。