CN109887238A - 一种基于视觉和人工智能的跌倒检测***及检测报警方法 - Google Patents

Abstract

本发明提供了一种基于视觉和人工智能的跌倒检测***，包括采集图像数据模块、服务器、医疗救助机构、本地报警器、移动终端，还提供一种根据所述跌倒检测***的检测报警方法，本发明中检测***的检测范围广，在养老院等重点地区还可以实现一个摄像头检测多个目标，结构简单，对于用户只需要安装摄像头并将其连入互联网即可；且补充了现有家庭监控摄像头的不足，让监控摄像头实现了监护功能。所述检测报警方法采用多算法融合，以及人工智能问答，可以极大的增加检测的准确率。

Description

一种基于视觉和人工智能的跌倒检测***及检测报警方法

技术领域

本发明属于智能产品和监控技术领域，特别涉及一种基于视觉和人工智能的跌倒检测***及检测报警方法。

背景技术

跌倒于一些特殊人群，如：老人、孕妇、病人等来说，是其面临的最主要的风险之一。尤其是老人，世界卫生组织研究表明，65岁以上人群中有28％至35％每年至少遭受一次跌倒，而这一数字在70岁以上的人群中增加到42％。根据世界卫生组织的数据，老年人住院50％以上的原因是因为跌倒，跌倒原因还占老人非自然死亡率的40％左右。

目前最新的跌倒检测技术可分为三类：可穿戴设备，环境传感器和基于视觉的技术。可穿戴设备易于佩戴，但在功耗(需要经常充电)和对身体移动的敏感性(可能导致误报警)方面存在诸多缺点；其次，对于上了年纪的老人，不习惯佩戴或者忘记佩戴的情况经常发现，也进一步限制了此类技术的应用。环境传感器，是指利用红外、声音、震动等传感器判断跌倒事件的发生，但这类技术缺点是检测准确率普遍不高，且安装复杂。基于视觉的跌倒检测技术是跌倒检测领域最有前景的研究方向，这类技术多处于理论阶段，市场上还未出现成熟的应用设备。

将跌倒与正常的躺、趴、坐等行为区分开来，是基于视觉的跌倒检测技术的难点，目前主流算法是将人体与周围环境进行分割，通过人体姿态、重心等参数判断是否发生跌倒。但这类算法会损失诸多环境信息，对摄像头安装位置也存在较高的要求。

发明内容

为了解决现有技术上述问题，本发明综合考虑人体姿态信息、比如家具、其它人员等环境物体信息、基于图像的呼吸信息，根据三类信息的权值做主要跌倒判断，集成一套人工智能和视觉的跌倒检测***。

为达到上述目的，本发明提供了一种基于视觉和人工智能的跌倒检测***，包括采集图像数据模块、服务器、医疗救助机构、本地报警器、移动终端；所述采集图像数据模块由摄像模块、喇叭、音频采集模块三部分组成，通过无线或有线两种方式与互联网连接；所述摄像模块设置有高分辨率网络摄像头或摄像头矩阵，配置有红外灯；所述音频采集模块设置有麦克风或麦克风阵列；所述服务器分别与医疗救助机构、本地报警器、移动终端连接。

作为改进，还包括通信模块，所述通信模块具有有线连接模式模块、无线传输模式模块；所述采集图像数据模块、服务器、医疗救助机构、本地报警器、移动终端(108)之间通过通信模块连接。

作为改进，所述服务器为一个以上的集中式服务器或分布式服务器；所述服务器包括但不限于在同一个局域网以及通过Internet链接的多个PC机、PC服务器、刀片机、超级计算机、云端服务器中任一种。

作为改进，所述本地报警器包括声音提醒单元、图像提醒单元、震动提醒单元、闪灯提醒单元。

作为改进，所述移动终端为手机、平板电脑、笔记本电脑、手环、智能可穿戴设备中任一种。

同时，本发明还提供了一种上述所述跌倒检测***的检测报警方法，所述方法步骤为(1)启动开关所述跌倒检测***开始工作，摄像模块采集周围环境的实时视频数据，并通过网络将这些数据发送到服务器，服务器对数据进行预处理，包括滤波、降噪、压缩；

(2)服务器内部通过人体姿态、重心检测算法、呼吸检测算法、环境物体识别算法中一种及一种以上算法，其中三种算法所占的权重不同，运行的先后顺序会根据场景的不同而切换，得到一个综合跌倒风险概率值；

(3)当步骤(2)中概率值小于最低标准阈值，判定为不存在跌倒，结束监测报警流程；当步骤(2)中概率值大于最高标准阈值，判定为存在跌倒，将根据用户设置可选择地给医疗救助机构，本地报警器，移动终端发送报警信息；当步骤(2)中概率值处于最低标准阈值、最高标准阈值区间时，判定为可能存在跌倒；

(4)当判定为可能存在跌倒时，所述跌倒检测***将通过喇叭和音频采集模块与用户直接对话，主动询问用户是否跌倒；当用户回答没有跌倒时，结束监测报警流程；当用户一定时间内未应答或者是回答存在跌倒时，将根据用户设置可选择地给医疗救助机构，本地报警器，移动终端发送报警信息。

作为改进，步骤(2)中人体姿态、重心检测算法是跌倒的主要判断依据，当人体的重心急剧下降以及姿态出现与正常的走、坐、蹲、躺不一样的行为时，其跌倒的概率较大。

作为改进，步骤(2)中呼吸检测算法，是当人体相对静止时，通过图像识别人体胸腔的起伏，从而实时计算出呼吸频率；用于用户的睡眠监测，防止睡眠窒息的发生；或者结合人体姿态、重心检测算法，当无法准确的判定用户是否存在跌倒时，通过判断呼吸频率是否正常，来辅助判定是否存在跌倒。

作为改进，步骤(2)中环境物体识别算法，用于通过识别环境中的物体存在形式异常情况，判断是否存在跌倒；或用于结合呼吸检测算法的补充操作。

作为改进，所述综合跌倒风险概率值的计算方法为：(1)将摄像头采集得到的图像分三路信号进行处理：三路信号均以人体为主要跟踪对象；第一路图像信号，去除背景信息，人工设计人体摔倒动作特征，包括老人重心下坠，躯体身姿，设计机器学习模型，对老人摔倒的动作进行识别；第二路图像信号，设计深度学习模型，直接对视频图像做行为检测，给出概率值，能够检测基于背景信息，背景信息包括椅子翻倒、茶杯摔落，人与家具的位置；第三路图像信号，对老人进行呼吸频率监测，该信号作为加性补充权值，对老人是否摔倒做出判断；(2)将三路信号得到的结果综合考虑，记第三路图像信号做呼吸频率监测的权重为w；若第一路信号的处理结果概率值p1与权重w之和，即p1+w低于阈值th，则进一步处理第二路信号得到概率值p2，将p2+w作为最终概率值，否则直接将p1+w作为最终的概率值处理结果。

有益效果：本发明的有益效果为(1)本发明检测范围广，在养老院等重点地区还可以实现一个摄像头检测多个目标。(2)本发明结构简单，对于用户只需要安装摄像头并将其连入互联网即可；且补充了现有家庭监控摄像头的不足，让监控摄像头实现了监护功能。(3)采用多算法融合，以及人工智能问答，可以极大的增加检测的准确率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

图1为本发明的一种基于视觉和人工智能的跌倒检测***的示意图。

图2为本发明跌倒检测***的检测报警方法步骤流程示意图。

附图中：101、被检测对象；102、摄像模块；103、喇叭；104、音频采集模块；105、服务器；106、医疗救助机构；107、本地报警器；108、移动终端；109、通信模块。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明提供的一种基于视觉和人工智能的跌倒检测***，包括采集图像数据模块、服务器105、医疗救助机构106、本地报警器107、移动终端108；所述采集图像数据模块由摄像模块102、喇叭103、音频采集模块104三部分组成，采用无线或有线两种方式通过互联网与服务器105连接。

所述摄像模块102设置有高分辨率网络摄像头或摄像头矩阵，配置有红外灯，具有夜视功能，可以是单个高分辨率网络摄像头，为了提高检测的准确率，也可以是多个高分辨率网络摄像头组成的矩阵。

所述音频采集模块104设置有麦克风或麦克风阵列；所述服务器105分别与医疗救助机构106、本地报警器107、移动终端108连接。还包括通信模块109，所述通信模块103具有有线连接模式模块、无线传输模式模块；采集图像数据模块、服务器105、医疗救助机构106、本地报警器107、移动终端108之间通过通信模块109连接。

所述服务器105为一个以上的集中式服务器或分布式服务器；所述服务器包括但不限于在同一个局域网以及通过Internet链接的多个PC机、PC服务器、刀片机、超级计算机、云端服务器中任一种。所述服务器105主要实现的功能包括：接收来自摄像模块102的视频数据和来自音频采集模块104的音频数据，通过人工智能算法，对数据进行处理分析，当算出到被检测对象101发生跌倒时，可根据危险等级或者用户设置，选择性的给医疗救助机构106，本地报警器107，移动终端108发送报警信息。

所述本地报警器107包括声音提醒单元、图像提醒单元、震动提醒单元、闪灯提醒单元，用于提供声音提醒、图像提醒、震动提醒、闪灯提醒等报警信息。所述移动终端108为手机、平板电脑、笔记本电脑、手环、各种智能可穿戴设备中任一种设备，以监护人能实时查看为佳。。

所述医疗救助机构106和移动终端108收到的报警信息出现的方式有多种，可以通过本***提供的应用程序出现，也可以通过微信、微博等社交应用程序出现，还可以通过邮件、短信、电话等通信应用程序出现，以监护人和救助人员能尽快获取到报警信息为佳。

同时，本发明提供了一种采用上述跌倒检测***进行检测报警方法，其方法步骤为：(1)启动开关所述跌倒检测***开始对本检测对象101工作。摄像模块102采集周围环境的实时视频数据，并通过网络将这些数据发送到服务器105，服务器对数据进行预处理，例如滤波、降噪、压缩等；

(2)服务器105内部通过人体姿态、重心检测算法、呼吸检测算法、环境物体识别算法中一种及一种以上算法，其中三种算法所占的权重不同，运行的先后顺序会根据场景的不同而切换，得到一个综合跌倒风险概率值；

(3)当步骤(2)中概率值小于最低标准阈值，判定为不存在跌倒，结束监测报警流程；当步骤(2)中概率值大于最高标准阈值，判定为存在跌倒，将根据用户设置可选择地给医疗救助机构106，本地报警器107，移动终端108发送报警信息；当步骤(2)中概率值处于最低标准阈值、最高标准阈值区间时，判定为可能存在跌倒；

(4)当判定为可能存在跌倒时，所述跌倒检测***将通过喇叭103和音频采集模块104与用户直接对话，主动询问用户是否跌倒；当用户回答没有跌倒时，结束监测报警流程；当用户一定时间内未应答或者是回答存在跌倒时，将根据用户设置可选择地给医疗救助机构106，本地报警器107，移动终端108发送报警信息。

其中人体姿态、重心检测算法是跌倒的主要判断依据，当人体的重心急剧下降以及姿态出现与正常的走、坐、蹲、躺等不一样的行为时，其跌倒的概率较大。

呼吸检测算法，是指当人体相对静止时，可通过图像识别人体胸腔的起伏，从而实时计算出呼吸频率。

呼吸监测算法可作为人体姿态、重心检测算法的一个补充，当无法准确的判定用户是否存在跌倒时，如用户突然倒床睡觉时，可通过判断呼吸频率是否正常，来辅助判定是否存在跌倒。

呼吸监测算法，也可以用于用户的睡眠监测，防止睡眠窒息的发生。

环境物体识别算法，可识别环境中的物体，如：床、椅子、桌子、杯子等。该识别算法亦可作为该算法的补充，下面举例两个极端案例：案例一，当用户突然躺下时，可通过环境物体识别算法识别床，并进一步判断用户是否躺在床上，如果不是躺在床上，则其跌倒的概率会比检测到其躺在床上的要高。案例二，当用户突然躺下时，如果检测到某个杯子同时存在跌落的情况，且跌落后杯子处于倒放状态，则可大概率的判定用户存在跌倒行为。

综合跌倒风险概率值的计算方法为：(1)将摄像头采集得到的图像分三路信号进行处理：三路信号均以人体为主要跟踪对象；第一路图像信号，去除背景信息，人工设计人体摔倒动作特征，老人重心下坠，躯体身姿等，设计机器学习模型，对老人摔倒的动作进行识别，该模型简单，处理速度快；第二路图像信号，设计深度学习模型，直接对视频图像做行为检测，给出概率值，该模型复杂，可检测基于背景的信息，如椅子翻倒、茶杯摔落，人与床、椅子等家具的位置等，处理速度慢；第三路图像信号，对老人进行呼吸频率监测，该项功能作为加性补充权值，对老人是否摔倒做出判断。(2)将三路信号得到的结果综合考虑，记第三路图像信号做呼吸频率监测的权重为w；若第一路信号的处理结果概率值p1与权重w之和，即p1+w低于阈值th，则进一步处理第二路信号得到概率值p2，将p2+w作为最终概率值，否则直接将p1+w作为最终的概率值处理结果。

实施例1

经过步骤(2)得到的一个综合跌倒风险概率值，当该概率值小于最低标准阈值时，假设小于等于40％，即最低标准阈值为40％，则判定为不存在跌倒，结束监测报警流程；

当该概率值大于最高标准阈值时，假设大于等于70％，即最高标准阈值70％，则判定为存在跌倒，将根据用户设置给医疗救助机构106，本地报警器107，移动终端108发送报警信息；

当该概率值处于最低标准阈值、最高标准阈值区间时，假设为大于40％，小于70％，则判定为可能存在跌倒，此时，***将通过喇叭103和音频采集模块104与用户直接对话，主动询问用户是否跌倒，当用户回答没有跌倒时，结束监测报警流程；当用户一定时间内未应答或者是回答存在跌倒时，将根据用户设置给医疗救助机构106，本地报警器107，移动终端108发送报警信息。

需要注意的是，举例的风险概率值，包括最低标准阈值、最高标准阈值。只是一个示例值，该值将根据用户的身体状况和所处环境等因素进行设置。如用户属于易跌倒人群时，可将该值设置得更加敏感。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于视觉和人工智能的跌倒检测***，其特征在于：包括采集图像数据模块、服务器(105)、医疗救助机构(106)、本地报警器(107)、移动终端(108)；所述采集图像数据模块由摄像模块(102)、喇叭(103)、音频采集模块(104)三部分组成，采用无线或有线两种方式通过互联网与服务器(105)连接；所述摄像模块(102)设置有高分辨率网络摄像头或摄像头矩阵，配置有红外灯；所述音频采集模块(104)设置有麦克风或麦克风阵列；所述服务器(105)分别与医疗救助机构(106)、本地报警器(107)、移动终端(108)连接。

2.根据权利要求1所述的跌倒检测***，其特征在于：还包括通信模块(109)，所述通信模块(109)具有有线连接模式模块、无线传输模式模块；所述采集图像数据模块、服务器(105)、医疗救助机构(106)、本地报警器(107)、移动终端(108)之间通过通信模块(109)连接。

3.根据权利要求1所述的跌倒检测***，其特征在于：所述服务器(105)为一个以上的集中式服务器或分布式服务器；所述服务器包括但不限于在同一个局域网以及通过Internet链接的多个PC机、PC服务器、刀片机、超级计算机、云端服务器中任一种。

4.根据权利要求1所述的跌倒检测***，其特征在于：所述本地报警器(107)包括声音提醒单元、图像提醒单元、震动提醒单元、闪灯提醒单元。

5.根据权利要求1所述的跌倒检测***，其特征在于：所述移动终端(108)为手机、平板电脑、笔记本电脑、手环、智能可穿戴设备中任一种。

6.一种根据权利要求1-5中任一种所述跌倒检测***的检测报警方法，其特征在于：所述方法步骤为：

(1)启动开关所述跌倒检测***开始工作，摄像模块(102)采集周围环境的实时视频数据，并通过网络将这些数据发送到服务器(105)，服务器对数据进行预处理，包括滤波、降噪、压缩；

(2)服务器(105)内部通过人体姿态、重心检测算法、呼吸检测算法、环境物体识别算法中一种及一种以上算法，其中三种算法所占的权重不同，运行的先后顺序会根据场景的不同而切换，得到一个综合跌倒风险概率值；

(3)当步骤(2)中概率值小于最低标准阈值，判定为不存在跌倒，结束监测报警流程；当步骤(2)中概率值大于最高标准阈值，判定为存在跌倒，将根据用户设置可选择地给医疗救助机构(106)，本地报警器(107)，移动终端(108)发送报警信息；当步骤(2)中概率值处于最低标准阈值、最高标准阈值区间时，判定为可能存在跌倒；

(4)当判定为可能存在跌倒时，所述跌倒检测***将通过喇叭(103)和音频采集模块(104)与用户直接对话，主动询问用户是否跌倒；当用户回答没有跌倒时，结束监测报警流程；当用户一定时间内未应答或者是回答存在跌倒时，将根据用户设置可选择地给医疗救助机构(106)，本地报警器(107)，移动终端(108)发送报警信息。

7.根据权利要求6所述的检测报警方法，其特征在于：步骤(2)中人体姿态、重心检测算法是跌倒的主要判断依据，当人体的重心急剧下降以及姿态出现与正常的走、坐、蹲、躺不一样的行为时，其跌倒的概率较大。

8.根据权利要求6所述的检测报警方法，其特征在于：步骤(2)中呼吸检测算法，是当人体相对静止时，通过图像识别人体胸腔的起伏，从而实时计算出呼吸频率；用于用户的睡眠监测，防止睡眠窒息的发生；或者结合人体姿态、重心检测算法，当无法准确的判定用户是否存在跌倒时，通过判断呼吸频率是否正常，来辅助判定是否存在跌倒。

9.根据权利要求6所述的检测报警方法，其特征在于：步骤(2)中环境物体识别算法，用于通过识别环境中的物体存在形式异常情况，判断是否存在跌倒；或用于结合呼吸检测算法的补充操作。

10.根据权利要求6所述的检测报警方法，其特征在于：所述综合跌倒风险概率值的计算方法为：(1)将摄像头采集得到的图像分三路信号进行处理：三路信号均以人体为主要跟踪对象；第一路图像信号，去除背景信息，人工设计人体摔倒动作特征，包括老人重心下坠，躯体身姿，设计机器学习模型，对老人摔倒的动作进行识别；第二路图像信号，设计深度学习模型，直接对视频图像做行为检测，给出概率值，能够检测基于背景信息，背景信息包括椅子翻倒、茶杯摔落，人与家具的位置；第三路图像信号，对老人进行呼吸频率监测，该信号作为加性补充权值，对老人是否摔倒做出判断；(2)将三路信号得到的结果综合考虑，记第三路图像信号做呼吸频率监测的权重为w；若第一路信号的处理结果概率值p1与权重w之和，即p1+w低于阈值th，则进一步处理第二路信号得到概率值p2，将p2+w作为最终概率值，否则直接将p1+w作为最终的概率值处理结果。