CN114663919A - 人体姿势检测方法、装置、电子设备及存储介质 - Google Patents
人体姿势检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114663919A CN114663919A CN202210346329.8A CN202210346329A CN114663919A CN 114663919 A CN114663919 A CN 114663919A CN 202210346329 A CN202210346329 A CN 202210346329A CN 114663919 A CN114663919 A CN 114663919A
- Authority
- CN
- China
- Prior art keywords
- human body
- posture
- image
- detection method
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本申请实施例公开了一种人体姿势检测方法、装置、电子设备及存储介质。该方案可以获取感应区域的人体图像;将人体图像输入预设网络模型,以输出人体特征信息,根据人体特征信息判断人体的当前姿势是否为跌倒姿势,若是,则按照预设联系方式发送提醒信息。本申请通过实时计算人体特征信息来判断人体的姿势是否为跌倒,从而提高分析结果的准确性,并快速进行提醒。
Description
技术领域
本申请涉及图像处理技术领域,具体涉及一种人体姿势检测方法、装置、电子设备及存储介质。
背景技术
随着我国人口老龄化日趋严重,由于老人的身体机能退化,其在生活中更容易因为不小心而跌倒,老人跌倒常常会导致骨折乃至脑溢血等严重后果,及时发现跌倒的老人并对其进行救治可将损害降到最低。
传统的跌倒检测方法中包括以下几种方式:穿戴式的检测设备、基于视频监控的摔倒检测以及基于声音信号的检测方式等。申请人在具体使用过程中发现:穿戴式的检测设备给老人带来了很大不便并且设备自身的重量还可能增加老人跌倒的风险,而基于摄像头所拍摄的视频以及基于声音来进行姿势分析的方法,也存在分析结果不够准确的问题。
发明内容
本申请实施例提供一种人体姿势检测方法、装置、电子设备及存储介质,可以实时的通过计算人体特征信息判断人体的姿势是否为跌倒,提高分析结果的准确性,并快速进行提醒。
本申请实施例提供一种人体姿势检测方法,包括:
获取感应区域的人体图像;
将所述人体图像输入预设网络模型,以输出人体特征信息;
根据所述人体特征信息判断人体的当前姿势是否为跌倒姿势;
若是,则按照预设联系方式发送提醒信息。
在一实施例中,所述获取感应区域的人体图像的步骤包括:
判断所述感应区域是否存在活动人物;
若存在,则根据发射的第一红外光以及接收到的第二红外光生成所述感应区域的人体图像。
在一实施例中,所述将所述人体图像输入预设网络模型,以输出人体特征信息的步骤包括:
通过ResNet卷积网络提取所述人体图像的初始图像特征;
通过RPN网络确定所述人体图像中的候选区域;
将所述候选区域映射到所述初始图像特征中并池化为区域特征图;
通过全连接层判断所述区域特征图的类别,并根据判断结果生成所述人体特征信息。
在一实施例中,所述根据所述人体特征信息判断人体的当前姿势是否为跌倒姿势的步骤包括:
根据所述人体特征信息定位所述人体的关节点位置;
根据所述关节点位置生成所述人体的关节点热力图;
将所述关节点热力图与预设的跌倒姿势模板进行匹配,若匹配成功,则确定所述人体的当前姿势为跌倒姿势。
在一实施例中,在匹配成功后,所述方法还包括:
获取所述人体当前的体征数据;
判断所述体征数据是否高于预设值,若是,则确定所述人体的当前姿势为跌倒姿势。
在一实施例中,在匹配成功后,所述方法还包括:
获取所述人体当前的加速度数据;
判断所述加速度数据是否高于预设加速度,若是,则确定所述人体的当前姿势为跌倒姿势。
在一实施例中,所述按照预设联系方式发送提醒信息的步骤包括:
提取所述人体图像中的脸部数据并进行身份识别;
根据身份识别结果生成提醒信息,并按照与所述身份识别结果关联的预设联系方式发送提醒信息。
本申请实施例还提供一种人体姿势检测装置,包括:。
本申请实施例还提供一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,执行本申请实施例提供的任一项所述人体姿势检测方法中的步骤。
本申请实施例还提供一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行本申请实施例提供的任一项所述人体姿势检测方法中的步骤。
本申请实施例提供的人体姿势检测方法,可以获取感应区域的人体图像;,将人体图像输入预设网络模型,以输出人体特征信息,根据人体特征信息判断人体的当前姿势是否为跌倒姿势,若是,则按照预设联系方式发送提醒信息。本申请通过实时的通过计算人体特征信息判断人体的姿势是否为跌倒,提高分析结果的准确性,并快速进行提醒。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的人体姿势检测方法的第一种流程示意图;
图2是本申请实施例提供的人体姿势检测方法的第一种场景示意图;
图3是本申请实施例提供的人体姿势检测方法的第一种场景示意图;
图4是本申请实施例提供的人体姿势检测方法的第二种流程示意图;
图5是本申请实施例提供的人体姿势检测装置的第一种结构示意图;
图6是本申请实施例提供的人体姿势检测装置的第二种结构示意图;
图7是本申请实施例提供的终端的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素,此外,本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义,也可能具有不同含义,其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
应该理解的是,虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
需要说明的是,在本文中,采用了诸如101、102等步骤代号,其目的是为了更清楚简要地表述相应内容,不构成顺序上的实质性限制,本领域技术人员在具体实施时,可能会先执行102后执行101等,但这些均应在本申请的保护范围之内。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例提供一种人体姿势检测方法,该人体姿势检测方法的执行主体可以是本申请实施例提供的人体姿势检测装置,或者集成了该人体姿势检测装置的服务器,其中该人体姿势检测装置可以采用硬件或者软件的方式实现。
如图1所示,图1是本申请实施例提供的人体姿势检测方法的第一流程示意图,该人体姿势检测方法的具体流程可以如下:
101、获取感应区域的人体图像。
在本申请实施例中,上述感应区域可以为人体姿势检测装置对应的区域,具体的可以在该装置上设置至少一个摄像头,用于实时拍摄对应区域对应的图像。需要说明的是上述人体图像可以为多张图像,比如可以为同一个摄像头多次连续拍摄得到的,也可以为多个摄像头同时拍摄得到的。
在一实施例中,上述人体姿势检测装置可以集成在灯具上,比如在室内安装的照明灯上,可以方便安装在天花板上,通过220V市电直接供电,供电电路做强弱电转换为产品内部直流用电。进一步的,该装置可以包括红外光传感器及镜头,红外光传感器发射红外光,在遇到物体比如人时后会反射并由镜头接收,从而得到红外人体图像。具体的,上述红外光可以为850nm-940nm波长的红外光,发光角度可以为120度及以上,如图2所示,当在感应区域内检测到人时,就可以通过红外传感器发射以及镜头接收反射的红外光,连续进行光电转换,即将光信号转换为电信号,形成200万像素的红外图像,且每秒可达30张,即图像帧率30fps,其中传感器可以为200万像素,上方有200万分辨率的高清镜头,镜头视场角可以为120度,镜头内置红外滤光片,只能允许800-950nm波长的红外光线通过,在2.5米的距离能覆盖30平米以上。
在一实施例中,当人体姿势检测装置集成在灯具上时,还可以先对感应区域进行人体检测,若检测到有人,则可以在获取人体图像之前进行开灯,之后再获取人体图像。若在人体离开当前感应区域后的预设时长内未在检测到人体,则可以进行关灯,同时停止获取人体图像,通过上述步骤可以只在需要获取图像时运行,从而有效降低人体姿势检测装置的功耗。也即获取感应区域的人体图像的步骤可以包括:判断感应区域是否存在活动人物,若存在,则根据发射的第一红外光以及接收到的第二红外光生成感应区域的人体图像。
需要说明的是,当上述感应区域存在多人时,可以分别对上述多个人获取对应的人体图像。
102、将人体图像输入预设网络模型,以输出人体特征信息。
在一实施例中,上述预设网络模型可以为预先训练好的Faster R-CNN模型,通过将人体图像输入上述Faster R-CNN模型可以得到输出的人体特征信息,其中,该人体特征信息可以包括人体的关节点位置。
在一实施例中,上述Faster R-CNN模型的训练过程可以包括:1、将预训练好的深度卷积网络VGG-Net模型中的参数加载到深度网络Faster R-CNN中的区域建议网络模型中,完成区域建议网络模型参数初始化。2、将训练集图像数据输入到深度网络Faster R-CNN中的区域建议网络模型中,进行训练,得到训练好的区域建议网络模型。3、将预训练好的深度卷积网络VGG-Net模型中的参数加载到深度网络Faster R-CNN中的Fast R-CNN模型中,完成Fast R-CNN模型参数初始化。4、将训练集图像数据输入到训练好的区域建议网络模型生成相应的矩形检测框,用矩形检测框对深度卷积网络VGG-Net模型和Fast R-CNN模型进行训练,得到训练好的深度卷积网络VGG-Net模型和Fast R-CNN模型。5、保持训练好的深度卷积网络VGG-Net模型中的参数不变,将训练集图像数据输入到深度卷积网络VGG-Net模型中,得到图像特征。6、保持训练好的区域建议网络模型中的参数不变,将图像特征输入到区域建议网络,得到矩形检测框,用矩形检测框训练Fast R-CNN网络模型,得到训练好的Fast R-CNN网络模型。7、保持训练好的Fast R-CNN网络模型中的参数不变,将图像特征输入到Fast R-CNN网络模型得到矩形检测框,用矩形检测框训练区域建议网络模型,得到训练好的区域建议网络模型。8、判断深度网络Faster R-CNN模型的全局损失值是否小于阈值,若是,执行步骤9,否则执行步骤6。9、结束训练,得到训练好的深度网络Faster R-CNN模型。
103、根据人体特征信息判断人体的当前姿势是否为跌倒姿势。
在一实施例中,可以根据上述人体特征信息确定人体的当前姿势,然后在数据库中与跌倒姿势模板进行对比即可确定当前姿势是否为跌倒姿势。比如可以对比当前姿势与跌倒姿势模板之间的相似度,当相似度超过预设相似度比如80%时,就可以确定当前姿势为跌倒姿势。
在其他实施例中,上述将当前姿势与跌倒姿势模板进行对比时还可以考虑到人物的性别和/或体型等因素,比如先根据人体图像确定当前人物的体型信息和/或性别信息,再根据该体型信息和/或性别信息选取对应的数据库,并将当前姿势与该数据库中对应的跌倒姿势模板进行对比,进而可以避免由于性别和/或体型等因素的干扰,提升姿势判断的准确性。
在一实施例中,人体特征信息可以包括关节点位置,具体的,在根据人体特征信息确定人体的当前姿势时,可以根据上述关节点位置绘制出人体的当前姿势,上述关节点可以包括多个,比如该人体的关节点可以包括鼻子、左右眼睛、左右耳朵、左右肩膀、左右手肘、左右手腕、左右臀部、左右膝盖以及左右脚踝,共17个关节点。通过上述17个关节点的位置即可确定图像当中人物的大致轮廓,从而绘制出当前姿势。
104、若是,则按照预设联系方式发送提醒信息。
在一实施例中,若在感应区域检测到用户的当前姿势为跌倒姿势,就可以生成提醒信息并发送至预设联系方式比如该用户的亲人,同时还可以直接联系救护中心以进行救助。
比如,当检测到用户跌倒时,就可以控制上述人体姿势检测装置自动发出警报,同时还可以将上述多张人体图像进行存储并生成提醒信息进行发送以便他人了解具体情况并进行及时救助。其中上述提醒信息可以通过无线网络,例如Wi-Fi网络、3G/4G网络等发送至预设联系方式关联的客户端,如图3所示,其中上述客户端可以为手机、个人电脑、平板电脑等。其中还可以在提醒信息中添加跌倒用户摔伤的部位、受伤的程度、碰撞的力度等等,以便联系人更加全面的了解。
由上所述,本申请实施例提出的人体姿势检测方法可以获取感应区域的人体图像,将人体图像输入预设网络模型,以输出人体特征信息,根据人体特征信息判断人体的当前姿势是否为跌倒姿势,若是,则按照预设联系方式发送提醒信息。本申请通过实时的通过计算人体特征信息判断人体的姿势是否为跌倒,提高分析结果的准确性,并快速进行提醒。
根据前面实施例所描述的方法,以下将作进一步详细说明。
请参阅图4,图4是本申请实施例提供的人体姿势检测方法的第二种流程示意图。所述方法包括:
201、获取感应区域的人体图像。
在本申请实施例中,上述感应区域可以为人体姿势检测装置对应的区域,具体的可以在该装置上设置至少一个摄像头,用于实时拍摄对应区域对应的图像。需要说明的是上述人体图像可以为多张图像,比如可以为同一个摄像头多次连续拍摄得到的,也可以为多个摄像头同时拍摄得到的。
202、将人体图像输入预设网络模型,以输出人体特征信息。
在一实施例中,上述预设网络模型可以为预先训练好的Faster R-CNN模型,通过将人体图像输入上述Faster R-CNN模型可以得到输出的人体特征信息。其中,Faster R-CNN将特征提取、proposal提取、Bounding Box Regression、Classification整合到一个网络中,从而使得目标检测速度有了很大的提升。具体的,本实施例可以采用Faster R-CNN深度神经网络进行人体检测,该算法包含4个模块,首先使用18层ResNet卷积网络作为骨干网络提取图像的特征。然后使用RPN(Region Proposal Networks,区域候选网络)网络生成候选区域,该层是通过一组固定的尺寸和比例得到一组锚点,再通过softmax(逻辑回归模型)判断锚点属于前景还是背景,再利用区域回归修正锚点从而获得精确的候选区域。接着是RoI池化层,该层收集输入的特征图和候选区域,将候选区域映射到特征图中并池化为统一大小的区域特征图,送入全连接层判定目标类别。最后是检测层,利用区域特征图计算候选区域的类别,同时再次通过区域回归获得检测框最终的精确位置。也即,将人体图像输入预设网络模型,以输出人体特征信息的步骤包括:通过ResNet卷积网络提取人体图像的初始图像特征,通过RPN网络确定人体图像中的候选区域,将候选区域映射到初始图像特征中并池化为区域特征图,通过全连接层判断区域特征图的类别,并根据判断结果生成人体特征信息。
在一实施例中,在将人体图像输入预设网络模型之前,还可以对人体图像进行预处理。比如,上述预处理可以包括图像裁剪、图像降噪、增强对比度等等。其中图像裁剪可以将拍摄到的图像中的无用区域去除,避免干扰并且减小计算量,图像降噪可以提升后续检测的准确性,增强对比度则可以加深人体的轮廓方便后续获取人体特征信息的步骤。
其中,以增强图像对比度为例进行说明,在一实施例中可以通过综合形态学的高帽低帽变换和灰度拉伸的方法增强对比度。其中,高帽变化是从原图像中减去开运算后的图像,提取图像中灰度较亮的区域,这里开运算能够补偿不均匀的背景亮度;低帽变换是原图像减去闭运算后的图像,提取图像中灰度较低的区域,原图像加上高帽变换后的图像,再减去低帽变换后的图像,使图像亮区更亮,暗区更暗。在另一实施例中还可以基于灰度直方图锥形非均匀拉伸算法来增强图像对比度。该方法的基本思想是首先将图像直方图均匀的灰度轴按灰度分布不均匀插值,即灰度分布高的区域插值较多,灰度分布低的区域插值较少,然后对插值后的灰度轴按插值点均匀化,从而实现直方图非均匀拉伸。
203、根据人体特征信息定位人体的关节点位置。
204、根据关节点位置生成人体的关节点热力图。
在一实施例中,该人体特征信息可以包括人体各个器官的位置信息,进而再根据器官位置信息确定人体的关节点位置,最后基于该关节点位置绘制出人体的关节点热力图。具体的,人体的关节点可以包括鼻子、左右眼睛、左右耳朵、左右肩膀、左右手肘、左右手腕、左右臀部、左右膝盖以及左右脚踝,共17个关节点等。
在一实施例中,还可以通过关节点检测模型对人体图像进行关节点检测,得到人体图像对应的关节点热力图。其中,关节点检测模型可以包括特征提取网络和特征融合网络,特征提取网络用于自上而下地提取人体图像中的多尺度特征,特征融合网络用于自下而上地对特征提取网络提取得到的多尺度特征进行融合,进而基于融合后的特征生成关节点热力图。在一种实施方式中,特征提取网络可以包括密集连接块和密集连接块之间的正交注意力模块(OAB,Orthogonal Attention Block),正交注意力模块用于提取多尺度特征,例如,OAB模块1用于提取空间尺寸为l1*w1的特征图的多尺度特征,OAB模块2用于提取空间尺寸为l2*w2的特征图的多尺度特征;另外,特征融合网络还包括多个阶段的二阶融合模块,每个阶段的二阶融合模块均用于对多尺度特征和前一阶段的二阶融合模块输出的聚合特征进行加权融合,例如,第二阶段的二阶融合模块用于对多尺度特征和第一阶段的二阶融合模块输出的聚合特征进行加权融合,从而得到第二阶段的二阶融合模块输出的聚合特征。
205、将关节点热力图与预设的跌倒姿势模板进行匹配,以判断是否匹配成功,若是,则执行步骤206。
在一实施例中,可以根据上述关节点热力图在数据库中与跌倒姿势模板对应的关节点热力图进行对比即可确定当前姿势是否为跌倒姿势。比如可以对比当前关节点热力图与跌倒姿势模板对应的关节点热力图之间的相似度,当相似度超过预设相似度时,就可以确定当前姿势为跌倒姿势。
在一实施例中,为进一步提升姿势检测的准确性,还可以加入人体的生命体征数据进行综合判断,比如心率、血压、体温、脉搏等,上述生命体征数据可以从用户佩戴的可穿戴设备上进行关联获取,在上述与预设的跌倒姿势模板匹配成功时,且生命体征数据也高于正常值,则可以确定人体的当前姿势为跌倒姿势。也即在匹配成功后,所述方法还包括:获取所述人体当前的体征数据,判断所述体征数据是否高于预设值,若是,则确定所述人体的当前姿势为跌倒姿势。
在一实施例中,考虑到人体在跌倒时在跌倒瞬间的加速度较大,还可以加入加速度数据进行综合判断,由于本申请实施例可以连续对感应区域进行拍摄,在人体跌倒时,通过连续多张人体图像中人体与地面之间的距离即可计算出人体的瞬时加速度。在上述与预设的跌倒姿势模板匹配成功时,且加速度数据也高于预设值,则可以确定人体的当前姿势为跌倒姿势。也即在匹配成功后,所述方法还包括:获取所述人体当前的加速度数据,判断所述加速度数据是否高于预设加速度,若是,则确定所述人体的当前姿势为跌倒姿势。
206、提取人体图像中的脸部数据并进行身份识别。
207、根据身份识别结果生成提醒信息,并按照与身份识别结果关联的预设联系方式发送提醒信息。
考虑到针对不同的人还可以进行不同方式的提醒,因此在一实施例中,在发送提醒信息之前,上述方法还可以包括:获取人体图像中的人脸特征信息,并根据人脸特征信息进行身份识别,根据身份识别结果设置对应的提醒方式,最后按照该提醒方式进行提醒。比如针对不同的人跌倒时,可以设置不同的紧急联系人。其中,上述身份识别可以通过人脸识别,还可以通过虹膜识别、语音识别等方式进行,本申请对此不作进一步限定。
在一实施例中,在进行提醒时可以将人体图像按照预设联系方式进行发送。比如将多张人体图像进行存储并一并发送至关联用户的客户端,进一步的,还可以在提醒信息中添加跌倒人体跌倒的部位、跌倒的程度、碰撞的力度等等。举例来说,当人体跌倒时时,通过多张人体图像判断跌倒的区域所对应的人体部位,比如为腿、胳膊、背部等,然后根据人体跌倒时的加速度计算跌倒的程度、碰撞的力度等。
由上所述,本申请实施例提出的人体姿势检测方法可以获取感应区域的人体图像,将人体图像输入预设网络模型,以输出人体特征信息,根据人体特征信息定位人体的关节点位置,根据关节点位置生成人体的关节点热力图,将关节点热力图与预设的跌倒姿势模板进行匹配,以判断是否匹配成功,若是,则提取人体图像中的脸部数据并进行身份识别,根据身份识别结果生成提醒信息,并按照与身份识别结果关联的预设联系方式发送提醒信息。本申请通过实时的通过计算人体特征信息判断人体的姿势是否为跌倒,提高分析结果的准确性,并快速进行提醒。
为了实施以上方法,本申请实施例还提供一种人体姿势检测装置,该人体姿势检测装置具体可以集成在终端设备如手机、平板电脑等设备中。
例如,如图5所示,是本申请实施例提供的人体姿势检测装置的第一种结构示意图。该人体姿势检测装置可以包括:
获取模块301,用于获取感应区域的人体图像;
输入模块302,用于将所述人体图像输入预设网络模型,以输出人体特征信息;
判断模块303,用于根据所述人体特征信息判断人体的当前姿势是否为跌倒姿势;
提醒模块304,用于当所述判断模块判断为是时,按照预设联系方式发送提醒信息。
在一实施例中,请进一步参阅图6,其中获取模块301可以包括:
判断子模块3011,用于判断所述感应区域是否存在活动人物;
生成子模块3012,用于当所述判断子模块3011判断为是时,根据发射的第一红外光以及接收到的第二红外光生成所述感应区域的人体图像。
在一实施例中,所述输入模块302,具体用于通过ResNet卷积网络提取所述人体图像的初始图像特征,通过RPN网络确定所述人体图像中的候选区域,将所述候选区域映射到所述初始图像特征中并池化为区域特征图,通过全连接层判断所述区域特征图的类别,并根据判断结果生成所述人体特征信息。
在一实施例中,所述判断模块303可以包括:
定位子模块3031,用于根据所述人体特征信息定位所述人体的关节点位置,根据所述关节点位置生成所述人体的关节点热力图;
匹配子模块3032,用于将所述关节点热力图与预设的跌倒姿势模板进行匹配,若匹配成功,则确定所述人体的当前姿势为跌倒姿势。
在一实施例中,提醒模块304,具体用于提取所述人体图像中的脸部数据并进行身份识别,根据身份识别结果生成提醒信息,并按照与所述身份识别结果关联的预设联系方式发送提醒信息。
由上可知,本申请实施例提出的人体姿势检测装置,可以获取感应区域的人体图像;,将人体图像输入预设网络模型,以输出人体特征信息,根据人体特征信息判断人体的当前姿势是否为跌倒姿势,若是,则按照预设联系方式发送提醒信息。本申请通过实时的通过计算人体特征信息判断人体的姿势是否为跌倒,提高分析结果的准确性,并快速进行提醒。
上述所有的技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
相应的,本申请实施例还提供一种电子设备,该电子设备可以为终端或者服务器,该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、游戏机、个人计算机(PC,Personal Computer)、个人数字助理(Personal Digital Assistant,PDA)等终端设备。如图7所示,图7为本申请实施例提供的电子设备的结构示意图。该电子设备400包括有一个或者一个以上处理核心的处理器401、有一个或一个以上计算机可读存储介质的存储器402及存储在存储器402上并可在处理器上运行的计算机程序。其中,处理器401与存储器402电性连接。本领域技术人员可以理解,图中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
处理器401是电子设备400的控制中心,利用各种接口和线路连接整个电子设备400的各个部分,通过运行或加载存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行电子设备400的各种功能和处理数据,从而对电子设备400进行整体监控。
在本申请实施例中,电子设备400中的处理器401会按照如下的步骤,将一个或一个以上的应用程序的进程对应的指令加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能:
获取感应区域的人体图像;
将所述人体图像输入预设网络模型,以输出人体特征信息;
根据所述人体特征信息判断人体的当前姿势是否为跌倒姿势;
若是,则按照预设联系方式发送提醒信息。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
可选的,如图7所示,电子设备400还包括:触控显示屏403、射频电路404、音频电路405、输入单元406以及电源407。其中,处理器401分别与触控显示屏403、射频电路404、音频电路405、输入单元406以及电源407电性连接。本领域技术人员可以理解,图7中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
触控显示屏403可用于显示图形用户界面以及接收用户作用于图形用户界面产生的操作指令。触控显示屏403可以包括显示面板和触控面板。其中,显示面板可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。可选的,可以采用液晶显示器(LCD,Liquid Crystal Display)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。触控面板可用于收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作),并生成相应的操作指令,且操作指令执行对应程序。可选的,触控面板可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器401,并能接收处理器401发来的命令并加以执行。触控面板可覆盖显示面板,当触控面板检测到在其上或附近的触摸操作后,传送给处理器401以确定触摸事件的类型,随后处理器401根据触摸事件的类型在显示面板上提供相应的视觉输出。在本申请实施例中,可以将触控面板与显示面板集成到触控显示屏403而实现输入和输出功能。但是在某些实施例中,触控面板与触控面板可以作为两个独立的部件来实现输入和输出功能。即触控显示屏403也可以作为输入单元406的一部分实现输入功能。
在本申请实施例中,通过处理器401执行应用程序在触控显示屏403上生成图形用户界面。该触控显示屏403用于呈现图形用户界面以及接收用户作用于图形用户界面产生的操作指令。
射频电路404可用于收发射频信号,以通过无线通信与网络设备或其他电子设备建立无线通讯,与网络设备或其他电子设备之间收发信号。在本申请实施例中,上述电子设备可通过射频电路与其他用户的客户端建立通讯,从而在拍摄到人体跌倒时,及时通过电子设备进行提醒,并可以通过电子设备快速查看摄像头拍摄到的人体图像,从而避免或减少人体摔伤带来的损失。
音频电路405可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。音频电路405可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路405接收后转换为音频数据,再将音频数据输出处理器401处理后,经射频电路404以发送给比如另一电子设备,或者将音频数据输出至存储器402以便进一步处理。音频电路405还可能包括耳塞插孔,以提供外设耳机与电子设备的通信。
输入单元406可用于接收输入的数字、字符信息或用户特征信息(例如指纹、虹膜、面部信息等),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
电源407用于给电子设备400的各个部件供电。可选的,电源407可以通过电源管理***与处理器401逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源407还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管图7中未示出,电子设备400还可以包括摄像头、传感器、无线保真模块、蓝牙模块等,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
由上可知,本实施例提供的电子设备,通过获取感应区域的人体图像;,将人体图像输入预设网络模型,以输出人体特征信息,根据人体特征信息判断人体的当前姿势是否为跌倒姿势,若是,则按照预设联系方式发送提醒信息。本申请通过实时的通过计算人体特征信息判断人体的姿势是否为跌倒,提高分析结果的准确性,并快速进行提醒。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条计算机程序,该计算机程序能够被处理器进行加载,以执行本申请实施例所提供的任一种人体姿势检测方法中的步骤。例如,该计算机程序可以执行如下步骤:
获取感应区域的人体图像;
将所述人体图像输入预设网络模型,以输出人体特征信息;
根据所述人体特征信息判断人体的当前姿势是否为跌倒姿势;
若是,则按照预设联系方式发送提醒信息。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的计算机程序,可以执行本申请实施例所提供的任一种人体姿势检测方法中的步骤,因此,可以实现本申请实施例所提供的任一种人体姿势检测方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种人体姿势检测方法、装置、电子设备及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种人体姿势检测方法,其特征在于,包括:
获取感应区域的人体图像;
将所述人体图像输入预设网络模型,以输出人体特征信息;
根据所述人体特征信息判断人体的当前姿势是否为跌倒姿势;
若是,则按照预设联系方式发送提醒信息。
2.如权利要求1所述的人体姿势检测方法,其特征在于,所述获取感应区域的人体图像的步骤包括:
判断所述感应区域是否存在活动的人体;
若存在,则根据发射的第一红外光以及接收到的第二红外光生成所述感应区域的人体图像。
3.如权利要求1所述的人体姿势检测方法,其特征在于,所述将所述人体图像输入预设网络模型,以输出人体特征信息的步骤包括:
通过ResNet卷积网络提取所述人体图像的初始图像特征;
通过RPN网络确定所述人体图像中的候选区域;
将所述候选区域映射到所述初始图像特征中并池化为区域特征图;
通过全连接层判断所述区域特征图的类别,并根据判断结果生成所述人体特征信息。
4.如权利要求1所述的人体姿势检测方法,其特征在于,所述根据所述人体特征信息判断人体的当前姿势是否为跌倒姿势的步骤包括:
根据所述人体特征信息定位所述人体的关节点位置;
根据所述关节点位置生成所述人体的关节点热力图;
将所述关节点热力图与预设的跌倒姿势模板进行匹配,若匹配成功,则确定所述人体的当前姿势为跌倒姿势。
5.如权利要求4所述的人体姿势检测方法,其特征在于,在匹配成功后,所述方法还包括:
获取所述人体当前的体征数据;
判断所述体征数据是否高于预设值,若是,则确定所述人体的当前姿势为跌倒姿势。
6.如权利要求4所述的人体姿势检测方法,其特征在于,在匹配成功后,所述方法还包括:
获取所述人体当前的加速度数据;
判断所述加速度数据是否高于预设加速度,若是,则确定所述人体的当前姿势为跌倒姿势。
7.如权利要求1所述的人体姿势检测方法,其特征在于,所述按照预设联系方式发送提醒信息的步骤包括:
提取所述人体图像中的脸部数据并进行身份识别;
根据身份识别结果生成提醒信息,并按照与所述身份识别结果关联的预设联系方式发送提醒信息。
8.一种人体姿势检测装置,其特征在于,包括:
获取模块,用于获取感应区域的人体图像;
输入模块,用于将所述人体图像输入预设网络模型,以输出人体特征信息;
判断模块,用于根据所述人体特征信息判断人体的当前姿势是否为跌倒姿势;
提醒模块,用于当所述判断模块判断为是时,按照预设联系方式发送提醒信息。
9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,执行如权利要求1-7任一项所述的人体姿势检测方法中的步骤。
10.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行如权利要求1-7任一项所述的人体姿势检测方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210346329.8A CN114663919A (zh) | 2022-03-31 | 2022-03-31 | 人体姿势检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210346329.8A CN114663919A (zh) | 2022-03-31 | 2022-03-31 | 人体姿势检测方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114663919A true CN114663919A (zh) | 2022-06-24 |
Family
ID=82033816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210346329.8A Pending CN114663919A (zh) | 2022-03-31 | 2022-03-31 | 人体姿势检测方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114663919A (zh) |
-
2022
- 2022-03-31 CN CN202210346329.8A patent/CN114663919A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11561621B2 (en) | Multi media computing or entertainment system for responding to user presence and activity | |
CN110348543B (zh) | 眼底图像识别方法、装置、计算机设备及存储介质 | |
WO2018121428A1 (zh) | 一种活体检测方法、装置及存储介质 | |
WO2019033569A1 (zh) | 眼球动作分析方法、装置及存储介质 | |
WO2019011098A1 (zh) | 解锁控制方法及相关产品 | |
CN105303149B (zh) | 人物图像的展示方法和装置 | |
CN108198130B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110570460B (zh) | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 | |
US20220309836A1 (en) | Ai-based face recognition method and apparatus, device, and medium | |
CN112287795B (zh) | 异常驾驶姿态检测方法、装置、设备、车辆和介质 | |
WO2021143216A1 (zh) | 一种人脸活体检测的方法和相关装置 | |
CN110765924A (zh) | 一种活体检测方法、装置以及计算机可读存储介质 | |
US20230022554A1 (en) | Automatic pressure ulcer measurement | |
CN108881544B (zh) | 一种拍照的方法及移动终端 | |
CN110807405A (zh) | 一种偷拍装置检测方法及电子设备 | |
CN113538696A (zh) | 特效生成方法、装置、存储介质及电子设备 | |
Wu et al. | Appearance-based gaze block estimation via CNN classification | |
CN113539439B (zh) | 医学图像的处理方法、装置、计算机设备和存储介质 | |
Chua et al. | Vision-based hand grasping posture recognition in drinking activity | |
CN112700568B (zh) | 一种身份认证的方法、设备及计算机可读存储介质 | |
CN117593493A (zh) | 三维脸部拟合方法、装置、电子设备及存储介质 | |
CN113076799A (zh) | 溺水识别报警方法、装置、平台、***及存储介质 | |
CN111753813A (zh) | 图像处理方法、装置、设备及存储介质 | |
WO2023137923A1 (zh) | 基于姿态指导的行人重识别方法、装置、设备及存储介质 | |
CN114663919A (zh) | 人体姿势检测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |