CN110245637A - 一种坐姿监控方法及装置 - Google Patents

Abstract

本发明提供一种坐姿监控方法及装置。本发明方法，包括：正面采集使用者实时坐姿图像；根据用户端录入的标准坐姿图像与所述实时坐姿图像的差异对比得到坐姿判断结果；将所述坐姿判断结果提供给用户端。本发明解决了现有技术中存在的监控能力有限、成本高的技术问题。

Description

一种坐姿监控方法及装置

技术领域

本发明涉及一种基于图像特征提取监控方法，具体说，涉及一种基于关键点检测的坐姿监控方法及装置。

背景技术

坐姿不当容易造成学生近视、驼背，也大大提高了其在成年后患颈椎、腰椎疾病的概率，极大程度影响了学习和生活质量。多数家长已经意识到督促学生保持正确坐姿的重要性。但由于中小学生认知能力和自制能力普遍较差，不能长时间保持正确的坐姿，而家长和老师又很难对他们的日常坐姿进行及时监督提醒。

现有的坐姿监控一般通过超声波测距、小型佩带式重力传感器、3d传感器、穿戴式设备等实现。但是超声波测距的监控能力有限，不能监控歪头，耸肩等不良坐姿；小型重力传感器也存在上述缺点；而通过3d传感器、穿戴式设备虽然可以取得比较好监控效果，但是成本较高。

发明内容

根据上述提出的现有坐姿监控技术存在的监控能力有限、成本高的技术问题，而提供一种坐姿监控方法，通过提取人体关键点位置判断坐姿是否标准。

本发明采用的技术手段如下：

一种坐姿监控方法，包括：

正面采集使用者实时坐姿图像；

根据用户端录入的标准坐姿图像与所述实时坐姿图像的差异对比得到坐姿判断结果；

将所述坐姿判断结果提供给用户端。

进一步地，所述根据用户端录入的标准坐姿图像与所述实时坐姿图像的差异对比得到坐姿判断结果之前，还包括：对标准坐姿进行标定提取坐姿关键点，由此构建标准坐姿模型。

进一步地，所述构建标准坐姿模型之前，还包括：根据关键点位置约束认证标准坐姿。

进一步地，所述根据用户端录入的标准坐姿图像与所述实时坐姿图像的差异对比得到坐姿判断结果之前，还包括对标准坐姿关键点位置模型训练时，对标准坐姿关键点做软化处理。

进一步地，所述将所述坐姿判断结果提供给用户端之前，还包括：对不良坐姿进行分类，形成不良坐姿对照表；将所述坐姿判断结果提供给用户端时，还包括：将所述不良坐姿对照表提供给所述用户端。

进一步地，所述将所述坐姿判断结果提供给用户端之时，还包括如下之一或两项：向所述用户端提供所述坐姿判断结果及所述不良坐姿对照表，使得所述用户端可以根据所述坐姿判断结果及所述不良坐姿对照表做相应指示性提示；向中转端提供所述坐姿判断结果及所述不良坐姿对照表，使得所述中转端可以根据所述坐姿判断结果及所述不良坐姿对照表做相应指示性提示之后再转发给所述用户端。

一种坐姿监控装置，包括：

采集模块，正面采集使用者实时坐姿图像；

判断模块，根据用户端录入的标准坐姿图像与所述实时坐姿图像的差异对比得到坐姿判断结果；

提供模块，将所述坐姿判断结果提供给用户端。

进一步地，所述判断模块还用于：对标准坐姿进行标定提取坐姿关键点，由此构建标准坐姿模型。

进一步地，所述判断模块还用于：根据关键点位置约束认证标准坐姿。

进一步地，所述判断模块还用于：对标准坐姿关键点位置模型训练时对标准坐姿关键点做软化处理。

进一步地，所述判断模块还用于：对不良坐姿进行分类，形成不良坐姿对照表；所述提供模块还用于：将所述不良坐姿对照表提供给所述用户端。

进一步地，所述提供模块还用于将所述坐姿判断结果提供给用户端之时执行如下之一或两项：向所述用户端提供所述坐姿判断结果及所述不良坐姿对照表，使得所述用户端可以根据所述坐姿判断结果及所述不良坐姿对照表做相应指示性提示；向中转端提供所述坐姿判断结果及所述不良坐姿对照表，使得所述中转端可以根据所述坐姿判断结果及所述不良坐姿对照表做相应指示性提示之后再转发给所述用户端。

较现有技术相比，本发明具有以下优点：

1、本发明提供的坐姿监控方法与装置，利用关键点的实时检测与分析高效率、低成本地解决了坐姿监控与提醒的问题。

2、本发明通过对坐姿关键点位置做软化处理，使本方法在光照不均或者图像模糊时，仍然能保证较好的工作状态。

3、本发明可以在算法层面采用可变形卷积，有效增强感受野，进而使本方法对遮挡情况具有推断能力。

综上，应用本发明的基于关键点检测的坐姿监控方法及装置，可以有效解决了监控能力有限、成本高的问题。

基于上述理由本发明可在教育领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一坐姿监控方法的流程示意图。

图2为本发明实施例二坐姿监控装置的结构示意图。

图3a为实例中坐姿图像实例。

图3b为实例中坐姿图像关键点标定示意图。

图3c为实例中坐姿模型关键点标定示意图。

图4为实施例中坐姿关键点检测示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

针对学生不良坐姿监控的问题，本申请提出如下技术方案，拍摄设备可以提取使用者的坐姿图像，并通过关键点提取的方式构建坐姿模型。将当前使用者的坐姿模型与预先录入的标准坐姿模型进行对比，当二者差异大于规定的阈值时，即提示使用者调整坐姿。这样，既能够达到坐姿实时监控的目的，又能够解放监督者的时间和精力，不仅使用灵活，而且大大降低了应用成本。此外，本方法和装置可以内嵌到诸如书桌、台灯等学习必备物品的设计中，也省去了专用设备的使用空间。

实施例一

提供一种坐姿监控方法，如图1所示，该方法可包括：

步骤101，正面采集使用者实时坐姿图像；

步骤102，根据用户端录入的标准坐姿图像与所述实时坐姿图像的差异对比得到坐姿判断结果；

步骤103，将所述坐姿判断结果提供给用户端。

本实施例中，可以利用专用的摄像头采集使用者实时坐姿图像，也可利用电脑或手机的前置摄像头采集使用者实时坐姿图像，或者利用内嵌入其他伴学***当中的摄像装置对坐姿进行提取。这样多种硬件组合方式可以大大降低使用成本。

一种实施方式中，根据用户端录入的标准坐姿图像与所述实时坐姿图像的差异对比得到坐姿判断结果之前，还包括：对标准坐姿进行标定提取坐姿关键点，由此构建标准坐姿模型。作为一种较佳的实施方式，构建标准坐姿模型的步骤，可以包括：

a.对使用者录入的标准坐姿图像进行以下标定：

p1:左眼p2：右眼p3：鼻子p4：左嘴角p5：右嘴角p6：左肩p7：右肩，记pi，pj的连线为Lij；

b.记鼻子中心位置(关键点p3)为C；

在此实施方式中，可以由父母或者其他监督人来判断坐姿，记录监督人认可的坐姿模型。进一步地，作为更佳的实施方式，可由算法根据关键点位置约束自主认证标准坐姿。具体的，根据人体的对称性原理，当关键点位置满足以下条件时，即可对标准坐姿模型进行认定：

(1)L12//L67且两者接近水平线

(2)Dis(C,L14)与Dis(C,L25)近似相等

当然，还可以根据使用需求人为设定对初始标准坐姿的约束。而关键点的位置和数量也可以根据需求做进一步的调整。这样能够满足不同使用者的个性化需求。

标准坐姿模型建立后，根据采集使用者坐姿图像，并根据构建标准坐姿模型的步骤，提取当前坐姿关键点信息构建当前坐姿模型，实时检测其与标准坐姿模型的差异。进一步地，还可对标定的实时坐姿关键点位置做软化处理。具体地，本发明区别于通用的人脸/人体关键点检测，由本发明的应用场景限制，其检测目标的检测尺度相对一致，在特征融合与集成方面则无需采用SSD或者FPN等复杂结构以捕捉多尺度信息。更多需要考虑光线不均，遮挡等状况，因此作为本发明一种较佳的实施方式，提出了以下算法架构。如图4所示。

采用上述方案可以简化了多层次特征融合的冗余性；同时引入可变形卷积以改善遮挡的情况有效增强了感受野，对遮挡情况具有推断能力；引入高斯核软化真值关键点，在光照不均或者图像模糊时协调关键点的位置，改善光线不均的情况。

网络分两个head，一个是在backbone之后直接回归7个点的坐标，另外一个回归由关键点产生的7个高斯分布置信度图。该图的产生方式如下：

For each key points p:

guass_label_img＝zeros(h,w)

guass_label_img[p.y,p.x]＝1

guass_label_img＝GaussFilter2d(guass_label_img,kernel＝7)

由于关键点的标注常常是确切的，但是实际中可容许在一定范围内，因而利用高斯做一个平滑，可以理解为在一定范围内，其中心是确切的关键点，越接近中心位置的权重越高，越靠近边缘位置权重越低。

一种实施方式中，将所述坐姿判断结果提供给用户端之前，还包括：对不良坐姿进行分类，形成不良坐姿对照表；将所述坐姿判断结果提供给用户端时，还包括：将所述不良坐姿对照表提供给所述用户端。

具体地，当得到使用者坐姿不良需要校正的结论时，可以直接将上述结论提供给用户端，此时用户端可以做笼统的提示，例如语音播报“请注意坐姿”。而一种更加的实施方案中，可以根据坐姿模型的关键点位置约束，对不良坐姿进行分类，并形成不良坐姿对照表。所述不良坐姿对照表中至少包括各种不良坐姿的名称以及对应的关键点位置模型，上述不良坐姿关键点位置模型同样可以做软化处理。用户端接收提示信息并查询不良坐姿对照表，从而向用户端提供更为详细的对应提示。例如语音播报“请注意歪头”、“请注意转头”等。

一种实施方式中，将所述坐姿判断结果提供给用户端之时，还包括如下之一或两项：向所述用户端提供所述坐姿判断结果及所述不良坐姿对照表，使得所述用户端可以根据所述坐姿判断结果及所述不良坐姿对照表做相应指示性提示；向中转端提供所述坐姿判断结果及所述不良坐姿对照表，使得所述中转端可以根据所述坐姿判断结果及所述不良坐姿对照表做相应指示性提示之后再转发给所述用户端。

具体地，普遍情况下，家长难于保证全时陪伴学生，也就无法全时监控学生的坐姿并进行提醒。本发明还提供了一种由家长控制中转端向用户端发送提示信息的方案，这样可以防止由于学生自制力差而忽略提示的情况发生。家长可以通过本发明对学生的坐姿进行远程监控，并采取必要的措施督促学生按照指示调整坐姿，例如及时拨打电话或者通过互联网以其他方式进行提醒。

实施例二

如图2所示，本发明还提供了一种坐姿监控装置，包括：

采集模块21，正面采集使用者实时坐姿图像；

判断模块22，根据用户端录入的标准坐姿图像与所述实时坐姿图像的差异对比得到坐姿判断结果；

提供模块23，将所述坐姿判断结果提供给用户端。

为了提供准确的坐姿判断结果，所述判断模块22还用于：对标准坐姿进行标定提取坐姿关键点，由此构建标准坐姿模型；根据关键点位置约束认证标准坐姿；对标定的实时坐姿关键点位置做软化处理；以及对不良坐姿进行分类，形成不良坐姿对照表；所述提供模块还用于：将所述不良坐姿对照表提供给所述用户端。

为了提升发明的使用效果，提供模块23还用于将所述坐姿判断结果提供给用户端之时执行如下之一或两项：向所述用户端提供所述坐姿判断结果及所述不良坐姿对照表，使得所述用户端可以根据所述坐姿判断结果及所述不良坐姿对照表做相应指示性提示；向中转端提供所述坐姿判断结果及所述不良坐姿对照表，使得所述中转端可以根据所述坐姿判断结果及所述不良坐姿对照表做相应指示性提示之后再转发给所述用户端。

本实施例中坐姿监控装置可实现实施例一所述方法的所有细节。本实施例中，采集模块21、判断模块22、提供模块23分别可以是软件、硬件或两者的结合。上述坐姿图像的输出装置可以通过拍摄设备实现，或者设置于拍摄设备之中。例如，视频画面的输出装置可以通过计算机前置摄像头，此时，判断模块22可以为该计算机中负责图像处理的部分(如处理器)，提供模块23可以为计算机中负责通信的部分。实际应用中，上述模块装置及其各部分还可通过其他形式实现，对此，本文不作限制。

下面通过具体的应用实例对本发明的技术方案做进一步说明：

如图3a-3c所示，首先设定初始标准坐姿。本例中选用左眼、右眼、鼻子、左嘴角、右嘴角、左肩、右肩分别作为标定的7个关键点p1、p2、p3、p4、p5、p6、和p7。记鼻子中心位置(关键点p3)为C；pi，pj连线为Lij。

然后对标准坐姿模型进行认证。标准的坐姿状况应近似满足：

(1)L12//L67且两者接近水平线

(2)Dis(C,L14)与Dis(C,L25)近似相等

满足上述条件，加上人为对初始设定标准坐姿的约束，即可认为标准坐姿设定成功。

最后，判断当前坐姿与标准坐姿的差异。可以构建不良坐姿对照表，给出关键点形态与坐姿判断的关系。本例中构建的不良坐姿对照表如下：

歪头条件：angle(L12,水平线)>一定阈值

转头条件：Dis(C,L14)与Dis(C,L25)的比例相比较于标准时的比例超过一定阈值

耸肩条件：angle(L67,水平线)>一定阈值

低头条件：Dis(C,L12)与Dis(C,L34)的比例相比较于标准时的比例超过一定阈值

腰背不挺直条件：所以关键点竖向坐标值平均值相较于标准坐姿的下降一定阈值

上述阈值均可理解为敏感度，由应用层设定。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种坐姿监控方法，其特征在于，包括：

正面采集使用者实时坐姿图像；

根据用户端录入的标准坐姿图像与所述实时坐姿图像的差异对比得到坐姿判断结果；

将所述坐姿判断结果提供给用户端。

2.根据权利要求1所述的坐姿监控方法，其特征在于，根据用户端录入的标准坐姿图像与所述实时坐姿图像的差异对比得到坐姿判断结果之前，还包括：对标准坐姿进行标定提取坐姿关键点，由此构建标准坐姿模型。

3.根据权利要求2所述的坐姿监控方法，其特征在于，构建标准坐姿模型之前，还包括：根据关键点位置约束认证标准坐姿。

4.根据权利要求2或3所述的坐姿监控方法，其特征在于，根据用户端录入的标准坐姿图像与所述实时坐姿图像的差异对比得到坐姿判断结果之前，还包括对标准坐姿关键点位置模型训练时，对标准坐姿关键点做软化处理。

5.根据权利要求1所述的坐姿监控方法，其特征在于，

将所述坐姿判断结果提供给用户端之前，还包括：对不良坐姿进行分类，形成不良坐姿对照表；

将所述坐姿判断结果提供给用户端时，还包括：将所述不良坐姿对照表提供给所述用户端。

6.根据权利要求5所述的坐姿监控方法，其特征在于，将所述坐姿判断结果提供给用户端之时，还包括如下之一或两项：

向所述用户端提供所述坐姿判断结果及所述不良坐姿对照表，使得所述用户端可以根据所述坐姿判断结果及所述不良坐姿对照表做相应指示性提示；

向中转端提供所述坐姿判断结果及所述不良坐姿对照表，使得所述中转端可以根据所述坐姿判断结果及所述不良坐姿对照表做相应指示性提示之后再转发给所述用户端。

7.一种坐姿监控装置，其特征在于，包括：

采集模块，正面采集使用者实时坐姿图像；

判断模块，根据用户端录入的标准坐姿图像与所述实时坐姿图像的差异对比得到坐姿判断结果；

提供模块，将所述坐姿判断结果提供给用户端。

8.根据权利要求7所述的坐姿监控装置，其特征在于，所述判断模块还用于：对标准坐姿进行标定提取坐姿关键点，由此构建标准坐姿模型。

9.根据权利要求8所述的坐姿监控装置，其特征在于，所述判断模块还用于：根据关键点位置约束认证标准坐姿。

10.根据权利要求8或9所述的坐姿监控装置，其特征在于，所述判断模块还用于：对标准坐姿关键点位置模型训练时，对标准坐姿关键点做软化处理。

11.根据权利要求7所述的坐姿监控装置，其特征在于，

所述判断模块还用于：对不良坐姿进行分类，形成不良坐姿对照表；

所述提供模块还用于：将所述不良坐姿对照表提供给所述用户端。

12.根据权利要求11所述的坐姿监控装置，其特征在于，所述提供模块还用于将所述坐姿判断结果提供给用户端之时执行如下之一或两项：

向所述用户端提供所述坐姿判断结果及所述不良坐姿对照表，使得所述用户端可以根据所述坐姿判断结果及所述不良坐姿对照表做相应指示性提示；

向中转端提供所述坐姿判断结果及所述不良坐姿对照表，使得所述中转端可以根据所述坐姿判断结果及所述不良坐姿对照表做相应指示性提示之后再转发给所述用户端。