CN113989832A - 姿势识别方法、装置、终端设备及存储介质 - Google Patents

Abstract

本发明公开了一种姿势识别方法、装置、终端设备及存储介质，该方法包括：获取教室的全景图像并从该全景图像中提取每个学生的骨骼关键点，并分割出每个课桌的桌面区域；以所述桌面区域为参考，从所述骨骼关键点中选取第一特征关键点，并计算第一特征关键点与桌面区域的相对位置关系，从所述骨骼关键点中选取第二特征关键点并计算第二特征关键点对应的特征曲线；根据所述相对位置关系和/或所述特征曲线确定所述学生的姿势是否规范。本发明通过关键点检测能够对学生的姿势进行智能分析，从而识别每个学生的姿势是否符合规范，为矫正学生不规范的姿势提供参考依据，能及时提醒学生纠正不规范姿势，从而实现对学生姿势的有效监督和近视防控的目的。

Description

姿势识别方法、装置、终端设备及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种姿势识别方法、装置、终端设备及存储介质。

背景技术

近年来，中国学生近视率居高不下、不断攀升，近视低龄化趋势日益严重，学龄儿童近视问题已成为重要的社会性问题，深深影响了青少年的学习和身心健康，因此，近视防控问题已经刻不容缓。其中，导致学生近视的主要原因之一是不规范的读写姿势。学生读写姿势不规范的问题普遍存在，例如，当前中小学生普遍存在坐姿不正确、读写距离过近、握笔姿势不正确等问题。目前有特制的矫正桌椅可用于规范学龄儿童的读写姿势，但受限于高昂成本，特制的姿势矫正桌椅无法大范围普及。而对于学生不规范的姿势，目前缺少有效的监督指导方式，学生自身一般也无法及时发现自己姿势不规范，因此，不规范的读写姿势无法得到及时纠正。

发明内容

本发明的主要目的在于提供一种姿势识别方法、装置、终端设备及存储介质，旨在识别学生的姿势是否规范，解决目前对学生读写姿势缺少有效监督指导的技术问题。

此外，为实现上述目的，本发明还提供一种姿势识别方法，所述姿势识别方法包括以下步骤：

获取教室的全景图像，从所述全景图像中提取每个学生的骨骼关键点，并分割出各所述学生所在的课桌的桌面区域；

以所述桌面区域为参考，从所述骨骼关键点中选取第一特征关键点，并计算所述第一特征关键点与所述桌面区域的相对位置关系，从所述骨骼关键点中选取第二特征关键点并计算所述第二特征关键点对应的特征曲线；

根据所述相对位置关系和/或所述特征曲线确定所述学生的姿势是否规范。

可选地，所述第一特征关键点包括左眼关键点和右眼关键点，所述相对位置关系包括相对距离和倾斜角度，所述计算所述第一特征关键点与所述桌面区域的相对位置关系的步骤，包括：

计算所述左眼关键点和/或所述右眼关键点与所述桌面区域的第一相对距离；

确定所述左眼关键点与所述右眼关键点的连线与所述桌面区域的特征角度，根据所述特征角度确定所述学生的头部相对于所述桌面区域的倾斜角度；

所述根据所述相对位置关系确定所述学生的姿势是否规范的步骤包括：

根据所述第一相对距离确定所述学生的头部与所述桌面区域的第二相对距离；

将所述第二相对距离与预设的距离阈值进行比较，和/或将所述倾斜角度与预设的角度阈值进行比较，确定所述学生的姿势是否规范。

可选地，所述第一特征关键点包括双臂关键点，所述双臂关键点包括，所述相对位置关系包括摆放角度，所述计算所述第一特征关键点与所述桌面区域的相对位置关系的步骤，包括：

当在所述桌面区域内同时检测到所述学生的双臂时，计算所述学生的左臂关键点连接成的折线的第一角度，以及所述学生的右臂关键点连接成的折线的第二角度，其中，所述左臂关键点包括左臂的肩部关键点、肘部关键点和手部关键点，所述右臂关键点包括右臂的肩部关键点、肘部关键点和手部关键点；

根据所述第一角度和所述第二角度确定所述学生的双臂在所述桌面区域的摆放角度。

可选地，所述第一特征关键点包括手部关键点，所述相对位置关系包括执笔角度和执笔姿势，所述计算所述第一特征关键点与所述桌面区域的相对位置关系的步骤，包括：

当检测到所述学生的手部区域存在笔杆时，分割笔杆区域，并根据所述笔杆区域计算所述笔杆与桌面区域之间的倾斜角度；

根据所述笔杆与桌面区域之间的倾斜角度确定所述学生的执笔角度；

确定所述学生的手部与所述笔杆的接触点，计算所述接触点与所述学生的手部关键点的欧式距离，根据所述欧氏距离确定所述学生的执笔姿势。

可选地，所述特征曲线包括所述第二特征关键点中各个相邻的特征关键点连接而成的折线，所述根据所述特征曲线确定所述学生的姿势是否规范的步骤，包括：

计算所述第二特征关键点中的各个相邻的特征关键点依次连接，得到所述第二特征关键点对应的折线，计算所述折线的曲折度，其中，所述第二特征关键点至少包括所述学生侧面的耳部关键点、颈部关键点、肩部关键点和腰部关键点；

根据所述曲折度确定所述学生的姿势是否规范。

可选地，所述第二特征关键点包括所述学生的面部关键点和手部关键点，所述特征曲线包括所述面部关键点和所述手部关键点的移动轨迹，所述计算所述第二特征关键点对应的特征曲线的步骤，包括：

当检测到当前时段处于预设的爱眼操时间段时，从所述全景图像中选取预设数量的相邻帧图像，根据所述相邻帧图像计算所述学生面部关键点和手部关键点的移动轨迹；

所述根据所述特征曲线确定所述学生的姿势是否规范的步骤包括：

则将所述面部关键点和所述手部关键点的移动轨迹与预设的爱眼操移动轨迹进行比较，确定所述学生的姿势是否规范。

可选地，所述根据所述相对位置关系和/或所述特征曲线确定所述学生的姿势是否规范的步骤之后，还包括：

若所述学生的姿势不规范，输出预警提示信息，并对所述学生的姿势识别结果进行统计，生成所述学生的姿势识别报告。

此外，为实现上述目的，本发明还提供一种姿势识别装置，所述姿势识别装置包括：

特征提取模块，用于获取教室的全景图像，从所述全景图像中提取每个学生的骨骼关键点，并分割出各所述学生所在的课桌的桌面区域；

特征计算模块，用于以所述桌面区域为参考，从所述骨骼关键点中选取第一特征关键点，并计算所述第一特征关键点与所述桌面区域的相对位置关系，从所述骨骼关键点中选取第二特征关键点并计算所述第二特征关键点对应的特征曲线；

姿势识别模块，用于根据所述相对位置关系和/或所述特征曲线确定所述学生的姿势是否规范。

此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的姿势识别程序，所述姿势识别程序被所述处理器执行时实现如上述的姿势识别方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有姿势识别程序，所述姿势识别程序被处理器执行时实现如上述的姿势识别方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的姿势识别方法的步骤。

本发明实施例提出的一种姿势识别方法、装置、终端设备及存储介质。现有技术中，缺少对学生姿势的有效监督和指导方式，基于此，本发明实施例中，通过获取教室的全景图像，从所述全景图像中提取每个学生的骨骼关键点，并分割出各所述学生所在的课桌的桌面区域；以所述桌面区域为参考，从所述骨骼关键点中选取第一特征关键点，并计算所述第一特征关键点与所述桌面区域的相对位置关系，从所述骨骼关键点中选取第二特征关键点并计算所述第二特征关键点对应的特征曲线；根据所述相对位置关系和/或所述特征曲线确定所述学生的姿势是否规范。通过对教室的全景监控，基于教室的全景图像信息，利用关键点检测能够对学生的姿势进行智能分析，从而识别每个学生的姿势，并确定每个学生的姿势是否符合规范，为矫正学生不规范的姿势提供参考依据，能够提醒学生及时纠正不规范姿势，从而实现对学生姿势的有效监督，达到近视防控的目的。

附图说明

图1为本发明实施例提供的终端设备一种实施方式的硬件结构示意图；

图2为本发明姿势识别方法第一实施例的流程示意图；

图3为本发明姿势识别方法第二实施例中的手部关键点示意图；

图4为本发明姿势识别装置一实施例的功能模块示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

本发明实施例姿势识别终端(又叫终端、设备或者终端设备)可以是PC，也可以是智能手机、平板电脑和便携计算机等具有显示和数据处理功能的可移动式终端设备。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及姿势识别程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的姿势识别程序，所述姿势识别程序被处理器执行时实现下述实施例提供的姿势识别方法中的操作。

基于上述设备硬件结构，提出了本发明姿势识别方法的实施例。

需要说明的是，随着学龄儿童近视低龄化趋势越来越严重，中小学生的近视防控工作显得尤为重要，而近视防控的重要手段之一在于矫正学生不规范的读写姿势。可知地，一般要求学生的正确读写姿势为“一拳、一尺、一寸”(胸部距离课桌一拳、眼部距离书本一尺、手指距离笔尖一寸)，目前已有的矫正学生不规范的读写姿势的方式，是利用特制的桌椅对学生的读写姿势进行约束，但这种方式成本高昂，短期内无法大范围普及。基于此，本发明提出了一种姿势识别方式，基于机器视觉和智能分析，对学生的姿势进行识别与分析，可以及时判断学生的姿势是否符合规范，为矫正学生的不规范姿势提供参考依据，实现对学生不规范姿势的有效监督。

在本发明姿势识别方法的各个实施例中，主要识别学生的读写姿势、坐姿和做眼部保养运动的动作姿势等，其中，对学生的规范姿势要求为：身体坐正，两腿自然平放，头和上身稍向前倾，胸部离桌子一拳，两臂平放在桌面。一手执笔写字，一手按纸，纸要放正。写字时笔杆放在拇指、食指和中指的三个指梢之间，食指在前，拇指在左后，中指在右下，食指应稍低于拇指，大拇指和食指自然弯曲，形成椭圆状，食指指尖应距笔尖约3厘米。中指的第一关节从后面抵住笔杆，笔杆斜靠在虎口处，无名指和小指同时弯曲，依次靠在中指的后面。笔杆与作业本保持约六十度的倾斜，掌心虚圆，指关节略弯曲。以下将以此为例，对本发明姿势识别方法的各实施例进行详细说明。

具体地，参照图2，图2为本发明姿势识别方法第一实施例的流程示意图，在本发明姿势识别方法的第一实施例中，所述姿势识别方法包括：

步骤S10，获取教室的全景图像，从所述全景图像中提取每个学生的骨骼关键点，并分割出各所述学生所在的课桌的桌面区域；

在本实施例中，姿势识别方法在姿势识别终端上实施，该终端可以是个人电脑或平板电脑等具有显示和数据处理功能的可移动式终端设备，该终端还分别与监控设备和桌面预警提示设备连接。其中，监控设备设置在教室中，用于获取教室的视频监控信息和/或图像信息，对教室进行监控。桌面预警提示设备设置于教室中的每个课桌上，用于输出预警提示信息，当学生姿势不规范时，可通过预警提示设备提醒学生及时纠正姿势。

具体地，通过监控设备获取教室的全景图像，该全景图像可以是通过监控设备直接拍摄得到的，也可以是从不同角度获取教室前、后、左、右等不同角度对应的图像信息，然后对获取的不同角度的图像信息进行拼接合成的全景图像，在此不作限定。从获取的全景图像中提取每个学生的骨骼关键点，并分割出每个学生所在的课桌的在桌面区域，一般地，课桌的桌面区域所在的平面为水平平面，因此，可以根据提取的骨骼关键点识别学生当前的姿势，并以分割出的桌面区域作为参考，确定学生的姿势是否规范。对学生骨骼关键点的提取可以是利用训练好的openpose算法(人体姿态估计模型)，对课桌的检测可以利用Yolov5(目标检测模型)等算法，在检测出客户总后，可以通过graphcut(图像分割算法)等算法，分割出课桌的桌面区域。

步骤S20，以所述桌面区域为参考，从所述骨骼关键点中选取第一特征关键点，并计算所述第一特征关键点与所述桌面区域的相对位置关系，从所述骨骼关键点中选取第二特征关键点并计算所述第二特征关键点对应的特征曲线；

进一步地，对学生姿势的识别基于提取的骨骼关键点，利用不同部位的关键点可以识别不同的姿势，有的姿势需要以桌面区域为参考，从而判定学生的姿势是否规范，有的姿势则可以不以桌面区域为参考，从而可以直接判断是否规范。具体地，为便于全方位立体识别与分析学生的姿势，获取的全景图像包括教室不同角度的图像，其中至少包括从教室前方获取的正面图像和侧面图像，侧面图像从教室左右侧中的至少一侧获取，以从教室前面获取的学生正面图像和从教室左侧获取的侧面图像为例。获取的全景图像可以是从教室的前面和左侧直接获取的，也可以是在教室的前面和左侧分别获取多个局部图像，对从教室前面获取的多个局部图像进行拼接合成处理，并对从教室左侧获取的多个局部图像进行拼接合成处理，得到对应的正面拼接全景图像和侧面拼接全景图像。

从获取的全景图像中提取每个学生的骨骼关键点，然后根据是否需要参考分割的桌面区域为依据，选取不同的关键点识别学生的姿势，并对姿势是否规范进行判定。具体地，当需要以桌面区域的为参考时，从提取的骨骼关键点中选取对应的关键点作为第一特征关键点，计算选取的第一特征关键点与桌面区域的相对位置关系，从而识别学生当前的姿势是否规范，当不需要以桌面区域为参考时，从提取的骨骼关键点中选取对应的关键点作为第二特征关键点，并利用选取的特征关键点构建与学生姿势相对应的特征曲线，根据该特征曲线判断学生的姿势是否规范。

步骤S30，根据所述相对位置关系和/或所述特征曲线确定所述学生的姿势是否规范。

进一步地，根据计算出的选取的关键点与桌面区域的相对位置关系，和/或选取的关键点构成的特征曲线，确定学生的姿势是否规范。在本实施例中，基于近视防控需求，需要识别的姿势主要包括学生的读写姿势、坐姿和做眼部保养运动时的姿势等，可知地，在实际应用时，可以利用同样的方式识别其他姿势，在此不再赘述。

进一步地，步骤S30之后，还可以包括：

步骤S31，若所述学生的姿势不规范，输出预警提示信息，并对所述学生的姿势识别结果进行统计，生成所述学生的姿势识别报告。

当识别到学生的姿势不规范时，通过学生桌面设置的预警提示设备向学生输出预警提示信息，提醒学生及时纠正不规范的姿势，其中，预警提示设备中包括指示灯，可以通过指示灯向学生输出预警提示信息，通过指示灯的颜色和/或数量区分读写姿势、坐姿及眼部保养运动等不同的姿势，和/或不规范姿势出现的频率和/或时长等。比如在一种具体的应用场景下，可以在学生桌面设置多个指示灯，每个指示灯分别对应坐姿、读写姿势、眼部保养运动姿势等不同的姿势，每个指示灯都包含多种颜色，不同的颜色对应姿势出现的频率和/时长，例如，当学生出现坐姿不规范时，启动坐姿对应的指示灯，此时指示灯可以显示黄色，若该学生在一段时间内频繁出现坐姿不规范现象，或保持不规范坐姿超过预设时长，则启动坐姿对应的指示灯，并将指示灯的颜色显示为红色，可知地，在该场景下，可以在黄色的基础上直接将指示等的颜色由黄色变为红色，当学生将坐姿调整为规范坐姿时，则将坐姿对应的指示灯的颜色变为绿色，以提示学生已将坐姿调整为规范姿势。

进一步地，每隔预设时长后，对每个学生的姿势识别结果进行统计，形成学生的姿势识别报告，该报告中可以显示出学生在所统计的时间段内的姿势是否规范、出现不规范姿势的频次、时长等。其中，识别报告的统计时长可以自定义设置，例如，可以每天统计一次形成学生的姿势日报，也可以每周统计一次，形成学生的姿势周报，还可以每月统计一次，形成学生的姿势月报等。可以理解的是，还可以对不同班级、不同年级学生的姿势识别结果进行统计，形成不同班级、不同年级的学生对应的姿势识别报告，从不同维度进行统计，可以形成不同的姿势识别报告作为监督和分析依据。

在生成学生的姿势识别报告后，可以将该报告推送至老师、家长甚至是学生本人的客户端或手机端供其查阅，以此提醒学生注意规范读写姿势和坐姿等，达到近视防控目的。其中，报告的推送时间和/或推送频率可以自定义设置。

在本实施例中，通过获取教室的全景图像，从所述全景图像中提取每个学生的骨骼关键点，并分割出各所述学生所在的课桌的桌面区域；以所述桌面区域为参考，从所述骨骼关键点中选取第一特征关键点，并计算所述第一特征关键点与所述桌面区域的相对位置关系，从所述骨骼关键点中选取第二特征关键点并计算所述第二特征关键点对应的特征曲线；根据所述相对位置关系和/或所述特征曲线确定所述学生的姿势是否规范。通过对教室的全景监控，基于教室的全景图像信息，利用关键点检测能够对学生的姿势进行智能分析，从而识别每个学生的姿势，并确定每个学生的姿势是否符合规范，为矫正学生不规范的姿势提供参考依据，能够提醒学生及时纠正不规范姿势，从而实现对学生姿势的有效监督，达到近视防控的目的。

进一步地，在本发明上述实施例的基础上，提出了本发明姿势识别方法的第二实施例。

本实施例是第一实施例中步骤S20、S30细化的步骤，基于上述实施例，本实施例中，选取的第一特征关键点包括面部关键点中的左眼关键点和右眼关键点，用于计算学生头部与桌面的相对距离，以及学生的头部是否端正，从而判断学生的姿势是否规范；选取的第一特征关键点还包括双臂关键点，双臂关键点主要包括左臂的肩部关键点、肘部关键点和手腕部关键点，以及右臂的肩部关键点、肘部关键点和手腕部关键点，用于判断学生的双臂在桌面的摆放角度是否规范；进一步地，选取的第一特征关键点还包括手部关键点，用于判断学生的执笔姿势和书写姿势是否规范；选取的第二特征关键点主要包括学生的侧面关键点，该侧面关键点包括侧面的耳部关键点、颈部关键点、肩部关键点和腰部关键点等，用于判断学生的坐姿是否规范；选取的第二特征关键点还包括学生的面部关键点和手部关键点，用于判断学生在做眼部保养运动时的姿势和动作是够规范，以防学生作出错误的动作起到与保养相反的效果，增加对眼部的伤害。

首先，关于选取的第一特征关键点，当选取的第一特征关键点包括左眼关键点和右眼关键点时，关键点与桌面区域的相对位置关系包括关键点与桌面区域的相对距离和倾斜角度，步骤S20中计算第一特征关键点与桌面区域的相对位置关系的细化步骤，可以包括：

步骤A1，计算所述左眼关键点和/或所述右眼关键点与所述桌面区域的第一相对距离；

步骤A2，确定所述左眼关键点与所述右眼关键点的连线与所述桌面区域的特征角度，根据所述特征角度确定所述学生的头部相对于所述桌面区域的倾斜角度；

步骤S30中，根据关键点与桌面区域的相对位置关系确定学生的姿势是否规范的步骤，可以包括：

步骤A3，根据所述第一相对距离确定所述学生的头部与所述桌面区域的第二相对距离；

步骤A4，将所述第二相对距离与预设的距离阈值进行比较，和/或将所述倾斜角度与预设的角度阈值进行比较，确定所述学生的姿势是否规范。

计算左眼关键点和/或右眼关键点与桌面区域的相对距离，该距离是学生左眼和/或右眼相对桌面的垂直距离，可以通过侧面全景图像计算得到，根据学生眼部与桌面区域的相对距离可以判断学生头部与桌面区域的相对距离，将该相对距离与预设的距离阈值进行比较，确定学生头部距离桌面是否过近，从而判定学生姿势是否规范。

进一步地，计算左眼关键点与右眼关键点相连形成的直线相对于桌面区域的特征角度，该特征角度为关键点所在的直线与桌面区域的边框线的夹角，将该夹角与预设的角度阈值进行比较，从而可以以桌面区域为参考，根据该特征角度判断学生的头部是否端正，进而判断学生的坐姿是否规范。

进一步地，当选取的第一特征关键点包括双臂关键点时，双臂关键点包括左臂关键点和右臂关键点，其中，左臂关键点至少包括左臂的肩部关键点、肘部关键点和手部关键点，右臂关键点至少包括右臂的肩部关键点、肘部关键点和手部关键点，关键点与桌面区域的相对位置关系包括学生的双臂在桌面上的摆放角度，步骤S20中计算选取的关键点与桌面区域的相对位置的步骤，可以包括：

步骤B1，当在所述桌面区域内同时检测到所述学生的双臂时，计算所述学生的左臂关键点连接成的折线的第一角度，以及所述学生的右臂关键点连接成的折线的第二角度；

步骤B2，根据所述第一角度和所述第二角度确定所述学生的双臂在所述桌面区域的摆放角度。

可以理解的是，当在桌面区域内检测不到学生的双臂时，可以认为学生的双臂没有按规范要求平放到桌面上，当在桌面区域内同时检测到学生双臂时，计算双臂中各个关键点依次连接形成的折线的角度，根据该角度确定学生双臂的摆放角度，从而判定学生双臂摆放是否规范。具体地，双臂关键点包括左臂关键点和右臂关键点，左臂关键点和右臂关键点都至少包括肩部关键点、肘部关键点和手部关键点，基于获取的正面全景图像，计算双臂关键点连接成的曲线的角度。具体地，通过学生左肩-左肘两点连线与左肘-左手两点连线的夹角，可以确定学生左臂在桌面的摆放角度，同样的方式可以计算学生右臂在桌面的摆放角度，若双臂关键点连线的夹角均处于预设的角度区间内，则可以判定学生的双臂摆放姿势符合规范要求，否则，则判定为学生的姿势不规范，其中，双臂关键点连线所成的夹角，一般为双臂靠近身体躯干侧的内侧夹角，该内侧夹角在预设的角度区间内时符合规范，角度区间一般在100度-160度之间。

进一步地，当选取的第一特征关键点包括手部关键点时，关键点与桌面区域的相对位置关系包括执笔角度和执笔姿势，计算关键点与桌面区域的相对位置关系的步骤，可以包括：

步骤C1，当检测到所述学生的手部区域存在笔杆时，分割笔杆区域，并根据所述笔杆区域计算所述笔杆与桌面区域之间的倾斜角度；

步骤C2，根据所述笔杆与桌面区域之间的倾斜角度确定所述学生的执笔角度；

步骤C3，确定所述学生的手部与所述笔杆的接触点，计算所述接触点与所述学生的手部关键点的欧式距离，根据所述欧氏距离确定所述学生的执笔姿势。

当检测到学生手部区域出现笔杆时，同样分割出笔杆区域，根据分割的笔杆区域计算笔杆与桌面区域之间的倾斜角度，从而可以根据笔杆相对于桌面的倾斜角度判定学生在书写时的执笔角度是否规范。进一步地，确定学生手部与笔杆的接触点，计算接触点与手部关键点的欧氏距离，根据该欧式距离确定学生的执笔姿势，并判定执笔姿势是否规范。如前述的，规范的书写姿势为：笔杆放在拇指、食指和中指的三个指梢之间，食指在前，拇指在左后，中指在右下，食指应稍低于拇指，大拇指和食指自然弯曲，形成椭圆状，食指指尖应距笔尖约3厘米。中指的第一关节从后面抵住笔杆，笔杆斜靠在虎口处，无名指和小指同时弯曲，依次靠在中指的后面。笔杆与作业本保持约六十度的倾斜，掌心虚圆，指关节略弯曲。可以理解的是，当学生书写时，由于手部呈半握状态，无法检测到全部的关键点，因此，选取的手部关键点并不是手部全部的关键点，而是与规范的书写姿势相关的关键点，例如手部虎口处的食指根部关键点、各个手指指尖的关键点等。通过检测学生手部与笔杆的接触点与选取的手部关键点的欧式距离，可以确定学生的执笔姿势是否规范。例如，检测笔杆上端与手部的接触点与食指根部关键点的欧式距离、食指指尖关键点与食指与笔杆接触点之间的欧氏距离、食指指尖关键点与拇指与笔杆的接触点之间的欧式距离等，不同的关键点与接触点之间的欧式距离可以设置不同的阈值，当关键点与接触点的欧氏距离超过对应的预设阈值时，则判定为学生的执笔姿势不规范。

进一步地，传统的关键点检测模型如上述的openpose算法，一般无法精确识别手部的各个关键点，在本实施例中，在识别学生的执笔姿势之前，首先要采集并标注从教室侧面获取的学生握笔图像信息，形成手部侧面图像的标注数据集，将该数据集作为样本数据集训练基础的关键点识别模型。其中，本实施例中的手部关键点模型如图3所示，训练后的模型能够精准地识别学生的手部关键点。针对获取的侧面全景图像，利用经过训练的关键点检测算法提取该生的手部骨骼关键点。然后利用目标检测模型如上述的Yolov5模型，检测学生手部区域是否存在铅笔或钢笔等物体。若检测到笔杆的存在，则通过图像分割算法基于肤色模型分割出笔杆区域，从而方便判断笔杆和学生手部的持握关系，确定学生的执笔姿势，图像分割算法可以与上述课桌桌面区域的graphcut分割算法相同，也可以不同，在此不作限定。

其次，关于选取的第二特征关键点，选取的第二特征关键点不需要以分割出的桌面区域为参考，可以直接根据选取的关键点计算对应的特征曲线，根据该特征曲线判定学生姿势是否规范，具体地，当选取的第二特征点包括学生侧面的耳部关键点、颈部关键点、肩部关键点和腰部关键点时，特征曲线包括各相邻关键点连接而成的折线，步骤S30的细化步骤，可以包括：

步骤D1，计算所述第二特征关键点中的各个相邻的特征关键点依次连接，得到所述第二特征关键点对应的折线，计算所述折线的曲折度，其中，所述第二特征关键点至少包括所述学生侧面的耳部关键点、颈部关键点、肩部关键点和腰部关键点；

步骤D2，根据所述曲折度确定所述学生的姿势是否规范。

将选取的第二特征关键点中的耳部关键点、颈部关键点、肩部关键点和腰部关键点依次连接，得到对应的折线即为特征曲线，计算该折线的曲折度，根据计算出的曲折度判定学生的姿势是否规范，曲折度的计算方式为：计算特征曲线中各相邻直线所成的夹角中的锐角之和，若计算出的锐角之和不超过预设的曲折度阈值，即可判定为学生的姿势规范。基于获取的全景图像中的侧面全景图像，计算学生侧面的身体姿态的曲折度，从而可以判定学生的坐姿是否规范。

进一步地，选取的第二特征关键点还可以包括学生的面部关键点和手部关键点，当选取的第二特征关键点包括学生的面部关键点和手部关键点时，关键点的特征曲线包括面部关键点和手部关键点的移动轨迹，具体地，计算第二特征关键点的特征曲线的步骤，可以包括：

步骤E1，当检测到当前时段处于预设的爱眼操时间段时，从所述全景图像中选取预设数量的相邻帧图像，根据所述相邻帧图像计算所述学生面部关键点和手部关键点的移动轨迹；

步骤E2，所述根据所述特征曲线确定所述学生的姿势是否规范的步骤包括：

步骤E3，则将所述面部关键点和所述手部关键点的移动轨迹与预设的爱眼操移动轨迹进行比较，确定所述学生的姿势是否规范。

当检测到当前时间段处于预设的爱眼操时间段时，则选取学生的面部关键点和手部关键点，并对学生的面部关键点和手部关键点的移动轨迹进行跟踪，从而确定学生做眼部保养运动的动作是否规范。具体地，对学生的面部关键点和手部关键点的移动轨迹的跟踪，可以是从获取的全景图像中，选取预设数量的连续帧图像，通过相邻帧图像中的图像内容计算选取的各个关键点的位置变化情况，从而描绘出关键点的移动轨迹。

进一步地，在本实施例中，眼部保养运动的爱眼操包括不定睛头部运动、定睛头部运动、眼球运动和眼睛注视等动作，可以使眼部肌肉得到全面锻炼，缓解视疲劳、促进眼健康。一般地，眼部保养运动会统一在特定时间段进行，当检测到当前是眼部保养运动时间段时，需要基于获取的每帧正面全景图像，对学生做眼部保养运动的动作和姿势将持续进行持续检测，检测内容主要包括：学生头部是否保持端正，通过左眼关键点和右眼关键点与桌面区域的倾斜角度检测学生头部是否端正；其次，学生有没有长时间不动，长时间不动即没有做动作，不符合规范；学生面部关键点和手部关键点的移动轨迹是否符合爱眼操的运动轨迹。在本实施例中，统计相邻30帧正面全景图像中每个学生的鼻子关键点的位置，若该位置在30帧内基本没有变动，则认为该学生是长时间未进行操作，不符合爱眼操的动作规范；其次，在进行眼睛注视操作时，检测学生左右眼位置和左右手位置，统计相邻30帧内左右眼位置和左右手位置，判断眼动轨迹和手动轨迹是否方向一致，若不一致，则认为学生眼睛没有跟着手掌进行眼睛注视操作，不符合爱眼操的动作规范；其次，以学生的面部关键点为参考，检测学生手部关键点的移动轨迹是否符合爱眼操应有动作的移动轨迹，若不符合，则认为学生的姿势动作不符合爱眼操的动作规范。

可知地，本实施例中，选取不同的骨骼关键点作为特征点，可以识别学生的不同姿势和/或动作，对学生的姿势动作的识别和监督，可以根据不同的时间段和/或结合场景识别，根据不同的时间段和/或场景进行划分，在特定的时间段和/或特定的场景有目的的监督并识别学生特定的姿势或动作。例如，在眼部保养运动时间段内，识别学生的姿势动作并确定是否符合爱眼操的动作规范，在上课时间，检测学生的坐姿、书写姿势是否规范等。

在本实施例中，通过从提取的骨骼关键点中选取不同的关键点，识别学生不同的姿势，通过对学生姿势的识别和监控，当学生姿势不规范时，可以及时发现并通过预警提示等方式提醒学生加以纠正，从而能够以远低于特制矫正桌椅的成本实现姿势矫正，帮助学生培养良好的坐姿和书写习惯，达到近视防控的目的。

此外，参照图4，本发明实施例还提出一种姿势识别装置，所述姿势识别装置包括：

特征提取模块10，用于获取教室的全景图像，从所述全景图像中提取每个学生的骨骼关键点，并分割出各所述学生所在的课桌的桌面区域；

特征计算模块20，用于以所述桌面区域为参考，从所述骨骼关键点中选取第一特征关键点，并计算所述第一特征关键点与所述桌面区域的相对位置关系，从所述骨骼关键点中选取第二特征关键点并计算所述第二特征关键点对应的特征曲线；

姿势识别模块30，用于根据所述相对位置关系和/或所述特征曲线确定所述学生的姿势是否规范。

可选地，所述第一特征关键点包括左眼关键点和右眼关键点，所述相对位置关系包括相对距离和倾斜角度，所述特征计算模块20，还用于：

计算所述左眼关键点和/或所述右眼关键点与所述桌面区域的第一相对距离；

确定所述左眼关键点与所述右眼关键点的连线与所述桌面区域的特征角度，根据所述特征角度确定所述学生的头部相对于所述桌面区域的倾斜角度；

所述根据所述相对位置关系确定所述学生的姿势是否规范的步骤包括：

根据所述第一相对距离确定所述学生的头部与所述桌面区域的第二相对距离；

将所述第二相对距离与预设的距离阈值进行比较，和/或将所述倾斜角度与预设的角度阈值进行比较，确定所述学生的姿势是否规范。

可选地，所述第一特征关键点包括双臂关键点，所述双臂关键点包括，所述相对位置关系包括摆放角度，所述特征计算模块20，还用于：

当在所述桌面区域内同时检测到所述学生的双臂时，计算所述学生的左臂关键点连接成的折线的第一角度，以及所述学生的右臂关键点连接成的折线的第二角度，其中，所述左臂关键点包括左臂的肩部关键点、肘部关键点和手部关键点，所述右臂关键点包括右臂的肩部关键点、肘部关键点和手部关键点；

根据所述第一角度和所述第二角度确定所述学生的双臂在所述桌面区域的摆放角度。

可选地，所述第一特征关键点包括手部关键点，所述相对位置关系包括执笔角度和执笔姿势，所述特征计算模块20，还用于：

当检测到所述学生的手部区域存在笔杆时，分割笔杆区域，并根据所述笔杆区域计算所述笔杆与桌面区域之间的倾斜角度；

根据所述笔杆与桌面区域之间的倾斜角度确定所述学生的执笔角度；

确定所述学生的手部与所述笔杆的接触点，计算所述接触点与所述学生的手部关键点的欧式距离，根据所述欧氏距离确定所述学生的执笔姿势。

可选地，所述第二特征关键点包括所述学生的面部关键点和手部关键点，所述特征曲线包括所述面部关键点和所述手部关键点的移动轨迹，所述特征计算模块20，还用于：

当检测到当前时段处于预设的爱眼操时间段时，从所述全景图像中选取预设数量的相邻帧图像，根据所述相邻帧图像计算所述学生面部关键点和手部关键点的移动轨迹；

所述根据所述特征曲线确定所述学生的姿势是否规范的步骤包括：

则将所述面部关键点和所述手部关键点的移动轨迹与预设的爱眼操移动轨迹进行比较，确定所述学生的姿势是否规范。

可选地，所述特征曲线包括所述第二特征关键点中各个相邻的特征关键点连接而成的折线，所述姿势识别模块30，还用于：

计算所述第二特征关键点中的各个相邻的特征关键点依次连接，得到所述第二特征关键点对应的折线，计算所述折线的曲折度，其中，所述第二特征关键点至少包括所述学生侧面的耳部关键点、颈部关键点、肩部关键点和腰部关键点；

根据所述曲折度确定所述学生的姿势是否规范。

可选地，所述姿势识别装置还包括预警提示模块，用于：

若所述学生的姿势不规范，输出预警提示信息，并对所述学生的姿势识别结果进行统计，生成所述学生的姿势识别报告。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有姿势识别程序，所述姿势识别程序被处理器执行时实现上述实施例提供的姿势识别方法中的操作。

此外，本发明实施例还提出一种计算机程序产品，包括计算机程序，所述计算机被处理器执行时实现上述实施例提供的姿势识别方法中的操作。

本发明设备、计算机程序产品和计算机可读存储介质各实施例，均可参照本发明姿势识别方法各个实施例，此处不再赘述。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来，而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序；术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。

对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的姿势识别方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种姿势识别方法，其特征在于，所述姿势识别方法包括以下步骤：

获取教室的全景图像，从所述全景图像中提取每个学生的骨骼关键点，并分割出各所述学生所在的课桌的桌面区域；

以所述桌面区域为参考，从所述骨骼关键点中选取第一特征关键点，并计算所述第一特征关键点与所述桌面区域的相对位置关系，从所述骨骼关键点中选取第二特征关键点并计算所述第二特征关键点对应的特征曲线；

根据所述相对位置关系和/或所述特征曲线确定所述学生的姿势是否规范。

2.如权利要求1所述的姿势识别方法，其特征在于，所述第一特征关键点包括左眼关键点和右眼关键点，所述相对位置关系包括相对距离和倾斜角度，所述计算所述第一特征关键点与所述桌面区域的相对位置关系的步骤，包括：

计算所述左眼关键点和/或所述右眼关键点与所述桌面区域的第一相对距离；

确定所述左眼关键点与所述右眼关键点的连线与所述桌面区域的特征角度，根据所述特征角度确定所述学生的头部相对于所述桌面区域的倾斜角度；

所述根据所述相对位置关系确定所述学生的姿势是否规范的步骤包括：

根据所述第一相对距离确定所述学生的头部与所述桌面区域的第二相对距离；

将所述第二相对距离与预设的距离阈值进行比较，和/或将所述倾斜角度与预设的角度阈值进行比较，确定所述学生的姿势是否规范。

3.如权利要求1所述的姿势识别方法，其特征在于，所述第一特征关键点包括双臂关键点，所述双臂关键点包括，所述相对位置关系包括摆放角度，所述计算所述第一特征关键点与所述桌面区域的相对位置关系的步骤，包括：

当在所述桌面区域内同时检测到所述学生的双臂时，计算所述学生的左臂关键点连接成的折线的第一角度，以及所述学生的右臂关键点连接成的折线的第二角度，其中，所述左臂关键点包括左臂的肩部关键点、肘部关键点和手部关键点，所述右臂关键点包括右臂的肩部关键点、肘部关键点和手部关键点；

根据所述第一角度和所述第二角度确定所述学生的双臂在所述桌面区域的摆放角度。

4.如权利要求1所述的姿势识别方法，其特征在于，所述第一特征关键点包括手部关键点，所述相对位置关系包括执笔角度和执笔姿势，所述计算所述第一特征关键点与所述桌面区域的相对位置关系的步骤，包括：

当检测到所述学生的手部区域存在笔杆时，分割笔杆区域，并根据所述笔杆区域计算所述笔杆与桌面区域之间的倾斜角度；

根据所述笔杆与桌面区域之间的倾斜角度确定所述学生的执笔角度；

确定所述学生的手部与所述笔杆的接触点，计算所述接触点与所述学生的手部关键点的欧式距离，根据所述欧氏距离确定所述学生的执笔姿势。

5.如权利要求1所述的姿势识别方法，其特征在于，所述特征曲线包括所述第二特征关键点中各个相邻的特征关键点连接而成的折线，所述根据所述特征曲线确定所述学生的姿势是否规范的步骤，包括：

计算所述第二特征关键点中的各个相邻的特征关键点依次连接，得到所述第二特征关键点对应的折线，计算所述折线的曲折度，其中，所述第二特征关键点至少包括所述学生侧面的耳部关键点、颈部关键点、肩部关键点和腰部关键点；

根据所述曲折度确定所述学生的姿势是否规范。

6.如权利要求1所述的姿势识别方法，其特征在于，所述第二特征关键点包括所述学生的面部关键点和手部关键点，所述特征曲线包括所述面部关键点和所述手部关键点的移动轨迹，所述计算所述第二特征关键点对应的特征曲线的步骤，包括：

当检测到当前时段处于预设的爱眼操时间段时，从所述全景图像中选取预设数量的相邻帧图像，根据所述相邻帧图像计算所述学生面部关键点和手部关键点的移动轨迹；

所述根据所述特征曲线确定所述学生的姿势是否规范的步骤包括：

则将所述面部关键点和所述手部关键点的移动轨迹与预设的爱眼操移动轨迹进行比较，确定所述学生的姿势是否规范。

7.如权利要求1所述的姿势识别方法，其特征在于，所述根据所述相对位置关系和/或所述特征曲线确定所述学生的姿势是否规范的步骤之后，还包括：

若所述学生的姿势不规范，输出预警提示信息，并对所述学生的姿势识别结果进行统计，生成所述学生的姿势识别报告。

8.一种姿势识别装置，其特征在于，所述姿势识别装置包括：

特征提取模块，用于获取教室的全景图像，从所述全景图像中提取每个学生的骨骼关键点，并分割出各所述学生所在的课桌的桌面区域；

特征计算模块，用于以所述桌面区域为参考，从所述骨骼关键点中选取第一特征关键点，并计算所述第一特征关键点与所述桌面区域的相对位置关系，从所述骨骼关键点中选取第二特征关键点并计算所述第二特征关键点对应的特征曲线；

姿势识别模块，用于根据所述相对位置关系和/或所述特征曲线确定所述学生的姿势是否规范。

9.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的姿势识别程序，所述姿势识别程序被所述处理器执行时实现如权利要求1至7中任一项所述的姿势识别方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有姿势识别程序，所述姿势识别程序被处理器执行时实现如权利要求1至7中任一项所述的姿势识别方法的步骤。

Images