CN117746505A - 结合异常坐姿动态检测的学习陪护方法、装置及机器人 - Google Patents
结合异常坐姿动态检测的学习陪护方法、装置及机器人 Download PDFInfo
- Publication number
- CN117746505A CN117746505A CN202311775638.8A CN202311775638A CN117746505A CN 117746505 A CN117746505 A CN 117746505A CN 202311775638 A CN202311775638 A CN 202311775638A CN 117746505 A CN117746505 A CN 117746505A
- Authority
- CN
- China
- Prior art keywords
- depth
- sitting posture
- learning
- key point
- coordinate position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 95
- 238000001514 detection method Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000036544 posture Effects 0.000 claims abstract description 196
- 238000004458 analytical method Methods 0.000 claims abstract description 44
- 230000008859 change Effects 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 6
- 210000003128 head Anatomy 0.000 description 58
- 230000008569 process Effects 0.000 description 15
- 230000009471 action Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000005452 bending Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000005802 health problem Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000010485 coping Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000002650 habitual effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000036449 good health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009323 psychological health Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及学习陪护技术领域，解决了现有技术中学生学习陪护场景下异常坐姿检测不准确，成本高的问题，提供了一种结合异常坐姿动态检测的学习陪护方法、装置及机器人。该方法包括：获取学生学习陪护场景下的多帧实时图像输入预训练的目标检测模型中，依据检测出的预设学习用品位置信息和手部位置信息，提取出学生学习图像；对所述学生学习图像进行特征提取和单目深度检测，输出关键点信息和深度信息；对学生实时坐姿进行分析，输出实时坐姿分析结果；结合预设的异常坐姿参数，识别异常坐姿；向用户发出与所述坐姿检测结果相对应的提醒信息。本发明在不影响学习效果的情况下实现了对异常坐姿的准确检测，并降低了检测成本。
Description
技术领域
本发明涉及学习陪护技术领域，尤其涉及一种结合异常坐姿动态检测的学习陪护方法、装置及机器人。
背景技术
学生在长时间的学习过程中，特别是在课堂或家庭作业时，通常需要长时间保持相对固定的坐姿，不良的坐姿可能导致身体各部位的不适，如颈椎、腰椎等问题，通过检测学生的学习坐姿，学校和家长可以及时发现不良的习惯，并采取措施来改善，从而维护学生的身体健康；同时，适当的坐姿有助于保持学生的注意力集中，并提高学习效果，正确的坐姿有助于促进血液循环，提高大脑的供氧量，从而提升学习效率，相反，不良的坐姿可能导致学生疲劳、注意力分散，影响学业表现；不良的学习坐姿可能导致眼部疲劳和不适，增加视力问题的风险，通过关注学生的坐姿，可以提升学习环境的质量，创造一个有利于学生身心健康和学业发展的氛围，现有技术使用传感器(例如陀螺仪、加速度计等)来监测学生的坐姿，这些传感器的精度和稳定性对准确性至关重要，然而，一些便携式或廉价的传感器可能在精度和稳定性方面存在局限，导致不准确的姿势检测；有些技术可能需要学生在学习过程中长时间配戴设备或保持特定的姿势，这可能影响学生的舒适性，从而影响学习效果。
现有中国专利CN107169456A公开了一种基于坐姿深度图像的坐姿检测方法，具体公开了通过坐姿分割图像求取关键点，关键点包括头部顶点、头部中心点、左肩点、右肩点、肩部中心点、身体中心点；根据关键点判定坐姿；通过深度传感器获取人体的坐姿深度图像，如果头部中心点-肩部中心点连线与水平方向的夹角>105°，同时肩部中心点-身体中心点连线与水平方向的夹角为80°-100°，为左偏头；如果头部中心点-肩部中心点连线与水平方向的夹角<75°，同时肩部中心点-身体中心点连线与水平方向的夹角为80°-100°，为右偏头；如果头部顶点深度距离值比头部中心点的深度距离值大20mm以上时，为仰头；如果头部顶点深度距离值比头部中心点的深度距离值小20mm以上时，为低头；如果肩部中心点-身体中心点连线与水平方向的夹角<80°，为身体左斜；如果肩部中心点-身体中心点连线与水平方向的夹角>100°，为身体右斜；根据人体轮廓求取轮廓的外接矩形，如果矩形的高宽比小于0.6，为趴下；如果肩部中心点到身体中心点的深度距离值呈递减趋势，为后仰。上述专利虽然也根据深度对坐姿进行判断，但是为了获取高质量的深度图像，通常需要专门设计的深度传感器。这些传感器使用不同的技术，如结构光、飞行时间或者立体视觉，以测量物体到传感器的距离，这种特殊传感器的设计和制造往往需要高度专业的技术和工程知识，从而增加了成本；同时，深度传感器的性能通常受到环境条件的影响，如光照、遮挡等，为了确保在各种环境下能够稳定工作，可能需要额外的硬件或者复杂的校准***，这也会增加成本。
为此，如何在学生学习陪护场景中，不影响学习效果的情况下对异常坐姿进行准确检测，并降低检测成本是亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种结合异常坐姿动态检测的学习陪护方法、装置及机器人，用以解决现有技术中学生学习陪护场景下异常坐姿检测不准确，成本高的问题。
本发明采用的技术方案是：
第一方面，本发明提供了一种结合异常坐姿动态检测的学习陪护方法，所述方法包括：
S1：获取学生学习陪护场景下的实时视频数据，将所述实时视频数据分解为多帧实时图像；
S2：将各所述实时图像输入预训练的目标检测模型中，依据检测出的预设学习用品位置信息和手部位置信息，当学习用品与手部相交时，提取出学生学习图像；
S3：对所述学生学习图像进行特征提取和单目深度检测，输出与学生学习相关的关键点信息和深度信息；
S4：依据所述关键点信息和深度信息，对学生实时坐姿进行分析，输出实时坐姿分析结果；
S5：依据所述实时坐姿分析结果，结合预设的异常坐姿参数，识别异常坐姿；
S6：当识别为异常坐姿时，向用户发出与所述坐姿检测结果相对应的提醒信息，提醒用户对学生坐姿进行调节。
优选地，所述S3包括：
S31：将连续多帧所述学生学习图像输入人体关键点检测模型中，识别出所述关键点信息，其中，人体关键点至少包括：左眼、右眼、鼻子、左肩和右肩；
S32：对所述学生学习图像进行单目深度检测，获取学生学习图像对应的相对深度图；
S33：对连续多帧学生图像对应的相对深度图进行滤波处理，输出滤波处理后的深度图作为所述深度信息。
优选地，所述S4包括：
S41：依据所述关键点信息，确定连续多帧学生学习图像中的关键点坐标位置；
S42：依据所述关键点坐标位置和所述深度信息，获取与关键点坐标位置对应的深度值；
S43：依据所述关键点坐标位置和对应的深度值，确定第一目标关键点坐标位置和对应的第一深度值，并确定第二目标关键点坐标位置和对应的第二深度值，其中，第一目标关键点包括所述左眼、所述右眼和所述鼻子，第二目标关键点包括所述左肩和所述右肩；
S44：依据所述第一目标关键点坐标位置和对应的第一深度值，对学生头部偏移程度进行判定，输出头部偏移判定结果；
S45：依据所述第二目标关键点坐标位置和对应的第二深度值，对学生身体偏移程度进行判定，输出身体偏移判定结果；
S46：依据所述头部偏移判定结果和身体偏移判定结果，输出所述实时坐姿分析结果。
优选地，所述S44包括：
S441:依据所述第一目标关键点坐标位置和所述第一深度值，获取左眼坐标位置、右眼坐标位置、左眼深度值和右眼深度值；
S442：对各帧学习图像中所述左眼坐标位置和右眼坐标位置进行比较，判定头部向左偏移或向右偏移；
S443：将左眼深度值和右眼深度值作为眼部深度值，对相邻帧深度图中的所述眼部深度值进行比较，判定头部向前偏移或向后偏移。
优选地，所述S45包括：
S451：依据所述第二目标关键点坐标位置和所述第二深度值，获取左肩坐标位置、右肩坐标位置、左肩深度值和右肩深度值；
S452：依据所述左肩坐标位置和右肩坐标位置，对相邻帧学习图像中的肩部坐标位置进行比较，判定身体向左偏移或向右偏移；
S453：依据所述左肩深度值和右肩深度值，对相邻帧深度图中的肩部深度值进行比较，判定身体向前偏移或向后偏移。
优选地，所述S5包括：
S51：若判定头部向左偏移或向右偏移，则依据所述第一目标关键点坐标位置，连接左眼关键点与鼻子关键点得出第一直线，并连接右眼关键点与鼻子关键点作为第二直线；
S52：获取第一直线与竖直方向的第一夹角和第二直线与竖直方向的第二夹角；
S53：将第一夹角与第二夹角之间的角度差与预设的角度差阈值进行比较，当连续多帧图像中所述角度差大于所述角度差阈值时，识别为第一异常坐姿；
S54：若判定头部向前偏移或向后偏移，则对相邻帧深度图中的眼部深度变化绝对值进行计算，当连续多帧图像中计算得出的眼部深度值变化绝对值大于预设深度阈值时，识别为第二异常坐姿。
优选地，所述S5还包括：
S55：若判定身体向左偏移或向右偏移，则依据所述第二目标关键点坐标位置，获取左肩坐标位置和右肩坐标位置；
S56：依据所述左肩坐标位置和右肩坐标位置，计算左肩与右肩纵向距离之差；
S57：当连续多帧图像中所述距离之差大于预设的距离阈值时，识别为第三异常坐姿；
S58：若判定身体向前偏移或向后偏移，则对相邻帧深度图中的肩部深度变化绝对值进行计算，当连续多帧图像中计算得出的肩部深度值变化绝对值大于预设深度阈值时，识别为第四异常坐姿。
第二方面，本发明提供了一种结合异常坐姿动态检测的学习陪护装置，所述装置包括：
图像获取模块，用于获取学生学习陪护场景下的实时视频数据，将所述实时视频数据分解为多帧实时图像；
学习图像提取模块，用于将各所述实时图像输入预训练的目标检测模型中，依据检测出的预设学习用品位置信息和手部位置信息，当学习用品与手部相交时，提取出学生学习图像；
信息提取模块，用于对所述学生学习图像进行特征提取和单目深度检测，输出与学生学习相关的关键点信息和深度信息；
实时坐姿分析模块，用于依据所述关键点信息和深度信息，对学生实时坐姿进行分析，输出实时坐姿分析结果；
异常坐姿识别模块，用于依据所述实时坐姿分析结果，结合预设的异常坐姿参数，识别异常坐姿；
用户提醒模块，用于当识别为异常坐姿时，向用户发出与所述坐姿检测结果相对应的提醒信息，提醒用户对学生坐姿进行调节。
第三方面，本发明实施例还提供了一种学习陪护机器人，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
第四方面，本发明实施例还提供了一种存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
综上所述，本发明的有益效果如下：
本发明提供的结合异常坐姿动态检测的学习陪护方法、装置及机器人，所述方法包括：获取学生学习陪护场景下的实时视频数据，将所述实时视频数据分解为多帧实时图像；将各所述实时图像输入预训练的目标检测模型中，依据检测出的预设学习用品位置信息和手部位置信息，当学习用品与手部相交时，提取出学生学习图像；对所述学生学习图像进行特征提取和单目深度检测，输出与学生学习相关的关键点信息和深度信息；依据所述关键点信息和深度信息，对学生实时坐姿进行分析，输出实时坐姿分析结果；依据所述实时坐姿分析结果，结合预设的异常坐姿参数，识别异常坐姿；当识别为异常坐姿时，向用户发出与所述坐姿检测结果相对应的提醒信息，提醒用户对学生坐姿进行调节。本发明采用预训练的目标检测模型，能够更精准地识别学生学习场景中的学习用品和手部位置进而准确提取出学生学习图像；综合利用关键点信息和单目深度检测，有助于更全面地了解学生的坐姿状况，多层次信息融合也提高了异常坐姿检测的准确性；采用预训练的目标检测模型和深度学习技术，能够充分发挥计算机视觉在图像分析上的优势，相较于传统的硬件设备，这种基于软件的解决方案通常需求的成本更低，同时，本发明也能够在实时视频数据中提供即时反馈和提醒，使得学生和监护人员可以及时采取行动，这有助于防范潜在的健康问题，提高对异常坐姿的应对效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，这些均在本发明的保护范围内。
图1为本发明实施例1中结合异常坐姿动态检测的学习陪护方法的整体工作的流程示意图；
图2为本发明实施例1中提取学生学习图像的流程示意图；
图3为本发明实施例1中对学生实时坐姿进行分析的流程示意图；
图4为本发明实施例1中对学生头部偏移程度进行判定的流程示意图；
图5为本发明实施例1中对学生身体偏移程度进行判定的流程示意图；
图6为本发明实施例1中识别第一和第二异常坐姿的流程示意图；
图7为本发明实施例1中识别第三和第四异常坐姿的流程示意图；
图8为本发明实施例2中结合异常坐姿动态检测的学习陪护装置的结构框图；
图9为本发明实施例3中学习陪护机器人的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。
实施例1
请参见图1，本发明实施例1公开了一种结合异常坐姿动态检测的学习陪护方法，所述方法包括：
S1：获取学生学习陪护场景下的实时视频数据，将所述实时视频数据分解为多帧实时图像；
具体地，使用陪护机器人上的摄像头或其他视频采集设备，实时获取学生学习陪护场景的视频数据，将连续的视频数据分解为一系列静止的图像帧，通过视频处理技术来实现，如使用计算机视觉库中的帧提取函数；对每一帧图像进行进一步的处理，包括图像增强、去噪、人脸检测，这有助于提高后续分析的准确性和效果；从每个图像中提取关键特征，将提取的特征应用于学习陪护场景的分析，以获取关于学生学习状态和需求的信息，用于调整教学策略、提供个性化建议等。
S2：将各所述实时图像输入预训练的目标检测模型中，依据检测出的预设学习用品位置信息和手部位置信息，当学习用品与手部相交时，提取出学生学习图像；
具体地，将实时视频数据输入预先训练好的目标检测模型，所述目标检测模型包括基于YoloV8s结构的深度学习模型，检测学习场景中桌面上的书籍和学生的手部；提取预设学习用品位置信息和手部位置信息，从目标检测模型的输出中提取预设学习用品(如书籍)区域的位置信息和学生手部区域的位置信息，通过解析模型的输出得到各个检测到的区域的坐标，
对于每一帧，判断提取出的学习用品区域和手部区域的位置信息是否有相交，使用几何计算方法，例如矩形框的重叠判定，来确定它们是否有相交区域；在每N帧作为一个分析单位的情况下，统计相交的帧数，以判断学生是否正在学习，如果在超过N/2的帧中检测到学习用品与手部的相交，可以认为学生正在学习，当判定学生正在学习时，提取相应的学生学习图像，包括学生在学习时的姿势、使用学习用品的情况信息，将这些学生学习图像进一步用于分析学生的学习状态或其他相关信息。
S3：对所述学生学习图像进行特征提取和单目深度检测，输出与学生学习相关的关键点信息和深度信息；
具体地，当判定学生正在学习时，对学生学习图像进行深度分析，通过对学生学习图像进行特征提取，捕捉关键点信息，例如学生的姿势、手势；同时，应用单目深度检测技术，获取学生学习图像中各个关键点的深度信息，从而构建三维空间中的学生姿势和学习环境；这个深度分析的过程通过现代计算机视觉技术和深度学习模型来实现。关键点信息提供身体姿势相关关键点的位置，而深度信息可以提供这些关键点相对于摄像头的距离，这种信息的综合分析有助于更全面地理解学生在学习过程中的行为和环境，进一步提供更精细化的学习分析，例如学生的注意力集中度、学习时的动作协调性等方面的信息，这为教育者和研究人员提供了更多的数据支持，以优化教学方法、个性化学习体验，并更深入地了解学生的学习过程。
在一实施例中，请参见图2，所述S3包括：
S31：将连续多帧所述学生学习图像输入人体关键点检测模型中，识别出所述关键点信息，其中，人体关键点至少包括：左眼、右眼、鼻子、左肩和右肩；
具体地，使用MediaPipe_Pose模型对连续多帧所述学生学习图像进行人体关键点检测，该模型能够检测出人体的关键点，其中，人体关键点至少包括：左眼、右眼、鼻子、左肩和右肩；这些关键点的检测可以提供有关人体姿势和面部表情的详细信息，为后续的深度检测提供了基础。
S32：对所述学生学习图像进行单目深度检测，获取学生学习图像对应的相对深度图；
具体地，采用MobileDepth模型对连续多帧所述学生学习图像进行单目深度检测，MobileDepth模型能够生成相对数值构成的深度场，表示图像中每个点相对于相机的深度，这个深度场可以提供有关图像中物体距离相机的相对信息。MobileDepth模型能够充分发挥计算机视觉在图像分析上的优势，相较于传统的硬件设备，这种基于软件的解决方案通常需求的成本更低。
S33：对连续多帧学生图像对应的相对深度图进行滤波处理，输出滤波处理后的深度图作为所述深度信息。
具体地，针对连续的N帧图像，对每一帧的深度图进行计算，为了获得完整的深度图，首先对每一帧的相对深度图进行中值滤波，这有助于处理深度图中的异常值，使得单张图像的深度图更加完整且准确，随后，对连续N帧相对深度图进行平滑均值滤波。这一步的目的是获取连续稳定的深度图，通过平均化多帧深度信息，减小由于单帧深度图可能存在的噪声和波动，使得最终的深度图更加平滑和可靠。整个过程的目标是通过人体关键点检测和单目深度检测，结合深度图的滤波处理，获取准确且连续的深度信息，为后续的学生学习行为分析提供高质量的数据支持。
S4：依据所述关键点信息和深度信息，对学生实时坐姿进行分析，输出实时坐姿分析结果；
具体地，基于提取的人体关键点信息和深度信息，进行学生实时坐姿的分析，这包括对检测到的关键点(例如眼睛、鼻子、肩部等)的位置和相对深度的综合分析。通过这个分析过程，***能够输出有关学生当前坐姿的详细结果，如头部倾斜、肩部位置、身体的姿势等信息。
在一实施例中，请参见图3，所述S4包括：
S41：依据所述关键点信息，确定连续多帧学生学习图像中的关键点坐标位置；
S42：依据所述关键点坐标位置和所述深度信息，获取与关键点坐标位置对应的深度值；
具体地，针对每一帧深度图，使用之前提到的人体关键点集合K(包括左眼p1、右眼p2、鼻子p3、左肩部点p4、左肩部点p5)在深度图上找到对应的深度数值，这些深度数值表示每个关键点相对于相机的深度，对于N帧图像，将每一帧中关键点的深度数值按照时间顺序构成时序深度坐标数值D，例如，D1(p1,p2,...,p5)表示第一帧中关键点的深度数值，D2(p1,p2,...,p5)表示第二帧中关键点的深度数值，以此类推，直到DN(p1,p2,...,p5)表示第N帧中关键点的深度数值。
S43：依据所述关键点坐标位置和对应的深度值，确定第一目标关键点坐标位置和对应的第一深度值，并确定第二目标关键点坐标位置和对应的第二深度值，其中，第一目标关键点包括所述左眼、所述右眼和所述鼻子，第二目标关键点包括所述左肩和所述右肩；
S44：依据所述第一目标关键点坐标位置和对应的第一深度值，对学生头部偏移程度进行判定，输出头部偏移判定结果；
在一实施例中，请参见图4，所述S44包括：
S441:依据所述第一目标关键点坐标位置和所述第一深度值，获取左眼坐标位置、右眼坐标位置、左眼深度值和右眼深度值；
S442：对各帧学习图像中所述左眼坐标位置和右眼坐标位置进行比较，判定头部向左偏移或向右偏移；
具体地，对于每一帧的学习图像，提取左眼(p1)和右眼(p2)的坐标位置信息，将左眼和右眼的y轴坐标进行比较，通过观察描述，若连续多帧图像中左眼y轴坐标持续大于右眼p2的y轴坐标，由于摄像头拍摄的为镜像数据，则认为头部向左弯曲，反之，若连续多帧图像中左眼p1的y轴坐标序列小于右眼p2的y轴坐标序列，则认为头部向右弯曲。
S443：将左眼深度值和右眼深度值作为眼部深度值，对相邻帧深度图中的所述眼部深度值进行比较，判定头部向前偏移或向后偏移。
具体地，将左眼深度值和右眼深度值合并为眼部深度值，合并方式采用通过将两者的深度值取平均值来实现，对于连续的深度图帧，比较相邻帧中的眼部深度值，如果眼部深度值在一段时间内持续增加，认为头部正在向前偏移，反之，如果眼部深度值在一段时间内持续减小，认为头部正在向后偏移。
S45：依据所述第二目标关键点坐标位置和对应的第二深度值，对学生身体偏移程度进行判定，输出身体偏移判定结果；
在一实施例中，请参见图5，所述S45包括：
S451：依据所述第二目标关键点坐标位置和所述第二深度值，获取左肩坐标位置、右肩坐标位置、左肩深度值和右肩深度值；
S452：依据所述左肩坐标位置和右肩坐标位置，对相邻帧学习图像中的肩部坐标位置进行比较，判定身体向左偏移或向右偏移；
具体地，对于每一帧的学习图像，提取左肩和右肩的坐标位置信息，对于连续的图像帧，比较相邻帧图像中左肩和右肩的坐标位置，具体而言，观察左肩和右肩在x轴上的坐标变化，根据比较的结果，判定身体的偏移方向，如果左肩的x轴坐标在一段时间内持续增加，而右肩的x轴坐标相对较小，由于摄像头拍摄的为镜像数据，则认为身体正在向右偏移，反之，如果左肩的x轴坐标在一段时间内相对较小，而右肩的x轴坐标持续增加，则认为身体正在向左偏移。
S453：依据所述左肩深度值和右肩深度值，对相邻帧深度图中的肩部深度值进行比较，判定身体向前偏移或向后偏移。
具体地，对于每一帧的深度图，提取左肩和右肩的深度值，对于连续的深度图帧，比较相邻帧中左肩和右肩的深度值。可以观察左肩和右肩深度值的变化，根据比较的结果，***可以判定身体的偏移方向，例如，如果左肩深度值在一段时间内持续减小，而右肩深度值相对较大，则认为身体正在向前偏移；反之，如果左肩深度值持续增加，而右肩深度值相对较小，则认为身体正在向后偏移。
S46：依据所述头部偏移判定结果和身体偏移判定结果，输出所述实时坐姿分析结果。
具体地，根据之前的步骤，系得出头部的偏移方向，即头部向左偏移或向右偏移；同样，得出身体的偏移方向，即身体向前偏移或向后偏移；将头部偏移和身体偏移的判定结果进行合并，形成实时坐姿分析的综合结果，输出综合的实时坐姿分析结果，指示学生的坐姿情况。
S5：依据所述实时坐姿分析结果，结合预设的异常坐姿参数，识别异常坐姿；
在一实施例中，请参见图6，所述S5包括：
S51：若判定头部向左偏移或向右偏移，则依据所述第一目标关键点坐标位置，连接左眼关键点与鼻子关键点得出第一直线，并连接右眼关键点与鼻子关键点作为第二直线；
具体地，若判定头部向左偏移或向右偏移，假设在某一帧的学习图像中，左眼关键点位置为(x1,y1)，右眼关键点位置为(x2,y2)，鼻子关键点位置为(x3,y3)，通过这些坐标信息，可以得到第一直线为左眼到鼻子的直线，即直线L1，和第二直线为右眼到鼻子的直线，即直线L2。连接左右眼到鼻子的直线有助于形成头部的基准轴，便于后续分析头部的角度偏移。通过直线的连接，可以更好地描述头部的姿势变化，为后续的夹角计算提供了基础。
S52：获取第一直线与竖直方向的第一夹角和第二直线与竖直方向的第二夹角；
具体地，假设通过计算，得到直线L1与竖直方向的夹角为θ1，直线L2与竖直方向的夹角为θ2。获取左右眼与鼻子之间的夹角信息有助于量化头部的偏移程度。这个夹角信息可以用于判断头部是否有左右偏移，提供更详细的头部姿势分析。
S53：将第一夹角与第二夹角之间的角度差与预设的角度差阈值进行比较，当连续多帧图像中所述角度差大于所述角度差阈值时，识别为第一异常坐姿；
具体地，将第一夹角与第二夹角之间的角度差与预设的角度差阈值进行比较，在连续多帧图像中，假设θ1和θ2的角度差大于预设的角度差阈值，则识别为第一异常坐姿为头部的左右偏移。这样的判定有助于及时发现学生不良的学习姿势，提供实时的反馈，促进正确的坐姿。
S54：若判定头部向前偏移或向后偏移，则对相邻帧深度图中的眼部深度变化绝对值进行计算，当连续多帧图像中计算得出的眼部深度值变化绝对值大于预设深度阈值时，识别为第二异常坐姿。
具体地，若判定头部向前偏移或向后偏移，通过深度图的计算，得出相邻帧眼部深度值的变化绝对值大于预设深度阈值，通过眼部深度值的变化，识别第二异常坐姿为头部的前后偏移。这样的判定有助于监测学生的身体姿势变化，提供及时的反馈，促使正确的坐姿。
在一实施例中，请参见图7，所述S5还包括：
S55：若判定身体向左偏移或向右偏移，则依据所述第二目标关键点坐标位置，获取左肩坐标位置和右肩坐标位置；
具体地，若判定身体向左偏移或向右偏移，在一帧学习图像中，依据所述第二目标关键点坐标位置，获取左肩关键点的坐标位置为(x4,y4)，右肩关键点的坐标位置为(x5,y5)。通过获取左右肩的坐标位置，能够准确捕捉到肩部的位置信息，为后续分析提供了基础。
S56：依据所述左肩坐标位置和右肩坐标位置，计算左肩与右肩纵向距离之差；
具体地，根据左肩和右肩的坐标位置，计算纵向距离之差，即Δy＝|y4-y5|。通过计算肩部在y轴上的距离差，能够了解肩部是否发生垂直方向的偏移，帮助判断身体是否向左或向右弯曲。
S57：当连续多帧图像中所述距离之差大于预设的距离阈值时，识别为第三异常坐姿；
具体地，在连续多帧图像中，观察到肩部纵向距离之差Δy持续增大，且大于预设的距离阈值，识别第三异常坐姿为身体的左右弯曲，通过判断肩部纵向距离之差的变化，能够识别身体的左右弯曲异常坐，。这有助于及时发现学生在学习时可能产生的不良坐姿，提供及时的反馈。
S58：若判定身体向前偏移或向后偏移，则对相邻帧深度图中的肩部深度变化绝对值进行计算，当连续多帧图像中计算得出的肩部深度值变化绝对值大于预设深度阈值时，识别为第四异常坐姿。
具体地，在身体向前偏移或向后偏移的情况下，通过计算相邻帧深度图中肩部深度变化的绝对值，观察到连续多帧图像中深度值变化大于预设深度阈值，识别第四异常坐姿为身体前后偏移，通过肩部深度值变化的观察，判断身体是否发生前后偏移，有助于监测学生在学习过程中的身体姿势变化，提供实时的反馈。
S6：当识别为异常坐姿时，向用户发出与所述坐姿检测结果相对应的提醒信息，提醒用户对学生坐姿进行调节。
具体地，如果检测到学生的头部向左偏移，向用户发送提醒信息，如：“注意，学生的头部偏移向左，请考虑调整坐姿”；这种提醒有助于纠正学生可能因为习惯性的头部姿势而导致的不良坐姿，避免长时间保持相同的头部偏移造成不适；如果检测到学生的头部向前偏移，可以向用户发送提醒信息，如："请注意，学生的头部正在向前倾斜，建议调整坐姿以保持正确的学习姿势。"这样的提醒有助于避免学生长时间处于不适当的头部姿势，有助于保持良好的颈部和脊柱健康。如果检测到学生的身体向左弯曲，可以向用户发送提醒信息，如：提醒，学生的身体出现左侧弯曲，建议进行调整以保持均匀的坐姿，这种提醒有助于纠正学生可能因为习惯性的身体姿势而导致的不适当身体弯曲，防止潜在的健康问题；如果***检测到学生的身体向前偏移，向用户发送提醒信息，如："请留意，学生的身体正在向前倾斜，建议进行调整以维持正确的坐姿。"这样的提醒有助于避免学生长时间处于不适当的身体前倾姿势，有助于保持脊柱的健康，减少可能的不适感。通过向用户发出具体的提醒信息，提供及时、个性化的反馈，帮助用户纠正不良的学习姿势，这不仅有助于学生维持良好的健康习惯，还提高了学习效果和舒适度。
实施例2
请参见图8，本发明实施例2还提供了一种结合异常坐姿动态检测的学习陪护装置，所述装置包括：
图像获取模块，用于获取学生学习陪护场景下的实时视频数据，将所述实时视频数据分解为多帧实时图像；
学习图像提取模块，用于将各所述实时图像输入预训练的目标检测模型中，依据检测出的预设学习用品位置信息和手部位置信息，当学习用品与手部相交时，提取出学生学习图像；
信息提取模块，用于对所述学生学习图像进行特征提取和单目深度检测，输出与学生学习相关的关键点信息和深度信息；
在一实施例中，所述信息提取模块包括：
关键点信息提取子模块，用于将连续多帧所述学生学习图像输入人体关键点检测模型中，识别出所述关键点信息，其中，人体关键点至少包括：左眼、右眼、鼻子、左肩和右肩；
单目深度检测子模块，用于对所述学生学习图像进行单目深度检测，获取学生学习图像对应的相对深度图；
滤波处理子模块，用于对连续多帧学生图像对应的相对深度图进行滤波处理，输出滤波处理后的深度图作为所述深度信息。
实时坐姿分析模块，用于依据所述关键点信息和深度信息，对学生实时坐姿进行分析，输出实时坐姿分析结果；
优选地，所述实时坐姿分析模块包括：
关键点坐标位置提取子模块，用于依据所述关键点信息，确定连续多帧学生学习图像中的关键点坐标位置；
深度值获取子模块，用于依据所述关键点坐标位置和所述深度信息，获取与关键点坐标位置对应的深度值；
深度值确定子模块，用于依据所述关键点坐标位置和对应的深度值，确定第一目标关键点坐标位置和对应的第一深度值，并确定第二目标关键点坐标位置和对应的第二深度值，其中，第一目标关键点包括所述左眼、所述右眼和所述鼻子，第二目标关键点包括所述左肩和所述右肩；
偏移程度判定子模块，用于依据所述第一目标关键点坐标位置和对应的第一深度值，对学生头部偏移程度进行判定，输出头部偏移判定结果；
在一实施例中，所述偏移程度判定子模块包括：
眼部坐标位置和深度值获取单元，用于依据所述第一目标关键点坐标位置和所述第一深度值，获取左眼坐标位置、右眼坐标位置、左眼深度值和右眼深度值；
头部左右偏移判定单元，用于对各帧学习图像中所述左眼坐标位置和右眼坐标位置进行比较，判定头部向左偏移或向右偏移；
头部前后偏移判定单元，用于将左眼深度值和右眼深度值作为眼部深度值，对相邻帧深度图中的所述眼部深度值进行比较，判定头部向前偏移或向后偏移。
身体偏移判定子模块，用于依据所述第二目标关键点坐标位置和对应的第二深度值，对学生身体偏移程度进行判定，输出身体偏移判定结果；
优选地，所述身体偏移判定子模块包括：
左右肩坐标位置和深度值获取单元，用于依据所述第二目标关键点坐标位置和所述第二深度值，获取左肩坐标位置、右肩坐标位置、左肩深度值和右肩深度值；
身体左右偏移判定单元，用于依据所述左肩坐标位置和右肩坐标位置，对相邻帧学习图像中的肩部坐标位置进行比较，判定身体向左偏移或向右偏移；
身体前后偏移判定单元，用于依据所述左肩深度值和右肩深度值，对相邻帧深度图中的肩部深度值进行比较，判定身体向前偏移或向后偏移。
坐姿分析结果输出单元，用于依据所述头部偏移判定结果和身体偏移判定结果，输出所述实时坐姿分析结果。
异常坐姿识别模块，用于依据所述实时坐姿分析结果，结合预设的异常坐姿参数，识别异常坐姿；
优选地，所述异常坐姿识别模块包括：
直线获取子模块，用于若判定头部向左偏移或向右偏移，则依据所述第一目标关键点坐标位置，连接左眼关键点与鼻子关键点得出第一直线，并连接右眼关键点与鼻子关键点作为第二直线；
夹角获取子模块，用于获取第一直线与竖直方向的第一夹角和第二直线与竖直方向的第二夹角；
第一异常坐姿识别子模块，用于将第一夹角与第二夹角之间的角度差与预设的角度差阈值进行比较，当连续多帧图像中所述角度差大于所述角度差阈值时，识别为第一异常坐姿；
第二异常坐姿识别子模块，用于若判定头部向前偏移或向后偏移，则对相邻帧深度图中的眼部深度变化绝对值进行计算，当连续多帧图像中计算得出的眼部深度值变化绝对值大于预设深度阈值时，识别为第二异常坐姿。
优选地，所述异常坐姿识别模块还包括：
坐标位置获取子模块，用于若判定身体向左偏移或向右偏移，则依据所述第二目标关键点坐标位置，获取左肩坐标位置和右肩坐标位置；
左肩与右肩纵向距离之差计算子模块，用于依据所述左肩坐标位置和右肩坐标位置，计算左肩与右肩纵向距离之差；
第三异常坐姿识别子模块，用于当连续多帧图像中所述距离之差大于预设的距离阈值时，识别为第三异常坐姿；
第四异常坐姿识别子模块，用于若判定身体向前偏移或向后偏移，则对相邻帧深度图中的肩部深度变化绝对值进行计算，当连续多帧图像中计算得出的肩部深度值变化绝对值大于预设深度阈值时，识别为第四异常坐姿。
用户提醒模块，用于当识别为异常坐姿时，向用户发出与所述坐姿检测结果相对应的提醒信息，提醒用户对学生坐姿进行调节。
具体地，采用本发明实施例2提供的结合异常坐姿动态检测的学习陪护装置，所述装置包括：图像获取模块，用于获取学生学习陪护场景下的实时视频数据，将所述实时视频数据分解为多帧实时图像；学习图像提取模块，用于将各所述实时图像输入预训练的目标检测模型中，依据检测出的预设学习用品位置信息和手部位置信息，当学习用品与手部相交时，提取出学生学习图像；信息提取模块，用于对所述学生学习图像进行特征提取和单目深度检测，输出与学生学习相关的关键点信息和深度信息；实时坐姿分析模块，用于依据所述关键点信息和深度信息，对学生实时坐姿进行分析，输出实时坐姿分析结果；异常坐姿识别模块，用于依据所述实时坐姿分析结果，结合预设的异常坐姿参数，识别异常坐姿；用户提醒模块，用于当识别为异常坐姿时，向用户发出与所述坐姿检测结果相对应的提醒信息，提醒用户对学生坐姿进行调节。本装置采用预训练的目标检测模型，能够更精准地识别学生学习场景中的学习用品和手部位置进而准确提取出学生学习图像；综合利用关键点信息和单目深度检测，有助于更全面地了解学生的坐姿状况，多层次信息融合也提高了异常坐姿检测的准确性；采用预训练的目标检测模型和深度学习技术，能够充分发挥计算机视觉在图像分析上的优势，相较于传统的硬件设备，这种基于软件的解决方案通常需求的成本更低，同时，本装置也能够在实时视频数据中提供即时反馈和提醒，使得学生和监护人员可以及时采取行动，这有助于防范潜在的健康问题，提高对异常坐姿的应对效率。
实施例3
另外，结合图1描述的本发明实施例1的结合异常坐姿动态检测的学习陪护方法可以由学习陪护机器人来实现。图9示出了本发明实施例3提供的学习陪护机器人的硬件结构示意图。
学习陪护机器人可以包括处理器以及存储有计算机程序指令的存储器。
具体地，上述处理器可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性固态存储器。在特定实施例中，存储器包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例中的任意一种结合异常坐姿动态检测的学习陪护方法。
在一个示例中，学习陪护机器人还可包括通信接口和总线。其中，如图9所示，处理器、存储器、通信接口通过总线连接并完成相互间的通信。
通信接口，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线包括硬件、软件或两者，将所述学习陪护机器人的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、***组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
实施例4
另外，结合上述实施例1中的结合异常坐姿动态检测的学习陪护方法，本发明实施例4还可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种结合异常坐姿动态检测的学习陪护方法。
综上所述，本发明实施例提供了一种结合异常坐姿动态检测的学习陪护方法、装置及机器人。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或***。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的***、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种结合异常坐姿动态检测的学习陪护方法，其特征在于，所述方法包括：
S1：获取学生学习陪护场景下的实时视频数据，将所述实时视频数据分解为多帧实时图像；
S2：将各所述实时图像输入预训练的目标检测模型中，依据检测出的预设学习用品位置信息和手部位置信息，当学习用品与手部相交时，提取出学生学习图像；
S3：对所述学生学习图像进行特征提取和单目深度检测，输出与学生学习相关的关键点信息和深度信息；
S4：依据所述关键点信息和深度信息，对学生实时坐姿进行分析，输出实时坐姿分析结果；
S5：依据所述实时坐姿分析结果，结合预设的异常坐姿参数，识别异常坐姿；
S6：当识别为异常坐姿时，向用户发出与所述坐姿检测结果相对应的提醒信息，提醒用户对学生坐姿进行调节。
2.根据权利要求1所述的结合异常坐姿动态检测的学习陪护方法，其特征在于，所述S3包括：
S31：将连续多帧所述学生学习图像输入人体关键点检测模型中，识别出所述关键点信息，其中，人体关键点至少包括：左眼、右眼、鼻子、左肩和右肩；
S32：对所述学生学习图像进行单目深度检测，获取学生学习图像对应的相对深度图；
S33：对连续多帧学生图像对应的相对深度图进行滤波处理，输出滤波处理后的深度图作为所述深度信息。
3.根据权利要求2所述的结合异常坐姿动态检测的学习陪护方法，其特征在于，所述S4包括：
S41：依据所述关键点信息，确定连续多帧学生学习图像中的关键点坐标位置；
S42：依据所述关键点坐标位置和所述深度信息，获取与关键点坐标位置对应的深度值；
S43：依据所述关键点坐标位置和对应的深度值，确定第一目标关键点坐标位置和对应的第一深度值，并确定第二目标关键点坐标位置和对应的第二深度值，其中，第一目标关键点包括所述左眼、所述右眼和所述鼻子，第二目标关键点包括所述左肩和所述右肩；
S44：依据所述第一目标关键点坐标位置和对应的第一深度值，对学生头部偏移程度进行判定，输出头部偏移判定结果；
S45：依据所述第二目标关键点坐标位置和对应的第二深度值，对学生身体偏移程度进行判定，输出身体偏移判定结果；
S46：依据所述头部偏移判定结果和身体偏移判定结果，输出所述实时坐姿分析结果。
4.根据权利要求3所述的结合异常坐姿动态检测的学习陪护方法，其特征在于，所述S44包括：
S441:依据所述第一目标关键点坐标位置和所述第一深度值，获取左眼坐标位置、右眼坐标位置、左眼深度值和右眼深度值；
S442：对各帧学习图像中所述左眼坐标位置和右眼坐标位置进行比较，判定头部向左偏移或向右偏移；
S443：将左眼深度值和右眼深度值作为眼部深度值，对相邻帧深度图中的所述眼部深度值进行比较，判定头部向前偏移或向后偏移。
5.根据权利要求3所述的结合异常坐姿动态检测的学习陪护方法，其特征在于，所述S45包括：
S451：依据所述第二目标关键点坐标位置和所述第二深度值，获取左肩坐标位置、右肩坐标位置、左肩深度值和右肩深度值；
S452：依据所述左肩坐标位置和右肩坐标位置，对相邻帧学习图像中的肩部坐标位置进行比较，判定身体向左偏移或向右偏移；
S453：依据所述左肩深度值和右肩深度值，对相邻帧深度图中的肩部深度值进行比较，判定身体向前偏移或向后偏移。
6.根据权利要求4所述的结合异常坐姿动态检测的学习陪护方法，其特征在于，所述S5包括：
S51：若判定头部向左偏移或向右偏移，则依据所述第一目标关键点坐标位置，连接左眼关键点与鼻子关键点得出第一直线，并连接右眼关键点与鼻子关键点作为第二直线；
S52：获取第一直线与竖直方向的第一夹角和第二直线与竖直方向的第二夹角；
S53：将第一夹角与第二夹角之间的角度差与预设的角度差阈值进行比较，当连续多帧图像中所述角度差大于所述角度差阈值时，识别为第一异常坐姿；
S54：若判定头部向前偏移或向后偏移，则对相邻帧深度图中的眼部深度变化绝对值进行计算，当连续多帧图像中计算得出的眼部深度值变化绝对值大于预设深度阈值时，识别为第二异常坐姿。
7.根据权利要求5所述的结合异常坐姿动态检测的学习陪护方法，其特征在于，所述S5还包括：
S55：若判定身体向左偏移或向右偏移，则依据所述第二目标关键点坐标位置，获取左肩坐标位置和右肩坐标位置；
S56：依据所述左肩坐标位置和右肩坐标位置，计算左肩与右肩纵向距离之差；
S57：当连续多帧图像中所述距离之差大于预设的距离阈值时，识别为第三异常坐姿；
S58：若判定身体向前偏移或向后偏移，则对相邻帧深度图中的肩部深度变化绝对值进行计算，当连续多帧图像中计算得出的肩部深度值变化绝对值大于预设深度阈值时，识别为第四异常坐姿。
8.一种结合异常坐姿动态检测的学习陪护装置，其特征在于，所述装置包括：
图像获取模块，用于获取学生学习陪护场景下的实时视频数据，将所述实时视频数据分解为多帧实时图像；
学习图像提取模块，用于将各所述实时图像输入预训练的目标检测模型中，依据检测出的预设学习用品位置信息和手部位置信息，当学习用品与手部相交时，提取出学生学习图像；
信息提取模块，用于对所述学生学习图像进行特征提取和单目深度检测，输出与学生学习相关的关键点信息和深度信息；
实时坐姿分析模块，用于依据所述关键点信息和深度信息，对学生实时坐姿进行分析，输出实时坐姿分析结果；
异常坐姿识别模块，用于依据所述实时坐姿分析结果，结合预设的异常坐姿参数，识别异常坐姿；
用户提醒模块，用于当识别为异常坐姿时，向用户发出与所述坐姿检测结果相对应的提醒信息，提醒用户对学生坐姿进行调节。
9.一种学习陪护机器人，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-7中任一项所述的方法。
10.一种存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311775638.8A CN117746505A (zh) | 2023-12-21 | 2023-12-21 | 结合异常坐姿动态检测的学习陪护方法、装置及机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311775638.8A CN117746505A (zh) | 2023-12-21 | 2023-12-21 | 结合异常坐姿动态检测的学习陪护方法、装置及机器人 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117746505A true CN117746505A (zh) | 2024-03-22 |
Family
ID=90279134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311775638.8A Pending CN117746505A (zh) | 2023-12-21 | 2023-12-21 | 结合异常坐姿动态检测的学习陪护方法、装置及机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117746505A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109872359A (zh) * | 2019-01-27 | 2019-06-11 | 武汉星巡智能科技有限公司 | 坐姿检测方法、装置及计算机可读存储介质 |
| CN111079554A (zh) * | 2019-11-25 | 2020-04-28 | 恒安嘉新（北京）科技股份公司 | 分析学生课堂表现的方法、装置、电子设备、及存储介质 |
| CN111127848A (zh) * | 2019-12-27 | 2020-05-08 | 深圳奥比中光科技有限公司 | 一种人体坐姿检测***及方法 |
| CN111601088A (zh) * | 2020-05-27 | 2020-08-28 | 大连成者科技有限公司 | 一种基于单目摄像头坐姿识别技术的坐姿监控*** |
| CN111626211A (zh) * | 2020-05-27 | 2020-09-04 | 大连成者云软件有限公司 | 一种基于单目视频图像序列的坐姿识别方法 |
| CN111931869A (zh) * | 2020-09-25 | 2020-11-13 | 湖南大学 | 一种人机自然交互的用户注意力检测方法及*** |
| CN112364694A (zh) * | 2020-10-13 | 2021-02-12 | 宁波大学 | 一种基于关键点检测的人体坐姿识别方法 |
| CN116469174A (zh) * | 2023-05-23 | 2023-07-21 | 南京星辰微视光电技术有限公司 | 一种基于单目摄像头的深度学习坐姿测量检测方法 |
-
2023
- 2023-12-21 CN CN202311775638.8A patent/CN117746505A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109872359A (zh) * | 2019-01-27 | 2019-06-11 | 武汉星巡智能科技有限公司 | 坐姿检测方法、装置及计算机可读存储介质 |
| CN111079554A (zh) * | 2019-11-25 | 2020-04-28 | 恒安嘉新（北京）科技股份公司 | 分析学生课堂表现的方法、装置、电子设备、及存储介质 |
| CN111127848A (zh) * | 2019-12-27 | 2020-05-08 | 深圳奥比中光科技有限公司 | 一种人体坐姿检测***及方法 |
| CN111601088A (zh) * | 2020-05-27 | 2020-08-28 | 大连成者科技有限公司 | 一种基于单目摄像头坐姿识别技术的坐姿监控*** |
| CN111626211A (zh) * | 2020-05-27 | 2020-09-04 | 大连成者云软件有限公司 | 一种基于单目视频图像序列的坐姿识别方法 |
| CN111931869A (zh) * | 2020-09-25 | 2020-11-13 | 湖南大学 | 一种人机自然交互的用户注意力检测方法及*** |
| CN112364694A (zh) * | 2020-10-13 | 2021-02-12 | 宁波大学 | 一种基于关键点检测的人体坐姿识别方法 |
| CN116469174A (zh) * | 2023-05-23 | 2023-07-21 | 南京星辰微视光电技术有限公司 | 一种基于单目摄像头的深度学习坐姿测量检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7853051B2 (en) | Recognizing apparatus and method, recording media, and program | |
| CN102812416B (zh) | 指示输入装置、指示输入方法、程序、记录介质以及集成电路 | |
| TWI398796B (zh) | Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking | |
| CN102149325B (zh) | 视线方向判定装置及视线方向判定方法 | |
| CN109343700B (zh) | 眼动控制校准数据获取方法和装置 | |
| US11423699B2 (en) | Action recognition method and apparatus and electronic equipment | |
| US8983147B2 (en) | Eyelid detection device | |
| CN112232128B (zh) | 基于视线追踪的老年残障人士照护需求识别方法 | |
| CN106713894A (zh) | 一种跟踪式立体显示方法及设备 | |
| CN114973423B (zh) | 用于儿童学习桌的坐姿监测的警示方法及*** | |
| CN110148092A (zh) | 基于机器视觉的青少年坐姿及情绪状态的分析方法 | |
| JP2009064395A (ja) | ポインティングデバイス、操作者の注視位置とカーソルの位置との誤差の補正をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| CN106618479A (zh) | 瞳孔追踪***及其方法 | |
| JP2018101212A (ja) | 車載器および顔正面度算出方法 | |
| CN117746505A (zh) | 结合异常坐姿动态检测的学习陪护方法、装置及机器人 | |
| JP4676375B2 (ja) | 車両運転者の視線方向の検出方法又は同装置 | |
| JP7468684B2 (ja) | 姿勢検出装置、姿勢検出方法および寝相判定方法 | |
| JP6572841B2 (ja) | 情報処理装置及びプログラム | |
| CN114093007A (zh) | 双目摄像头人脸图像异常监测的方法及*** | |
| CN110781712B (zh) | 一种基于人脸检测与识别的人头空间定位方法 | |
| CN117037213A (zh) | 异常坐姿智能检测方法、装置、设备及介质 | |
| JP2009169740A (ja) | 顔画像処理装置 | |
| CN112114659A (zh) | 用于确定用户的精细的注视点的方法和*** | |
| US20240037787A1 (en) | Corneal reflected image identifying device and gaze detection device | |
| CN113971659B (zh) | 一种经皮肺以及腹部穿刺的呼吸门控*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |