CN111695520A - 一种高精度的儿童坐姿检测与矫正方法及装置 - Google Patents

一种高精度的儿童坐姿检测与矫正方法及装置 Download PDF

Info

Publication number
CN111695520A
CN111695520A CN202010538606.6A CN202010538606A CN111695520A CN 111695520 A CN111695520 A CN 111695520A CN 202010538606 A CN202010538606 A CN 202010538606A CN 111695520 A CN111695520 A CN 111695520A
Authority
CN
China
Prior art keywords
key
data
monitored object
point data
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010538606.6A
Other languages
English (en)
Inventor
李龙
宋恒
赵丹
崔修涛
林月胤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dewertokin Technology Group Co Ltd
Original Assignee
Dewertokin Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dewertokin Technology Group Co Ltd filed Critical Dewertokin Technology Group Co Ltd
Priority to CN202010538606.6A priority Critical patent/CN111695520A/zh
Publication of CN111695520A publication Critical patent/CN111695520A/zh
Priority to PCT/CN2020/128883 priority patent/WO2021248815A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种高精度的儿童坐姿检测与矫正方法，通过预先对采集到的图像划分出ROI区域进行精细的检测和识别，一方面可以降低输入的数据量，另一方可以简化问题，提高流程的处理效率，提升处理速度，再配合ROI区域跟踪以及相关的滤波除噪，可以提升***在光线变化以及姿态变化下的抗扰动能力，提升脊柱部位识别的精度。

Description

一种高精度的儿童坐姿检测与矫正方法及装置
技术领域
本发明涉及本发明涉及计算机视觉处理技术领域，具体涉及一种高精度的儿童坐姿检测与矫正方法及装置。
背景技术
随着我国的不断发展，儿童教育日益受到社会重视，学习方式也由单一的在校学习拓展到居家在线学习、居家线下学习等多种方式。但是儿童的自律性一般欠佳，家长精力亦有限，居家学习时老师难以监督，因此常常学习效率较低。
现有两种对学生在线上教学进行监督的装置和方法，一种是接触式的，检测效果比较准确但是需要传感器与儿童直接接触，会对其学习产生一定的影响；另一种是非接触式的，通过摄像头对儿童的外在行为表现和内在生理变化。
如申请公布号为CN104622610A的中国专利公开了基于红外视距监控的坐姿矫正装置，提出了使用需要受监视者佩戴的基座和距离检测模块等对佩戴者的坐姿进行检测，虽然体积较小，但是面对好动且好奇的儿童，其使用效果会受到影响，而且其是通过红外检测佩戴者与可视物之间的距离来检测坐姿，仅仅能够检测儿童头颈部的大致状态，无法全面的了解儿童脊柱部位的弯曲情况，实用性较差，且精准度不高。
发明内容
针对现有技术存在的不足，本发明的目的是提供一种处理速度快且全面的进行稳定可靠的坐姿分析的高精度的儿童坐姿检测与矫正方法及装置。
本发明的上述发明目的是通过以下技术方案得以实现的：
一种高精度的儿童坐姿检测与矫正方法，包括如下步骤：
S1、按照预设频率对监测对象的视频数据进行收集，提取所述监测对象的脊柱部位的关键特征点，并按照时序依次将所述关键特征点提交给特征检测模块；
S2、由所述特征检测模块根据所述关键特征点判断是否为监测对象；
若是，进入步骤S3；
若不是，返回步骤S1；
S3、将所述关键特征点进行分割，获得所述脊柱部位的关键点数据；
S4、根据当前帧数对应的所述面部关键点数据推算出下一帧中对应的所述关键特征点所在的区域，并将该区域定义为ROI区域；
S5、对所述ROI区域进行自检，判断是否为所述监测对象的所述脊柱部位；
若是，进入步骤S3；
若不是，返回步骤S1；
S6、通过量化分析模块实时获取所述关键点数据，整合与所述标准特征数据库中的对应数据进行比对，得出量化后的学习状态评价的结果。
在步骤S1中，采用边缘AI提取的方式对所述监测对象的视频数据进行收集，所述关键特征点对应所述监测对象的背部和胸部以及腹部。
在步骤S3中，对含有所述关键特征点的视频帧进行裁剪、缩放、滤波、去噪、直方图均衡和灰度平衡，转换成归一化的标准图像；
再将所述标准图像按照所述脊柱部位的弯曲方向进行分割，得到所述关键点数据。
在步骤S4中，根据t帧中所述关键点数据的位置坐标获取t+1帧中的所述ROI区域。
在步骤S6中，采用attention机制，反复比对识别对象细节，提高对比的精准度。
当所述关键点数据的分辨率的分辨率无法满足于所述标准特征数据库中的对应数据进行有效比对时，可在比对之前对所述关键点数据的图像按照end to end的原则重建为高分辨率图像后输出。
采用LSTM分类法对述监测对象的背部和胸部以及腹部的检测数据进行分类。
一种高精度的儿童坐姿检测与矫正装置，包括数据采集模块、特征检测模块、感兴趣特征检测模块、算法模块和量化分析模块以及标准特征数据库；
所述数据采集模块对监测对象的视频数据进行收集，提取所述监测对象的脊柱部位的关键特征点，并按照时序依次将所述关键特征点提交给所述特征检测模块；
所述特征检测模块根据所述关键特征点判断是否为监测对象，并将符合要求的数据发送至所述感兴趣特征检测模块；
所述感兴趣特征检测模块根据不同所述关键特征点进行分离检测，获得所述监测对象关键点数据，并由所述算法模块根据分离后的单项所述关键特征点推算出下一帧的与该单项所述关键特征点关联的ROI区域；
所述算法模块对所述ROI区域进行自检，判断是否为监测对象的脊柱部位，若是则发送所述ROI区域至所述感兴趣特征继续检测，若不是则中断所述感兴趣特征检测模块的分离检测；
所述量化分析模块实时获取所述关键点数据，整合与所述标准特征数据库中的对应数据进行比对，得出量化后的学习状态评价的结果。
综上，本发明包括以下至少一种有益技术效果：
通过预先对采集到的图像划分出ROI区域进行精细的检测和识别，一方面可以降低输入的数据量，另一方可以简化问题，提高流程的处理效率，提升处理速度，再配合ROI区域跟踪以及相关的滤波除噪，可以提升***在光线变化以及姿态变化下的抗扰动能力，提升脊柱部位识别的精度。
附图说明
图1是本发明实施例的方法框图；
图2是本发明实施例的具体流程处理图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
参照图1，为本发明公开的一种高精度的儿童坐姿检测与矫正方法，包括如下步骤：
S1、按照预设频率对监测对象的视频数据进行收集，提取所述监测对象的脊柱部位的关键特征点，并按照时序依次将所述关键特征点提交给特征检测模块；
S2、由所述特征检测模块根据所述关键特征点判断是否为监测对象；
若是，进入步骤S3；
若不是，返回步骤S1；
S3、将所述关键特征点进行分割，获得所述脊柱部位的关键点数据；
S4、根据当前帧数对应的所述面部关键点数据推算出下一帧中对应的所述关键特征点所在的区域，并将该区域定义为ROI区域；
S5、对所述ROI区域进行自检，判断是否为所述监测对象的所述脊柱部位；
若是，进入步骤S3；
若不是，返回步骤S1；
本实施例中，首先需要根据样本数据训练生成对抗网络，具体包括获取样本数据、训练样本预处理、生成对抗网络的光照对抗训练、生成对抗网络的姿态对抗训练四个步骤。
在获取样本数据步骤，要求获取各种光照以及角度的脊柱部位作为样本数据，本实施例采用CMU Multi-PIE中13种姿态，以及20种光照条件下的脊柱部位图像作为训练数据集。由于便于后面模型训练，首先对各个样本图像进行归一化。
在生成对抗网络的光照对抗训练步骤，从样本数据中选择一张图像以及目标光照标签作为光照生成器的输入，生成器输出目标光照图像，然后将目标光照图像跟原始光照标签再次送入光照生成器得到假原始光照图像。判别器将真实图像和假原始光照图像的误差反馈给光照生成器，身份分类器和光照分类器分别将目标人脸图像和生成图像的身份信息和光照信息的误差反馈给光照生成器；光照生成器、判别器、分类器不断迭代训练。
若不是，返回步骤S1；
S6、通过量化分析模块实时获取关键点数据，整合分类后与标准特征数据库中的对应数据进行比对，得出量化后的学习状态评价的结果。
在步骤S1中，采用边缘AI提取的方式对所述监测对象的视频数据进行收集，所述关键特征点对应所述监测对象的背部和胸部以及腹部。
在步骤S3中，对含有关键特征点的视频帧进行裁剪、缩放、滤波、去噪、直方图均衡和灰度平衡，转换成归一化的标准图像；
再将所述标准图像按照所述脊柱部位的弯曲方向进行分割，得到所述关键点数据。
在步骤S4中，根据t帧中关键点数据的位置坐标获取t+1帧中的ROI区域。
在步骤S6中，采用attention机制，反复比对识别对象细节，提高对比的精准度。
当面部关键点数据的分辨率的分辨率无法满足于标准特征数据库中的对应数据进行有效比对时，可在比对之前对面部关键点数据图像按照end to end的原则重建为高分辨率图像后输出。
采用LSTM分类法对述监测对象的背部和胸部以及腹部的检测数据进行分类。
一种高精度的儿童坐姿检测与矫正装置，包括数据采集模块、特征检测模块、感兴趣特征检测模块、算法模块和量化分析模块以及标准特征数据库；
数据采集模块对监测对象的视频数据进行收集，提取监测对象的脊柱部位的关键特征点，并按照时序依次将关键特征点提交给特征检测模块；
特征检测模块根据关键特征点判断是否为监测对象，并将符合要求的数据发送至感兴趣特征检测模块；
感兴趣特征检测模块根据不同关键特征点进行分离检测，获得监测对象关键点数据，并由算法模块根据分离后的单项关键特征点推算出下一帧的与该单项关键特征点关联的ROI区域；
算法模块对ROI区域进行自检，判断是否为监测对象的脊柱部位，若是则发送ROI区域至感兴趣特征继续检测，若不是则中断感兴趣特征检测模块的分离检测；
标准特征数据库为儿童坐姿知识库，内含多种坐姿模型数据。量化分析模块实时获取关键点数据，整合与标准特征数据库中的对应数据进行比对，得出量化后的学习状态评价的结果。综上，本发明包括以下至少一种有益技术效果：
通过预先对采集到的图像划分出ROI区域进行精细的检测和识别，一方面可以降低输入的数据量，另一方可以简化问题，提高流程的处理效率，提升处理速度，再配合ROI区域跟踪以及相关的滤波除噪，可以提升***在光线变化以及姿态变化下的抗扰动能力，提升脊柱部位识别的精度。
本具体实施方式的实施例均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。

Claims (8)

1.一种高精度的儿童坐姿检测与矫正方法，其特征在于：包括如下步骤：
S1、按照预设频率对监测对象的视频数据进行收集，提取所述监测对象的脊柱部位的关键特征点，并按照时序依次将所述关键特征点提交给特征检测模块；
S2、由所述特征检测模块根据所述关键特征点判断是否为监测对象；
若是，进入步骤S3；
若不是，返回步骤S1；
S3、将所述关键特征点进行分割，获得所述脊柱部位的关键点数据；
S4、根据当前帧数对应的所述面部关键点数据推算出下一帧中对应的所述关键特征点所在的区域，并将该区域定义为ROI区域；
S5、对所述ROI区域进行自检，判断是否为所述监测对象的所述脊柱部位；
若是，进入步骤S3；
若不是，返回步骤S1；
S6、通过量化分析模块实时获取所述关键点数据，整合与所述标准特征数据库中的对应数据进行比对，得出量化后的学习状态评价的结果。
2.根据权利要求1所述的高精度的儿童坐姿检测与矫正方法，其特征在于：在步骤S1中，采用边缘AI提取的方式对所述监测对象的视频数据进行收集，所述关键特征点对应所述监测对象的背部和胸部以及腹部。
3.根据权利要求1所述的高精度的儿童坐姿检测与矫正方法，其特征在于：在步骤S3中，对含有所述关键特征点的视频帧进行裁剪、缩放、滤波、去噪、直方图均衡和灰度平衡，转换成归一化的标准图像；
再将所述标准图像按照所述脊柱部位的弯曲方向进行分割，得到所述关键点数据。
4.根据权利要求3所述的高精度的儿童坐姿检测与矫正方法，其特征在于：在步骤S4中，根据t帧中所述关键点数据的位置坐标获取t+1帧中的所述ROI区域。
5.根据权利要求1所述的高精度的儿童坐姿检测与矫正方法，其特征在于：在步骤S6中，采用attention机制，反复比对识别对象细节，提高对比的精准度。
6.根据权利要求5所述的高精度的儿童坐姿检测与矫正方法，其特征在于：当所述关键点数据的分辨率的分辨率无法满足于所述标准特征数据库中的对应数据进行有效比对时，可在比对之前对所述关键点数据的图像按照end to end的原则重建为高分辨率图像后输出。
7.根据权利要求2所述的高精度的儿童坐姿检测与矫正方法，其特征在于：采用LSTM分类法对述监测对象的背部和胸部以及腹部的检测数据进行分类。
8.一种高精度的儿童坐姿检测与矫正装置，其特征在于：包括数据采集模块、特征检测模块、感兴趣特征检测模块、算法模块和量化分析模块以及标准特征数据库；
所述数据采集模块对监测对象的视频数据进行收集，提取所述监测对象的脊柱部位的关键特征点，并按照时序依次将所述关键特征点提交给所述特征检测模块；
所述特征检测模块根据所述关键特征点判断是否为监测对象，并将符合要求的数据发送至所述感兴趣特征检测模块；
所述感兴趣特征检测模块根据不同所述关键特征点进行分离检测，获得所述监测对象关键点数据，并由所述算法模块根据分离后的单项所述关键特征点推算出下一帧的与该单项所述关键特征点关联的ROI区域；
所述算法模块对所述ROI区域进行自检，判断是否为监测对象的脊柱部位，若是则发送所述ROI区域至所述感兴趣特征继续检测，若不是则中断所述感兴趣特征检测模块的分离检测；
所述量化分析模块实时获取所述关键点数据，整合与所述标准特征数据库中的对应数据进行比对，得出量化后的学习状态评价的结果。
CN202010538606.6A 2020-06-13 2020-06-13 一种高精度的儿童坐姿检测与矫正方法及装置 Pending CN111695520A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010538606.6A CN111695520A (zh) 2020-06-13 2020-06-13 一种高精度的儿童坐姿检测与矫正方法及装置
PCT/CN2020/128883 WO2021248815A1 (zh) 2020-06-13 2020-11-15 一种高精度的儿童坐姿检测与矫正方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010538606.6A CN111695520A (zh) 2020-06-13 2020-06-13 一种高精度的儿童坐姿检测与矫正方法及装置

Publications (1)

Publication Number Publication Date
CN111695520A true CN111695520A (zh) 2020-09-22

Family

ID=72480812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010538606.6A Pending CN111695520A (zh) 2020-06-13 2020-06-13 一种高精度的儿童坐姿检测与矫正方法及装置

Country Status (2)

Country Link
CN (1) CN111695520A (zh)
WO (1) WO2021248815A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780220A (zh) * 2021-09-17 2021-12-10 东胜神州旅游管理有限公司 一种基于童脸识别的儿童坐姿检测方法及***
WO2021248815A1 (zh) * 2020-06-13 2021-12-16 德派(嘉兴)医疗器械有限公司 一种高精度的儿童坐姿检测与矫正方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116469175B (zh) * 2023-06-20 2023-08-29 青岛黄海学院 一种幼儿教育可视化互动方法及***

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101815975B1 (ko) * 2011-07-27 2018-01-09 삼성전자주식회사 객체 자세 검색 장치 및 방법
CN104038738B (zh) * 2014-06-04 2017-02-15 东北大学 一种提取人体关节点坐标的智能监控***及方法
CN106951871B (zh) * 2017-03-24 2020-07-28 北京地平线机器人技术研发有限公司 操作体的运动轨迹识别方法、装置和电子设备
CN109176536A (zh) * 2018-08-06 2019-01-11 深圳市沃特沃德股份有限公司 姿势判断方法及装置
CN109190562B (zh) * 2018-09-05 2021-03-23 广州维纳斯家居股份有限公司 智能坐姿监控方法、装置、智能升降桌及存储介质
CN111127848A (zh) * 2019-12-27 2020-05-08 深圳奥比中光科技有限公司 一种人体坐姿检测***及方法
CN111695520A (zh) * 2020-06-13 2020-09-22 德沃康科技集团有限公司 一种高精度的儿童坐姿检测与矫正方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021248815A1 (zh) * 2020-06-13 2021-12-16 德派(嘉兴)医疗器械有限公司 一种高精度的儿童坐姿检测与矫正方法及装置
CN113780220A (zh) * 2021-09-17 2021-12-10 东胜神州旅游管理有限公司 一种基于童脸识别的儿童坐姿检测方法及***

Also Published As

Publication number Publication date
WO2021248815A1 (zh) 2021-12-16

Similar Documents

Publication Publication Date Title
Vishnu et al. Human fall detection in surveillance videos using fall motion vector modeling
CN111695520A (zh) 一种高精度的儿童坐姿检测与矫正方法及装置
CN103279768B (zh) 一种基于增量学习人脸分块视觉表征的视频人脸识别方法
US20220180534A1 (en) Pedestrian tracking method, computing device, pedestrian tracking system and storage medium
CN109522853A (zh) 面向监控视频的人脸检测与搜索方法
Ahmed et al. Kinect-based gait recognition using sequences of the most relevant joint relative angles
CN111488850B (zh) 一种基于神经网络的老年人跌倒检测方法
CN102938065A (zh) 基于大规模图像数据的人脸特征提取方法及人脸识别方法
CN111914643A (zh) 一种基于骨骼关键点检测的人体动作识别方法
CN101276421A (zh) 人脸部件特征和Gabor人脸特征融合的人脸识别方法及其装置
CN102629320A (zh) 基于特征层定序测量统计描述的人脸识别方法
CN109544523A (zh) 基于多属性人脸比对的人脸图像质量评价方法及装置
US20230237694A1 (en) Method and system for detecting children's sitting posture based on face recognition of children
CN109101943A (zh) 一种用于检测老人跌倒的机器视觉方法
CN114255508A (zh) 一种基于OpenPose的学生体态检测分析及效率评估方法
CN114005167A (zh) 基于人体骨骼关键点的远距离视线估计方法和装置
CN106407966A (zh) 一种应用于考勤的人脸识别方法
WO2021248814A1 (zh) 一种鲁棒的家庭儿童学习状态视觉监督方法及装置
CN109993116B (zh) 一种基于人体骨骼相互学习的行人再识别方法
Xu et al. Using trajectory features for tai chi action recognition
Sridevi et al. Sign Language recognition for Speech and Hearing Impaired by Image processing in matlab
CN110909678B (zh) 一种基于宽度学习网络特征提取的人脸识别方法及***
CN112329698A (zh) 一种基于智慧黑板的人脸识别方法和***
CN112131950A (zh) 一种基于Android手机的步态识别方法
CN108830217A (zh) 一种基于模糊均值哈希学习的签名自动判别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201228

Address after: Office 1, 15th floor, building 1, Jiaxing photovoltaic technology innovation park, 1288 Kanghe Road, Xiuzhou District, Jiaxing City, Zhejiang Province, 314001

Applicant after: Depai (Jiaxing) medical equipment Co.,Ltd.

Address before: Room 247, building 6, Jiaxing photovoltaic technology innovation park, 1288 Kanghe Road, Xiuzhou District, Jiaxing City, Zhejiang Province, 314001

Applicant before: Dworkon Technology Group Co.,Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination