CN107169456A - 一种基于坐姿深度图像的坐姿检测方法 - Google Patents

一种基于坐姿深度图像的坐姿检测方法 Download PDF

Info

Publication number
CN107169456A
CN107169456A CN201710345838.8A CN201710345838A CN107169456A CN 107169456 A CN107169456 A CN 107169456A CN 201710345838 A CN201710345838 A CN 201710345838A CN 107169456 A CN107169456 A CN 107169456A
Authority
CN
China
Prior art keywords
sitting posture
point
depth
shoulder
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710345838.8A
Other languages
English (en)
Other versions
CN107169456B (zh
Inventor
许德球
罗武胜
杜列波
鲁琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HUNAN JUHUI TECHNOLOGY DEVELOPMENT Co Ltd
Original Assignee
HUNAN JUHUI TECHNOLOGY DEVELOPMENT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HUNAN JUHUI TECHNOLOGY DEVELOPMENT Co Ltd filed Critical HUNAN JUHUI TECHNOLOGY DEVELOPMENT Co Ltd
Priority to CN201710345838.8A priority Critical patent/CN107169456B/zh
Publication of CN107169456A publication Critical patent/CN107169456A/zh
Application granted granted Critical
Publication of CN107169456B publication Critical patent/CN107169456B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

一种基于坐姿深度图像的坐姿检测方法,包括以下步骤:(1)通过深度传感器获取人体的坐姿深度图像及坐姿深度图像中所有像素点的深度距离值;(2)对坐姿深度图像进行分割,去除外部背景与人体的干扰,得到坐姿分割图像;(3)通过坐姿分割图像求取关键点,关键点包括头部顶点、头部中心点、左肩点、右肩点、肩部中心点、身体中心点;(4)根据关键点判定坐姿。本发明坐姿检测准确度高,只需要将手机与深度传感器连接,就能通过坐姿检测软件进行坐姿检测,使用方便,使用范围广泛,具有很好的便携性与灵活性。

Description

一种基于坐姿深度图像的坐姿检测方法
技术领域
本发明涉及坐姿检测方法,具体是涉及一种基于坐姿深度图像的坐姿检测方法。
背景技术
如今,由于学***均每天坐立的时间超过8个小时。在长时间的坐立情况下,由于人们很难一直保持良好的坐立姿态,因此很容易出现离书桌太近、身体倾斜、头偏等不良坐姿。久而久之,就会很容易患上近视、斜眼、腰椎疾病、颈椎疾病等,严重的影响人们的身体健康。因此为了促使人们纠正不良坐姿、养成良好的坐姿习惯、降低患近视、腰椎疾病等疾病的概率,进行坐姿检测是非常有必要的。
目前,已有很多坐姿检测、预防近视、纠正坐姿的技术方案。其中,最普遍的方法就是通过传感器(红外、压力、加速度、超声波等传感器)实现的。例如:申请号为201510182899.8的中国专利申请“一种具有坐姿纠正功能的智能座椅”通过安装在椅子上的压力传感器判断人体坐姿是否倾斜;申请号为201610636497.5的中国专利申请“一种学生用防近视眼姿势防控方法”将距离传感器与倾斜传感器套接在用户头上,实现近视与身体倾斜的检测。这种通过传感器进行坐姿检测的方式具有测量数据准确度高的优点,但是其测量数据过于单一(例如,压力传感器就只能得到压力数据),另外,传感器需要进行安装或者让用户进行佩戴,这不仅会让用户感到不适,而且安装使用麻烦、成本较高。另外一种方法就是通过图像进行坐姿监测,例如:申请号为200910242665.2的中国专利申请“一种坐姿检测方法及装置”用电脑上的摄像头采集目标用户图像,检测人脸、眼睛、肩部后得到人脸倾斜角度、眼睛区域面积和头肩曲线,将所述检测的结果与预设的标准值进行比较,进行坐姿判定。申请号为201410134765.4的中国专利申请“一种矫正坐姿的智能书桌及其矫正方法”在书桌上嵌入红外发射器、红外摄像头与显示器,通过红外线发射器与红外线摄像头进行主动式红外成像,提取结构光的特征点信息,测定特征点的深度信息,复原对象轮廓,完成图像的三维重建,并根据对象轮廓信息运用机器学习的方法识别出人眼、胸部、主要关节、桌面等对象,提取人体脊椎的骨骼模型,计算坐距、视矩,通过骨骼模型与标准的模型进行比较,判断含胸、歪斜等坐姿。这种通过图像进行坐姿检测的方法,由于图像信息丰富,具有很好的前景。但是目前这些方法还存在一定的缺陷,如彩色图像容易受到光照,复杂背景的影响;通过双目摄像头进行坐姿检测的方法,深度图像精度不高,会对坐姿检测造成误差;另外通过电脑或者智能课桌里的固定摄像头进行图像采集时,设备移动不方便不够便捷,使用范围过于局限,而且对设备要求高。
总的来说,现有的坐姿检测方法或***,存在安装复杂、不便于携带、使用麻烦以及坐姿检测准确度不高的缺点。
发明内容
本发明所要解决的技术问题是,克服上述背景技术的不足,提供一种基于坐姿深度图像的坐姿检测方法,坐姿检测准确度高,只需要将手机与深度传感器连接,就能通过坐姿检测软件进行坐姿检测,使用方便,使用范围广泛,具有很好的便携性与灵活性。
本发明解决其技术问题采用的技术方案是,一种基于坐姿深度图像的坐姿检测方法,包括以下步骤:
(1)通过深度传感器获取人体的坐姿深度图像(本发明以320*240分辨率的坐姿深度图像为例。如果是其他分辨率的深度图像,则相应参数按比例进行变换)及坐姿深度图像中所有像素点的深度距离值;
(2)对坐姿深度图像进行分割,去除外部背景与人体的干扰,得到坐姿分割图像;
(3)通过坐姿分割图像求取关键点,关键点包括头部顶点、头部中心点、左肩点、右肩点、肩部中心点、身体中心点;
(4)根据关键点判定坐姿。
进一步,步骤(2)中,对坐姿深度图像进行分割,去除外部背景与人体的干扰,得到坐姿分割图像的具体方法如下:
(2-1)在坐姿深度图像中,选择两个固定区域:第一个区域为矩形方框E,矩形方框E为坐姿深度图中心处30*30像素的矩形方框;第二个区域为矩形方框F,矩形方框F的长为280像素,宽为200像素,以坐姿深度图像的左下角点为原点,矩形方框F的中心点像素坐标为(160,120);矩形方框F上边框的纵坐标用BoxTop0表示,矩形方框F下边框的纵坐标用BoxBottom0表示,矩形方框F左边框的横坐标用BoxLeft0表示,矩形方框F右边框的横坐标用BoxRight0表示;
(2-2)获取矩形方框E中所有像素点的平均深度距离值,定义为人体的最远深度距离值
(2-3)均匀获取坐姿深度图像中的像素点,每隔10个像素提取一点,将每个点的深度距离值放入向量a[]中,并运用公式(1)得到所有的背景点;
其中,k为图像中的像素点,a[k]为像素点的深度距离值;
(2-4)求得所有背景点中最小的深度距离值将最小的深度距离值作为背景分割阀值,对坐姿深度图像进行分割去除背景,如果坐姿深度图像中某个像素点的深度距离值大于则令该点的像素值为0,即可去除背景;
(2-5)求取坐姿深度图像除去矩形方框F的区域中所有像素点中最小的深度距离值为作为干扰分割阀值,对坐姿深度图像进行分割去除干扰,如果坐姿深度图像中某个像素点的深度距离值大于则令该点的像素值为0,即可去除干扰,最终得到坐姿分割图像;
(2-6)对坐姿分割图像进行滤波处理,得到滤波后的坐姿分割图像,
(2-7)根据滤波后的坐姿分割图像,求取人体轮廓的最高点的纵坐标值topi、最低点的纵坐标值bottomi、最左边点的横坐标值lefti、最右边点的横坐标值righti
(2-8)对下一帧坐姿深度图像进行坐姿分割,如果上一帧坐姿分割图像中不为零的像素点与上一帧坐姿分割图像中所有像素点的比值大于10%并且小于80%,则令
令BoxTopi+1=topi+15,BoxBottomi+1=bottomi-15,BoxLefti+1=lefti-15,BoxRighti+1=righti+15,返回步骤(2-3);
如果上一帧坐姿分割图像中不为零的像素点与上一帧坐姿分割图像中所有像素点的比值大于80%或者小于10%,令BoxTopi+1=BoxTop0,BoxBottomi+1=BoxBottom0,BoxLefti+1=BoxLeft0,BoxRighti+1=BoxRight0,返回步骤(2-2)。
进一步,步骤(3)中,通过坐姿分割图求取关键点的具体方法如下:
(3-1)从上到下对坐姿分割图像的每一行进行扫描,得到坐姿分割图像中每一行的人体宽度width={width1,width2,...,widthn},以及每一行人体宽度的左边点的横坐标每一行以及每一行人体宽度的右边点的横坐标其中n为扫描的总行数;
(3-2)获取人体头部顶点:从上到下找到第一条宽度不为0的所在行,即人体轮廓的顶点,将其作为头部顶点;
(3-3)根据头部顶点,求取头部顶点以下30行的人体宽度平均值average,如果widthk=2average,则第k行对应肩部所在行,第k行的宽度即为肩部宽度;第k行的人体宽度左边点即为人体左肩点;第k行的人体宽度右边点即为人体右肩点;左肩与右肩的中心即为肩部中心点;
(3-4)头部顶点与肩部之间的人体区域为头部区域,求取头部区域像素点的中心,即头部中心点;
(3-5)肩部以下的人体区域为身体区域,求取身体区域像素点的中心,即身体中心点;
(3-6)运用张正友法进行相机标定,得到每个关键点的世界坐标。
进一步,步骤(3-1)中,获取第m行人体宽度和第m行人体宽度的左边点横坐标以及右边点横坐标的具体方法如下:
遍历第m行时,求得该行所有连续的线段,以及每条连续线段的左右点,确定最长的线段,并且以最长线段为基准,从左右两边分别查询,如果相邻线段离最长线段的距离小于10个像素点,就连接为一条线段,依次类推,直到所有的线段都查询完毕,最后求得该行的最长线段即为人体宽度widthm,以及该最长线段的左边点横坐标为和右边点横坐标m=1~n。这种遍历方式可以去除图像中的空洞与举手动作的影响。
进一步,步骤(4)中,根据关键点判定坐姿的具体方法如下:
如果头部中心点-肩部中心点连线与水平方向的夹角为75°-105°,同时肩部中心点-身体中心点连线与水平方向的夹角为80°-100°,为正确坐姿;如果头部顶点深度距离值比头部中心点的深度距离值大20mm以上时,为仰头;如果头部顶点深度距离值比头部中心点的深度距离值小20mm以上时,为低头;如果头部中心点与书桌边缘前方20cm处的距离小于30cm,为近视姿态;如果头部中心点-肩部中心点连线与水平方向的夹角>105°,同时肩部中心点-身体中心点连线与水平方向的夹角为80°-100°,为左偏头;如果头部中心点-肩部中心点连线与水平方向的夹角<75°,同时肩部中心点-身体中心点连线与水平方向的夹角为80°-100°,为右偏头;如果肩部中心点-身体中心点连线与水平方向的夹角<80°,为身体左斜;如果肩部中心点-身体中心点连线与水平方向的夹角>100°,为身体右斜;根据人体轮廓求取轮廓的外接矩形,如果矩形的高宽比小于0.6,为趴下;如果肩部中心点到身体中心点的深度距离值呈递减趋势,为后仰;将坐姿分割图像进行垂直投影得到投影曲线,求取投影曲线最高点,随后从左、右分别遍历,如果上升高度超过20个像素点,为举手;求取坐姿分割图像的中心点,根据该中心点将图像分为上下两部分,如果上部分的最宽线段大于下部分的最宽线段,为伸展。
进一步,还包括坐姿提醒和坐姿统计。
与现有技术相比,本发明的优点如下:
(1)本发明只需要将手机与深度传感器连接,就能通过坐姿检测软件进行坐姿检测,使用方便,使用范围广泛,不受环境、桌子等的影响,具有很好的便携性与灵活性;
(2)本发明使用深度传感器进行图像采集,图像信息准确高,图像处理方便,并且不受光照与背景的影响;
(3)本发明运用深度传感器采集人体坐姿深度图像,通过对坐姿深度图像的快速分割、坐姿关键点的获取以及坐姿判定标准的制定,实现坐姿的快速、准确的检测;
(4)本发明具有坐姿提醒、坐姿情况统计功能,能有助于用户改正不良坐姿习惯,有效预防近视、腰椎疾病、颈椎疾病等。
附图说明
图1是本发明实施例所示坐姿检测方法所对应的坐姿检测***。
图2是本发明实施例所示坐姿检测方法中的坐姿深度图像中的矩形方框E和矩形方框F的示意图。
图3是本发明实施例所示坐姿检测方法中的坐姿分割图像中关键点的示意图。
图中,1—书桌,2—深度传感器,3—手机,A—头部顶点,B—头部中心点,C1—左肩点,C2—肩部中心点,C3—右肩点,D—身体中心点,L1—头部中心点-肩部中心点连线与水平方向的夹角,L2—肩部中心点-身体中心点连线与水平方向的夹角。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细描述。
本实施例包括以下步骤:
(1)通过深度传感器获取人体的坐姿深度图像(本实施例以320*240分辨率的坐姿深度图像为例。如果是其他分辨率的深度图像,则相应参数按比例进行变换)及坐姿深度图像中所有像素点的深度距离值;
(2)对坐姿深度图像进行分割,去除外部背景与人体的干扰,得到坐姿分割图像;具体方法如下:
(2-1)参照图2,在坐姿深度图像中,选择两个固定区域:第一个区域为矩形方框E(坐姿深度图中心处30*30像素的矩形方框);第二个区域为矩形方框F,矩形方框F的长为280像素,宽为200像素,以坐姿深度图像的左下角点为原点,矩形方框F的中心点像素坐标为(160,120);矩形方框F上边框的纵坐标用BoxTop0表示,矩形方框F下边框的纵坐标用BoxBottom0表示,矩形方框F左边框的横坐标用BoxLeft0表示,矩形方框F右边框的横坐标用BoxRight0表示;
(2-2)获取矩形方框E中所有像素点的平均深度距离值,定义为人体的最远深度距离值
(2-3)均匀获取坐姿深度图像中的像素点,每隔10个像素提取一点,将每个点的深度距离值放入向量a[]中,并运用公式(1)得到所有的背景点;
其中,k为图像中的像素点,a[k]为像素点的深度距离值;
(2-4)求得所有背景点中最小的深度距离值将最小的深度距离值作为背景分割阀值,对坐姿深度图像进行分割去除背景,如果坐姿深度图像中某个像素点的深度距离值大于则令该点的像素值为0(像素值为0的点为背景点),即可去除背景;
(2-5)求取坐姿深度图像除去矩形方框F的区域中所有像素点中最小的深度距离值为作为干扰分割阀值,对坐姿深度图像进行分割去除干扰,如果坐姿深度图中某个像素点的深度距离值大于则令该点的像素值为0(像素值为0的点为干扰点),即可去除干扰,最终得到坐姿分割图像;
(2-6)对坐姿分割图像进行滤波处理,得到滤波后的坐姿分割图像,
(2-7)根据滤波后的坐姿分割图像,求取人体轮廓的最高点的纵坐标值topi、最低点的纵坐标值bottomi、最左边点的横坐标值lefti、最右边点的横坐标值righti
(2-8)对下一帧坐姿深度图像进行坐姿分割,如果上一帧坐姿分割图像中不为零的像素点与上一帧坐姿分割图像中所有像素点的比值大于10%并且小于80%,则令
令BoxTopi+1=topi+15,BoxBottomi+1=bottomi-15,BoxLefti+1=lefti-15,BoxRighti+1=righti+15,返回步骤(2-3);
如果上一帧坐姿分割图像中不为零的像素点与上一帧坐姿分割图像中所有像素点的比值大于80%或者小于10%,令BoxTopi+1=BoxTop0,BoxBottomi+1=BoxBottom0,BoxLefti+1=BoxLeft0,BoxRighti+1=BoxRight0,返回步骤(2-2);
(3)通过坐姿分割图像求取关键点,关键点包括头部顶点、头部中心点、左肩点、右肩点、肩部中心点、身体中心点;具体方法如下:
(3-1)从上到下对坐姿分割图像的每一行进行扫描,得到坐姿分割图像中每一行的人体宽度width={width1,width2,...,widthn},以及每一行人体宽度的左边点的横坐标每一行以及每一行人体宽度的右边点的横坐标其中n为扫描的总行数;
获取第m行人体宽度和第m行人体宽度的左边点横坐标以及右边点横坐标的具体方法如下:
遍历第m行时,求得该行所有连续的线段,以及每条连续线段的左右点,随后,确定最长的线段,并且以最长线段为基准,从左右两边分别查询,如果相邻线段离最长线段的距离小于10个像素点,就连接为一条线段,依次类推,直到所有的线段都查询完毕,最后求得该行的最长线段即为人体宽度widthm,以及该最长线段的左边点横坐标为和右边点横坐标m=1~n;这种遍历方式可以去除图像中的空洞与举手动作的影响,求得的人体宽度较为精确。
(3-2)参照图3,获取头部顶点A:从上到下找到第一条宽度不为0的所在行,即人体轮廓的顶点,将其作为头部顶点A;
(3-3)根据头部顶点A,求取头部顶点A以下30行的人体宽度平均值average,如果widthk=2average,则第k行对应肩部所在行,第k行的宽度即为肩部宽度;第k行的人体宽度左边点即为人体左肩点C1;
第k行的人体宽度右边点即为人体右肩点C3;左肩与右肩的中心即为肩部中心点C2;
(3-4)头部顶点A与肩部之间的人体区域为头部区域,求取头部区域像素点的中心,即头部中心点B;
(3-5)肩部以下的人体区域为身体区域,求取身体区域像素点的中心,即身体中心点D;
(3-6)运用张正友法进行相机标定,得到每个关键点的世界坐标。
(4)根据关键点判定坐姿;
如果头部中心点-肩部中心点连线与水平方向的夹角L1为75°-105°,同时肩部中心点-身体中心点连线与水平方向的夹角L2为80°-100°,为正确坐姿;如果头部顶点深度距离值比头部中心点的深度距离值大20mm以上时,为仰头;如果头部顶点深度距离值比头部中心点的深度距离值小20mm以上时,为低头;如果头部中心点与书桌边缘前方20cm处的距离小于30cm,为近视姿态;如果头部中心点-肩部中心点连线与水平方向的夹角L1>105°,同时肩部中心点-身体中心点连线与水平方向的夹角L2为80°-100°,为左偏头;如果头部中心点-肩部中心点连线与水平方向的夹角L1<75°,同时肩部中心点-身体中心点连线L2与水平方向的夹角为80°-100°,为右偏头;如果肩部中心点-身体中心点连线与水平方向的夹角L2<80°,为身体左斜;如果肩部中心点-身体中心点连线与水平方向的夹角L2>100°,为身体右斜;根据人体轮廓求取轮廓的外接矩形,如果矩形的高宽比小于0.6,为趴下;如果肩部中心点到身体中心点的深度距离值呈递减趋势,为后仰;将坐姿分割图像进行垂直投影得到投影曲线,求取投影曲线最高点,随后从左、右分别遍历,如果上升高度超过20个像素点,为举手;求取坐姿分割图像的中心点,根据该中心点将图像分为上下两部分,如果上部分的最宽线段大于下部分的最宽线段,为伸展。
(5)坐姿提醒;
对近视、身体左斜、身体右斜、左偏头与右偏头这5种不良姿态分别设定一个计时器,当人处于不良坐姿时,计时器开始工作,如果不良坐姿连续存在并且超过30s,就进行语音提醒,同时手机振动,促使其纠正坐姿。当其人回归正确姿态时计时器清零,当再一次出现不良坐姿时计时器再次运行。
(6)坐姿统计;
对每一次学习工作时的所有坐姿进行统计,统计每种姿态出现的时间,最后分别与总的学习工作时间相比,得到每种姿态的百分比,并用饼状图的形式显示,用于分析坐姿情况。
参照图1,本发明的坐姿检测方法设计成相应的坐姿检测软件在Android平台上进行实现,Android平台为便携式的手机3,手机与深度传感器2连接,深度传感器2安装在书桌1上,深度传感器2、手机3以及安装在手机3内的坐姿检测软件组成坐姿检测***。
本发明在进行坐姿检测前,需要对深度传感器的位置进行调整。使用时,将深度传感器正对人体放置,深度传感器距离桌面高度为40cm左右。由于深度传感器具有规定的工作距离,同时考虑坐姿深度图像应该将人体完全采集进去,最终确定深度传感器距离人0.8-1.2m为深度传感器最佳工作距离。深度传感器开始工作时,首先求取坐姿深度图像中心区域的矩形方框E的平均深度距离,当该平均深度距离比最佳工作距离近时,则提醒用户将深度传感器往后移动,反之向前移动。直到移动到最佳工作位置(0.8-1.2m之间),并且持续30s,才开始进行坐姿的检测。
以学习者学习为例:开始学习前,学习者将深度传感器摆放在自己的正前方,并通过OTG线将深度传感器与手机连接。随后,打开手机上的坐姿检测软件,学习者根据坐姿检测软件的提示调整深度传感器到最佳位置。然后,坐姿检测软件就会开始对学习者进行坐姿检测。学习过程中,坐姿检测软件会对学习者的不良坐姿进行提醒。学习完成后,坐姿检测软件会显示学习者整个学习过程中的坐姿饼状图,用于学习者了解自身的坐姿情况。
本发明只需要将手机与深度传感器连接,就能通过坐姿检测软件进行坐姿检测,使用方便,使用范围广泛,不受环境、桌子等的影响,具有很好的便携性与灵活性;本发明使用深度传感器进行图像采集,图像信息准确高,图像处理方便,并且不受光照与背景的影响;本发明运用深度传感器采集人体坐姿深度图像,通过对坐姿深度图像的快速分割、坐姿关键点的获取以及坐姿判定标准的制定,实现坐姿的快速、准确的检测;本发明具有坐姿提醒、坐姿情况统计功能,能有助于用户改正不良坐姿习惯,有效预防近视、腰椎疾病、颈椎疾病等。
本领域的技术人员可以对本发明进行各种修改和变型,倘若这些修改和变型在本发明权利要求及其等同技术的范围之内,则这些修改和变型也在本发明的保护范围之内。
说明书中未详细描述的内容为本领域技术人员公知的现有技术。

Claims (6)

1.一种基于坐姿深度图像的坐姿检测方法,其特征在于,包括以下步骤:
(1)通过深度传感器获取人体的坐姿深度图像及坐姿深度图像中所有像素点的深度距离值;
(2)对坐姿深度图像进行分割,去除外部背景与人体的干扰,得到坐姿分割图像;
(3)通过坐姿分割图像求取关键点,关键点包括头部顶点、头部中心点、左肩点、右肩点、肩部中心点、身体中心点;
(4)根据关键点判定坐姿。
2.如权利要求1所述的基于坐姿深度图像的坐姿检测方法,其特征在于:步骤(2)中,对坐姿深度图像进行分割,去除外部背景与人体的干扰,得到坐姿分割图像的具体方法如下:
(2-1)在坐姿深度图像中,选择两个固定区域:第一个区域为矩形方框E,矩形方框E为坐姿深度图中心处30*30像素的矩形方框;第二个区域为矩形方框F,矩形方框F的长为280像素,宽为200像素,以坐姿深度图像的左下角点为原点,矩形方框F的中心点像素坐标为(160,120);矩形方框F上边框的纵坐标用BoxTop0表示,矩形方框F下边框的纵坐标用BoxBottom0表示,矩形方框F左边框的横坐标用BoxLeft0表示,矩形方框F右边框的横坐标用BoxRight0表示;
(2-2)获取矩形方框E中所有像素点的平均深度距离值,定义为人体的最远深度距离值
(2-3)均匀获取坐姿深度图像中的像素点,每隔10个像素提取一点,将每个点的深度距离值放入向量a[]中,并运用公式(1)得到所有的背景点;
其中,k为图像中的像素点,a[k]为像素点的深度距离值;
(2-4)求得所有背景点中最小的深度距离值将最小的深度距离值作为背景分割阀值,对坐姿深度图像进行分割去除背景,如果坐姿深度图像中某个像素点的深度距离值大于则令该点的像素值为0,即可去除背景;
(2-5)求取坐姿深度图像除去矩形方框F的区域中所有像素点中最小的深度距离值为作为干扰分割阀值,对坐姿深度图像进行分割去除干扰,如果坐姿深度图像中某个像素点的深度距离值大于则令该点的像素值为0,即可去除干扰,最终得到坐姿分割图像;
(2-6)对坐姿分割图像进行滤波处理,得到滤波后的坐姿分割图像,
(2-7)根据滤波后的坐姿分割图像,求取人体轮廓的最高点的纵坐标值topi、最低点的纵坐标值bottomi、最左边点的横坐标值lefti、最右边点的横坐标值righti
(2-8)对下一帧坐姿深度图像进行坐姿分割,如果上一帧坐姿分割图像中不为零的像素点与上一帧坐姿分割图像中所有像素点的比值大于10%并且小于80%,则令
令BoxTopi+1=topi+15,BoxBottomi+1=bottomi-15,BoxLefti+1=lefti-15,BoxRighti+1=righti+15,返回步骤(2-3);
如果上一帧坐姿分割图像中不为零的像素点与上一帧坐姿分割图像中所有像素点的比值大于80%或者小于10%,令BoxTopi+1=BoxTop0,BoxBottomi+1=BoxBottom0,BoxLefti+1=BoxLeft0,BoxRighti+1=BoxRight0,返回步骤(2-2)。
3.如权利要求1或2所述的基于坐姿深度图像的坐姿检测方法,其特征在于:步骤(3)中,通过坐姿分割图求取关键点的具体方法如下:
(3-1)从上到下对坐姿分割图像的每一行进行扫描,得到坐姿分割图像中每一行的人体宽度width={width1,width2,...,widthn},以及每一行人体宽度的左边点的横坐标每一行以及每一行人体宽度的右边点的横坐标其中n为扫描的总行数;
(3-2)获取头部顶点:从上到下找到第一条宽度不为0的所在行,即人体轮廓的顶点,将其作为头部顶点;
(3-3)根据头部顶点,求取头部顶点以下30行的人体宽度平均值average,如果widthk=2average,则第k行对应肩部所在行,第k行的宽度即为肩部宽度;第k行的人体宽度左边点即为人体左肩点;第k行的人体宽度右边点即为人体右肩点;左肩与右肩的中心即为肩部中心点;
(3-4)头部顶点与肩部之间的人体区域为头部区域,求取头部区域像素点的中心,即头部中心点;
(3-5)肩部以下的人体区域为身体区域,求取身体区域像素点的中心,即身体中心点;
(3-6)运用张正友法进行相机标定,得到每个关键点的世界坐标。
4.如权利要求3所述的基于坐姿深度图像的坐姿检测方法,其特征在于:步骤(3-1)中,获取第m行人体宽度和第m行人体宽度的左边点横坐标以及右边点横坐标的具体方法如下:
遍历第m行时,求得该行所有连续的线段,以及每条连续线段的左右点,确定最长的线段,并且以最长线段为基准,从左右两边分别查询,如果相邻线段离最长线段的距离小于10个像素点,就连接为一条线段,依次类推,直到所有的线段都查询完毕,最后求得该行的最长线段即为人体宽度widthm,以及该最长线段的左边点横坐标为和右边点横坐标
5.如权利要求1或2所述的基于坐姿深度图像的坐姿检测方法,其特征在于:步骤(4)中,根据关键点判定坐姿的具体方法如下:
如果头部中心点-肩部中心点连线与水平方向的夹角为75°-105°,同时肩部中心点-身体中心点连线与水平方向的夹角为80°-100°,为正确坐姿;如果头部顶点深度距离值比头部中心点的深度距离值大20mm以上时,为仰头;如果头部顶点深度距离值比头部中心点的深度距离值小20mm以上时,为低头;如果头部中心点与书桌边缘前方20cm处的距离小于30cm,为近视姿态;如果头部中心点-肩部中心点连线与水平方向的夹角>105°,同时肩部中心点-身体中心点连线与水平方向的夹角为80°-100°,为左偏头;如果头部中心点-肩部中心点连线与水平方向的夹角<75°,同时肩部中心点-身体中心点连线与水平方向的夹角为80°-100°,为右偏头;如果肩部中心点-身体中心点连线与水平方向的夹角<80°,为身体左斜;如果肩部中心点-身体中心点连线与水平方向的夹角>100°,为身体右斜;根据人体轮廓求取轮廓的外接矩形,如果矩形的高宽比小于0.6,为趴下;如果肩部中心点到身体中心点的深度距离值呈递减趋势,为后仰;将坐姿分割图像进行垂直投影得到投影曲线,求取投影曲线最高点,随后从左、右分别遍历,如果上升高度超过20个像素点,为举手;求取坐姿分割图像的中心点,根据该中心点将图像分为上下两部分,如果上部分的最宽线段大于下部分的最宽线段,为伸展。
6.如权利要求1所述的基于坐姿深度图像的坐姿检测方法,其特征在于:还包括坐姿提醒和坐姿统计。
CN201710345838.8A 2017-05-16 2017-05-16 一种基于坐姿深度图像的坐姿检测方法 Expired - Fee Related CN107169456B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710345838.8A CN107169456B (zh) 2017-05-16 2017-05-16 一种基于坐姿深度图像的坐姿检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710345838.8A CN107169456B (zh) 2017-05-16 2017-05-16 一种基于坐姿深度图像的坐姿检测方法

Publications (2)

Publication Number Publication Date
CN107169456A true CN107169456A (zh) 2017-09-15
CN107169456B CN107169456B (zh) 2019-08-09

Family

ID=59815157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710345838.8A Expired - Fee Related CN107169456B (zh) 2017-05-16 2017-05-16 一种基于坐姿深度图像的坐姿检测方法

Country Status (1)

Country Link
CN (1) CN107169456B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680353A (zh) * 2017-10-25 2018-02-09 湖南大学 一种利用激光测距功能纠正儿童坐姿的体感装置
CN107730846A (zh) * 2017-10-25 2018-02-23 深圳纳富特科技有限公司 坐姿矫正的提醒方法、装置及计算机可读存储介质
CN109472222A (zh) * 2018-10-25 2019-03-15 深圳市象形字科技股份有限公司 一种基于计算机视觉技术的辅助二胡练习者姿态检测方法
CN109658323A (zh) * 2018-12-19 2019-04-19 北京旷视科技有限公司 图像获取方法、装置、电子设备和计算机存储介质
CN109685025A (zh) * 2018-12-27 2019-04-26 中科院合肥技术创新工程院 肩部特征和坐姿行为识别方法
CN109855559A (zh) * 2018-12-27 2019-06-07 成都市众智三维科技有限公司 一种全空间标定***及方法
CN109887034A (zh) * 2019-03-13 2019-06-14 安徽大学 一种基于深度图像的人体定位方法
CN109934182A (zh) * 2019-03-18 2019-06-25 北京旷视科技有限公司 对象行为分析方法、装置、电子设备及计算机存储介质
CN109948590A (zh) * 2019-04-01 2019-06-28 启霖世纪(北京)教育科技有限公司 姿态问题检测方法及装置
CN110321786A (zh) * 2019-05-10 2019-10-11 北京邮电大学 一种基于深度学习的人体坐姿实时监视方法和***
CN110443147A (zh) * 2019-07-10 2019-11-12 广州市讯码通讯科技有限公司 一种坐姿识别方法、***和存储介质
CN110934591A (zh) * 2019-09-30 2020-03-31 宁波华茂优加科技有限公司 一种坐姿检测方法及装置
CN110991293A (zh) * 2019-11-26 2020-04-10 爱菲力斯(深圳)科技有限公司 姿态识别方法、装置、计算机设备和存储介质
CN111127848A (zh) * 2019-12-27 2020-05-08 深圳奥比中光科技有限公司 一种人体坐姿检测***及方法
CN111950392A (zh) * 2020-07-23 2020-11-17 华中科技大学 一种基于深度相机Kinect的人体坐姿识别方法
CN112001209A (zh) * 2019-05-27 2020-11-27 深圳市希科普股份有限公司 一种基于人工智能的学生课堂学习行为的监测***
CN112748685A (zh) * 2020-12-22 2021-05-04 中科彭州智慧产业创新中心有限公司 桌面疲劳提醒方法及***
CN112989961A (zh) * 2021-02-22 2021-06-18 广州铁路职业技术学院(广州铁路机械学校) 一种坐姿识别方法及台灯
CN113065532A (zh) * 2021-05-19 2021-07-02 南京大学 一种基于rgbd图像的坐姿几何参数检测方法及***
CN113361342A (zh) * 2021-05-20 2021-09-07 杭州麦淘淘科技有限公司 一种基于多模态的人体坐姿检测方法及装置
CN113628205A (zh) * 2021-08-25 2021-11-09 四川大学 基于深度图像的非接触呼吸频率检测方法
CN114333073A (zh) * 2022-03-10 2022-04-12 启东晶尧光电科技有限公司 基于视觉感知的智能台灯辅助调节方法与***
CN114639157A (zh) * 2022-05-18 2022-06-17 合肥的卢深视科技有限公司 不良学习行为检测方法、***、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810478A (zh) * 2014-02-21 2014-05-21 广东小天才科技有限公司 一种坐姿检测方法和装置
CN205568142U (zh) * 2016-03-29 2016-09-14 沈远 一种具有坐姿纠正功能的文具盒

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810478A (zh) * 2014-02-21 2014-05-21 广东小天才科技有限公司 一种坐姿检测方法和装置
CN103810478B (zh) * 2014-02-21 2018-01-09 广东小天才科技有限公司 一种坐姿检测方法和装置
CN205568142U (zh) * 2016-03-29 2016-09-14 沈远 一种具有坐姿纠正功能的文具盒

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郑泽铭: "人的坐姿检测方法及行为劝导研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680353A (zh) * 2017-10-25 2018-02-09 湖南大学 一种利用激光测距功能纠正儿童坐姿的体感装置
CN107730846A (zh) * 2017-10-25 2018-02-23 深圳纳富特科技有限公司 坐姿矫正的提醒方法、装置及计算机可读存储介质
CN109472222A (zh) * 2018-10-25 2019-03-15 深圳市象形字科技股份有限公司 一种基于计算机视觉技术的辅助二胡练习者姿态检测方法
CN109658323A (zh) * 2018-12-19 2019-04-19 北京旷视科技有限公司 图像获取方法、装置、电子设备和计算机存储介质
CN109685025A (zh) * 2018-12-27 2019-04-26 中科院合肥技术创新工程院 肩部特征和坐姿行为识别方法
CN109855559A (zh) * 2018-12-27 2019-06-07 成都市众智三维科技有限公司 一种全空间标定***及方法
CN109887034A (zh) * 2019-03-13 2019-06-14 安徽大学 一种基于深度图像的人体定位方法
CN109887034B (zh) * 2019-03-13 2022-11-22 安徽大学 一种基于深度图像的人体定位方法
CN109934182A (zh) * 2019-03-18 2019-06-25 北京旷视科技有限公司 对象行为分析方法、装置、电子设备及计算机存储介质
CN109948590B (zh) * 2019-04-01 2020-11-06 启霖世纪(北京)教育科技有限公司 姿态问题检测方法及装置
CN109948590A (zh) * 2019-04-01 2019-06-28 启霖世纪(北京)教育科技有限公司 姿态问题检测方法及装置
CN110321786A (zh) * 2019-05-10 2019-10-11 北京邮电大学 一种基于深度学习的人体坐姿实时监视方法和***
CN112001209A (zh) * 2019-05-27 2020-11-27 深圳市希科普股份有限公司 一种基于人工智能的学生课堂学习行为的监测***
CN110443147A (zh) * 2019-07-10 2019-11-12 广州市讯码通讯科技有限公司 一种坐姿识别方法、***和存储介质
CN110934591A (zh) * 2019-09-30 2020-03-31 宁波华茂优加科技有限公司 一种坐姿检测方法及装置
CN110991293A (zh) * 2019-11-26 2020-04-10 爱菲力斯(深圳)科技有限公司 姿态识别方法、装置、计算机设备和存储介质
CN111127848A (zh) * 2019-12-27 2020-05-08 深圳奥比中光科技有限公司 一种人体坐姿检测***及方法
CN111950392A (zh) * 2020-07-23 2020-11-17 华中科技大学 一种基于深度相机Kinect的人体坐姿识别方法
CN111950392B (zh) * 2020-07-23 2022-08-05 华中科技大学 一种基于深度相机Kinect的人体坐姿识别方法
CN112748685A (zh) * 2020-12-22 2021-05-04 中科彭州智慧产业创新中心有限公司 桌面疲劳提醒方法及***
CN112989961A (zh) * 2021-02-22 2021-06-18 广州铁路职业技术学院(广州铁路机械学校) 一种坐姿识别方法及台灯
CN113065532A (zh) * 2021-05-19 2021-07-02 南京大学 一种基于rgbd图像的坐姿几何参数检测方法及***
CN113065532B (zh) * 2021-05-19 2024-02-09 南京大学 一种基于rgbd图像的坐姿几何参数检测方法及***
CN113361342A (zh) * 2021-05-20 2021-09-07 杭州麦淘淘科技有限公司 一种基于多模态的人体坐姿检测方法及装置
CN113361342B (zh) * 2021-05-20 2022-09-20 杭州好学童科技有限公司 一种基于多模态的人体坐姿检测方法及装置
CN113628205B (zh) * 2021-08-25 2022-05-20 四川大学 基于深度图像的非接触呼吸频率检测方法
CN113628205A (zh) * 2021-08-25 2021-11-09 四川大学 基于深度图像的非接触呼吸频率检测方法
CN114333073B (zh) * 2022-03-10 2022-06-07 启东晶尧光电科技有限公司 基于视觉感知的智能台灯辅助调节方法与***
CN114333073A (zh) * 2022-03-10 2022-04-12 启东晶尧光电科技有限公司 基于视觉感知的智能台灯辅助调节方法与***
CN114639157A (zh) * 2022-05-18 2022-06-17 合肥的卢深视科技有限公司 不良学习行为检测方法、***、电子设备和存储介质

Also Published As

Publication number Publication date
CN107169456B (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
CN107169456B (zh) 一种基于坐姿深度图像的坐姿检测方法
CN110934591B (zh) 一种坐姿检测方法及装置
CN107169453B (zh) 一种基于深度传感器的坐姿检测方法
CN106250867B (zh) 一种基于深度数据的人体骨骼跟踪***的实现方法
CN104899869A (zh) 基于rgb-d相机和姿态传感器的平面和障碍检测方法
CN105362048B (zh) 基于移动设备的障碍物信息提示方法、装置及移动设备
CN109785396B (zh) 基于双目相机的写字姿态监测方法、***、装置
CN105139447A (zh) 基于双摄像头的坐姿实时检测方法
CN106022304A (zh) 一种基于双目相机的实时人体坐姿情况检测方法
US20130171601A1 (en) Exercise assisting system
CN106598221A (zh) 基于眼部关键点检测的3d视线方向估计方法
CN106504751A (zh) 自适应唇语交互方法以及交互装置
CN103908063A (zh) 一种矫正坐姿的智能书桌及其矫正方法
CN104503537B (zh) 一种带有预防近视和腰椎脊椎疾病的电脑显示器
CN104850842B (zh) 移动终端虹膜识别的人机交互方法
CN103908065A (zh) 一种矫正坐姿的智能书桌及其矫正方法
CN107945868A (zh) 良性阵发性位置性眩晕智能诊疗设备
CN103908064A (zh) 一种矫正坐姿的智能书桌及其矫正方法
CN106781324A (zh) 一种护眼护脊椎提醒***及灯具
CN104751146A (zh) 一种基于3d点云图像的室内人体检测方法
CN103919557A (zh) 应用于诊断良性阵发性位置性眩晕的眼震参数特征获取方法和装置
WO2021042504A1 (zh) 一种基于虚拟现实技术的视网膜检测***
CN114120357B (zh) 一种基于神经网络的防近视方法和装置
CN106529502A (zh) 唇语识别方法以及装置
JP2023549838A (ja) 児童の顔認識に基づく児童の座位姿勢検出の方法及びシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190809

CF01 Termination of patent right due to non-payment of annual fee