CN106327484A - 一种用于牙医操作姿势评估的方法 - Google Patents

Abstract

本发明公开了一种用于牙医操作姿势评估的方法，先获取彩色图、3D深度图和重力方向向量等数据，再锁定靠近传感器视野中间部分的人体信息，然后提取出目标人体所在的三维区域，并使用阈值门限的方法和形态学的方法分割出区域中的人体；再使用随机森林的方法，提取关节点坐标的数学模型，根据关节点坐标计算多个夹角并根据夹角对牙医操作时的姿势分别进行分等级评价。本发明专门针对牙科医生操作姿势进行评估并提醒，评价指标非常有针对性，可有效降低牙医职业病的患病风险。

Description

一种用于牙医操作姿势评估的方法

技术领域

本发明涉及一种坐姿评价***，尤其涉及一种用于牙医操作姿势评估的方法。

背景技术

坐姿是现代职业人群工作中最常见的姿势。尤其是牙科医生，长时间不良坐姿使颈椎和腰椎持续失衡，增加了颈椎病和腰椎病的风险；加上操作过程中保持上臂张开的姿势，使的肩旋转肌肌腱炎的患病几率增加。良好的操作姿势习惯对牙科医生的健康尤其重要。但是良好姿势的养成需要监督和提示，目前市场上缺乏专门针对牙科医生操作姿势监控和评估的设备。

传统的姿势评价的方法使用动作捕捉器实现，但是这种方法必须要在接收评价的个体上安装相应的传感器设备，用户体验差。

发明内容

为了克服现有技术的不足，本发明提供一种用于牙医操作姿势评估的方法，专门针对牙医的坐姿进行评估，可有效降低牙医职业病的患病风险。

为此，本发明公开了一种用于牙医操作姿势评估的方法，包括如下步骤：

S1、使用传感器获取场景的彩色图、3D深度图和重力方向向量，并通过USB3.0数据线将这些数据实时传输到电脑；

S2、使用多人体检测算法，结合彩色图和3D深度图检测出人体所在的区域坐标，并根据这些区域的三维坐标，锁定靠近传感器视野中间部分的人体信息；

S3、提取出目标人体所在的三维区域，根据3D深度图中灰度表示像素与传感器距离的特点，使用阈值门限的方法和形态学的方法分割出区域中的人体；

S4、使用随机森林的方法，以大量的分割出人体的深度图片和相应的人体三维关节点坐标为样本进行训练，将任意初始像素带入，经N次循环得到可以用来提取关节点坐标的数学模型，提取的关节点包括：头部、颈部、胸部、腰部、左肩膀、右肩膀、左肘部、右肘部的关节点坐标；

S5、根据关节点坐标计算出颈部、背部、左上臂和右上臂的空间方向向量V1、V2、V3、V4，根据空间方向向量V1、V2、V3、V4夹角公式计算颈部与地面垂线的夹角a1、背部与地面垂线的夹角a2、左上臂与背部的夹角a3、右上臂与背部的夹角a4；

S6、根据夹角a1、a2、a3、a4对牙医操作时的颈部、背部和左右手臂姿势分别进行分等级评价，若角度在0～20度范围内为优秀，角度在20～30度范围内为良好，当角度>30度时给出姿势需要校正的提示。

优选地，所述传感器设于人体背后的斜上方，包括信号连接的高清彩色摄像头、红外3D成像模块、九轴加速度传感器。

所述步骤S4中：

训练样本为其中I表示分离出人体的深度图像，q表示深度图上采样的像素，为像素点q到所训练关节点的方向向量；

随机森林训练的目标函数为：其中Q是所有样本的集合，Q_s是集合的子集，

训练过程中要将集合不断的***成左右两个子集合Q_l和Q_r，训练的目标是使E(Q)取得最小值；

左右子集的分离函数为：

$f_{\mathrm{\θ}}(I,x)=d_I(x+\frac{t_1}{d_I\left(x\right)})-d_I(x+\frac{t_2}{d_I\left(x\right)});$

Q_l(φ)＝{S_i|f_θ(I,x)＜τ}，Q_r(φ)＝Q\Q_l(φ)；其中φ为要训练模型的参数，且φ＝(t₁,t₂,τ)。

所述步骤S5中，计算公式如下：

$a1=acos(V1\·V0/(\left|V1\right|\·\left|V0\right|\left)\right);$

$a2=acos(V2\·V0/(\left|V2\right|\·\left|V0\right|\left)\right);$

$a3=acos(V3\·V1/(\left|V3\right|\·\left|V1\right|\left)\right);$

$a4=acos(V4\·V1/(\left|V4\right|\·\left|V1\right|\left)\right);$

其中V0为地面垂线方向向量。

进一步地，还包括步骤S7、评价结果的展示，包括实时评估结果和评估的统计结果，实时评估结果通过界面显示和语音提醒给出，且语音提醒部分可根据需求进行选择，评估的统计结果通过统计每个等级占总体评估时间的比例来表示。

进一步地，还包括步骤S8、对场景进行实时录像和视频回放，在实时录像的同时对姿势判别指标和评估结果进行保存，在视频回放时同步显示评估结果，并在视频的进度条上标记出有问题的帧以方便查看。

与现有技术相比，本发明具有如下有益效果：

1.专门针对牙科医生操作姿势进行评估并提醒，评价指标非常有针对性，可有效降低牙医职业病的患病风险；

2.使用的传感器设于人体背后的斜上方，无须使用任何穿戴式传感设备，提升了用户体验；

3.对场景进行实时录像和视频回放，方便对评估过程进行回顾。

附图说明

图1为本发明中传感器的安装位置示意图；

图2为人体所在三维区域中的示意图；

图3为需提取的关节点的分布示意图。

具体实施方式

下面结合附图对本发明的实施例进行详述。

请参阅图1至图3，本发明提供一种用于牙医操作姿势评估的方法，包括如下步骤：

S1、使用传感器10获取场景的彩色图、3D深度图和重力方向向量，并通过USB3.0数据线将这些数据实时传输到电脑，其中传感器10设于人体20背后的斜上方，保证使用时人体在传感器10视野靠中间的位置；且传感器10包括信号连接的高清彩色摄像头、红外3D成像模块、九轴加速度传感器。

S2、使用快速且鲁棒性强的多人体检测算法，结合彩色图和3D深度图检测出人体所在的区域坐标，并根据这些区域的三维坐标，锁定靠近传感器视野中间部分的人体信息。

S3、提取出目标人体所在的三维区域，根据3D深度图中灰度表示像素与传感器距离的特点，使用阈值门限的方法和形态学的方法分割出区域中的人体。人体所在三维区域请参阅图2。

S4、使用随机森林的方法，以大量的分割出人体的深度图片和相应的人体三维关节点坐标为样本进行训练，将任意初始像素带入，经N次循环得到可以用来提取关节点坐标的数学模型，提取的关节点包括：头部1、颈部2、胸部3、腰部4、左肩膀5、右肩膀6、左肘部7、右肘部8的关节点坐标，具体请参阅图3。

训练样本为其中I表示分离出人体的深度图像，q表示深度图上采样的像素，为像素点q到所训练关节点的方向向量；

随机森林训练的目标函数为：其中Q是所有样本的集合，Q_s是集合的子集，

训练过程中要将集合不断的***成左右两个子集合Q_l和Q_r，训练的目标是使E(Q)取得最小值；

左右子集的分离函数为：

$f_{\mathrm{\θ}}(I,x)=d_I(x+\frac{t_1}{d_I\left(x\right)})-d_I(x+\frac{t_2}{d_I\left(x\right)});$

Q_l(φ)＝{S_i|f_θ(I,x)＜τ}，Q_r(φ)＝Q\Q_l(φ)；其中φ为要训练模型的参数，且φ＝(t₁,t₂,τ)。

S5、根据关节点坐标计算出颈部、背部、左上臂和右上臂的空间方向向量V1、V2、V3、V4，根据空间方向向量V1、V2、V3、V4夹角公式计算颈部与地面垂线的夹角a1、背部与地面垂线的夹角a2、左上臂与背部的夹角a3、右上臂与背部的夹角a4。

计算公式如下：

$a1=acos(V1\·V0/(\left|V1\right|\·\left|V0\right|\left)\right);$

$a2=acos(V2\·V0/(\left|V2\right|\·\left|V0\right|\left)\right);$

$a3=acos(V3\·V1/(\left|V3\right|\·\left|V1\right|\left)\right);$

$a4=acos(V4\·V1/(\left|V4\right|\·\left|V1\right|\left)\right);$

其中V0为地面垂线方向向量。

S6、根据夹角a1、a2、a3、a4对牙医操作时的颈部、背部和左右手臂姿势分别进行分等级评价，若角度在0～20度范围内为优秀，角度在20～30度范围内为良好，当角度>30度时给出姿势需要校正的提示。

S7、评价结果的展示，包括实时评估结果和评估的统计结果，实时评估结果通过界面显示和语音提醒给出，且语音提醒部分可根据需求进行选择，评估的统计结果通过统计每个等级占总体评估时间的比例来表示。

S8、对场景进行实时录像和视频回放，在实时录像的同时对姿势判别指标和评估结果进行保存，在视频回放时同步显示评估结果，并在视频的进度条上标记出有问题的帧以方便查看。

本发明专门针对牙科医生操作姿势进行评估并提醒，评价指标非常有针对性，可有效降低牙医职业病的患病风险；使用的传感器设于人体背后的斜上方，无须使用任何穿戴式传感设备，提升了用户体验；对场景进行实时录像和视频回放，方便对评估过程进行回顾。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种用于牙医操作姿势评估的方法，其特征在于，包括如下步骤：

S1、使用传感器获取场景的彩色图、3D深度图和重力方向向量，并通过USB3.0数据线将这些数据实时传输到电脑；

S2、使用多人体检测算法，结合彩色图和3D深度图检测出人体所在的区域坐标，并根据这些区域的三维坐标，锁定靠近传感器视野中间部分的人体信息；

S3、提取出目标人体所在的三维区域，根据3D深度图中灰度表示像素与传感器距离的特点，使用阈值门限的方法和形态学的方法分割出区域中的人体；

S4、使用随机森林的方法，以大量的分割出人体的深度图片和相应的人体三维关节点坐标为样本进行训练，将任意初始像素带入，经N次循环得到可以用来提取关节点坐标的数学模型，提取的关节点包括：头部、颈部、胸部、腰部、左肩膀、右肩膀、左肘部、右肘部的关节点坐标；

S5、根据关节点坐标计算出颈部、背部、左上臂和右上臂的空间方向向量V1、V2、V3、V4，根据空间方向向量V1、V2、V3、V4夹角公式计算颈部与地面垂线的夹角a1、背部与地面垂线的夹角a2、左上臂与背部的夹角a3、右上臂与背部的夹角a4；

S6、根据夹角a1、a2、a3、a4对牙医操作时的颈部、背部和左右手臂姿势分别进行分等级评价，若角度在0～20度范围内为优秀，角度在20～30度范围内为良好，当角度>30度时给出姿势需要校正的提示。

2.根据权利要求1所述的一种用于牙医操作姿势评估的方法，其特征在于，所述传感器设于人体背后的斜上方，包括信号连接的高清彩色摄像头、红外3D成像模块、九轴加速度传感器。

3.根据权利要求1所述的一种用于牙医操作姿势评估的方法，其特征在于，所述步骤S4中：

训练样本为其中I表示分离出人体的深度图像，q表示深度图上采样的像素，为像素点q到所训练关节点的方向向量；

随机森林训练的目标函数为：其中Q是所有样本的集合，Q_s是集合的子集，

训练过程中要将集合不断的***成左右两个子集合Q_l和Q_r，训练的目标是使E(Q)取得最小值；

左右子集的分离函数为：

$f_{\mathrm{\θ}}(I,x)=d_I\left(x+\frac{t_1}{d_I\left(x\right)}\right)-d_I\left(x+\frac{t_2}{d_I\left(x\right)}\right);$

Q_l(φ)＝{S_i|f_θ(I,x)＜τ}，Q_r(φ)＝Q\Q_l(φ)；其中φ为要训练模型的参数，且φ＝(t₁,t₂,τ)。

4.根据权利要求1所述的一种用于牙医操作姿势评估的方法，其特征在于，所述步骤S5中，计算公式如下：

a1＝acos(V1·V0/(|V1|·|V0|))；

a2＝acos(V2·V0/(|V2|·|V0|))；

a3＝acos(V3·V1/(|V3|·|V1|))；

a4＝acos(V4·V1/(|V4|·|V1|))；

其中，V0为地面垂线方向向量。

5.根据权利要求1所述的一种用于牙医操作姿势评估的方法，其特征在于，还包括步骤S7、评价结果的展示，包括实时评估结果和评估的统计结果，实时评估结果通过界面显示和语音提醒给出，且语音提醒部分可根据需求进行选择，评估的统计结果通过统计每个等级占总体评估时间的比例来表示。

6.根据权利要求1所述的一种用于牙医操作姿势评估的方法，其特征在于，还包括步骤S8、对场景进行实时录像和视频回放，在实时录像的同时对姿势判别指标和评估结果进行保存，在视频回放时同步显示评估结果，并在视频的进度条上标记出有问题的帧以方便查看。