CN111178152A - 一种基于三维头部建模的注意力检测提醒装置 - Google Patents

一种基于三维头部建模的注意力检测提醒装置 Download PDF

Info

Publication number
CN111178152A
CN111178152A CN201911253297.1A CN201911253297A CN111178152A CN 111178152 A CN111178152 A CN 111178152A CN 201911253297 A CN201911253297 A CN 201911253297A CN 111178152 A CN111178152 A CN 111178152A
Authority
CN
China
Prior art keywords
eye
head
camera
coordinates
device based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911253297.1A
Other languages
English (en)
Inventor
陈阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201911253297.1A priority Critical patent/CN111178152A/zh
Publication of CN111178152A publication Critical patent/CN111178152A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于三维头部建模的注意力检测提醒装置，可以实时检测电脑前正在听讲视频课程的用户是否走神，根据用户初始化个人面部参数和监测到的人脸特征点坐标和眼部特征点坐标，面部特征提取模块通过三维头部建模计算获得用于头部动作判断的欧拉角，眼部特征提取模块通过计算转换获得用于眼部动作判断的眼部纵横比，判决模块根据判断阈值通过对欧拉角和眼部纵横比进行比对，从而判断用户行为是否存在偏差，一旦判断得出用户在走神，通过报警器进行提醒。

Description

一种基于三维头部建模的注意力检测提醒装置
技术领域
本发明涉及检测报警***领域，尤其涉及一种基于三维头部建模的注意力检测提醒装置。
背景技术
随着教育信息化的发展,现代远程教育及网络化教学的蓬勃兴起,网络课程成为网络教学的基本要素。现在越来越多的学生都喜欢通过互联网学***。但是即使是大学生，也很难做到已知待在电脑前好好听课，总会有这样那样的事情或者声音打断连贯的学习。家长和老师也没有办法时刻进行监督，在没有人监督的情况下，学生无法确保能时刻集中注意力，走神后也没办法确定没有听讲的部分是课程内的哪一时间段，全部重新听讲会造成时间的浪费。
发明内容
本发明的目的是为了提供一种基于三维头部建模的注意力检测提醒装置，连接安装在电子设备和摄像设备上，通过监控用户脸部和眼部的动作，判断用户是否走神，从而做出警示。
为了实现上述目的，本发明提出一种基于三维头部建模的注意力检测提醒装置，包括以下步骤:
步骤1：进行用户面部信息的初始化信息设置，所述初始化信息包括头部3D模型的世界坐标系、所述摄像头的相机参数和判断用户行为合理的判断阈值；
步骤2：通过所述摄像头获取用户动作的图像；
步骤3：通过面部特征提取模块从所述图像中获取用户2D的人脸特征点坐标，通过眼部特征提取模块从所述图像中获取用户2D的眼部特征点坐标；
步骤4：根据所述世界坐标系、相机参数和人脸特征点坐标，进行相机校准，获取所述摄像头的相机坐标系；
步骤5：根据所述世界坐标系和所述相机坐标系求解出所述摄像头的旋转向量和平移矩阵；
步骤6：将所述旋转向量代入罗德里格斯变换公式，获得旋转矩阵；
步骤7：将所述平移矩阵和旋转矩阵代入分解计算公式，获得欧拉角，并将所述欧拉角输入判决模块；
步骤8：根据所述旋转向量和平移矩阵，将所述眼部特征点坐标进行坐标变换，获得眼部特征点变换坐标；
步骤9：根据所述眼部特征点变换坐标计算眼部纵横比，并将所述眼部纵横比输入所述判决模块；
步骤10：所述判决模块内通过所述判断阈值判断所述欧拉角和所述眼部纵横比的数值是否合理，所述判断阈值包括头部偏转值和眼部比值；
当所述欧拉角处于所述头部偏转值的区间内时，判断头部动作合理；
当所述欧拉角超出所述头部偏转值的区间内时，判断头部动作不合理，报警模块警示；
当所述眼部纵横比大于所述眼部比值时，判断眼部动作合理；
当所述眼部纵横比小于所述眼部比值时，判断眼部动作不合理，报警模块警示。
进一步地，在所述的基于三维头部建模的注意力检测提醒装置中，所述图像中具有68个头部关键点坐标；
所述面部特征提取模块仅从所述头部关键点坐标中选取14个所述人脸特征点坐标，包括左眉毛左角、左眉毛右角、右眉毛左角、右眉毛右角、左眼睛左角、左眼睛右角、右眼睛左角、右眼睛右角、鼻子左侧、鼻子右侧、嘴部左角、嘴部右角、嘴中部下侧和下巴；
所述眼部特征提取模块仅从所述头部关键点坐标中选取12个所述眼部特征点坐标，包括左眼和右眼的左眼角、左上眼睑、右上眼睑、右眼角、右下眼睑和左下眼睑。
进一步地，在所述的基于三维头部建模的注意力检测提醒装置中，在步骤1中，所述相机参数包括相机内参K和相机畸变系数C，
Figure BDA0002309623350000031
其中：(fx,fy)为相机焦距,取值为所述图像的长度及宽度；(u0,v0)为主点，取值为所述图像的中心点坐标；S为倾斜系数，取值为0；相机畸变系数C取值为0。
进一步地，在所述的基于三维头部建模的注意力检测提醒装置中，在步骤3中，所述相机校准的计算公式为：
Figure BDA0002309623350000032
Figure BDA0002309623350000041
其中：
Figure BDA0002309623350000042
为所述相机坐标系，R为所述旋转矩阵，N为所述平移矩阵，
Figure BDA0002309623350000043
为所述世界坐标系，
Figure BDA0002309623350000044
为所述图像坐标系，(u0,v0)为所述图像的中心点坐标。
进一步地，在所述的基于三维头部建模的注意力检测提醒装置中，在步骤4中，所述旋转向量的计算公式为：
Figure BDA0002309623350000045
其中：
Figure BDA0002309623350000046
为所述相机坐标系，PC为相机坐标；
Figure BDA0002309623350000047
为所述世界坐标系，PW为世界坐标；r为所述旋转向量。
进一步地，在所述的基于三维头部建模的注意力检测提醒装置中，在步骤5中，所述罗德里格斯变换公式为：
R＝cosθI+(1-cosθ)rrT+sinθr；
其中：R为所述旋转矩阵，I为单位向量，r为所述旋转向量,T为向量转置符号，θ为旋转角度，即θ为所述旋转向量的模。
进一步地，在所述的基于三维头部建模的注意力检测提醒装置中，所述旋转矩阵为R，所述欧拉角包括俯仰角θx、偏航角θz和滚转角θy，
Figure BDA0002309623350000051
θx＝atan2(R32，R33)；
Figure BDA0002309623350000052
θz＝atan2(R21，R11)。
进一步地，在所述的基于三维头部建模的注意力检测提醒装置中，在步骤10中，所述头部偏转值包括俯仰角阈值、偏航角阈值和滚转角阈值，所述俯仰角阈值为[-20°,+20°]，所述偏航角阈值为[-15°,+15°]，所述滚转角为[-20°,+20°]；所述眼部比值的阈值为0.2。
进一步地，在所述的基于三维头部建模的注意力检测提醒装置中，在步骤9中，所述眼部纵横比为EAR，
Figure BDA0002309623350000053
其中：P1为左眼角，P2为左上眼睑，P3为右上眼睑，P4为右眼角，P5为右下眼睑，P6为左下眼。
进一步地，在所述的基于三维头部建模的注意力检测提醒装置中，还设有三维建模模块，所述初始化信息还包括头部概念体3D坐标，在步骤5中，根据所述旋转向量和平移矩阵，将所述头部概念体3D坐标进行坐标变换，获得头部模型3D坐标，在所述三维建模模块内进行头部模型的动画制作。
与现有技术相比，本发明的有益效果主要体现在：可以实时检测电脑前正在听讲视频课程的用户是否走神，根据用户初始化个人面部参数和监测到的人脸特征点坐标和眼部特征点坐标，面部特征提取模块通过三维头部建模计算获得用于头部动作判断的欧拉角，眼部特征提取模块通过计算转换获得用于眼部动作判断的眼部纵横比，判断用户行为是否存在偏差，一旦判断得出用户在走神，通过报警器进行提醒。将对用户面部的特征的判断变换为对三维头部概念体的判断，降低运算量，同时便于用户观看自己不合理的行为。对眼部特征点同样进行了三维变换，保证了装置的判断精度不会简单随着场景的变换而降低。
附图说明
图1为本发明中基于三维头部建模的注意力检测提醒装置的流程示意图；
图2为本发明中计算眼部纵横比的眼部特征点变换坐标。
具体实施方式
下面将结合示意图对本发明的基于三维头部建模的注意力检测提醒装置进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明，而仍然实现本发明的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。
在本发明的描述中，需要说明的是，对于方位词，如有术语“中心”，“横向”、“纵向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示方位和位置关系为基于附图所示的方位或位置关系，仅是为了便于叙述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定方位构造和操作，不能理解为限制本发明的具体保护范围。
在本发明中，除另有明确规定和限定，如有术语“组装”、“相连”、“连接”术语应作广义去理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；也可以是机械连接；可以是直接相连，也可以是通过中间媒介相连，可以是两个元件内部相连通。对于本领域普通技术人员而言，可以根据具体情况理解上述的术语在本发明中的具体含义。
在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
如图1所示，本发明提出一种基于三维头部建模的注意力检测提醒装置，包括以下步骤:
步骤1：进行用户面部信息的初始化信息设置，初始化信息包括头部3D模型的世界坐标系、头部概念体3D坐标、摄像头的相机参数和判断用户行为合理的判断阈值；相机参数包括相机内参K和相机畸变系数C，
Figure BDA0002309623350000071
其中：(fx,fy)为相机焦距,取值为所述图像的长度及宽度；(u0,v0)为主点，取值为所述图像的中心点坐标；S为倾斜系数，取值为0；相机畸变系数C取值为0。头部概念体3D坐标构成的头部概念体的脸部朝向面作为头部3D模型的世界系坐标。
步骤2：通过摄像头获取用户正在学习的视频，将图像一帧帧实时传输；根据获取的用户面部信息，图像中具有68个头部关键点坐标。
步骤3：通过面部特征提取模块从图像中获取用户2D的人脸特征点坐标，面部特征提取模块仅从68个头部关键点坐标中选取14个人脸特征点坐标，包括左眉毛左角、左眉毛右角、右眉毛左角、右眉毛右角、左眼睛左角、左眼睛右角、右眼睛左角、右眼睛右角、鼻子左侧、鼻子右侧、嘴部左角、嘴部右角、嘴中部下侧和下巴；
通过眼部特征提取模块从图像中获取用户2D的眼部特征点坐标，眼部特征提取模块仅从68个头部关键点坐标中选取12个眼部特征点坐标，包括左眼和右眼的左眼角、左上眼睑、右上眼睑、右眼角、右下眼睑和左下眼睑。
步骤4：根据世界坐标系、相机参数和人脸特征点坐标，进行相机校准，获取摄像头的相机坐标系，用户可能使用的是笔记本电脑自带的摄像头，或者是USB摄像头进行图像采集，摄像头的摆放位置会直接影响到用户行为检测的精度，故需提前进行相机校准，相机校准的计算公式为：
Figure BDA0002309623350000081
其中：
Figure BDA0002309623350000082
为所述相机坐标系，R为所述旋转矩阵，N为所述平移矩阵，
Figure BDA0002309623350000091
为所述世界坐标系，
Figure BDA0002309623350000092
为所述图像坐标系，(u0,v0)为所述图像的中心点坐标。
步骤5：根据世界坐标系和相机坐标系求解出摄像头的旋转向量和平移矩阵；
旋转向量的计算公式为：
Figure BDA0002309623350000093
其中：
Figure BDA0002309623350000094
为所述相机坐标系，PC为相机坐标；
Figure BDA0002309623350000095
为所述世界坐标系，PW为世界坐标；r为所述旋转向量。
步骤6：进入三维建模模块，根据旋转向量和平移矩阵，将初始化信息种预设的头部概念体3D坐标进行坐标变换，获得头部模型3D坐标，在三维建模模块内进行头部模型的动画制作，方便直观的通过头部模型的动画动作进行判断用户是否正在学习，也便于与判决模块得出的结论做对比。
步骤7：将旋转向量代入罗德里格斯变换公式，获得旋转矩阵；
罗德里格斯变换公式为：
R＝cosθI+(1-cosθ)rrT+sinθr；
其中：R为所述旋转矩阵，r为所述旋转向量,T为向量转置符号，θ为旋转角度，即θ为所述旋转向量的模。
步骤8：将平移矩阵和旋转矩阵代入分解计算公式，获得欧拉角，并将欧拉角输入判决模块；其中：旋转矩阵为R，欧拉角包括俯仰角θx、偏航角θz和滚转角θy，
Figure BDA0002309623350000101
θx＝atan2(R32，R33)；
Figure BDA0002309623350000102
θz＝atan2(R21，R11)。
步骤9：根据旋转向量和平移矩阵，将眼部特征点坐标进行坐标变换，获得眼部特征点变换坐标，如果不进行坐标变换，仅仅是简单的判断长宽比，会因为用户头部角度的不同，出现错误判断，造成精确度很低的情况；
步骤10：如图2所示，根据眼部特征点变换坐标计算眼部纵横比，并将眼部纵横比输入判决模块，便于进行眼部细节判断。眼睛的长宽比在眼睛张开的时候大致是恒定的，但是在闭眼时会降至阈值以下。利用眼部纵横比能判断用户是在认真听课还是在昏昏欲睡。
眼部纵横比为EAR，
Figure BDA0002309623350000103
其中：P1为左眼角，P2为左上眼睑，P3为右上眼睑，P4为右眼角，P5为右下眼睑，P6为左下眼。
步骤11：判决模块内通过判断阈值判断欧拉角和眼部纵横比的数值是否合理，判断阈值包括头部偏转值和眼部比值；
头部偏转值用于判断用户头部偏移情况，头部偏转值包括俯仰角阈值、偏航角阈值和滚转角阈值，俯仰角阈值为[-20°,+20°]，用于判断用户抬头低头是否在合理区间；偏航角阈值为[-15°,+15°]，用于判断用户左右摆头是否在合理区间；滚转角为[-20°,+20°]，用于判断用户侧向歪头是否在合理区间。
当欧拉角处于头部偏转值的区间内时，判断头部动作合理；
当欧拉角超出头部偏转值的区间内时，判断头部动作不合理，报警器响；
眼部比值用于判断用户眼部闭合情况，眼部比值的阈值为0.2。
当眼部纵横比大于眼部比值时，判断眼部动作合理；
当眼部纵横比小于眼部比值时，判断眼部动作不合理，报警器响。
并在屏幕上对用户进行提醒，从而使用户再次认真听课。
综上，在本实施例中，提出的基于三维头部建模的注意力检测提醒装置，可以实时检测电脑前正在听讲视频课程的用户是否走神，根据用户初始化个人面部参数和监测到的人脸特征点坐标和眼部特征点坐标，面部特征提取模块通过三维头部建模计算获得用于头部动作判断的欧拉角，眼部特征提取模块通过计算转换获得用于眼部动作判断的眼部纵横比，判决模块根据判断阈值通过对欧拉角和眼部纵横比进行比对，从而判断用户行为是否存在偏差，一旦判断得出用户在走神，通过报警器进行提醒。
上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (10)

1.一种基于三维头部建模的注意力检测提醒装置，其特征在于，包括以下步骤:
步骤1：进行用户面部信息的初始化信息设置，所述初始化信息包括头部3D模型的世界坐标系、所述摄像头的相机参数和判断用户行为合理的判断阈值；
步骤2：通过所述摄像头获取用户动作的图像；
步骤3：通过面部特征提取模块从所述图像中获取用户2D的人脸特征点坐标，通过眼部特征提取模块从所述图像中获取用户2D的眼部特征点坐标；
步骤4：根据所述世界坐标系、相机参数和人脸特征点坐标，进行相机校准，获取所述摄像头的相机坐标系；
步骤5：根据所述世界坐标系和所述相机坐标系求解出所述摄像头的旋转向量和平移矩阵；
步骤6：将所述旋转向量代入罗德里格斯变换公式，获得旋转矩阵；
步骤7：将所述平移矩阵和旋转矩阵代入分解计算公式，获得欧拉角，并将所述欧拉角输入判决模块；
步骤8：根据所述旋转向量和平移矩阵，将所述眼部特征点坐标进行坐标变换，获得眼部特征点变换坐标；
步骤9：根据所述眼部特征点变换坐标计算眼部纵横比，并将所述眼部纵横比输入所述判决模块；
步骤10：所述判决模块内通过所述判断阈值判断所述欧拉角和所述眼部纵横比的数值是否合理，所述判断阈值包括头部偏转值和眼部比值；
当所述欧拉角处于所述头部偏转值的区间内时，判断头部动作合理；
当所述欧拉角超出所述头部偏转值的区间内时，判断头部动作不合理，报警模块警示；
当所述眼部纵横比大于所述眼部比值时，判断眼部动作合理；
当所述眼部纵横比小于所述眼部比值时，判断眼部动作不合理，报警模块警示。
2.根据权利要求1所述的基于三维头部建模的注意力检测提醒装置，其特征在于，所述图像中具有68个头部关键点坐标；
所述面部特征提取模块仅从所述头部关键点坐标中选取14个所述人脸特征点坐标，包括左眉毛左角、左眉毛右角、右眉毛左角、右眉毛右角、左眼睛左角、左眼睛右角、右眼睛左角、右眼睛右角、鼻子左侧、鼻子右侧、嘴部左角、嘴部右角、嘴中部下侧和下巴；
所述眼部特征提取模块仅从所述头部关键点坐标中选取12个所述眼部特征点坐标，包括左眼和右眼的左眼角、左上眼睑、右上眼睑、右眼角、右下眼睑和左下眼睑。
3.根据权利要求1所述的基于三维头部建模的注意力检测提醒装置，其特征在于，在步骤1中，所述相机参数包括相机内参K和相机畸变系数C，
Figure FDA0002309623340000021
其中：(fx,fy)为相机焦距,取值为所述图像的长度及宽度；(u0,v0)为主点，取值为所述图像的中心点坐标；S为倾斜系数，取值为0；相机畸变系数C取值为0。
4.根据权利要求3所述的基于三维头部建模的注意力检测提醒装置，其特征在于，在步骤3中，所述相机校准的计算公式为：
Figure FDA0002309623340000031
Figure FDA0002309623340000032
其中：
Figure FDA0002309623340000033
为所述相机坐标系，R为所述旋转矩阵，N为所述平移矩阵，
Figure FDA0002309623340000034
为所述世界坐标系，
Figure FDA0002309623340000035
为所述图像坐标系，(u0,v0)为所述图像的中心点坐标。
5.根据权利要求1所述的基于三维头部建模的注意力检测提醒装置，其特征在于，在步骤4中，所述旋转向量的计算公式为：
Figure FDA0002309623340000036
其中：
Figure FDA0002309623340000037
为所述相机坐标系，PC为相机坐标；
Figure FDA0002309623340000038
为所述世界坐标系，PW为世界坐标；r为所述旋转向量。
6.根据权利要求1所述的基于三维头部建模的注意力检测提醒装置，其特征在于，在步骤5中，所述罗德里格斯变换公式为：
R＝cosθI+(1-cosθ)rrT+sinθr；
其中：R为所述旋转矩阵，I为单位向量，r为所述旋转向量,T为向量转置符号，θ为旋转角度，即θ为所述旋转向量的模。
7.根据权利要求1所述的基于三维头部建模的注意力检测提醒装置，其特征在于，所述旋转矩阵为R，所述欧拉角包括俯仰角θx、偏航角θz和滚转角θy，
Figure FDA0002309623340000041
θx＝atan2(R32，R33)；
Figure FDA0002309623340000042
θz＝atan2(R21，R11)。
8.根据权利要求7所述的基于三维头部建模的注意力检测提醒装置，其特征在于，在步骤10中，所述头部偏转值包括俯仰角阈值、偏航角阈值和滚转角阈值，所述俯仰角阈值为[-20°,+20°]，所述偏航角阈值为[-15°,+15°]，所述滚转角为[-20°,+20°]；所述眼部比值的阈值为0.2。
9.根据权利要求1所述的基于三维头部建模的注意力检测提醒装置，其特征在于，在步骤9中，所述眼部纵横比为EAR，
Figure FDA0002309623340000043
其中：P1为左眼角，P2为左上眼睑，P3为右上眼睑，P4为右眼角，P5为右下眼睑，P6为左下眼。
10.根据权利要求1所述的基于三维头部建模的注意力检测提醒装置，其特征在于，还设有三维建模模块，所述初始化信息还包括头部概念体3D坐标，在步骤5中，根据所述旋转向量和平移矩阵，将所述头部概念体3D坐标进行坐标变换，获得头部模型3D坐标，在所述三维建模模块内进行头部模型的动画制作。
CN201911253297.1A 2019-12-09 2019-12-09 一种基于三维头部建模的注意力检测提醒装置 Pending CN111178152A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911253297.1A CN111178152A (zh) 2019-12-09 2019-12-09 一种基于三维头部建模的注意力检测提醒装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911253297.1A CN111178152A (zh) 2019-12-09 2019-12-09 一种基于三维头部建模的注意力检测提醒装置

Publications (1)

Publication Number Publication Date
CN111178152A true CN111178152A (zh) 2020-05-19

Family

ID=70653836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911253297.1A Pending CN111178152A (zh) 2019-12-09 2019-12-09 一种基于三维头部建模的注意力检测提醒装置

Country Status (1)

Country Link
CN (1) CN111178152A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112187A (zh) * 2021-05-13 2021-07-13 北京一起教育科技有限责任公司 一种学生注意力的评估方法、装置和电子设备
CN114201054A (zh) * 2022-02-18 2022-03-18 深圳佑驾创新科技有限公司 一种基于头部姿态实现非接触式人机交互的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840565A (zh) * 2019-01-31 2019-06-04 成都大学 一种基于眼部轮廓特征点纵横比的眨眼检测方法
CN110188728A (zh) * 2019-06-06 2019-08-30 四川长虹电器股份有限公司 一种头部姿态估计的方法及***
CN110197169A (zh) * 2019-06-05 2019-09-03 南京邮电大学 一种非接触式的学习状态监测***及学习状态检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840565A (zh) * 2019-01-31 2019-06-04 成都大学 一种基于眼部轮廓特征点纵横比的眨眼检测方法
CN110197169A (zh) * 2019-06-05 2019-09-03 南京邮电大学 一种非接触式的学习状态监测***及学习状态检测方法
CN110188728A (zh) * 2019-06-06 2019-08-30 四川长虹电器股份有限公司 一种头部姿态估计的方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112187A (zh) * 2021-05-13 2021-07-13 北京一起教育科技有限责任公司 一种学生注意力的评估方法、装置和电子设备
CN114201054A (zh) * 2022-02-18 2022-03-18 深圳佑驾创新科技有限公司 一种基于头部姿态实现非接触式人机交互的方法

Similar Documents

Publication Publication Date Title
CN104951808B (zh) 一种用于机器人交互对象检测的3d视线方向估计方法
CN107103309A (zh) 一种基于图像识别的学生坐姿检测与纠正***
US9928404B2 (en) Determination device, determination method, and non-transitory storage medium
CN111178152A (zh) 一种基于三维头部建模的注意力检测提醒装置
JP2022514656A (ja) マルチカメラクロスリアリティデバイス
CN109872359A (zh) 坐姿检测方法、装置及计算机可读存储介质
CN111814556A (zh) 一种基于计算机视觉的教学辅助方法和***
US10880667B1 (en) Personalized equalization of audio output using 3D reconstruction of an ear of a user
CN112597814A (zh) 一种基于改进的Openpose课堂多人异常行为及口罩佩戴检测方法
CN114120357B (zh) 一种基于神经网络的防近视方法和装置
JP2019179235A (ja) インタラクティブ型のオンライン教育のリアルタイム監視の方法
CN113705349A (zh) 一种基于视线估计神经网络的注意力量化分析方法及***
CN114779922A (zh) 教学设备的控制方法、控制设备、教学***和存储介质
CN112949345A (zh) 疲劳监测方法及***、行车记录仪和智能座舱
US11281293B1 (en) Systems and methods for improving handstate representation model estimates
Narayanan et al. Estimation of driver head yaw angle using a generic geometric model
CN114708658A (zh) 一种在线学习专注度识别方法
CN112307855A (zh) 一种用户状态检测方法、装置、电子设备及存储介质
KR20140043174A (ko) 승마 시뮬레이터 및 승마 시뮬레이션 방법
CN109783999B (zh) 校园近视防控装置及方法
US20240251121A1 (en) Focus group apparatus and system
KR20130067856A (ko) 손가락 동작을 기반으로 하는 가상 악기 연주 장치 및 방법
KR102482841B1 (ko) 인공지능 미러링 놀이 가방
CN112926364A (zh) 头部姿态的识别方法及***、行车记录仪和智能座舱
Gogia et al. Multi-modal affect detection for learning applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200519