CN103558910A - 一种自动跟踪头部姿态的智能显示器*** - Google Patents

一种自动跟踪头部姿态的智能显示器*** Download PDF

Info

Publication number
CN103558910A
CN103558910A CN201310487330.3A CN201310487330A CN103558910A CN 103558910 A CN103558910 A CN 103558910A CN 201310487330 A CN201310487330 A CN 201310487330A CN 103558910 A CN103558910 A CN 103558910A
Authority
CN
China
Prior art keywords
image
head
coordinate system
display
processing module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310487330.3A
Other languages
English (en)
Other versions
CN103558910B (zh
Inventor
付梦印
陈尧
宋文杰
陈芃润
唐弘毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201310487330.3A priority Critical patent/CN103558910B/zh
Publication of CN103558910A publication Critical patent/CN103558910A/zh
Application granted granted Critical
Publication of CN103558910B publication Critical patent/CN103558910B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种自动跟踪头部姿态的智能显示器***，该***能够实时捕获人体头部姿态，并使显示器跟随头部随动，使得显示器始终与头部保持最佳位置，可以缓解眼部疲劳与预防近视。该***包括图像采集模块、视觉算法处理模块及显示器控制模块。图像采集模块用于对人体头部图像进行实时采集；视觉算法模块首先对图像进行预处理，使头部在图像中始终保持竖直位置，然后利用ASM主动形状模型算法提取图像中人脸部的特征点，最后根据三角测量原理获得头部的空间姿态，即俯仰角度与侧倾角度。头部姿态信息传至舵机控制模块后，经过单片机解算后形成PWM信号控制舵机使显示器在俯仰与侧倾两个自由度上跟随头部姿态。

Description

一种自动跟踪头部姿态的智能显示器***
技术领域
本发明涉及一种智能显示器***，具体涉及一种自动跟踪头部姿态的智能显示器***，属于智能识别技术领域。 
背景技术
显示器作为计算机不可或缺的人机交互终端，在我们工作生活中随处可见。现在的显示器姿态（即可视角度）仅能手动调节，不能根据使用者的头部姿态变化而自动调整。人眼横向清晰的视线区域为35°，纵向清晰视线区域为20°。头部姿态的改变，使清晰视线区域改变；此时若显示器姿态不变，则很难有清晰视觉且容易造成眼部疲劳。但频繁进行手动调节不仅麻烦，还不能保证显示器能够正好位于清晰视线区域内。 
要想实现显示器自动跟随头部姿态调整，必须保证头部姿态构建的精确度。在头部姿态构建过程中，人脸特征点定位是一个极其关键的步骤。人脸特征点定位为人脸图像的处理与分析提供了重要的几何信息，计算机在一幅人脸图像中自动地定位出人脸各个器官的准确位置以及人脸外轮廓等。特征点定位是人脸识别技术中的不可缺少的预处理环节，定位的准确与否直接关系到后续工作的可靠性。基于人脸图像特征的识别通常抽取人脸器官如眼睛、眉毛、鼻子和嘴巴等器官的位置、尺度以及彼此间的比率作为特征，进一步地可以用几何形状拟合人脸器官，从而以几何参数作为描述人脸的特征。 
目前依据检测的信息类型，人脸特征点定位方法大致可分为以下6类：(1)基于灰度信息的方法；(2)基于先验规则的方法；(3)基于统制的方法；(4)基于小波的方法；(5)3D方法；(6)基于几何形状的方法。 
总体来说，基于先验规则的方法准确率较低，对图像质量要求高，受表情姿态光照影响大，但有时也有运算量小的优势，适合与其他方法结合进行特征点定位。基于统计模型和小波的方法的共同优点是对图像质量要求低，受表情姿态光照影响小，而且准确率高，对样本的训练等方面也使得运算量大大提高，但该类方法是特征点定位方法的发展趋势和方向。3D方法是在处理视频序列中的人脸特征点定位方法，还不太成熟，有待进—步研究。基于几何形状的方法虽然也对图像质量要求高，受表情姿态光照影响大，但准确率较高，是目前为止该领域的主流算法。 
发明内容
有鉴于此，本发明提供一种自动跟踪头部姿态的智能显示器***，通过该***能够依据头部姿态的变化自动改变显示器姿态，让其始终与头部保持最佳位置，可以有效缓解眼部疲劳与预防近视。 
所述自动跟踪头部姿态的智能显示器***包括图像采集模块、视觉算法处理模块和显示器控制模块；所述图像采集模块包括单目摄像机，显示器控制模块包括显示器、舵机控制模块和侧倾舵机。 
所述单目摄像机位于显示器后上方的中间位置，单目摄像按照设定频率采集显示器前方使用者的头部图像，并将采集到的图像实时发送给视觉算法处理模块。所述视觉算法处理模块对接收到的头部图像数进行畸变校正，得到校正后的单目图像。所述视觉算法处理模块对校正后的单目图像进行人脸识别并提取脸部特征点，所述单目图像中的脸部特征点为左眼特征点和右眼特征点。 
所述视觉算法处理模块中建立有图像坐标系o′-x′y′；所述图像坐标系以单目摄像机成像平面左上角的像素为原点，水平方向为x轴，竖直方向为y轴；由此所述左眼特征点在图像坐标系o′-x′y′下的坐标为(x′a,y′a)，右眼特征点在图像坐标系o′-x′y′下的坐标为(x′b,y′b)；则当前头部侧倾角θ为： θ = arctan x a ′ - x b ′ y a ′ - y b ′ .
所述视觉算法处理模块将计算得到的头部侧倾角发送给舵机控制模块。所述舵机控制模块获得头部侧倾角度后，向侧倾舵机发送控制信号，侧倾舵机带动显示器侧倾相应角度，使显示器平面平行于使用者面部。 
所述图像采集模块中还包括由相同型号的左目摄像机和右目摄像形成的双目摄像机对，所述显示器控制模块中还包括俯仰舵机；所述左目摄像机和右目摄像机位于单目摄像机下方的左右两边，三个摄像机呈“品”字形摆放。 
所述左目摄像机和右目摄像机的光轴平行，左目摄像机和右目摄像机同时按照设定的频率采集显示器前方使用者的头部图像，并将同一时刻采集的两幅图像实时发送给视觉算法处理模块。所述视觉算法处理模块对同时接收到的两幅图像进行畸变校正，得到校正后的双目图像对,分别为校正后的左目图像和校正后的右目图像。所述视觉算法处理模块对校正后的双目图像对分别进行人脸识别并分别提取脸部特征点，所述双目图像对中的脸部特征点为左眼特征点、右眼特征点和嘴部中点。 
所述视觉算法处理模块中建立有左目摄像机的图像坐标系ol-xlyl、右目摄像机的图像坐标系or-xryr及三维空间立体坐标系o-xyz；其中所述图像坐标系ol-xlyl、图像坐标系or-xryr的建立方法与图像坐标系o′-x′y′的建立方法相同；所述三维空间立体坐标系o-xyz以左目摄像机的投影中心为原点，xyz三坐标轴成右手坐标系，且z轴为双目摄像机对的主光轴方向。 
选取校正后的左目图像或右目图像中的一幅，以其三个特征点为基准进行俯仰角的计算：以选取校正后的左目图像为例，在三维空间立体坐标系o-xyz下，所述校正后的左目图像中左眼特征点的坐标为
Figure BDA0000397243740000031
右眼特征点的坐标为
Figure BDA0000397243740000032
嘴部中点的坐标为
Figure BDA0000397243740000033
其中所述xal为校正后的左目图像中左眼特征点在图像坐标系ol-xlyl中的横坐标，xar为校正后的右目图像中左眼特征点在图像坐标系or-xryr中的横坐标，xbl为校正后的左目图像中右眼特征点在图像坐标系ol-xlyl中的横坐标，xbr为校正后的右目图像中右眼特征点在图像坐标系or-xryr中的横坐标，xcl为校正后的左目图像中嘴部中点在图像坐标系ol-xlyl中的横坐标，xcr为校正后的右目图像中嘴部中点在图像坐标系or-xryr中的横坐标，T为左目摄像机和右目摄像机投影中心间的距离，f为左目摄像机和右目摄像机的焦距。 
设校正后的左目图像中左眼特征点与右眼特征点连线的中点为D点，则可获得D点的坐标(xdl,ydl,zdl)；则当前头部俯仰角
Figure BDA0000397243740000034
为：
Figure BDA0000397243740000035
所述视觉算法处理模块将计算得到的头部俯仰角发送给舵机控制模块；所述舵机控制模块获得头部俯仰角后，向俯仰舵机发送控制信号，俯仰舵机带动显示器俯仰相应角度，使显示器平面平行于使用者面部。 
当第i次检测后经视觉算法处理模块处理得到的实际侧倾角θi在[-5°,+5°]之间时，将实际侧倾角发送给舵机控制模块，并将当前状态作为初始状态，令θ0=0，然后进入以下工作循环，直至再次出现实际侧倾角在[-5°,+5°]之间的情况； 
（a）若视觉算法处理模块计算得到的侧倾角θj在[-15°,-5°)∪(+5°,+15°]范围内时，令当前实际侧倾角θs=θj+θ0，并将实际侧倾角θs发送给舵机控制模块，然后进入步骤（b）； 
若视觉算法处理模块无法完成人脸识别，则向舵机控制模块发送等待指令，侧倾舵机不动作，显示器保持当前姿态不变，然后进入步骤（c）； 
若视觉算法处理模块计算得到的侧倾角θj在[-5°,+5°]之间，则令当前实际侧倾角θs=θj+θ0，并将实际侧倾角θs发送给舵机控制模块，然后进入步骤（c）； 
（b）令初始侧倾角θ0=θj+θ0，视觉算法处理模块将下次接收到的头部图像侧倾-θj，然后进行人脸识别、特征点的提取及侧倾角的计算； 
（c）视觉算法处理模块对接收到的头部图像直接进行人脸识别、特征点的提取及侧倾角的计算。 
所述单目摄像机和双目摄像机对的俯仰角和高度均可调节。 
有益效果 
（1）该***能够实时捕捉人体头部的侧倾姿态，并且利用舵机控制模块实现显示器跟随头部姿态的调整其位置，使显示器始终与头部保持最佳视线位置，从而保护视力等。 
（2）增加双目摄像机对后，使该***能够实时捕捉人体头部的俯仰姿态，并实现显示器的自动跟随，从而进一步完善其使用性能。 
（3）视觉算法处理模块利用获取的头部图像进行预处理，能够获得更大的人脸识别范围；使对侧倾角度的检测被扩展至[-40°，+40°]；且可降低由于头部的下意识摆动而造成的显示器误摆动。 
（4）所述的摄像机高度和俯仰角可调，可以满足不同身高和坐姿的使用者，并获得更大的视角。 
附图说明
图1为实施例2所述***的控制流程框图； 
图2为实施例2所述***的安装示意图； 
图3为所述脸部特征点分布图； 
图4为头部正常姿态与侧倾姿态、俯仰姿态对比示意图； 
图5为建立的三维空间立体坐标系的示意图。 
其中：1-单目摄像机、2-左目摄像机、3-右目摄像机、4-支架、5-侧倾舵机、6-俯仰舵机、7-左眼特征点、8-右眼特征点、9-嘴部中点 
具体实施方式
下面结合附图和实施例，对本发明作进一步的详细说明。 
为便于描述，在此定义：下面两个实施例中所述的头部轴线为人面部左眼和右眼连线的 中点与嘴部中点的连线(即面部对称线)。在正常坐姿下（上身处于竖直状态）头部轴线垂直于水平面，头部轴线的方向随头部姿态的改变而改变。所述的最佳视线位置是指显示器平面平行于人面部，并且显示器左（右）侧边缘所在直线方向始终平行于人体头部轴线的位置。 
实施例1： 
在使用计算机时，使用者最易出现的即为头部的侧倾姿态，从而导致面部偏离最佳视线位置。所述侧倾姿态是指头部左右摆动时使头部轴线偏离竖直位置的姿态，如图4的中图所示。本实施例提供的***可以使显示器跟随人体头部侧倾姿态的改变实现自动跟随，使显示器始终与头部保持最佳视线位置。 
该***包括图像采集模块、视觉算法处理模块和显示器控制模块。其中图像采集模块为分辨率为640×480的单目摄像机1；视觉算法处理模块由计算机主机及其***电路组成；显示器控制模块包括显示器、侧倾舵机5、舵机控制模块及***电路。其各部分的连接关系为：单目摄像机1通过摄像机支架4安装在显示器后上方，所述单目摄像机1的俯仰角可调，便于进行不同视角的图像获取，即通过改变摄像机的俯仰角度，使不同身高与坐姿的使用者在正常坐姿下其头部始终位于单目摄像机采集图像的中间部分（即保证摄像机能够采集到完整的头部图像）；同时所述摄像机支架高度可调，以配合摄像机俯仰角度可调的特性扩展其使用范围。计算机主机通过USB连接线与单目摄像机相连，通过串口通讯模块与舵机控制模块相连，舵机控制模块控制侧倾舵机运转。所述显示器安装在显示器支架上，同时显示器支架上固定有侧倾舵机，显示器通过连接轴与侧倾舵机相连，用于实现显示器侧倾姿态的调整。 
该***的工作原理为：所述图像采集模块通过单目摄像机采集人体头部图像，并通过其内部的标定模块对获取的图像对进行矫正，然后将矫正后的图像发送给视觉算法处理模块；视觉算法处理模块基于主动形状模型（ASM）算法及双目立体视觉原理提取其接收到的图像中的特征点，并计算出头部侧倾的角度，然后将计算的角度值发送给显示器控制模块；显示器控制模块依据接收到的头部侧倾的角度值，通过控制侧倾舵机改变显示器姿态，使显示器始终与使用者头部保持最佳视线位置。 
下面结合图1中的单目模式对该***的工作流程进行详细描述： 
首次使用该***前，应先对所述单目摄像机进行标定，获得单目摄像机标定参数。摄像机标定的主要任务是确定表征摄像机内部属性的内部参数及表征切向与径向畸变的畸变参数，利用标定参数可以去除图像畸变。 
（101）使用前，调整单目摄像机的高度和俯仰角，使其适应使用者身高，保证使用者在正常坐姿时，单目摄像机能完整采集其头部图像，并尽量使采集的头部图像处于单目摄像 机所采集图像的中间位置。然后启动单目摄像机，单目摄像机以15帧/秒的频率采集使用者头部图像，并将所采集的图像实时发送给视觉算法处理模块。 
（102）视觉算法处理模块利用标定好的内部参数与畸变参数对接收到的头部图像进行畸变校正，得到校正后的头部图像。 
（103）面部特征点的提取： 
由于面部特征点位置不随表情变化而改变，可以被用来表征头部姿态。面部特征点提取前需进行人脸识别，本实施例中，视觉算法处理模块采用现在较为成熟的Viola Jones目标检测器在校正后的头部图像中进行人脸识别。所述Viola Jones目标检测器可以在图像中识别出图4左图所示的人脸（正常姿态的人脸），并且用矩形框选出人脸的位置。面部特征点提取运用了ASM算法，本实施例中获得的面部特征点为左眼特征点7（A点）与右眼特征点8（B点），如图3所示。 
（104）确定头部侧倾角度： 
为进行侧倾角度的计算，在所述视觉算法处理模块中建立有图像坐标系o′-x′y′。本实施例中所述图像坐标系以单目摄像机成像平面左上角的像素为原点，以水平方向为x轴（向右为正），以竖直方向为y轴（向下为正）.由此所述左眼特征点7在图像坐标系o′-x′y′下的坐标为(x′a,y′a)，右眼特征点8在图像坐标系o′-x′y′下的坐标为(x′b,y′b)；则当前头部侧倾角度即为左眼特征点7与右眼特征点8的连线与y轴的夹角θ：
（105）视觉算法处理模块通过串口通讯将计算得到的头部侧倾角度发送给舵机控制模块；舵机控制模块获得头部侧倾角度后，向侧倾舵机发送控制信号，侧倾舵机带动显示器侧倾相应角度，使显示器与头部保持最佳视线位置。在本实施例中，当计算得到的侧倾角度为正值时，显示器向左侧倾；当计算得到的侧倾角度为正值时，显示器向右侧倾。 
但是采用上述流程对于侧倾超过±15°的人脸，识别成功率很低。如果人脸无法识别，即无法获得人脸在图像中的位置，从而就无法运用ASM获取面部特征点，因此，在本实施例中引入一种拓展人脸检测范围的方法。这种方法针对侧倾姿态的人脸矫正，利用已获得的头部侧倾姿态信息，即侧倾角度θ对图像进行旋转补偿。 
本实施例中设不加补偿的人脸侧倾角为[-5°,+5°]。若在第i次检测时经视觉算法处理模块处理得到的实际侧倾角θi在[-5°,+5°]之间时，则将实际侧倾角发送给舵机控制模块，将当前状态作为初始状态，令θ0=0，然后进入以下工作循环，直至再次出现实际侧倾角在[-5°,+5°]之间的情况。 
（a）若视觉算法处理模块计算得到的侧倾角θj在[-15°,-5°)∪(+5°,+15°]范围内时，令当前实际侧倾角θs=θj+θ0，并将实际侧倾角θs发送给舵机控制模块，然后进入步骤（b）； 
若视觉算法处理模块无法完成人脸识别，则向舵机控制模块发送等待指令，侧倾舵机不动作，显示器保持当前姿态不变，然后进入步骤（c）； 
若视觉算法处理模块计算得到的侧倾角θj在[-5°,+5°]之间，则令当前实际侧倾角θs=θj+θ0，并将实际侧倾角θs发送给舵机控制模块，然后进入步骤（c）； 
（b）令初始侧倾角θ0=θj+θ0，视觉算法处理模块将下次接收到的头部图像侧倾-θj，然后进行人脸识别、特征点的提取及侧倾角的计算。 
（c）视觉算法处理模块对接收到的头部图像直接进行人脸识别、特征点的提取及侧倾角的计算。 
由于总可以找到实际侧倾角在[-5°,+5°]范围的情况，因此，***工作于上述过程的循环内。测试表明，采用上述方法对侧倾角度的检测可以被扩展至[-40°,+40°]，并且可以避免头部快速摆动导致的显示器快速摆动，一般而言，这样的摆动是下意识的，属于本设计要滤除的干扰。 
实施例2： 
实际中，头部姿态是侧倾、俯仰与侧旋的耦合，为进一步提高该***的使用性能，本实施例中增加了俯仰姿态的调整（侧旋姿态在使用计算机时不是常规姿态，在此忽略）；即同时考虑侧倾姿态与俯仰姿态，并将这两个自由度上的姿态进行独立分析。所述俯仰姿态是指头部轴线与计算机平面所成角度不为0的姿态，如图4中的右图所示。 
基于此，在实施例1所述的***中增加了俯仰舵机及由左目摄像机2和右目摄像机3形成的双目摄像机对及俯仰舵机。由此形成的自动跟踪头部姿态的智能显示器***如图2所示，该***可以使显示器跟随人体头部侧倾与俯仰姿态的改变实现自动跟随，使显示器始终与头部保持最佳视线位置。 
本实施例中双目摄像机对选用相同的型号，分辨率均为640×480。三个摄像机呈“品”字形摆放，均安装在摄像机支架上，其中双目摄像机对位于单目摄像机下方的左右两边。所述三个摄像机的俯仰角和高度均可调。俯仰舵机安装在显示器支架上，显示器通过另一根连接轴与俯仰舵机相连，用于实现显示器俯仰姿态的调整。计算机主机通过USB连接线与单目摄像机及双目摄像机对相连；同时计算机主机通过串口通讯模块与舵机控制模块相连，舵机控制模块控制侧倾舵机和俯仰舵机运转。 
本实施例中，依据图像采集方式的不同，具有以下两种工作模式：单目模式工作与双目工作模式。其中，单目工作模式下使用单目摄像机获取头部侧倾姿态并实现显示器随动功能，具体实现方式与实施例1相同。双目工作模式下使用双目摄像机对获取头部俯仰姿态和侧倾姿态并实现显示器随动功能。 
下面对该***的双目工作模式进行详细描述。 
首次使用该***前，先对所述双目摄像对进行标定，获得其标定参数。所述双目摄像对的标定参数是指利用摄像机标定方法得到的摄像机内部参数、外部参数以及畸变参数。然后利用标定参数可以去除图像畸变。 
（201）调整左目摄像机和右目摄像机的高度和俯仰角，保证两摄像机光轴平行；且使其使其适应使用的身高，保证显示器前使用者在正常坐姿时，左目摄像机和右目摄像机都能够完整采集其头部图像。然后启动双目摄像机对，双目摄像机对同时以15帧/秒的频率采集使用者头部图像，并将同一时刻采集的两幅图像实时发送给视觉算法处理模块。 
（202）视觉算法处理模块利用标定好的内部参数、畸变参数和外部参数对同时接收到的两幅图像进行畸变校正，得到校正后的左目图像和右目图像。 
（203）面部特征点的提取： 
本实施例中面部特征点的提取采用与实施例1中相同的人脸识别技术与人脸特征点定位技术，区别在于，本实施例中需分别获取校正后的左目图像和右目图像中的3个特征点：左眼特征点A、右眼特征点B和嘴部中点C。 
（204）确定头部侧倾角度俯仰角度： 
侧倾角度的获取方法与实施例1相同，选择校正后的左目图像和右目图像中的任意一个为基准计算即可。 
为计算俯仰角度，需在视觉算法处理模块中建立三维空间立体坐标系o-xyz，如图5所示。所述三维空间立体坐标系o-xyz的建立方法为：首先分别建立左目摄像机的图像坐标系ol-xlyl、右目摄像机的图像坐标系or-xryr，建立方法如实施例1中的图像坐标系o′-x′y′。 
所述三维空间立体坐标系o-xyz以左目摄像机的投影中心为原点，双目摄像机对的主光轴方向为z轴，且xyz三坐标轴成右手坐标系。本实施例中以校正后的左目图像中的三个特征点为基准进行俯仰角的计算。以选取校正后的左目图像为例，在三维空间立体坐标系o-xyz下所述校正后的左目图像中左眼特征点的坐标为
Figure BDA0000397243740000081
右眼特征点的坐标为 
Figure BDA0000397243740000091
嘴部中点的坐标为
Figure BDA0000397243740000092
其中所述xal为校正后的左目图像中左眼特征点在图像坐标系ol-xlyl中的横坐标，xar为校正后的右目图像中左眼特征点在图像坐标系or-xryr中的横坐标，xbl为校正后的左目图像中右眼特征点在图像坐标系ol-xlyl中的横坐标，xbr为校正后的右目图像中右眼特征点在图像坐标系or-xryr中的横坐标，xcl为校正后的左目图像中嘴部中点在图像坐标系ol-xlyl中的横坐标，xcr为校正后的右目图像中嘴部中点在图像坐标系or-xryr中的横坐标，T为左目摄像机和右目摄像机投影中心间的距离，f为左目摄像机和右目摄像机的焦距。 
则当前俯仰角度的获取方法为：设A点与B点连线的中点为D点，则可获得D点的坐标(xd,yd,zd）；头部俯仰角
Figure BDA0000397243740000093
即为D点与C点的连线与xOy平面的夹角，即当前头部轴线方向与xOy平面的夹角：
Figure BDA0000397243740000094
（205）视觉算法处理模块通过串口通讯将头部侧倾角度和头部俯仰角度传至显示器控制模块。显示器控制模块获得头部侧倾角度和俯仰角度后，分别向侧倾舵机及俯仰舵机发送控制信号，侧倾舵机和俯仰舵机带动显示器旋转相应角度，使显示器与头部保持最佳视线位置。 
对俯仰角不用进行补偿调整，侧倾角调整同单目模式，只是两幅图像同时旋转即可。 
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。 

Claims (4)

1.一种自动跟踪头部姿态的智能显示器***，其特征在于，包括图像采集模块、视觉算法处理模块和显示器控制模块；所述图像采集模块包括单目摄像机，显示器控制模块包括显示器、舵机控制模块和侧倾舵机；
所述单目摄像机位于显示器后上方的中间位置，单目摄像按照设定频率采集显示器前方使用者的头部图像，并将采集到的图像实时发送给视觉算法处理模块；
所述视觉算法处理模块对接收到的头部图像数进行畸变校正，得到校正后的单目图像；
所述视觉算法处理模块对校正后的单目图像进行人脸识别并提取脸部特征点，所述单目图像中的脸部特征点为左眼特征点和右眼特征点；
所述视觉算法处理模块中建立有图像坐标系o′-x′y′；所述图像坐标系以单目摄像机成像平面左上角的像素为原点，水平方向为x轴，竖直方向为y轴；由此所述左眼特征点在图像坐标系o′-x′y′下的坐标为(x′a,y′a)，右眼特征点在图像坐标系o′-x′y′下的坐标为(x′b,y′b)；则当前头部侧倾角θ为： θ = arctan x a ′ - x b ′ y a ′ - y b ′ ;
所述视觉算法处理模块将计算得到的头部侧倾角发送给舵机控制模块；
所述舵机控制模块获得头部侧倾角度后，向侧倾舵机发送控制信号，侧倾舵机带动显示器侧倾相应角度，使显示器平面平行于使用者面部。
2.如权利要求1所述的自动跟踪头部姿态的智能显示器***，其特征在于，所述图像采集模块中还包括由相同型号的左目摄像机和右目摄像形成的双目摄像机对，所述显示器控制模块中还包括俯仰舵机；所述左目摄像机和右目摄像机位于单目摄像机下方的左右两边，三个摄像机呈“品”字形摆放；
所述左目摄像机和右目摄像机的光轴平行，左目摄像机和右目摄像机同时按照设定的频率采集显示器前方使用者的头部图像，并将同一时刻采集的两幅图像实时发送给视觉算法处理模块；
所述视觉算法处理模块对同时接收到的两幅图像进行畸变校正，得到校正后的双目图像对,分别为校正后的左目图像和校正后的右目图像；
所述视觉算法处理模块对校正后的双目图像对分别进行人脸识别并分别提取脸部特征点，所述双目图像对中的脸部特征点为左眼特征点、右眼特征点和嘴部中点；
所述视觉算法处理模块中建立有左目摄像机的图像坐标系ol-xlyl、右目摄像机的图像坐标系or-xryr及三维空间立体坐标系o-xyz；其中所述图像坐标系ol-xlyl、图像坐标系or-xryr的建立方法与图像坐标系o′-x′y′的建立方法相同；所述三维空间立体坐标系o-xyz以左目摄像机的投影中心为原点，xyz三坐标轴成右手坐标系，且z轴为双目摄像机对的主光轴方向；
选取校正后的左目图像或右目图像中的一幅，以其三个特征点为基准进行俯仰角的计算：以选取校正后的左目图像为例，在三维空间立体坐标系o-xyz下，所述校正后的左目图像中左眼特征点的坐标为右眼特征点的坐标为
Figure FDA0000397243730000022
嘴部中点的坐标为其中所述xal为校正后的左目图像中左眼特征点在图像坐标系ol-xlyl中的横坐标，xar为校正后的右目图像中左眼特征点在图像坐标系or-xryr中的横坐标，xbl为校正后的左目图像中右眼特征点在图像坐标系ol-xlyl中的横坐标，xbr为校正后的右目图像中右眼特征点在图像坐标系or-xryr中的横坐标，xcl为校正后的左目图像中嘴部中点在图像坐标系ol-xlyl中的横坐标，xcr为校正后的右目图像中嘴部中点在图像坐标系or-xryr中的横坐标，T为左目摄像机和右目摄像机投影中心间的距离，f为左目摄像机和右目摄像机的焦距；
设校正后的左目图像中左眼特征点与右眼特征点连线的中点为D点，则可获得D点的坐标(xdl,ydl,zdl)；则当前头部俯仰角
Figure FDA0000397243730000024
为：
所述视觉算法处理模块将计算得到的头部俯仰角发送给舵机控制模块；
所述舵机控制模块获得头部俯仰角后，向俯仰舵机发送控制信号，俯仰舵机带动显示器俯仰相应角度，使显示器平面平行于使用者面部。
3.如权利要求1所述的自动跟踪头部姿态的智能显示器***，其特征在于，
当第i次检测后经视觉算法处理模块处理得到的实际侧倾角θi在[-5°，+5°]之间时，将实际侧倾角发送给舵机控制模块，并将当前状态作为初始状态，令θ0=0，然后进入以下工作循环，直至再次出现实际侧倾角在[-5°，+5°]之间的情况；
（a）若视觉算法处理模块计算得到的侧倾角θj在[-15°，-5°)∪(+5°，+15°]范围内时，令当前实际侧倾角θs=θj+θ0，并将实际侧倾角θs发送给舵机控制模块，然后进入步骤（b）；
若视觉算法处理模块无法完成人脸识别，则向舵机控制模块发送等待指令，侧倾舵机不动作，显示器保持当前姿态不变，然后进入步骤（c）；
若视觉算法处理模块计算得到的侧倾角θj在[-5°，+5°]之间，则令当前实际侧倾角θs=θj+θ0，并将实际侧倾角θs发送给舵机控制模块，然后进入步骤（c）；
（b）令初始侧倾角θ0=θj+θ0，视觉算法处理模块将下次接收到的头部图像侧倾-θj，然后进行人脸识别、特征点的提取及侧倾角的计算；
（c）视觉算法处理模块对接收到的头部图像直接进行人脸识别、特征点的提取及侧倾角的计算。
4.根据权利要求1或2所述的自动跟踪头部姿态的智能显示器***，其特征在于，所述单目摄像机和双目摄像机对的俯仰角和高度均可调节。
CN201310487330.3A 2013-10-17 2013-10-17 一种自动跟踪头部姿态的智能显示器*** Active CN103558910B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310487330.3A CN103558910B (zh) 2013-10-17 2013-10-17 一种自动跟踪头部姿态的智能显示器***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310487330.3A CN103558910B (zh) 2013-10-17 2013-10-17 一种自动跟踪头部姿态的智能显示器***

Publications (2)

Publication Number Publication Date
CN103558910A true CN103558910A (zh) 2014-02-05
CN103558910B CN103558910B (zh) 2016-05-11

Family

ID=50013187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310487330.3A Active CN103558910B (zh) 2013-10-17 2013-10-17 一种自动跟踪头部姿态的智能显示器***

Country Status (1)

Country Link
CN (1) CN103558910B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389570A (zh) * 2015-11-19 2016-03-09 吴建忠 一种人脸角度判定方法及其***
CN105975076A (zh) * 2016-05-09 2016-09-28 刘瑞 一种数字化艺术设计实验室
CN106060514A (zh) * 2016-07-06 2016-10-26 中国计量大学 多目视觉控制电视姿态的装置和方法
CN106354263A (zh) * 2016-09-09 2017-01-25 电子科技大学 基于面部特征追踪的实时人机交互***及其工作方法
CN106445133A (zh) * 2016-09-20 2017-02-22 惠州Tcl移动通信有限公司 一种跟踪脸部移动的显示调节的方法及***
CN106580470A (zh) * 2016-10-18 2017-04-26 南京医科大学附属口腔医院 基于双目视觉的头部定位方法及***
CN106919360A (zh) * 2017-04-18 2017-07-04 珠海全志科技股份有限公司 一种头部姿态补偿方法及装置
WO2017124929A1 (zh) * 2016-01-21 2017-07-27 腾讯科技（深圳）有限公司 确定人脸转动角度的方法、装置及计算机存储介质
CN107424392A (zh) * 2017-06-06 2017-12-01 徐君逸 一种防近视提醒装置
RU2652721C2 (ru) * 2016-06-08 2018-04-28 Публичное акционерное общество "Ракетно-космическая корпорация "Энергия" имени С.П. Королёва" Способ контроля действий находящегося на борту космического аппарата космонавта
CN108646912A (zh) * 2018-04-17 2018-10-12 上海与德通讯技术有限公司 显示设备的挂架的调整方法和显示设备
CN109240428A (zh) * 2018-11-10 2019-01-18 深圳市时造电子科技有限公司 一种智能调节一体机显示屏***
CN109376691A (zh) * 2018-11-22 2019-02-22 华南师范大学 人脸跟踪方法、装置、存储介质以及设备
CN109523755A (zh) * 2018-12-17 2019-03-26 石家庄爱赛科技有限公司 立体视觉坐姿提醒装置和提醒方法
CN109595438A (zh) * 2019-01-28 2019-04-09 西安驰高电子科技有限公司 显示器智能支架及其控制方法
CN110309750A (zh) * 2019-06-24 2019-10-08 火石信科(广州)科技有限公司 一种基于单目相机自动识别读写场景的方法
CN110896609A (zh) * 2018-09-27 2020-03-20 武汉资联虹康科技股份有限公司 一种用于经颅磁刺激治疗的tms定位导航方法
CN110896610A (zh) * 2018-09-27 2020-03-20 武汉资联虹康科技股份有限公司 一种经颅磁刺激诊疗设备
WO2020062773A1 (zh) * 2018-09-27 2020-04-02 武汉资联虹康科技股份有限公司 一种用于经颅磁刺激治疗的tms定位导航方法
CN111093548A (zh) * 2017-03-20 2020-05-01 精密成像有限公司 用于可视地辅助超声***的操作者的方法和***
CN111880577A (zh) * 2020-07-21 2020-11-03 东莞市霍晶光电科技有限公司 灯具转向控制方法、装置、***及计算机可读存储介质
CN112107125A (zh) * 2020-09-18 2020-12-22 电子科技大学 一种基于人脸识别的智能坐姿矫正方法
CN112432311A (zh) * 2020-11-13 2021-03-02 青岛海尔空调器有限总公司 空调显示装置、空调及其控制方法
CN114100085A (zh) * 2020-09-01 2022-03-01 四川爱派机器人科技有限公司 一种智能交互式运动人体减压方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090025022A1 (en) * 2007-07-19 2009-01-22 International Business Machines Corporation System and method of adjusting viewing angle for display
US20090167653A1 (en) * 2007-12-27 2009-07-02 Premier Image Technology(China) Ltd. Liquid crystal display and control method thereof
CN102053629A (zh) * 2010-10-29 2011-05-11 冠捷显示科技（厦门）有限公司 一种实现显示器位置自动调整的方法及其装置
CN102117074A (zh) * 2009-12-31 2011-07-06 鸿富锦精密工业（深圳）有限公司 显示器角度调整***及其使用方法
CN102237013A (zh) * 2010-04-29 2011-11-09 鸿富锦精密工业（深圳）有限公司 显示屏调整***、方法及具有该调整***的广告板
CN102323829A (zh) * 2011-07-29 2012-01-18 青岛海信电器股份有限公司 一种显示屏视角调整方法及显示设备
CN102547209A (zh) * 2012-02-06 2012-07-04 华为技术有限公司 视讯设备控制方法、装置及视讯***
CN102572282A (zh) * 2012-01-06 2012-07-11 鸿富锦精密工业（深圳）有限公司 智能追踪装置
CN103235645A (zh) * 2013-04-25 2013-08-07 上海大学 立地式显示界面自适应跟踪调节装置及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090025022A1 (en) * 2007-07-19 2009-01-22 International Business Machines Corporation System and method of adjusting viewing angle for display
US20090167653A1 (en) * 2007-12-27 2009-07-02 Premier Image Technology(China) Ltd. Liquid crystal display and control method thereof
CN102117074A (zh) * 2009-12-31 2011-07-06 鸿富锦精密工业（深圳）有限公司 显示器角度调整***及其使用方法
CN102237013A (zh) * 2010-04-29 2011-11-09 鸿富锦精密工业（深圳）有限公司 显示屏调整***、方法及具有该调整***的广告板
CN102053629A (zh) * 2010-10-29 2011-05-11 冠捷显示科技（厦门）有限公司 一种实现显示器位置自动调整的方法及其装置
CN102323829A (zh) * 2011-07-29 2012-01-18 青岛海信电器股份有限公司 一种显示屏视角调整方法及显示设备
CN102572282A (zh) * 2012-01-06 2012-07-11 鸿富锦精密工业（深圳）有限公司 智能追踪装置
CN102547209A (zh) * 2012-02-06 2012-07-04 华为技术有限公司 视讯设备控制方法、装置及视讯***
CN103235645A (zh) * 2013-04-25 2013-08-07 上海大学 立地式显示界面自适应跟踪调节装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
付梦印等: "一种基于单目视觉的移动机器人室内导航方法", 《光学技术》 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389570A (zh) * 2015-11-19 2016-03-09 吴建忠 一种人脸角度判定方法及其***
US10713812B2 (en) 2016-01-21 2020-07-14 Tencent Technology (Shenzhen) Company Limited Method and apparatus for determining facial pose angle, and computer storage medium
WO2017124929A1 (zh) * 2016-01-21 2017-07-27 腾讯科技（深圳）有限公司 确定人脸转动角度的方法、装置及计算机存储介质
CN106991367B (zh) * 2016-01-21 2019-03-19 腾讯科技（深圳）有限公司 确定人脸转动角度的方法和装置
CN106991367A (zh) * 2016-01-21 2017-07-28 腾讯科技（深圳）有限公司 确定人脸转动角度的方法和装置
CN105975076A (zh) * 2016-05-09 2016-09-28 刘瑞 一种数字化艺术设计实验室
RU2652721C2 (ru) * 2016-06-08 2018-04-28 Публичное акционерное общество "Ракетно-космическая корпорация "Энергия" имени С.П. Королёва" Способ контроля действий находящегося на борту космического аппарата космонавта
CN106060514A (zh) * 2016-07-06 2016-10-26 中国计量大学 多目视觉控制电视姿态的装置和方法
CN106354263A (zh) * 2016-09-09 2017-01-25 电子科技大学 基于面部特征追踪的实时人机交互***及其工作方法
CN106445133A (zh) * 2016-09-20 2017-02-22 惠州Tcl移动通信有限公司 一种跟踪脸部移动的显示调节的方法及***
CN106580470B (zh) * 2016-10-18 2019-04-02 南京医科大学附属口腔医院 基于双目视觉的头部定位方法及***
CN106580470A (zh) * 2016-10-18 2017-04-26 南京医科大学附属口腔医院 基于双目视觉的头部定位方法及***
CN111093548B (zh) * 2017-03-20 2024-04-16 精密成像有限公司 用于可视地辅助超声***的操作者的方法和***
CN111093548A (zh) * 2017-03-20 2020-05-01 精密成像有限公司 用于可视地辅助超声***的操作者的方法和***
CN106919360B (zh) * 2017-04-18 2020-04-14 珠海全志科技股份有限公司 一种头部姿态补偿方法及装置
CN106919360A (zh) * 2017-04-18 2017-07-04 珠海全志科技股份有限公司 一种头部姿态补偿方法及装置
CN107424392A (zh) * 2017-06-06 2017-12-01 徐君逸 一种防近视提醒装置
CN108646912A (zh) * 2018-04-17 2018-10-12 上海与德通讯技术有限公司 显示设备的挂架的调整方法和显示设备
CN110896609A (zh) * 2018-09-27 2020-03-20 武汉资联虹康科技股份有限公司 一种用于经颅磁刺激治疗的tms定位导航方法
CN110896610A (zh) * 2018-09-27 2020-03-20 武汉资联虹康科技股份有限公司 一种经颅磁刺激诊疗设备
WO2020062773A1 (zh) * 2018-09-27 2020-04-02 武汉资联虹康科技股份有限公司 一种用于经颅磁刺激治疗的tms定位导航方法
EP3858433A4 (en) * 2018-09-27 2021-11-24 Wuhan Znion Technology Co., Ltd SMT POSITIONING NAVIGATION METHOD USED FOR TRANSCRANIAL MAGNETIC STIMULATION TREATMENT
CN110896609B (zh) * 2018-09-27 2023-09-26 武汉资联虹康科技股份有限公司 一种用于经颅磁刺激治疗的tms定位导航方法
CN109240428A (zh) * 2018-11-10 2019-01-18 深圳市时造电子科技有限公司 一种智能调节一体机显示屏***
CN109240428B (zh) * 2018-11-10 2023-08-04 深圳市时造电子科技有限公司 一种智能调节一体机显示屏***
CN109376691A (zh) * 2018-11-22 2019-02-22 华南师范大学 人脸跟踪方法、装置、存储介质以及设备
CN109523755A (zh) * 2018-12-17 2019-03-26 石家庄爱赛科技有限公司 立体视觉坐姿提醒装置和提醒方法
CN109595438A (zh) * 2019-01-28 2019-04-09 西安驰高电子科技有限公司 显示器智能支架及其控制方法
CN110309750A (zh) * 2019-06-24 2019-10-08 火石信科(广州)科技有限公司 一种基于单目相机自动识别读写场景的方法
CN111880577A (zh) * 2020-07-21 2020-11-03 东莞市霍晶光电科技有限公司 灯具转向控制方法、装置、***及计算机可读存储介质
CN114100085A (zh) * 2020-09-01 2022-03-01 四川爱派机器人科技有限公司 一种智能交互式运动人体减压方法及装置
CN114100085B (zh) * 2020-09-01 2022-12-02 大爱医生集团(深圳)有限公司 一种智能交互式运动人体减压方法及装置
CN112107125A (zh) * 2020-09-18 2020-12-22 电子科技大学 一种基于人脸识别的智能坐姿矫正方法
CN112432311A (zh) * 2020-11-13 2021-03-02 青岛海尔空调器有限总公司 空调显示装置、空调及其控制方法

Also Published As

Publication number Publication date
CN103558910B (zh) 2016-05-11

Similar Documents

Publication Publication Date Title
CN103558910B (zh) 一种自动跟踪头部姿态的智能显示器***
CN108427503B (zh) 人眼追踪方法及人眼追踪装置
US10657903B2 (en) Display system and driving method for display panel
CN102831392B (zh) 一种远距离虹膜跟踪与采集装置及其方法
US10201273B2 (en) Method for determining ocular measurements using a consumer sensor
CN106022304B (zh) 一种基于双目相机的实时人体坐姿情况检测方法
CN103366157B (zh) 一种人眼视线距离的判断方法
CN105095893A (zh) 图像采集装置和方法
WO2023071884A1 (zh) 注视检测方法、电子设备的控制方法及相关设备
CN104036488B (zh) 一种基于双目视觉的人体姿态动作研究方法
CN106056092A (zh) 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
CN105447853A (zh) 飞行装置、飞行控制***及方法
CN101969539A (zh) 基于用户视角的电视自动转向方法
CN110309782A (zh) 一种基于红外与可见光双目***的活体人脸检测方法
CN110232389A (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
CN113221865A (zh) 单摄像头双眼虹膜图像采集方法及装置
CN206460516U (zh) 一种多路鱼眼相机双目标定装置
CN105809654A (zh) 目标对象跟踪方法、装置和立体显示设备及方法
CN107609516A (zh) 自适应眼动追踪方法
CN103827735A (zh) 用于测量佩戴眼镜的个体的形态几何参数的方法
CN105759973A (zh) 一种基于3d视线估计的远近距离人机交互***与方法
CN104122983A (zh) 一种屏幕显示方向调整方法及装置
CN106060514A (zh) 多目视觉控制电视姿态的装置和方法
CN112666705A (zh) 一种眼动追踪设备及眼动追踪方法
CN106570899A (zh) 一种目标物体检测方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant