CN102880290B - 一种显示控制方法、装置及终端 - Google Patents
一种显示控制方法、装置及终端 Download PDFInfo
- Publication number
- CN102880290B CN102880290B CN201210305149.1A CN201210305149A CN102880290B CN 102880290 B CN102880290 B CN 102880290B CN 201210305149 A CN201210305149 A CN 201210305149A CN 102880290 B CN102880290 B CN 102880290B
- Authority
- CN
- China
- Prior art keywords
- reference object
- coordinates
- user
- display control
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 39
- 230000006698 induction Effects 0.000 claims abstract 3
- 230000008859 change Effects 0.000 claims description 41
- 230000033001 locomotion Effects 0.000 claims description 34
- 230000001815 facial effect Effects 0.000 claims description 16
- 238000009825 accumulation Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 17
- 230000009471 action Effects 0.000 abstract description 10
- 238000009434 installation Methods 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 17
- 210000001747 pupil Anatomy 0.000 description 9
- 210000003128 head Anatomy 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 210000004709 eyebrow Anatomy 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 206010048245 Yellow skin Diseases 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
为了解决当前终端显示控制技术依赖于手动操作的问题，本发明提供了一种显示控制方法、装置及终端。该装置包括用于周期性获取用户面部图像的获取模块，用于根据面部图像计算获取参照物坐标并与预设坐标进行比较的处理模块，用于根据处理结果执行操作的执行模块；该终端包括用于感应用户面部图像的感应装置、用于显示内容的显示装置及本发明提供的显示控制装置，显示控制装置通过感应装置周期性获取用户的面部图像，根据面部图像计算参照物坐标，并根据参照物坐标与预设值控制显示装置的显示。通过本发明的实施，用户不需要通过键盘、鼠标或触摸屏仅通过面部动作就可以实现对终端显示内容的控制，解放了用户的双手，增加了用户的使用体验。
Description
技术领域
本发明涉及终端显示应用领域，尤其涉及一种显示控制方法、装置及终端。
背景技术
随着手机、平板电脑等移动终端的普及，移动终端的各种附加功能也日趋增多，如摄像头、触摸屏等设备；目前移动终端用户控制屏幕显示（如电子书、网页、图片等的显示）的主要手段是通过键盘、鼠标或触摸屏控制终端设备的内容显示、如前后或上下翻页、字体或图片的缩放等。
通过键盘、鼠标或触摸屏控制终端显示的方式都存在一个明显的特点，即，至少需要用户使用手进行点击操作或手势控制；但是，在一些特殊情况下（如用餐时），用户由于双手都在使用而没有办法进行点击操作，同时，由于触摸屏是使用的接触式操作特点，很多操作容易被误判，如上下翻页时所产生意外的单击被认为是确认、取消或回退操作。
因此，如何在现有技术的基础上，提供一种全新的显示控制方法来解放终端用户的双手，是本领域技术人员亟待解决的问题。
发明内容
为了解决当前显示控制技术必须依赖于手动操作的问题，本发明提供了一种显示控制方法、装置及终端。
为了实现本发明的目的，本发明提供了一种基于面部动作来控制终端显示的显示控制方法、装置和终端；在一个实施例中，本发明提供的显示控制方法，包括以下步骤：
周期性获取用户的面部图像；
根据面部图像计算参照物坐标；
根据参照物坐标与预设坐标，执行操作。
进一步的，上述实施例中的参照物为面部图像中的任一点；预设坐标为用户在正常阅读当前显示内容时，参照物的空间坐标。
进一步的，在上述实施例中，根据参照物坐标与预设坐标，执行操作的步骤，具体包括两种实现方式：
根据参照物坐标与预设坐标，计算参照物的运动矢量，根据在预置时间段内中参照物运动矢量的变化，执行操作；或者
根据参照物坐标与预设值，确定参照物的空间位置；
根据在预置时间段内中参照物空间位置的变化，执行操作。
进一步的，在上述所有实施例中，当参照物为面部图像中的用户任一瞳孔中心点时，根据面部图像计算参照物坐标的具体步骤包括：
获取面部图像的RGB分量图像，选择红色分量图像；
将红色分量图像中各点的分量值与255做差，得到红色分量图像的反色图；
分别对反色图进行X轴和Y轴方向的累加和运算，获取确定X轴和Y轴方向的峰值坐标；
根据峰值坐标，确定参照物的坐标。
本发明也提供了一种基于面部图像的显示控制装置，在一个实施例中，该显示控制装置包括获取模块、处理模块和执行模块；其中，
获取模块，用于周期性获取用户的面部图像；
处理模块，用于根据面部图像计算获取参照物坐标，并与预设坐标进行比较，并向执行模块输出处理结果；
执行模块，用于根据处理结果执行操作。
同时，为了应用本发明提供的显示控制技术，本发明也提供了一种显示控制终端；在一个实施例中，该显示控制终端包括感应装置和显示装置、及本发明提供的显示控制装置；显示控制装置通过感应装置周期性获取用户的面部图像，根据面部图像计算参照物坐标，并根据参照物坐标与预设值控制显示装置的显示。
通过本发明的实施，提供了一种基于用户面部动作控制终端显示的技术，首先，该技术是基于用户面部图像进行显示控制的，彻底解放了用户的双手；其次，该技术是基于用户面部中参照物的相对坐标进行控制的，用户可以根据实际需要设置该参照物，给予了用户的多样的个性化选择的可能；再次，该技术工作原理简单，仅仅根据参照物空间位置或运算矢量的变化就实现了对终端显示的控制，对终端设备的硬件要求低；最后，该技术可以根据阅读时用户瞳孔位置的变化就可以实现控制，方便快捷；综上，通过本发明的实施，终端用户不需要通过键盘、鼠标或触摸屏仅通过面部动作就可以实现对终端显示内容的控制，增加了用户的使用体验。
附图说明
图1为本发明实施例中显示控制终端1的结构示意图；
图2为本发明实施例中显示控制装置12的结构示意图；
图3为本发明最佳实施例中显示控制装置12中处理模块122的结构示意图；
图4为本发明实施例中显示控制方法的流程图；
图5a为本发明一实施例中的参照物定位方法的流程图；
图5b为本发明一实施例中的面部图像示意图；
图6a为本发明一实施例中的显示控制方法的流程图；
图6b为本发明一实施例中的参照物空间位置变化的示意图；
图6c为本发明一实施例中的参照物空间位置变化的示意图；
图6d为本发明一实施例中的参照物空间位置变化的示意图；
图7a为本发明一实施例中的显示控制方法的流程图；
图7b为本发明一实施例中的参照物运动矢量变化的示意图；
图7c为本发明一实施例中的参照物运动矢量变化的示意图；
图7d为本发明一实施例中的参照物运动矢量变化的示意图；
图7e为本发明一实施例中的参照物运动矢量变化的示意图；
图7f为本发明一实施例中的参照物运动矢量变化的示意图；
图7g为本发明一实施例中的参照物运动矢量变化的示意图。
具体实施方式
下面通过具体实施方式结合附图的方式对本发明做出进一步的诠释说明。
为了解决现有的显示控制技术对用户双手的依赖，本发明提供了一种全新的显示控制技术，该显示控制技术通过终端设备对用户的面部（或头部）动作进行实时监控，计算用户面部参照物的当前坐标与设置坐标之间的位置或运算矢量的变化，来控制终端设备的显示。
图1为本发明实施例中显示控制终端1的结构示意图。
由图1可知，在一个实施例中，本发明提供的显示控制终端1包括用于感知用户面部（或头部）动作的感应装置11，用于显示内容的显示装置13，及用于控制显示装置的显示内容的显示控制装置12；显示控制装置12通过感应装置11获取用户的面部图像，进行一系列处理（该处理过程在下文进行详细的说明）之后，控制显示控制装置12的显示。
在上述实施例中，感应装置11包括但不局限于摄像头、红外感应装置及基于其他感应的感应装置；显示装置13包括但不局限于手机屏幕、电脑显示器、投影仪的显示布或室内外LED大屏幕等。
图2为图1所示的显示控制终端1中的显示控制装置12的结构示意图。
从图2可知，在一个实施例中，上述实施例中显示控制终端1所包含的显示控制装置12包括：包括获取模块121、处理模块122和执行模块123；其中，
获取模块121，用于周期性获取用户的面部图像，并将获取到的面部图像传输到处理模块122；
处理模块122，用于根据面部图像计算获取参照物坐标，并与预设坐标进行比较，并向执行模块123输出处理结果；
执行模块123，用于根据处理模块122传输到处理结果执行操作。
在上述实施例中，获取模块121是通过显示控制终端1中的感应装置11来获取用户面部图像的；执行模块123则用来控制显示控制终端1中的显示装置13的显示。
在一个实施例中，上述实施例中涉及的参照物为面部图像中的任一点，如用户的任一个瞳孔、鼻尖、甚至面部上的标记点都可以；预设坐标为用户在正常阅读当前显示内容时，所选取的参照物的空间坐标，需要说明的是，当终端设备通过小屏幕输出时，该参照物的空间坐标可以仅仅是一个坐标点，但是，当终端设备通过中型或大型屏幕输出时，该参照物的空间坐标就是一个坐标范围了，当然，该参照物的空间坐标类型并不影响本发明的实施。
图3为图2所示的显示控制装置12中处理模块122的结构示意图。
从图3可以看出，在本发明的一个最佳实施例中，图2所示显示控制装置12中处理模块122可以包括第一处理单元1221、第二处理单元1222、计算单元1223和存储单元1224，其中，
第一处理单元1221，用于根据所述参照物坐标与预设坐标，计算参照物的运动矢量；并根据在预置时间段内中，参照物运动矢量的变化，输出处理结果；
第二处理单元1222，用于根据所述参照物坐标与预设坐标，计算参照物的空间位置；并根据在预置时间段内中，参照物空间位置的变化，输出处理结果；
计算单元1223，用于当所述参照物为所述面部图像中用户瞳孔中心点中的一个或两个时，获取面部图像的RGB分量图像，选择红色分量图像；将所述红色分量图像中各点的分量值与255做差，得到所述红色分量图像的反色图；分别对所述反色图进行X轴和Y轴方向的累加和运算，获取确定X轴和Y轴方向的峰值坐标；根据所述峰值坐标，确定所述参照物坐标；当然，该计算单元1223主要是为了实现参照物的定位功能，其可以通过其他的定位方式实现参照物的定位；
存储单元1224，用于存储用户在正常阅读终端设备的当前显示内容时间，参照物的空间坐标点或空间坐标移动范围；当然，也可以用于存储该显示控制装置12的工作记录，便于用户进行校准等操作；同时，当计算单元1223能够实现数据闪存功能时，该存储单元1224的功能也可以由计算单元1223实现。
在上述实施例中，第一处理单元1221和第二处理单元1222并不是必须同时存在的，任一个处理单元都可以实现对参照物坐标和预设坐标的处理，两个处理单元仅仅是两种不同的数据处理机制而已。
图4是本发明提供的应用图1所示的显示控制终端1的显示控制方法在一个实施例中的流程图。
从图4可知，在一个实施例中，本发明提供的显示控制方法包括以下步骤：
S401：周期性获取用户的面部图像；
S402：根据面部图像计算参照物坐标；
S403：处理所述参照物坐标与预设坐标；
S404：根据处理结果，执行操作。
在一个实施例中，图4所示的显示控制方法中涉及的所述参照物为所述面部图像中的任一点或多点；所述预设坐标为用户在正常阅读当前显示内容时，所述参照物的空间坐标。
在一个实施例中，图4所示的显示控制方法中的步骤S403的实现方式至少包括两种，其步骤分别为：
根据参照物坐标与预设坐标，计算参照物的运动矢量；
根据在预置时间段内中参照物运动矢量的变化，执行操作；
或者
根据参照物坐标与预设值，确定参照物的空间位置；
根据在预置时间段内中参照物空间位置的变化，执行操作。
在一个实施例中，当用户设定的参照物为用户的瞳孔时，图4所示的显示控制方法中的步骤S402的实现方式包括以下步骤：
获取面部图像的RGB分量图像，选择红色分量图像；
将红色分量图像中各点的分量值与255做差，得到红色分量图像的反色图；
分别对反色图进行X轴和Y轴方向的累加和运算，获取确定X轴和Y轴方向的峰值坐标；
根据峰值坐标，确定参照物的坐标。
为了更好的说明本发明提供的显示控制技术，在以下的实施例中，结合实际生活对做本发明思想做进一步的诠释说明。
本发明的实施主要包括两个方面：面部图像中参照物的选取与定位方法及面部动作的分析及控制方法；下面分别进行说明。
面部图像中参照物的选取与定位方法：
图5a为本发明一实施例中的参照物定位方法的流程图；图5b为本发明一实施例中的面部图像示意图；
在选取参照物时，用户可以根据需要进行个性化的选择（如鼻尖、眉心红点等标记之类），当然，用户也可以使用默认设置，默认的参照物为用户的瞳孔中心点；
下面以一实施例说明本发明提供的显示控制技术；在该实施例中做以下假设：当用户为黄皮肤黑眼睛的黄种人、显示控制终端的感应装置为摄像头、显示控制终端的显示装置为移动手机的显示屏、用户使用显示控制终端默认的参照物时，由图5a可知，在一个实施例中，参照物的定位方法包括以下步骤：
S501：利用摄像头获取用户的面部图像；
适当调整摄像头的位置得到如说明书附图5b所示的面部图像；
S502：选择当前用户面部图像的RGB彩图中红色分量图像(R_img)作为预处理数据；
由于黄种人的黄皮肤（肉色）的RGB配比为R-255，G-204，B-102，而黑眼睛的瞳孔中心（为黑色）的RGB配比为R-0，G-0，B-0，可见红色色差是最突出的，选择红色分量进行计算误差最小，当然也可以选择其他颜色分量进行计算，不在重复说明；
S503：将红色分量图像R_img与255做差，得到红色分量反色图R_R_img；
这样大部分面部图像的像素数据都是0，而瞳孔中心（和眉毛）则成为255；
S504：对红色分量反色图分别在X轴和Y轴方向做累加和运算；
如附图5b所示：在X轴方向的累加会有两个峰值P_XL和P_XR，分别是左右眼瞳孔中心点，而在Y轴方向也会有两个峰值P_YU和P_YD，分别是眉毛和瞳孔中心点；
S505：确定参照物坐标；
剔除眉毛（P_YU）的干扰（由于眉毛永远在眼睛上面），因此只要保留Y轴坐标下面的峰值位置P_YD即可，此时就可以确定用户的左右瞳孔中心点的坐标，在按照用户选择或***模块的一个瞳孔作为参照物，记录参照物的坐标即可。
针对其他各种皮肤和各种颜色眼睛组合的用户，采用图5a所示的参照物定位方法时，可以根据在先获取的用户面部图像及RGB颜色查询对照表（http://www.114la.com/other/rgb.htm，下载网页的一个地址）确定选择用户面部图像RGB彩图中的那个分量图进行处理；该选择方式的过程，本领域的技术人员可以轻松实现，不在进行说明。
需要说明的是，图5a所示的定位方法可以由其他的参照物定位方法实现，如空间坐标定位，极坐标定位、红外位置定位等。
面部动作的分析及控制方法：
我们先约定几个用户日常的操作动作：屏幕内容移动，通过上下左右轻微转动头部完成，例如，需要看当前屏幕下一页的内容，用户只需微微向下低头，做出试图看到屏幕下面（视野之外）的动作；屏幕内容缩放，通过增大或减小用户面部与屏幕距离完成，例如，需要放大当前字体，用户做出微微靠近屏幕的动作；确认操作，用户点头；取消操作，用户摇头。当然，本发明提供的显示控制终端也支持用户设置自定义动作，如关闭等操作；
下面以实施例说明本发明提供的显示控制技术；在该实施例中做以下假设：参照物的坐标为三位空间坐标，预设坐标为用户在正常阅读终端设备当前显示内容时参照物的空间坐标移动范围，操作包括上下左右翻页（移动）、缩放、确认取消8个操作；
图6a为本发明提供的显示控制方法在一个实施例的流程图。
由图6a可知，在一个实施例中，本发明提供的显示控制方法包括以下步骤：
S601：计算并记录预设坐标；
利用图5a所示的参照物定位方法计算出用户在正常阅读终端设备当前显示内容时参照物的空间坐标移动范围；
S602：周期性获取用户的面部图像；
因为摄像设备都存在采样周期，此处获取用户面部图像的周期默认为摄像设备的采样周期；
S603：计算参照物坐标；
利用图5a所示的参照物定位方法计算出参照物在当前的面部图像中空间坐标；
S604：确定参照物的空间位置；
根据步骤S603中计算得到参照物坐标确定参照物当前空间位置；
S605：计算预置时间段内中参照物空间位置的变化；
预置时间段大小为用户设置的点头或摇头动作的执行时间T，当用户没有设置预置时间段大小时，该预置时间段大小为***默认时间长短（统计得到的人类点头或摇头的平均周期时间），起算时刻为参照物的空间位置在超出预设坐标的时刻；
例如该终端设备的采样周期是t，用户设置（或***默认）的点头/摇头的执行时间为T，则根据参照物的空间位置超出预设坐标范围的时刻起，记录在n个采样周期内参照物空间位置的变化，并根据该进行控制显示，其中n=T/t；图6b和图6c为该空间位置变化的示例；
S606：根据步骤S605得到的变化，执行操作；
操作包括上下左右翻页或移动、缩放、确认取消。
在上述实施例中，步骤S605得到参照物空间位置的变化可以是变化曲线图；现在假设预置时间段的时间长短是6个采样周期；在该时间段内，假设参照物空间位置的变化曲线图分别如图6b、图6c所示，其中，图6b所示的空间位置变化代表了摇头（即取消操场），图6c所示的空间位置变化代表了向右翻页的操作；在图6b、图6c中，1、2、3、4、5、6六个数字分别代表了在对应的用户面部图像中参照物的位置。
为了更直观说明在本发明中当显示控制装置检测到参照物的空间位置时，所代表的操作，以图6d说明，在预置时间段内，如果：
参照物一直在一区内运动，则向上翻页；
参照物一直在二区内运动，则向下翻页；
参照物一直在三区内运动，则向左翻页；
参照物一直在四区内运动，则向右翻页；
参照物在一、零、二区内来回运动，则代表点头操作；
参照物在三、零、四区内来回运动，则代表摇头操作；
在该实施例中，仅给出了参照物在平行于显示面的平面上运动的情况，在其他实施例中，参照物也可以在垂直于显示面的平面上运动，此时，可以采用三维坐标计算参照物的空间位置及空间位置的变化；如X轴代表左右方向、Y轴代表上下方向、Z轴代表前后方向，当参照物在Z轴方向运动时，Z轴坐标减小代表参照物靠近屏幕，放大显示内容，反之，缩小显示内容。
当然，用户可以根据需要自定义各动作所代表的操作，也可以自定义操作动作等，如视觉感知校正（当用户第一次使用设备时，需要分别注视屏幕的四个顶角，让摄像头记录下该用户参照物的空间坐标在屏幕范围内的游离距离，横向/纵向最大坐标，以及当前操作者目光锁定的屏幕位置，便于后面的操作准确度）、屏幕内容锁定（当分析出当前用户参照物坐标后，需要在屏幕上出现一个内容锁定光标，用以告知用户当前目光锁定的屏幕位置，如果操作者认为分析不准确，可以进一步做视觉感知校正，直到准确感知目光锁定的屏幕位置）等。
当然该显示控制方法还存在其他的实现方式，例如，图7a所示的方法；图7a为本发明提供的显示控制方法在另一个实施例的流程图。
由图7a可知，在一个实施例中，本发明提供的显示控制方法包括以下步骤：
S701：计算并记录预设坐标；和步骤S601相同；
S702：周期性获取用户的面部图像；和步骤S602相同；
S703：计算参照物坐标；和步骤S603相同；
S704：确定参照物的运动矢量；
根据步骤S603中计算得到参照物坐标减去预设坐标得到参照物的运动矢量；
S705：计算预置时间段内中参照物运动矢量的变化；
得到的参照物运动矢量的变化图如图7b至图7g所示；
S706：根据步骤S705得到的变化，执行操作。
在上述实施例中，步骤S705得到参照物运动矢量的变化是变化曲线图；现在假设预置时间段的时间长短是6个采样周期；在该时间段内，假设参照物运动矢量的变化曲线图分别如图7b至图7g所示（图中各箭头的大小及方向代表了，在六个面部图像中参照物与预设坐标相比发生的运动矢量），其中，
图7b所示的运动矢量变化代表了仰视（即向上移动或翻页）；
图7c所示的运动矢量变化代表了右移（即向右移动或翻页）；
图7d所示的运动矢量变化代表了俯视（即向下移动或翻页）；
图7e所示的运动矢量变化代表了左移（即向左移动或翻页）；
图7f所示的运动矢量变化代表了摇头（即取消或否定操作）；
图7g所示的运动矢量变化代表了点头（即确认或肯定操作）。
在该实施例中，仅给出了参照物在平行于显示面的平面上运动的情况，在其他实施例中，参照物也可以在垂直于显示面的平面上运动，此时，可以采用三维坐标计算参照物的空间位置及空间位置的变化；如X轴代表左右方向、Y轴代表上下方向、Z轴代表前后方向，当参照物在Z轴方向运动时，Z轴坐标减小代表参照物靠近屏幕，放大显示内容，反之，缩小显示内容。
上述两个实施例只是两种获得参照物位置变化的最佳方法，当然，也可以通过其他的方法获取参照物的位置变化，如图像对比方法（即：拍摄一样大小的图像之间，进行重叠比较）等。
通过本发明的实施，与现有技术相比存在以下进步：
首先，该技术是基于用户面部图像进行显示控制的，比现有技术中的按键、触屏、鼠标甚至手势控制技术都方便用户的使用，彻底解放了用户的双手；
其次，该技术是基于用户面部中参照物的相对坐标进行控制的，用户可以根据实际需要设置该参照物，如任一个瞳孔、鼻尖、甚至在面部做标记点都可以，给予了用户的多样的个性化选择的可能；
再次，该技术工作原理简单，仅仅根据参照物空间位置或运算矢量的变化就实现了对终端显示的控制，对终端设备的硬件要求低，使该技术可以更广阔的应用到日常生活；
最后，该技术可以根据阅读时用户瞳孔位置的变化就可以实现控制，方便快捷；
综上，通过本发明飞实施，终端用户不需要通过键盘、鼠标或触摸屏仅通过面部动作就可以实现对终端显示内容的控制，增加了用户的使用体验。
以上仅是本发明的具体实施方式而已，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施方式所做的任意简单修改、等同变化或修饰，均仍属于本发明技术方案的保护范围。
Claims (5)
1.一种显示控制方法，其特征在于，包括：
计算并记录预设坐标；
周期性获取用户的面部图像；
获取面部图像的RGB分量图像，选择红色分量图像；
将所述红色分量图像中各点的分量值与255做差，得到所述红色分量图像的反色图；
分别对所述反色图进行X轴和Y轴方向的累加和运算，获取确定X轴和Y轴方向的峰值坐标；
根据所述峰值坐标，确定参照物的坐标；
根据所述参照物坐标与预设坐标，计算参照物的运动矢量；
根据在预置时间段内中参照物运动矢量的变化，执行操作。
2.如权利要求1所述的显示控制方法，其特征在于，所述参照物为所述面部图像中的任一点或多点。
3.一种显示控制装置，其特征在于，包括获取模块、处理模块和执行模块；
所述获取模块，用于周期性获取用户的面部图像；
所述处理模块，用于根据所述面部图像计算获取参照物坐标，并与预设坐标进行比较处理，并向所述执行模块输出处理结果，所述预设坐标为在所述获取模块周期性获取用户的面部图像前计算得到的；所述处理模块包括第一处理单元，用于根据所述参照物坐标与预设坐标，计算参照物的运动矢量，并根据在预置时间段内中，参照物运动矢量的变化，输出处理结果；所述处理模块包括计算单元；所述计算单元，用于当所述参照物为所述面部图像中用户瞳孔中心点中的一个或两个时，获取面部图像的RGB分量图像，选择红色分量图像，将所述红色分量图像中各点的分量值与255做差，得到所述红色分量图像的反色图，分别对所述反色图进行X轴和Y轴方向的累加和运算，获取确定X轴和Y轴方向的峰值坐标，根据所述峰值坐标，确定所述参照物坐标；
所述执行模块，用于根据所述处理结果执行操作。
4.如权利要求3所述的显示控制装置，其特征在于，所述参照物为所述面部图像中的任一点或多点。
5.一种显示控制终端，包括感应装置和显示装置，其特征在于，还包括如权利要求3至4任一项所述的显示控制装置；所述显示控制装置通过所述感应装置周期性获取用户的面部图像，根据面部图像计算参照物坐标，并根据参照物坐标与预设值控制所述显示装置的内容显示。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210305149.1A CN102880290B (zh) | 2012-08-24 | 2012-08-24 | 一种显示控制方法、装置及终端 |
| US14/421,067 US20150192990A1 (en) | 2012-08-24 | 2013-06-19 | Display control method, apparatus, and terminal |
| EP13831638.5A EP2879020B1 (en) | 2012-08-24 | 2013-06-19 | Display control method, apparatus, and terminal |
| PCT/CN2013/077509 WO2014029229A1 (zh) | 2012-08-24 | 2013-06-19 | 一种显示控制方法、装置及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210305149.1A CN102880290B (zh) | 2012-08-24 | 2012-08-24 | 一种显示控制方法、装置及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102880290A CN102880290A (zh) | 2013-01-16 |
| CN102880290B true CN102880290B (zh) | 2016-06-22 |
Family
ID=47481652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210305149.1A Active CN102880290B (zh) | 2012-08-24 | 2012-08-24 | 一种显示控制方法、装置及终端 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20150192990A1 (zh) |
| EP (1) | EP2879020B1 (zh) |
| CN (1) | CN102880290B (zh) |
| WO (1) | WO2014029229A1 (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102880290B (zh) * | 2012-08-24 | 2016-06-22 | 中兴通讯股份有限公司 | 一种显示控制方法、装置及终端 |
| CN103116403A (zh) * | 2013-02-16 | 2013-05-22 | 广东欧珀移动通信有限公司 | 一种屏幕切换方法及移动智能终端 |
| CN103279253A (zh) * | 2013-05-23 | 2013-09-04 | 广东欧珀移动通信有限公司 | 一种主题设置方法及终端设备 |
| CN103885579B (zh) * | 2013-09-27 | 2017-02-15 | 刘翔 | 终端显示方法 |
| CN104866506B (zh) * | 2014-02-25 | 2019-07-09 | 腾讯科技（深圳）有限公司 | 一种播放动画的方法及装置 |
| US9529428B1 (en) * | 2014-03-28 | 2016-12-27 | Amazon Technologies, Inc. | Using head movement to adjust focus on content of a display |
| CN105573608A (zh) * | 2014-10-11 | 2016-05-11 | 乐视致新电子科技（天津）有限公司 | 一种对人机交互中的操作状态进行显示的方法及装置 |
| CN105159451B (zh) * | 2015-08-26 | 2018-05-22 | 北京京东尚科信息技术有限公司 | 一种数字阅读的翻页方法和装置 |
| CN107067424B (zh) * | 2017-04-18 | 2019-07-12 | 北京动视科技有限公司 | 一种击球影像生成方法及*** |
| CN108171155A (zh) * | 2017-12-26 | 2018-06-15 | 上海展扬通信技术有限公司 | 一种图像缩放方法及终端 |
| CN110046533A (zh) * | 2018-01-15 | 2019-07-23 | 上海聚虹光电科技有限公司 | 用于生物特征识别的活体检测方法 |
| CN108170282A (zh) * | 2018-01-19 | 2018-06-15 | 百度在线网络技术（北京）有限公司 | 用于控制三维场景的方法和装置 |
| CN112596605A (zh) * | 2020-12-14 | 2021-04-02 | 清华大学 | 一种ar眼镜控制方法、装置、ar眼镜及存储介质 |
| CN113515190A (zh) * | 2021-05-06 | 2021-10-19 | 广东魅视科技股份有限公司 | 一种基于人体手势的鼠标功能实现方法 |
| CN115793845B (zh) * | 2022-10-10 | 2023-08-08 | 北京城建集团有限责任公司 | 一种基于全息影像的智慧展厅*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102012742A (zh) * | 2010-11-24 | 2011-04-13 | 广东威创视讯科技股份有限公司 | 一种眼睛鼠标的校正方法及其装置 |
| CN102081503A (zh) * | 2011-01-25 | 2011-06-01 | 汉王科技股份有限公司 | 基于视线追踪自动翻页的电子阅读器及其方法 |
| CN102116606A (zh) * | 2009-12-30 | 2011-07-06 | 重庆工商大学 | 以一维三基色峰谷为特征测量轴向位移的方法及装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6419638B1 (en) * | 1993-07-20 | 2002-07-16 | Sam H. Hay | Optical recognition methods for locating eyes |
| US6134339A (en) * | 1998-09-17 | 2000-10-17 | Eastman Kodak Company | Method and apparatus for determining the position of eyes and for correcting eye-defects in a captured frame |
| US6925122B2 (en) * | 2002-07-25 | 2005-08-02 | National Research Council | Method for video-based nose location tracking and hands-free computer input devices based thereon |
| CN1293446C (zh) * | 2005-06-02 | 2007-01-03 | 北京中星微电子有限公司 | 一种非接触式目控操作***和方法 |
| CN101576800A (zh) * | 2008-05-06 | 2009-11-11 | 纬创资通股份有限公司 | 驱动电子装置显示页面卷动的方法与装置 |
| JP5387557B2 (ja) * | 2010-12-27 | 2014-01-15 | カシオ計算機株式会社 | 情報処理装置及び方法、並びにプログラム |
| CN102880290B (zh) * | 2012-08-24 | 2016-06-22 | 中兴通讯股份有限公司 | 一种显示控制方法、装置及终端 |
-
2012
- 2012-08-24 CN CN201210305149.1A patent/CN102880290B/zh active Active
-
2013
- 2013-06-19 WO PCT/CN2013/077509 patent/WO2014029229A1/zh active Application Filing
- 2013-06-19 US US14/421,067 patent/US20150192990A1/en not_active Abandoned
- 2013-06-19 EP EP13831638.5A patent/EP2879020B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102116606A (zh) * | 2009-12-30 | 2011-07-06 | 重庆工商大学 | 以一维三基色峰谷为特征测量轴向位移的方法及装置 |
| CN102012742A (zh) * | 2010-11-24 | 2011-04-13 | 广东威创视讯科技股份有限公司 | 一种眼睛鼠标的校正方法及其装置 |
| CN102081503A (zh) * | 2011-01-25 | 2011-06-01 | 汉王科技股份有限公司 | 基于视线追踪自动翻页的电子阅读器及其方法 |
Non-Patent Citations (1)
| Title |
|---|
| 图像特征点定位算法研究及其应用;杨利敏;《中国博士学位论文全文数据库》;20080631;第I138-33页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102880290A (zh) | 2013-01-16 |
| WO2014029229A1 (zh) | 2014-02-27 |
| US20150192990A1 (en) | 2015-07-09 |
| EP2879020A1 (en) | 2015-06-03 |
| EP2879020A4 (en) | 2015-08-19 |
| EP2879020B1 (en) | 2018-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102880290B (zh) | 一种显示控制方法、装置及终端 | |
| EP3608755B1 (en) | Electronic apparatus operated by head movement and operation method thereof | |
| US9651782B2 (en) | Wearable tracking device | |
| EP2821905A1 (en) | Three-dimensional display-based curser operation method and mobile terminal | |
| CN109375765B (zh) | 眼球追踪交互方法和装置 | |
| KR20130108643A (ko) | 응시 및 제스처 인터페이스를 위한 시스템들 및 방법들 | |
| WO2015066308A1 (en) | System and method for enabling mirror video chat using a wearable display device | |
| WO2017057107A1 (ja) | 入力装置、入力方法、及びプログラム | |
| CN111527468A (zh) | 一种隔空交互方法、装置和设备 | |
| WO2020080107A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN106325482A (zh) | 触控屏的操控方法及终端设备 | |
| EP2261772A1 (en) | Method for controlling an input device based on the detection of attitude or eye gaze | |
| JP6319220B2 (ja) | 透過型ウェアラブル端末、データ処理装置、及びデータ処理システム | |
| CN110858095A (zh) | 可由头部操控的电子装置与其操作方法 | |
| EP2261857A1 (en) | Method for determining the position of an object in an image, for determining an attitude of a persons face and method for controlling an input device based on the detection of attitude or eye gaze | |
| KR20160055407A (ko) | 홀로그래피 터치 방법 및 프로젝터 터치 방법 | |
| KR20240032107A (ko) | 시력 검사 시스템 및 방법과 그 용도 | |
| Lee et al. | A new eye tracking method as a smartphone interface | |
| KR20110100987A (ko) | 시선 추적을 이용한 사용자 인터페이스 방법 및 이를 적용한 단말 | |
| KR20180044535A (ko) | 홀로그래피 스마트홈 시스템 및 제어방법 | |
| US20210349533A1 (en) | Information processing method, information processing device, and information processing system | |
| KR20150137908A (ko) | 홀로그래피 터치 방법 및 프로젝터 터치 방법 | |
| KR20220108417A (ko) | Hmd 핸드트래킹을 이용한 실기술 트레이닝 제공방법 | |
| WO2024020061A1 (en) | Devices, methods, and graphical user interfaces for providing inputs in three-dimensional environments | |
| CN116797643A (zh) | 获取vr中用户注视区域的方法、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |