CN103809737A - 一种人机交互方法及装置 - Google Patents

一种人机交互方法及装置 Download PDF

Info

Publication number
CN103809737A
CN103809737A CN201210452461.3A CN201210452461A CN103809737A CN 103809737 A CN103809737 A CN 103809737A CN 201210452461 A CN201210452461 A CN 201210452461A CN 103809737 A CN103809737 A CN 103809737A
Authority
CN
China
Prior art keywords
screen
sight line
variation
angle
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210452461.3A
Other languages
English (en)
Inventor
李颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201210452461.3A priority Critical patent/CN103809737A/zh
Priority to PCT/CN2013/073786 priority patent/WO2014075418A1/zh
Publication of CN103809737A publication Critical patent/CN103809737A/zh
Priority to US14/583,487 priority patent/US9740281B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明实施例公开了一种人机交互方法及装置,该方法包括:捕捉视线方向;根据所述视线方向判断视线与屏幕之间夹角的变化和/或用户与所述屏幕之间距离的变化;根据所述夹角的变化和/或所述距离的变化对屏幕显示内容进行相应操作。与上述方法相对应,上述装置包括:视线追踪单元,处理单元和执行单元。本发明能够不依赖于重力感应判断出用户的动作并对屏幕显示内容进行相应操作。

Description

一种人机交互方法及装置
技术领域
本发明涉及显示内容的操作,具体涉及一种人机交互方法及装置。 
背景技术
随着电子技术的发展和用户要求的提高,目前判断电子产品优劣的条件已经远远不是停留在硬件指标和技术指标上,注重用户体验和感受才是厂商赢得市场的关键。现有的很多电子产品如手机、平板电脑、MP3、MP4、游戏机等都能根据用户的相应动作做出相应的操作,如当用户翻转机身时自动翻转屏幕,甩动机身时切换界面、歌曲、视频,倾斜机身时屏幕中图像随之移动,赛车游戏中根据用户对机身左右摇摆控制屏幕中赛车方向等等。这些相比起以前只能通过键盘或者触屏操作的电子产品来说,用户体验大大的提高了。 
现有技术实现上述功能的方法多是基于重力感应原理,即利用压电效应,通过测量内部一片重物(目前电子产品内部多是采用重力感应芯片,重物和压电片做成一体)重力正交两个方向的分力大小来判断方向,从而判断用户的动作。重力感应的缺陷在于产品要在重力范围内使用,脱离重力范围后这些功能就会丧失。 
发明内容
本发明所述解决的技术问题是提供一种人机交互的方法及装置,能够不依赖于重力感应判断出用户的动作并对屏幕显示内容进行相应操作。 
本申请第一方面提供一种人机交互方法,包括: 
捕捉视线方向; 
根据所述视线方向判断视线与屏幕之间夹角的变化和/或用户与所述屏幕之间距离的变化; 
根据所述夹角的变化和/或所述距离的变化对屏幕显示内容进行相应操作。 
在第一种可能的实现方式中,所述捕捉视线方向包括: 
根据瞳孔-角膜反射方法提取视线特征参数,所述视线特征参数包括瞳孔中 心到角膜反射的向量; 
根据所述瞳孔中心到角膜反射的向量计算所述视线方向在所述屏幕上的坐标位置。 
结合第一方面的第一种可能的实现方式,在第二种可能的实现方式中,所述视线特征参数还包括视线特征向量,根据所述视线方向判断视线与屏幕之间夹角的变化和/或用户与所述屏幕之间距离的变化包括: 
根据所述视线特征向量计算用户和所述屏幕之间距离; 
根据所述用户和所述屏幕之间距离和所述坐标位置计算所述视线与屏幕之间夹角。 
结合第一方面及第一方面的第一种、第二种可能的实现方式,在第三种可能的实现方式中,所述根据所述夹角的变化对屏幕显示内容进行相应操作包括: 
根据所述夹角的变化控制屏幕显示内容沿屏幕竖直方向、水平方向或者对角线方向移动。 
结合第一方面及第一方面的第一种、第二种可能的实现方式,在第四种可能的实现方式中,所述根据所述夹角的变化对屏幕显示内容进行相应操作包括: 
根据所述夹角的变化控制屏幕显示内容向上一页或者下一页切换。 
结合第一方面及第一方面的第一种、第二种可能的实现方式,在第五种可能的实现方式中,所述根据所述距离的变化对屏幕显示内容进行相应操作包括: 
根据所述距离的变化调节屏幕显示内容的大小。 
本申请第二方面提供一种人机交互装置,包括: 
视线追踪单元,用于捕捉视线方向; 
处理单元,用于根据所述视线方向判断视线与屏幕之间夹角的变化和/或用户与所述屏幕之间距离的变化; 
执行单元,用于根据所述夹角的变化和/或所述距离的变化对屏幕显示内容进行相应操作。 
在第一种可能的实现方式中,所述视线追踪单元包括视线特征参数提取模块和坐标位置计算模块,其中: 
所述视线特征参数提取模块用于根据瞳孔-角膜反射方法提取视线特征参数,所述视线特征参数包括瞳孔中心到角膜反射的向量; 
所述坐标位置计算模块用于根据所述瞳孔中心到角膜反射的向量计算所述 视线方向在所述屏幕上的坐标位置。 
结合第二方面的第一种可能的实现方式,在第二种可能的实现方式中,所述视线特征参数还包括视线特征向量,所述处理单元包括距离计算模块和夹角计算模块,其中: 
所述距离计算模块用于根据所述视线特征向量计算用户和所述屏幕之间距离; 
所述夹角计算模块用于根据所述用户和所述屏幕之间距离和所述坐标位置计算所述视线与屏幕之间夹角。 
结合第二方面及第二方面的第一种、第二种可能的实现方式,在第三种可能的实现方式中,所述执行单元根据所述夹角的变化对屏幕显示内容进行相应操作的具体方式为: 
所述执行单元用于根据所述夹角的变化控制屏幕显示内容沿屏幕竖直方向、水平方向或者对角线方向移动。 
结合第二方面及第二方面的第一种、第二种可能的实现方式,在第四种可能的实现方式中,,所述执行单元根据所述夹角的变化对屏幕显示内容进行相应操作的具体方式为: 
所述执行单元用于根据所述夹角的变化控制屏幕显示内容向上一页或者下一页切换。 
结合第二方面及第二方面的第一种、第二种可能的实现方式,在第五种可能的实现方式中,所述执行单元根据所述距离的变化对屏幕显示内容进行相应操作的具体方式为: 
所述执行单元用于根据所述距离的变化调节屏幕显示内容的大小。 
本申请提供的人机交互方法及装置根据用户视线与屏幕夹角和用户与屏幕之间的距离的变化来对屏幕显示内容进行相应的操作,不依赖于重力感应,在脱离重力范围后用户仍能方便的操作屏幕,而且操作不需要用手控制,人机交互方式新颖,尤其适合残障人士阅读电子文档、查看图片、欣赏视频等。 
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述 中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。 
图1是本申请实施例提供的一种人机交互方法的流程图; 
图2是视线追踪的示意图; 
图3为屏幕划分25个点示意图; 
图4是视线与视线法向线重合时视线与屏幕之间夹角的示意图; 
图5~图8是不同类型的视线与屏幕之间夹角的示意图; 
图9是本申请实施例提供的一种人机交互装置的结构图; 
图10是本申请实施例提供的另一种人机交互装置的结构图; 
图11是本申请实施例提供的另一种人机交互装置的结构图。 
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。 
请参考图1,图1是本申请实施例提供的一种人机交互方法的流程图,包括: 
S101、捕捉视线方向。 
其中,捕捉用户眼睛的视线方向可以采用视线追踪技术,如图2所示,通过安装在显示器或者机身上的一个摄像头203和一个红外光源发射器202捕捉视线方向。视线追踪技术的方案可以采用基于眼睛视频分析(Video OculoGraphic,VOG)的非侵入式视线追踪技术,其基本原理是利用眼球转动时相对位置不变的某些眼部结构和特征作为参照,在位置变化特征和这些不变特征之间提取视线(Line of sight/point ofregard,LOS/POR)变化参数,然后通过几何模型或映射模型获取视线方向。基于VOG的视线追踪技术分为视线特征参数提取和视线估计模型建立两个组成部分。 
视线特征参数是视线追踪的必要过程和前提,根据视线追踪方法的不同,提取的特征可以包括瞳孔中心与角膜反射的向量,角膜反射矩阵,虹膜的椭圆边界等。基于VOG的视线追踪技术普遍使用瞳孔-角膜反射方法。当红外光源与摄像头同轴时,瞳孔将比虹膜更亮(亮瞳);当红外光源与摄像头分离时,瞳 孔比虹膜更暗(暗瞳)。基于瞳孔-角膜反射方法的视线追踪方法通过控制红外光源的红外线发射方向进行视线特征检测,使其产生亮瞳和暗瞳现象,并利用亮暗瞳图像进行图像差分技术提取瞳孔特征,可以在整幅脸部图像中快速捕捉眼部位置和在眼部图像中精细准确地分割瞳孔。 
捕捉视线方向的方法可以为:控制红外光源的红外线发射方向或控制红外光源交替亮暗,产生亮瞳和暗瞳隔帧交替出现的视频序列,利用相邻亮瞳和暗瞳图像做差分消除背景的影响,在阈值化后的差分图像中检测瞳孔,具体步骤为: 
亮瞳与暗瞳图像相减得到差分图像,对差分图像做滤波,得到瞳孔区域; 
检测瞳孔区域的边缘并在眼睛区域附近基于灰度搜索角膜反射; 
通过求质心的方法可以定位角膜反射中心,并对瞳孔边缘做滤波,消除角膜反射对瞳孔边缘轮廓的影响; 
采用椭圆拟合定位瞳孔中心,得到中心坐标,提取的视线特征向量L。 
其中, 
L = ( Δx , Δy , α major α min or , θ , i c , j c )
其中,(Δx,Δy)为瞳孔中心到角膜反射的向量,其中   
Figure DEST_PATH_IMAGE002
(ip,jp)为瞳孔中心在图像中的位置,(ic,jc)为角膜反射在图像中的位置,αmajor和αminor之比为瞳孔椭圆长短轴之比,θ为瞳孔椭圆长轴与垂直方向的角度。 
用户视线方向关注的屏幕位置即视线方向在所述屏幕上的坐标位置(Gx,Gy)和瞳孔中心到角膜反射的向量(Δx,Δy)的关系可以通过一个复杂的非线性映射函数来表示。例如,假设用户头部位置固定情况下的非线性映射函数可以表示为: 
Gx=fx(Δx,Δy)≈a1(Δy)+a2(Δy)Δx 
a1(Δy)≈a3+a4Δy 
a2(Δy)≈a5+a6Δy 
Gy=fy(Δx,Δy)≈b1(Δx)+b2Δy+b3Δy2
b1(Δx)≈b4+b5Δx 
(Gx,Gy)=f(Δx,Δy)中有8个未知数,通过4个以上的标定点就可以确定其关系。这个回归过程只在建立模型的时候进行一次,一旦8个未知数已经 确定,以后不同使用者使用***时,因为已经经过上个步骤的个体差异补偿,所以可以直接使用这个视线映射函数,无需重新进行回归过程。例如采用5×5=25点进行未知数求解,25个点依屏幕呈长方形分布,如图3所示,校正的方法为,让被试者依次注视屏幕上的这25个点,***记下注视每个点时的视线向量(Δxi,Δyi),相应的视线所在位置坐标为(Gxi,Gyi),根据25个校正目标点的已知坐标,分别建立(Gx,Gy)与(Δx,Δy)映射函数方程组,这样其他用户关注的位置可以通过映射函数关系求解出来。 
视线追踪技术工作原理如图2所示:红外光源发射器202和摄像头203安装在显示器201上,红外光源发射器202发射出不可见的红外线204,该红外线照射到用户的眼睛206,反射回红外信号205,摄像头采集该红外信号205然后由处理器结合“亮瞳”和“暗瞳”现象以及根据亮暗瞳图像差分和滤波等算法精确跟踪瞳孔的位置,得出视线的方向208,视线方向208在所述屏幕上的坐标位置为(Gx,Gy)。 
S102、根据视线方向判断视线与屏幕之间夹角的变化和/或用户与屏幕之间距离的变化。 
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。 
其中,根据视线方向判断视线与屏幕之间夹角的变化和/或用户与屏幕之间距离的变化包括: 
根据视线特征向量计算用户和屏幕之间距离; 
根据用户和屏幕之间距离和坐标位置计算视线与屏幕之间夹角。 
计算用户和屏幕之间距离Z可以通过视线特征向量L估算得到,可以预先在不同位置测得一组视线特征向量Li和距离Zi,建立Li和Zi的关系模型,之后根据输入的L就可以推算出Z的值。 
根据用户和屏幕之间距离和坐标位置计算视线与屏幕之间夹角的方法可以为,从图2中三角几何关系可以得出Z/Gy=tanα,α=arctan(Z/Gy)。 
S103、根据夹角的变化和/或距离的变化对屏幕显示内容进行相应操作。 
其中,根据夹角的变化对屏幕显示内容进行相应操作的方式可以为:根据 夹角的变化控制屏幕显示内容沿屏幕竖直方向、水平方向或者对角线方向移动。 
其中,视线与屏幕之间夹角为第一类夹角、第二类夹角、第三类夹角或第四类夹角,第一类夹角是指在屏幕上当视线在屏幕法向线上方时视线与所述屏幕的竖直方向所成的锐角,如图5所示;第二类夹角是指在屏幕上当视线在屏幕法向线下方时视线与屏幕的竖直方向所成的锐角,如图6所示;第三类夹角是指在屏幕上当视线在屏幕法向线右方时视线与屏幕的水平方向所成的锐角,如图7所示;第四类夹角是指在屏幕上当视线在屏幕法向线左方时视线与所述屏幕的水平方向所成的锐角,如图8所示。 
其中,附图2中视线208与屏幕的竖直方向所成的锐角209在屏幕上在视线法向线207的上方,属于第一类夹角,屏幕法向线207垂直于屏幕所在的平面并经过用户眼睛的直线。 
图4是当用户正视屏幕时用户视线与视线法向线重合时的夹角的示意图,其中301为屏幕,304为视线法向线,305为视线,304与305重合,与屏幕成90°角,302为眼睛,303为瞳孔,瞳孔所指向的方向就是视线的方向。图4~图7中306~309分别是第一类夹角到第四类夹角的示意图。 
其中,根据夹角的变化控制屏幕显示内容沿屏幕竖直方向、水平方向或者对角线方向移动包括:当第一类夹角变小时屏幕显示内容沿屏幕的竖直方向向上移动,例如当屏幕向上倾斜或者用户视线向上移动时屏幕内的图片或者文本的页面向上移动。当第二类夹角变小时屏幕显示内容沿屏幕的竖直方向向下移动或者沿屏幕的竖直方向切换页面,例如当屏幕向下倾斜或者用户视线向下移动时屏幕内的图片或者文本的页面向下移动。当第三类夹角变小时屏幕显示内容沿屏幕的水平方向向右移动或者沿屏幕的水平方向切换页面,例如当屏幕向右倾斜或者用户视线向右移动时屏幕内的图片或者文本的页面向右移动。当第四类夹角变小时屏幕显示内容沿屏幕的水平方向向左移动或者沿屏幕的水平方向切换页面,例如当屏幕向左倾斜或者用户视线向左移动时屏幕内的图片或者文本的页面向左移动。 
其中,本实施例的夹角类型还可以包括视线与屏幕对角线方向所成的锐角,当视线屏幕对角线方向所成的锐角变化时,屏幕显示内容沿屏幕的对角线方向移动或者切换页面,即当屏幕对角倾斜或者用户视线沿对角线方向移动时屏幕显示内容沿对角线方向做相应的变化,具体方法可以参考第一类到第四类夹角 变化时的操作思想,这里不再赘述。 
其中,根据夹角的变化对屏幕显示内容进行相应操作的方式还可以为:根据所述夹角的变化控制屏幕显示内容向上一页或者下一页切换。具体为在根据夹角的变化控制屏幕显示内容沿屏幕竖直方向、水平方向或者对角线方向移动的基础上,当屏幕内的显示内容,如图片或者文本页面等已经移动到预先设定的阈值位置,则相应的切换到下一张或者上一张图像,或者上一页或者下一页文本。 
为了使设计更加人性化,本实施例中屏幕显示内容移动的速度或者切换页面的速度可与视线与屏幕之间夹角的大小相关联,如当夹角越小时屏幕显示内容移动的速度越快,或者切换页面的速度越快。 
其中,根据距离的变化对屏幕显示内容进行相应操作可以为根据距离的变化调节屏幕显示图像或者屏幕显示文字大小。例如当用户朝屏幕方向走进时屏幕内显示的图像歌者文字变小,当用户相对屏幕后退时屏幕内显示的图像歌者文字变大,以提升用户的感观感受。 
本实施例根据用户视线与屏幕夹角和用户与屏幕之间的距离的变化来对屏幕显示内容进行相应的操作对屏幕显示内容进行相应的操作,不依赖于重力感应,在脱离重力范围后用户仍能方便的操作屏幕,而且操作不需要用手控制,用户可以用视线的移动来操控屏幕,尤其适合残障人士阅读电子文档、查看图片、欣赏视频等。 
请参考图9,图9是本申请实施例提供的一种人机交互的装置,至少包括:401视线追踪单元,402处理单元,403执行单元,其中: 
视线追踪单元401,用于捕捉视线方向。 
其中,视线追踪单元401的实现视线方向捕捉的方式参考图1实施例,这里不再赘述。 
处理单元402,用于根据视线方向判断视线与屏幕之间夹角的变化和/或用户与屏幕之间距离的变化。 
其中,根据视线方向判断视线与屏幕之间夹角的变化和/或用户与屏幕之间距离的变化的具体实现方式参考图1实施例,这里不再赘述。 
其中,视线与屏幕之间夹角可以为第一类夹角、第二类夹角、第三类夹角或第四类夹角或视线与屏幕对角线方向所成的锐角,各种夹角的定义参考图1 实施例这里不再赘述。 
执行单元403,用于根据夹角的变化和/或距离的变化对屏幕显示内容进行相应操作。 
具体操作方法参考图1实施例这里不再赘述。 
为了使设计更加人性化,本实施例中屏幕显示内容移动的速度或者切换页面的速度可与视线与屏幕之间夹角的大小相关联,如当夹角越小时屏幕显示内容移动的速度越快,或者切换页面的速度越快。 
请参考图10,图10是本申请实施例提供的另一种人机交互的装置,至少包括:401视线追踪单元,402处理单元,403执行单元,401视线追踪单元,402处理单元和403执行单元的功能参考图9实施例。其中, 
401视线追踪单元包括4011视线特征参数提取模块和4012坐标位置计算模块,其中: 
4011视线特征参数提取模块用于根据瞳孔-角膜反射方法提取视线特征参数,视线特征参数包括瞳孔中心到角膜反射的向量; 
4012坐标位置计算模块用于根据瞳孔中心到角膜反射的向量计算视线方向在所述屏幕上的坐标位置。 
上述视线特征参数还包括视线特征向量,402处理单元包括4021距离计算模块和4022夹角计算模块,其中: 
4021距离计算模块用于根据视线特征向量计算用户和屏幕之间距离; 
4022夹角计算模块用于根据用户和屏幕之间距离和坐标位置计算视线与屏幕之间夹角。 
本实施例根据用户视线与屏幕夹角和用户与屏幕之间的距离的变化来对屏幕显示内容进行相应的操作对屏幕显示内容进行相应的操作,不依赖于重力感应,在脱离重力范围后用户仍能方便的操作屏幕,而且操作不需要用手控制,用户可以用视线的移动来操控屏幕,尤其适合残障人士阅读电子文档、查看图片、欣赏视频等。 
请参考图11,图11是本申请实施例提供的另一种人机交互的装置,至少包括:501视线追踪设备,502***设备,其中,501视线追踪设备包括5011红外线光源发射器,5012摄像头,502***设备包括5021CPU,5022RAM,5023ROM,5024磁盘。 
其中,5021CPU用于执行以下步骤: 
控制视线追踪设备捕捉视线方向; 
根据视线方向判断视线与屏幕之间夹角的变化和/或用户与屏幕之间距离的变化; 
根据夹角的变化和/或距离的变化对屏幕显示内容进行相应操作。 
其中,5021CPU还用于执行以下步骤: 
根据瞳孔-角膜反射方法提取视线特征参数,视线特征参数包括瞳孔中心到角膜反射的向量和视线特征向量; 
根据瞳孔中心到角膜反射的向量计算视线方向在屏幕上的坐标位置。 
5021CPU还用于执行以下步骤: 
根据视线特征向量计算用户和屏幕之间距离; 
根据用户和屏幕之间距离和坐标位置计算视线与屏幕之间夹角。 
本实施例根据用户视线与屏幕夹角和用户与屏幕之间的距离的变化来对屏幕显示内容进行相应的操作,不依赖于重力感应,在脱离重力范围后用户仍能方便的操作屏幕,而且操作不需要用手控制,用户可以用视线的移动来操控屏幕,尤其适合残障人士阅读电子文档、查看图片、欣赏视频等。 
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存取存储器(RandomAccess Memory,简称RAM)等。 
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。 

Claims (12)

1.一种人机交互方法,其特征在于,包括:
捕捉视线方向;
根据所述视线方向判断视线与屏幕之间夹角的变化和/或用户与所述屏幕之间距离的变化;
根据所述夹角的变化和/或所述距离的变化对屏幕显示内容进行相应操作。
2.根据权利要求1所述的方法,其特征在于,所述捕捉视线方向包括:
根据瞳孔-角膜反射方法提取视线特征参数,所述视线特征参数包括瞳孔中心到角膜反射的向量;
根据所述瞳孔中心到角膜反射的向量计算所述视线方向在所述屏幕上的坐标位置。
3.根据权利要求2所述的方法,其特征在于,所述视线特征参数还包括视线特征向量,根据所述视线方向判断视线与屏幕之间夹角的变化和/或用户与所述屏幕之间距离的变化包括:
根据所述视线特征向量计算用户和所述屏幕之间距离;
根据所述用户和所述屏幕之间距离和所述坐标位置计算所述视线与屏幕之间夹角。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述根据所述夹角的变化对屏幕显示内容进行相应操作包括:
根据所述夹角的变化控制屏幕显示内容沿屏幕竖直方向、水平方向或者对角线方向移动。
5.根据权利要求1至3任一项所述的方法,其特征在于,所述根据所述夹角的变化对屏幕显示内容进行相应操作包括:
根据所述夹角的变化控制屏幕显示内容向上一页或者下一页切换。
6.根据权利要求1至3任一项所述的方法,其特征在于,所述根据所述距离的变化对屏幕显示内容进行相应操作包括:
根据所述距离的变化调节屏幕显示内容的大小。
7.一种人机交互装置,其特征在于,包括:
视线追踪单元,用于捕捉视线方向;
处理单元,用于根据所述视线方向判断视线与屏幕之间夹角的变化和/或用户与所述屏幕之间距离的变化;
执行单元,用于根据所述夹角的变化和/或所述距离的变化对屏幕显示内容进行相应操作。
8.根据权利要求7所述的装置,其特征在于,所述视线追踪单元包括视线特征参数提取模块和坐标位置计算模块,其中:
所述视线特征参数提取模块用于根据瞳孔-角膜反射方法提取视线特征参数,所述视线特征参数包括瞳孔中心到角膜反射的向量;
所述坐标位置计算模块用于根据所述瞳孔中心到角膜反射的向量计算所述视线方向在所述屏幕上的坐标位置。
9.根据权利要求8所述的装置,其特征在于,所述视线特征参数还包括视线特征向量,所述处理单元包括距离计算模块和夹角计算模块,其中:
所述距离计算模块用于根据所述视线特征向量计算用户和所述屏幕之间距离;
所述夹角计算模块用于根据所述用户和所述屏幕之间距离和所述坐标位置计算所述视线与屏幕之间夹角。
10.根据权利要求7至9任一项所述的装置,其特征在于,所述执行单元根据所述夹角的变化对屏幕显示内容进行相应操作的具体方式为:
所述执行单元用于根据所述夹角的变化控制屏幕显示内容沿屏幕竖直方向、水平方向或者对角线方向移动。
11.根据权利要求7至9任一项所述的装置,其特征在于,所述执行单元根据所述夹角的变化对屏幕显示内容进行相应操作的具体方式为:
所述执行单元用于根据所述夹角的变化控制屏幕显示内容向上一页或者下一页切换。
12.根据权利要求7至9任一项所述的装置,其特征在于,所述执行单元根据所述距离的变化对屏幕显示内容进行相应操作的具体方式为:
所述执行单元用于根据所述距离的变化调节屏幕显示内容的大小。
CN201210452461.3A 2012-11-13 2012-11-13 一种人机交互方法及装置 Pending CN103809737A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201210452461.3A CN103809737A (zh) 2012-11-13 2012-11-13 一种人机交互方法及装置
PCT/CN2013/073786 WO2014075418A1 (zh) 2012-11-13 2013-04-07 一种人机交互方法及装置
US14/583,487 US9740281B2 (en) 2012-11-13 2014-12-26 Human-machine interaction method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210452461.3A CN103809737A (zh) 2012-11-13 2012-11-13 一种人机交互方法及装置

Publications (1)

Publication Number Publication Date
CN103809737A true CN103809737A (zh) 2014-05-21

Family

ID=50706634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210452461.3A Pending CN103809737A (zh) 2012-11-13 2012-11-13 一种人机交互方法及装置

Country Status (3)

Country Link
US (1) US9740281B2 (zh)
CN (1) CN103809737A (zh)
WO (1) WO2014075418A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104461002A (zh) * 2014-12-05 2015-03-25 上海斐讯数据通信技术有限公司 一种降低观看移动终端设备的视觉疲劳度的装置和方法
CN105988556A (zh) * 2015-01-27 2016-10-05 鸿富锦精密工业(武汉)有限公司 电子设备及应用于该电子设备的显示调节方法
CN105989577A (zh) * 2015-02-17 2016-10-05 中兴通讯股份有限公司 一种图像校正的方法和装置
WO2016161954A1 (en) * 2015-04-10 2016-10-13 Beijing Zhigu Rui Tuo Tech Co., Ltd. Information acquiring method, information acquiring apparatus, and user equipment
CN106328006A (zh) * 2016-10-25 2017-01-11 南京奥拓电子科技有限公司 一种互动广告节目展示方法
CN107003744A (zh) * 2016-12-01 2017-08-01 深圳前海达闼云端智能科技有限公司 视点确定方法、装置、电子设备和计算机程序产品
CN107122102A (zh) * 2017-04-27 2017-09-01 维沃移动通信有限公司 一种翻页控制方法及移动终端
CN107405132A (zh) * 2015-03-17 2017-11-28 通用电气公司 用于诊断医学成像的显示接口的方法和***
CN107608504A (zh) * 2017-08-22 2018-01-19 深圳传音控股有限公司 移动终端和智能文字显示方法
CN107765851A (zh) * 2017-09-28 2018-03-06 努比亚技术有限公司 基于虹膜识别的应用程序处理方法、终端及存储介质
CN108875526A (zh) * 2018-01-05 2018-11-23 北京旷视科技有限公司 视线检测的方法、装置、***及计算机存储介质
CN109656373A (zh) * 2019-01-02 2019-04-19 京东方科技集团股份有限公司 一种注视点定位方法及定位装置、显示设备和存储介质
CN110740246A (zh) * 2018-07-18 2020-01-31 阿里健康信息技术有限公司 一种图像矫正方法、移动设备和终端设备
CN110969084A (zh) * 2019-10-29 2020-04-07 深圳云天励飞技术有限公司 一种关注区域检测方法、装置、可读存储介质及终端设备
CN111399627A (zh) * 2020-03-09 2020-07-10 宁波视睿迪光电有限公司 一种3d显示装置节能方法及***
CN111857461A (zh) * 2020-06-29 2020-10-30 维沃移动通信有限公司 图像显示方法、装置、电子设备及可读存储介质
CN113012574A (zh) * 2021-02-19 2021-06-22 深圳创维-Rgb电子有限公司 屏幕曲率调整方法、装置、曲面显示器以及存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102130797B1 (ko) 2013-09-17 2020-07-03 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
DE102014204800A1 (de) * 2014-03-14 2015-09-17 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen einer graphischen Nutzerschnittstelle in einem Fahrzeug
JP6385210B2 (ja) * 2014-09-05 2018-09-05 キヤノン株式会社 画像診断支援装置および制御方法、プログラム
CN105183169B (zh) * 2015-09-22 2018-09-25 小米科技有限责任公司 视线方向识别方法及装置
JP2017134558A (ja) * 2016-01-27 2017-08-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラムを記録したコンピュータ読み取り可能な記録媒体
CN107357429B (zh) * 2017-07-10 2020-04-07 京东方科技集团股份有限公司 用于确定视线的方法、设备和计算机可读存储介质
CN110865761B (zh) * 2018-08-28 2023-07-28 财团法人工业技术研究院 指向判断***以及指向判断方法
CN109508679B (zh) * 2018-11-19 2023-02-10 广东工业大学 实现眼球三维视线跟踪的方法、装置、设备及存储介质
CN112183200B (zh) * 2020-08-25 2023-10-17 中电海康集团有限公司 一种基于视频图像的眼动追踪方法和***
CN116449965B (zh) * 2023-06-16 2023-10-13 深圳润方创新技术有限公司 基于儿童电子画板的数据处理方法、装置及电子设备
CN116820246B (zh) * 2023-07-06 2024-05-28 上海仙视电子科技有限公司 一种视角自适应的屏幕调节控制方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
CN101807110A (zh) * 2009-02-17 2010-08-18 由田新技股份有限公司 瞳孔定位方法及***
CN102081503A (zh) * 2011-01-25 2011-06-01 汉王科技股份有限公司 基于视线追踪自动翻页的电子阅读器及其方法
US20110148931A1 (en) * 2009-12-18 2011-06-23 Samsung Electronics Co. Ltd. Apparatus and method for controlling size of display data in portable terminal
US20120223884A1 (en) * 2011-03-01 2012-09-06 Qualcomm Incorporated System and method to display content

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6762794B1 (en) * 1997-12-03 2004-07-13 Canon Kabushiki Kaisha Image pick-up apparatus for stereoscope
JP4604190B2 (ja) * 2004-02-17 2010-12-22 国立大学法人静岡大学 距離イメージセンサを用いた視線検出装置
JP5045212B2 (ja) * 2007-04-25 2012-10-10 株式会社デンソー 顔画像撮像装置
CA2685976C (en) * 2007-05-23 2013-02-19 The University Of British Columbia Methods and apparatus for estimating point-of-gaze in three dimensions
CN201307266Y (zh) * 2008-06-25 2009-09-09 韩旭 双目视线跟踪装置
CN101441513B (zh) * 2008-11-26 2010-08-11 北京科技大学 一种利用视觉进行非接触式人机交互的***
CN101788876A (zh) * 2009-01-23 2010-07-28 英华达(上海)电子有限公司 自动缩放调整的方法及其***
CN101813976A (zh) * 2010-03-09 2010-08-25 华南理工大学 基于soc的视线跟踪人机交互方法及装置
US8739019B1 (en) * 2011-07-01 2014-05-27 Joel Nevins Computer-implemented methods and computer program products for integrating and synchronizing multimedia content, including content displayed via interactive televisions, smartphones, electronic book readers, holographic imagery projectors, and other computerized devices
KR101891786B1 (ko) * 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
JP5945417B2 (ja) * 2012-01-06 2016-07-05 京セラ株式会社 電子機器
US8937591B2 (en) * 2012-04-06 2015-01-20 Apple Inc. Systems and methods for counteracting a perceptual fading of a movable indicator
US20150358594A1 (en) * 2014-06-06 2015-12-10 Carl S. Marshall Technologies for viewer attention area estimation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
CN101807110A (zh) * 2009-02-17 2010-08-18 由田新技股份有限公司 瞳孔定位方法及***
US20110148931A1 (en) * 2009-12-18 2011-06-23 Samsung Electronics Co. Ltd. Apparatus and method for controlling size of display data in portable terminal
CN102081503A (zh) * 2011-01-25 2011-06-01 汉王科技股份有限公司 基于视线追踪自动翻页的电子阅读器及其方法
US20120223884A1 (en) * 2011-03-01 2012-09-06 Qualcomm Incorporated System and method to display content

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张闯等: "一种新的基于瞳孔-角膜反射技术的视线追踪方法", 《计算机学报》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104461002A (zh) * 2014-12-05 2015-03-25 上海斐讯数据通信技术有限公司 一种降低观看移动终端设备的视觉疲劳度的装置和方法
CN105988556A (zh) * 2015-01-27 2016-10-05 鸿富锦精密工业(武汉)有限公司 电子设备及应用于该电子设备的显示调节方法
CN105989577A (zh) * 2015-02-17 2016-10-05 中兴通讯股份有限公司 一种图像校正的方法和装置
CN105989577B (zh) * 2015-02-17 2020-12-29 中兴通讯股份有限公司 一种图像校正的方法和装置
CN107405132A (zh) * 2015-03-17 2017-11-28 通用电气公司 用于诊断医学成像的显示接口的方法和***
CN106155288B (zh) * 2015-04-10 2019-02-12 北京智谷睿拓技术服务有限公司 信息获取方法、信息获取装置及用户设备
WO2016161954A1 (en) * 2015-04-10 2016-10-13 Beijing Zhigu Rui Tuo Tech Co., Ltd. Information acquiring method, information acquiring apparatus, and user equipment
CN106155288A (zh) * 2015-04-10 2016-11-23 北京智谷睿拓技术服务有限公司 信息获取方法、信息获取装置及用户设备
US10394321B2 (en) 2015-04-10 2019-08-27 Beijing Zhigu Rui Tuo Tech Co., Ltd Information acquiring method, information acquiring apparatus, and user equipment
CN106328006A (zh) * 2016-10-25 2017-01-11 南京奥拓电子科技有限公司 一种互动广告节目展示方法
WO2018098772A1 (zh) * 2016-12-01 2018-06-07 深圳前海达闼云端智能科技有限公司 视点确定方法、装置、电子设备和计算机程序产品
CN107003744A (zh) * 2016-12-01 2017-08-01 深圳前海达闼云端智能科技有限公司 视点确定方法、装置、电子设备和计算机程序产品
CN107122102A (zh) * 2017-04-27 2017-09-01 维沃移动通信有限公司 一种翻页控制方法及移动终端
CN107608504A (zh) * 2017-08-22 2018-01-19 深圳传音控股有限公司 移动终端和智能文字显示方法
CN107765851A (zh) * 2017-09-28 2018-03-06 努比亚技术有限公司 基于虹膜识别的应用程序处理方法、终端及存储介质
CN108875526A (zh) * 2018-01-05 2018-11-23 北京旷视科技有限公司 视线检测的方法、装置、***及计算机存储介质
CN110740246A (zh) * 2018-07-18 2020-01-31 阿里健康信息技术有限公司 一种图像矫正方法、移动设备和终端设备
CN109656373A (zh) * 2019-01-02 2019-04-19 京东方科技集团股份有限公司 一种注视点定位方法及定位装置、显示设备和存储介质
CN110969084A (zh) * 2019-10-29 2020-04-07 深圳云天励飞技术有限公司 一种关注区域检测方法、装置、可读存储介质及终端设备
CN111399627A (zh) * 2020-03-09 2020-07-10 宁波视睿迪光电有限公司 一种3d显示装置节能方法及***
CN111399627B (zh) * 2020-03-09 2021-09-28 宁波视睿迪光电有限公司 一种3d显示装置节能方法及***
CN111857461A (zh) * 2020-06-29 2020-10-30 维沃移动通信有限公司 图像显示方法、装置、电子设备及可读存储介质
CN113012574A (zh) * 2021-02-19 2021-06-22 深圳创维-Rgb电子有限公司 屏幕曲率调整方法、装置、曲面显示器以及存储介质

Also Published As

Publication number Publication date
WO2014075418A1 (zh) 2014-05-22
US20150109204A1 (en) 2015-04-23
US9740281B2 (en) 2017-08-22

Similar Documents

Publication Publication Date Title
CN103809737A (zh) 一种人机交互方法及装置
KR101481880B1 (ko) 휴대용 실감형 상호작용을 위한 시스템
US8549418B2 (en) Projected display to enhance computer device use
US10001845B2 (en) 3D silhouette sensing system
US9459694B2 (en) Cursor movement device
CN105518575B (zh) 与自然用户界面的双手交互
CN106125921B (zh) 3d映射环境中的凝视检测
JP5807989B2 (ja) 注視支援コンピュータインターフェース
CN104246682B (zh) 增强的虚拟触摸板和触摸屏
US11360605B2 (en) Method and device for providing a touch-based user interface
US20130077820A1 (en) Machine learning gesture detection
US20120078614A1 (en) Virtual keyboard for a non-tactile three dimensional user interface
CN109011534B (zh) 台球击球辅助方法、装置、存储介质及电子设备
CN104520799A (zh) 通过眼睛跟踪进行的用户输入处理
CN104731316A (zh) 基于眼睛跟踪在设备上呈现信息的***及方法
CN103598870A (zh) 一种基于深度图像手势识别的视力检测方法
EP2690524B1 (en) Electronic device, control method and control program
CN105138247A (zh) 检测到第二设备接近第一设备而在第一设备呈现用户界面
US20170131760A1 (en) Systems, methods and techniques for inputting text into mobile devices using a camera-based keyboard
US20130120361A1 (en) Spatial 3d interactive instrument
Schmieder et al. Thumbs up: 3D gesture input on mobile phones using the front facing camera
EP3059664A1 (en) A method for controlling a device by gestures and a system for controlling a device by gestures
US20240173626A1 (en) Method and apparatus for interaction in virtual environment
Vidal Jr et al. Extending Smartphone-Based Hand Gesture Recognition for Augmented Reality Applications with Two-Finger-Pinch and Thumb-Orientation Gestures
CN106708256B (zh) 基于opencv和easyar的虚拟按键触发方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20140521