CN104571823B - 一种基于智能电视的非接触式虚拟人机交互方法 - Google Patents

一种基于智能电视的非接触式虚拟人机交互方法 Download PDF

Info

Publication number
CN104571823B
CN104571823B CN201510013947.0A CN201510013947A CN104571823B CN 104571823 B CN104571823 B CN 104571823B CN 201510013947 A CN201510013947 A CN 201510013947A CN 104571823 B CN104571823 B CN 104571823B
Authority
CN
China
Prior art keywords
gesture
intelligent television
user
interface
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510013947.0A
Other languages
English (en)
Other versions
CN104571823A (zh
Inventor
冯志全
冯仕昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Jinan
Original Assignee
University of Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Jinan filed Critical University of Jinan
Priority to CN201510013947.0A priority Critical patent/CN104571823B/zh
Publication of CN104571823A publication Critical patent/CN104571823A/zh
Application granted granted Critical
Publication of CN104571823B publication Critical patent/CN104571823B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明的一种基于智能电视的非接触式虚拟人机交互方法,包括以下步骤:步骤1,将智能电视连接图像传感设备,并在智能电视中建立手势识别***和手势信息数据库,在手势信息数据库中存储若干种指定手势以及与指定手势一一对应关联的智能电视执行程序;步骤2,设定两种操作模式;步骤3,进行操作模式A,通过手势直接对智能电视切换出的二维菜单界面和三维操纵界面操作;步骤4,进行操作模式B,保持智能电视当前界面不变,调用与手势对应关联的智能电视执行程序。本发明的有益效果是:结合虚拟界面位置感知和用户的行为模型探测用户的交互意图,提出了解决了基于手势交互的人机***中难以解决的“Midas?Touch问题”的新途径。

Description

一种基于智能电视的非接触式虚拟人机交互方法
技术领域
本发明涉及一种基于智能电视的非接触式虚拟人机交互方法。
背景技术
近年来,三维(3D)自然手势交互技术已经在手语识别、手指鼠标、虚拟物体控制、家电遥控、Windows命令控制、手指绘画、机器人控制等领域得到应用。自然、高效、智能化、无障碍的人机交互界面(HCI,Human-ComputerInterface)已经成为新一代智能HCI的主要发展方向,建立智能化的、自然的、和谐的、人性化的人机界面已经成为新一代HCI发展的主要趋势。
在目前广泛使用的图形接口中,主要的输入方式还是物理键盘和触屏输入,当然,触屏技术凭借其优点在移动终端占据主流。然而,社会依然在发展,研究人机交互技术变得异常活跃,人机交互迅速受到了各大厂家的重视,并成为移动终端行业的又一竞争领域。
手势作为自然的交互方式,在计算机领域取得了可喜的发展。目前,移动终端的硬件日趋强大,多媒体技术也在迅速发展,将手势应用到移动终端成了一个顺水推舟的事。用手指的形态来进行标记和识别,从而达到控制的目的,手势的直观性和强大的语义使得人机交互变得尤为轻松。但由于识别的性能有待提高,目前还未得到很广泛的应用。
根据设备采集数据资料的不同,目前的手势识别可以大体分为两种,基于数据手套的手势识别和基于视觉的手势识别。基于数据手套的识别***优点是识别效率高,但由于其要求使用者必须穿戴极不方便的设备,而且设备的造价不菲,所以此种识别方式不会是未来的主流。而基于视觉的手势识别***凭借良好的适用性以及不需要其他的硬件设备,只是通过普通的摄像头,因而成了发展的主流。一方面,在基于手势的隔空操作条件下,用户与物理界面的距离比较远,这与用户的心理模型有较大差距;另一方面,在手势这种单一输入通道条件下,用户的认知负荷和操作负荷比较大,界面***不仅对用户有不少操作限制,而且即使一个简单的交互任务也可能要求用户完成复杂的手势命令操作。
电视正在变成一个与许多内容进行交互的枢纽。这些大型的、高分辨率的显示器可以被用于浏览数码照片、选择音乐、玩游戏、看电影和电视节目。现在许多电视与互联网连接,允许访问在线内容和社会媒体,这进一步导致了像苹果电视和谷歌电视这样的新产品的发展,它们增加了从电视屏幕获取信息的数量和复杂性。国内的乐视和小米也很火爆,其中乐视互联网电视去年10月份以后超越了海信、长虹等传统品牌高居第一位,它有语音交互和基于触摸操作的智能遥控器。在许多情况下,电视遥控器本身就是一个限制因素,通常它只提供简单的固定按钮来与电视进行交互,缺少鼠标和手势交互的灵活性。NasserH.Dardas和MohammadAlhaj[7]利用手势识别技术来产生控制命令,利用这些控制命令来控制游戏中物体的运动,在该手势识别***中利用词袋技术和支持向量机技术来实现用户和计算机之间的交互。Werner等人在不违反用户心理模型的情况下,通过隐式调整控制显示来适应当前用户的需要,解决了远程交互中指点设备的精度问题。JoeWeakliam等人提出了CoMPASS***,它不需要来自用户的显式输入,而是当用户根据特征和感兴趣的区域浏览地图特定空间内容时,监控用户的隐式操作。该***可以分析用户的隐式行为,并将分析结果用于建立用户模型。KaoriFujinami等人把增强技术融入到普适计算中,采用自然或隐式的方法获取用户环境信息,而用户不需要学习如何获取信息,填补了用户和复杂计算环境间的差距。PaulDietz等人提出了基于多投影仪的隐式交互技术,他们把投影仪作为实时输出设备,当用户进入红外线区域时,***可以隐式地关注用户并在显示区显示用户,同时用卡通技术循环地展示有关内容。StavrosAntifakos等人设计了一个面向非意外同步运动的“智能”对象的隐式交互实例,当打开门时***隐式访问控制。
总的来说,目前基于手势的接触式交互界面存在的主要问题是用户的认知负荷(需要用户记忆不少的手势命令)和操作负荷比较重(用户长时间操作会很疲劳),严重影响了基于手势的自然交互技术的推广应用。
发明内容
为解决以上技术上的不足,本发明提供了一种用户的认知负荷小,操作负荷比较轻的基于智能电视的非接触式虚拟人机交互方法。
本发明是通过以下措施实现的:
本发明的一种基于智能电视的非接触式虚拟人机交互方法,包括以下步骤:
步骤1,将智能电视连接图像传感设备,并在智能电视中建立手势识别***和手势信息数据库,在手势信息数据库中存储若干种指定手势以及与指定手势一一对应关联的智能电视执行程序;
步骤2,如果图像传感设备观测到智能电视前的感知空间内有用户画出矩形,则进行步骤3,如果图像传感设备观测到智能电视前的感知空间内有用户画出圆形,则进行步骤4;
步骤3,进行操作模式A,智能电视切换出二维菜单界面和三维操纵界面,图像传感设备观测用户的动态操作手势并通过手势识别***进行识别,利用行为模型感知算法将用户做出的动态操作手势映射到二维菜单界面或三维操纵界面上进行直接操作;
步骤4,进行操作模式B,保持智能电视当前界面不变,图像传感设备观测用户的手势数据并通过手势识别***进行识别,在手势信息数据库中遍寻与识别出的手势一致的一种指定手势,并调用与之对应关联的智能电视执行程序。
在步骤2中用户画出矩形的识别方法,包括以下步骤:
a.图像传感设备观测到智能电视感知空间内的图像,去除每帧图像的背景,得到手势图像;
b.计算每个手势图像的重心;
c.以静止手势作为手势开始和手势结束的标志,将各帧手势的重心按照时间顺序组成序列,得到手势轨迹多边形;
d.将该轨迹用四条首尾依次相连的直线拟合该手势轨迹多边形,得到一个矩形,使得手势多边形上各点到达该矩形最近边的垂直距离之和的平均值δ最小;
e.如果平均值δ<ω,则该手势轨迹多边形为矩形,并返回该矩形;否则该手势轨迹多边形不为矩形,返回空;其中,ω是一个指定的非负阈值。
在步骤2中用户画出圆形的识别方法,包括以下步骤:
a.图像传感设备观测到智能电视感知空间内的图像,去除每帧图像的背景,得到手势图像;
b.计算每个手势图像的重心;
c.以静止手势作为手势开始和手势结束的标志,将各帧手势的重心按照时间顺序组成序列,得到手势轨迹多边形;
d.计算该手势轨迹多边形所有点的重心坐标位置O;
e.计算该手势轨迹多边形上各点Pi距离O的距离ri,ri=||Pi-O||;
f.计算各个ri的均值:其中,n是手势轨迹多边形上点的个数;
g.计算均方误差r:如果r<γ,则手势轨迹多边形为圆;否则不为圆;其中,γ是事先指定的非负阈值。
在步骤3中行为模型感知算法包括以下步骤:
a.利用粒子滤波算法获取当前时刻前面N帧图像中的三维手势结构;设定感知空间内存在虚拟界面,该虚拟界面的法线方向向量为T;第k帧三维结构向量为Gk=(Ok,Dk,f,Dk,uk);其中,Ok表示手形重心向量,Dk,f和Dk,u分别表示手形向前方向向量和向上方向向量,θk表示手形各关节值组成的向量,1≤k≤N;
b.计算三维手势模型在N帧的运动轨迹CN,然后,从当前帧开始,在CN上反向搜索与T平行的线段,假设该线段的起始时间为t0,再从t0出发,在CN上方向搜索线段,假设终止点为t1,线段t1t0的方向向量为DL;如果DL·T=0且在时间段[t1,t0]内手势形状没有发生改变,则检测出“平移(Translation)-确定(Confirmation)”模型(T-C),即用户的当前行为为在进行二维菜单界面选择操作;否则,进行步骤c;
c.从当前帧开始,反向把关节角度向量θk的对应变量组成向量组,如果所有向量组都单调不增减,设单调不增的起始点为t0,再从t0出发,搜索如果所有向量组都单调不减增,则检测出“抓(Grasp)-操纵(Manipulation)-放(Release)”模型(G-M-R),即用户的当前行为为在进行三维操纵界面直接操纵;否则,返回步骤a。
在步骤4中,智能电视前的感知空间划分出多个功能区域,在不同的功能区域内相同的手势关联不同的智能电视执行程序;智能电视前的感知空间内多个功能区域划分方法为:
步骤a,设定感知空间内存在虚拟界面,该虚拟界面几何体区域为G,虚拟界面上需要布局的功能区域数目为m,将G分为u×v个功能块gi,j(i=1,2,..u,j=1,2,…,v),u×v=m;
步骤b,G的重心为O,gi,j的重心为Oi,j,定义手势到各个功能区域需要移动距离权值为:ηi,j=γexp(-||Oi,j-O||);移动距离越大,则移动距离权值越小,且0≤ηi,j≤1(1≤i≤u,1≤j≤v);
步骤c,进一步定义各个功能区域的易操作性βi,j(i=1,2,..u,j=1,2,…,v),它们可以用概率统计的方法得到,且满足:0≤βi,j≤1(1≤i≤u,1≤j≤v);
各个功能的使用频率ωi(i=1,2,..m)不同,采用概率统计的方法得到,且满足:0≤ωi,j≤1(1≤i≤u,1≤j≤v);各gi,j所在位置“好坏”的总体评价权值为:αi,j=ηi,jβi,j
步骤d,再将αi,j按照由大到小进行排序,得到序列(α1,α2,…,αm),将ωi,j也按照由大到小的顺序进行排序,得到序列(ω1,ω2,…,ωm);从而,ωk所对应的功能分配给模块αk(1≤k≤m)。
本发明的有益效果是:1.不仅从一个侧面反映了用户的手势操作行为模型,而且刻画了用户的心理模型,并且规范了非接触式交互的界面范式,使得非接触式交互界面是可以计算、可以感知的,因此将接触式交互与非接触式交互很好地统一起来。2.在不同操作姿态、不同操作维度之间随意地透明切换,这种切换客观上可以降低长时间限于某一种固定操作模式所带来的紧张感和疲劳感。3.在操作模式A中,用户的MentalModel直接建立在物理界面直接映射的基础上,用户无需学习或记忆就可以通过虚拟界面完成交互任务,故用户的认知负荷非常低;在操作模式B中,因为同一个手势在不同的功能块将被解释成不同的命令,因此可以用同一个手势完成不同语义的操作,无需用户记忆大量的手势命令,故降低了用户的认知负荷。4.结合虚拟界面位置感知和用户的行为模型探测用户的交互意图,提出了解决了基于手势交互的人机***中难以解决的“MidasTouch问题”的新途径。
具体实施方式
本发明的一种基于智能电视的非接触式虚拟人机交互方法,为了降低用户在操作虚拟界面过程中“MidasTouch问题”的影响,排除不同功能区之间可能存在的干扰,本发明将用户行为模型与虚拟界面相结合,提出基于用户行为模型和虚拟界面的隐式交互范式。包括以下步骤:
步骤1,将智能电视连接图像传感设备,并在智能电视中建立手势识别***和手势信息数据库,在手势信息数据库中存储若干种指定手势以及与指定手势一一对应关联的智能电视执行程序;
步骤2,如果图像传感设备观测到智能电视前的感知空间内有用户画出矩形,则进行步骤3,如果图像传感设备观测到智能电视前的感知空间内有用户画出圆形,则进行步骤4;建立用户的两类基本操作模型。第一,菜单操作中的行为模型表述为:平移(Translation)-确定(Confirmation)。在“平移”阶段,三维手势模型的姿态不会发生改变,只是手势的重心位置发生改变;“确定”阶段,用户有一个“向前推”的动作,该动作的运动方向与平移运动时重心的运动方向相垂直。第二,3D直接操纵中的行为模型表述为:抓(Grasp)-操纵(Manipulation)-放(Release)。利用“抓”和“放”关节变化特征,就可以识别出“抓”“放”手势;模型中的“操作”,主要包括平移、旋转等基本操作。为简化算法,如果在用户手势动作中检测出“抓-放”结构,则认为用户当前正在进行“3D直接操纵”。用“画矩形”来隐喻整个物理界面上没有显示功能菜单,符合用户的心理模型。
具体地,用户画出矩形的识别方法,包括以下步骤:
a.图像传感设备观测到智能电视感知空间内的图像,去除每帧图像的背景,得到手势图像;
b.计算每个手势图像的重心;
c.以静止手势作为手势开始和手势结束的标志,将各帧手势的重心按照时间顺序组成序列,得到手势轨迹多边形;
d.将该轨迹用四条首尾依次相连的直线拟合该手势轨迹多边形,得到一个矩形,使得手势多边形上各点到达该矩形最近边的垂直距离之和的平均值δ最小;
e.如果平均值δ<ω,则该手势轨迹多边形为矩形,并返回该矩形;否则该手势轨迹多边形不为矩形,返回空;其中,ω是一个指定的非负阈值。
用户画出圆形的识别方法,包括以下步骤:
a.图像传感设备观测到智能电视感知空间内的图像,去除每帧图像的背景,得到手势图像;
b.计算每个手势图像的重心;
c.以静止手势作为手势开始和手势结束的标志,将各帧手势的重心按照时间顺序组成序列,得到手势轨迹多边形;
d.计算该手势轨迹多边形所有点的重心坐标位置O;
e.计算该手势轨迹多边形上各点Pi距离O的距离ri,ri=||Pi-O||;
f.计算各个ri的均值:其中,n是手势轨迹多边形上点的个数;
g.计算均方误差r:如果r<γ,则手势轨迹多边形为圆;否则不为圆;其中,γ是事先指定的非负阈值。
步骤3,进行操作模式A,智能电视切换出二维菜单界面和三维操纵界面,图像传感设备观测用户的动态操作手势并通过手势识别***进行识别,利用行为模型感知算法将用户做出的动态操作手势映射到二维菜单界面或三维操纵界面上进行直接操作;
行为模型感知算法包括以下步骤:
a.利用粒子滤波算法获取当前时刻前面N帧图像中的三维手势结构;设定感知空间内存在虚拟界面,该虚拟界面的法线方向向量为T;第k帧三维结构向量为Gk=(Ok,Dk,f,Dk,uk);其中,Ok表示手形重心向量,Dk,f和Dk,u分别表示手形向前方向向量和向上方向向量,θk表示手形各关节值组成的向量,1≤k≤N;
b.计算三维手势模型在N帧的运动轨迹CN,然后,从当前帧开始,在CN上反向搜索与T平行的线段,假设该线段的起始时间为t0,再从t0出发,在CN上方向搜索线段,假设终止点为t1,线段t1t0的方向向量为DL;如果DL·T=0且在时间段[t1,t0]内手势形状没有发生改变,则检测出“平移(Translation)-确定(Confirmation)”模型(T-C),即用户的当前行为为在进行二维菜单界面选择操作;否则,进行步骤c;
c.从当前帧开始,反向把关节角度向量θk的对应变量组成向量组,如果所有向量组都单调不增减,设单调不增的起始点为t0,再从t0出发,搜索如果所有向量组都单调不减增,则检测出“抓(Grasp)-操纵(Manipulation)-放(Release)”模型(G-M-R),即用户的当前行为为在进行三维操纵界面直接操纵;否则,返回步骤a。
在步骤4中,智能电视前的感知空间划分出多个功能区域,在不同的功能区域内相同的手势关联不同的智能电视执行程序;智能电视前的感知空间内多个功能区域划分方法为:
步骤a,设定感知空间内存在虚拟界面,该虚拟界面几何体区域为G,虚拟界面上需要布局的功能区域数目为m,将G分为u×v个功能块gi,j(i=1,2,..u,j=1,2,…,v),u×v=m;
步骤b,G的重心为O,gi,j的重心为Oi,j,定义手势到各个功能区域需要移动距离权值为:ηi,j=γexp(-||Oi,j-O||);移动距离越大,则移动距离权值越小,且0≤ηi,j≤1(1≤i≤u,1≤j≤v);
步骤c,进一步定义各个功能区域的易操作性βi,j(i=1,2,..u,j=1,2,…,v),它们可以用概率统计的方法得到,且满足:0≤βi,j≤1(1≤i≤u,1≤j≤v);
各个功能的使用频率ωi(i=1,2,..m)不同,采用概率统计的方法得到,且满足:0≤ωi,j≤1(1≤i≤u,1≤j≤v);各gi,j所在位置“好坏”的总体评价权值为:αi,j=ηi,jβi,j
步骤d,再将αi,j按照由大到小进行排序,得到序列(α1,α2,…,αm),将ωi,j也按照由大到小的顺序进行排序,得到序列(ω1,ω2,…,ωm);从而,ωk所对应的功能分配给模块αk(1≤k≤m)。
综上所述,长时间连续用手势操纵界面往往容易导致用户的疲劳感。有证据表明,用户疲劳的主要原因之一在于操作手势模态过于单一。事实上,一方面,只让用户进行2D/3D操作,或要求用户必须连续地操作而不能停下来,或把手势命令操作与直接操纵截然分开,或者手势“进入”界面容易“出”界面难,……,这些限制本身不仅让用户感到体力疲劳,而且感到心理疲惫。另一方面,在3D交互界面应用***中,往往有2D界面(比如菜单选项或***设置等一般用2D界面呈现),因此,3D与2D共存将是未来3D移动设备、智能3D数字电视等3D交互界面的一个基本特征——这正是本专利研究混合多模态手势(2D/3D,通信型手势/操作型手势)输入的根本原因。因此,让用户真正“自然”地操作界面,必然要求在不同操作姿态、不同操作维度之间随意地透明切换,这种切换客观上可以降低长时间限于某一种固定操作模式所带来的紧张感和疲劳感。
其次,在操作模式A中,用户的心理模型(MentalModel)直接建立在物理界面直接映射的基础上,用户无需学习或记忆就可以通过虚拟界面完成交互任务,故用户的认知负荷非常低。在操作模式B中,因为同一个手势在不同的功能块将被解释成不同的命令,因此可以用同一个手势完成不同语义的操作,故降低了用户的认知负荷。因为只有结合虚拟界面位置感知和用户的行为模型,因此在很大程度上解决了基于手势交互的人机***中难以解决的“MidasTouch问题”。
用户手势附近的这块看不见的虚拟界面对于用户的心理具有特殊的意义和作用。首先,它是指令“发射区”;其次,思维模型是用户脑中对所进行的具体活动机制的一个抽象,该区域与用户的思维模型“距离”最近;从某种意义上讲它是物理界面的替代物。与思维模型的一致性,客观上就要求当用户的“操作重心”发生显著变化时,***需要自动重新定位虚拟界面的位置。
通过交互设备对用户行为模型的感知,成功构建虚拟界面的结构和功能分布、虚拟界面的风格、虚拟界面的类型、多风格界面映射矩阵等关键数据和关键模型。因此,智能感知是实现基于虚拟界面隐式交互的核心,虚拟界面是承载智能感知的基础。
以上所述仅是本专利的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本专利技术原理的前提下,还可以做出若干改进和替换,这些改进和替换也应视为本专利的保护范围。

Claims (4)

1.一种基于智能电视的非接触式虚拟人机交互方法,其特征在于,包括以下步骤:
步骤1,将智能电视连接图像传感设备,并在智能电视中建立手势识别***和手势信息数据库,在手势信息数据库中存储若干种指定手势以及与指定手势一一对应关联的智能电视执行程序;
步骤2,如果图像传感设备观测到智能电视前的感知空间内有用户画出矩形,则进行步骤3,如果图像传感设备观测到智能电视前的感知空间内有用户画出圆形,则进行步骤4;
步骤3,进行操作模式A,智能电视切换出二维菜单界面和三维操纵界面,图像传感设备观测用户的动态操作手势并通过手势识别***进行识别,利用行为模型感知算法将用户做出的动态操作手势映射到二维菜单界面或三维操纵界面上进行直接操作;
步骤4,进行操作模式B,保持智能电视当前界面不变,图像传感设备观测用户的手势数据并通过手势识别***进行识别,在手势信息数据库中遍寻与识别出的手势一致的一种指定手势,并调用与之对应关联的智能电视执行程序;
在步骤4中,智能电视前的感知空间划分出多个功能区域,在不同的功能区域内相同的手势关联不同的智能电视执行程序;智能电视前的感知空间内多个功能区域划分方法为:
步骤a,设定感知空间内存在虚拟界面,该虚拟界面几何体区域为G,虚拟界面上需要布局的功能区域数目为m,将G分为u×v个功能块gi,j(i=1,2,..u,j=1,2,…,v),u×v=m;
步骤b,G的重心为O,gi,j的重心为Oi,j,定义手势到各个功能区域需要移动距离权值为:ηi,j=γexp(-||Oi,j-O||);移动距离越大,则移动距离权值越小,且 &Sigma; i = 1 u &Sigma; j = 1 v &eta; i , j = 1,0 &le; &eta;i , j &le; 1 ( 1 &le; i &le; u , 1 &le; j &le; v ) ;
步骤c,进一步定义各个功能区域的易操作性βi,j(i=1,2,..u,j=1,2,…,v),它们可以用概率统计的方法得到,且满足: &Sigma; i = 1 u &Sigma; j = 1 v &beta; i , j = 1,0 &le; &beta;i . j &le; 1 ( 1 &le; i &le; u , 1 &le; j &le; v ) ;
各个功能的使用频率ωi(i=1,2,..m)不同,采用概率统计的方法得到,且满足: &Sigma; i = 1 u &Sigma; j = 1 v &omega; i , j = 1,0 &le; &omega; i , j &le; 1 ( 1 &le; i &le; u , 1 &le; j &le; v ) ; 各gi,j所在位置“好坏”的总体评价权值为:αi,j=ηi,jβi,j
步骤d,再将αi,j按照由大到小进行排序,得到序列(α1,α2,…,αm),将ωi,j也按照由大到小的顺序进行排序,得到序列(ω1,ω2,…,ωm);从而,ωk所对应的功能分配给模块αk(1≤k≤m)。
2.根据权利要求1所述基于智能电视的非接触式虚拟人机交互方法,其特征在于:在步骤2中用户画出矩形的识别方法,包括以下步骤:
a.图像传感设备观测到智能电视感知空间内的图像,去除每帧图像的背景,得到手势图像;
b.计算每个手势图像的重心;
c.以静止手势作为手势开始和手势结束的标志,将各帧手势的重心按照时间顺序组成序列,得到手势轨迹多边形;
d.将该轨迹用四条首尾依次相连的直线拟合该手势轨迹多边形,得到一个矩形,使得手势多边形上各点到达该矩形最近边的垂直距离之和的平均值δ最小;
e.如果平均值δ<ω,则该手势轨迹多边形为矩形,并返回该矩形;否则该手势轨迹多边形不为矩形,返回空;其中,ω是一个指定的非负阈值。
3.根据权利要求1所述基于智能电视的非接触式虚拟人机交互方法,其特征在于,在步骤2中用户画出圆形的识别方法,包括以下步骤:
a.图像传感设备观测到智能电视感知空间内的图像,去除每帧图像的背景,得到手势图像;
b.计算每个手势图像的重心;
c.以静止手势作为手势开始和手势结束的标志,将各帧手势的重心按照时间顺序组成序列,得到手势轨迹多边形;
d.计算该手势轨迹多边形所有点的重心坐标位置O;
e.计算该手势轨迹多边形上各点Pi距离O的距离ri,ri=||Pi-O||;
f.计算各个ri的均值:其中,n是手势轨迹多边形上点的个数;
g.计算均方误差r:如果r<γ,则手势轨迹多边形为圆;否则不为圆;其中,γ是事先指定的非负阈值。
4.根据权利要求1所述基于智能电视的非接触式虚拟人机交互方法,其特征在于,在步骤3中行为模型感知算法包括以下步骤:
a.利用粒子滤波算法获取当前时刻前面N帧图像中的三维手势结构;设定感知空间内存在虚拟界面,该虚拟界面的法线方向向量为T;第k帧三维结构向量为Gk=(Ok,Dk,f,Dk,uk);其中,Ok表示手形重心向量,Dk,f和Dk,u分别表示手形向前方向向量和向上方向向量,θk表示手形各关节值组成的向量,1≤k≤N;
b.计算三维手势模型在N帧的运动轨迹CN,然后,从当前帧开始,在CN上反向搜索与T平行的线段,假设该线段的起始时间为t0,再从t0出发,在CN上方向搜索线段,假设终止点为t1,线段t1t0的方向向量为DL;如果DL·T=0且在时间段[t1,t0]内手势形状没有发生改变,则检测出“平移(Translation)-确定(Confirmation)”模型(T-C),即用户的当前行为为在进行二维菜单界面选择操作;否则,进行步骤c;
c.从当前帧开始,反向把关节角度向量θk的对应变量组成向量组,如果所有向量组都单调不增减,设单调不增的起始点为t0,再从t0出发,搜索如果所有向量组都单调不减增,则检测出“抓(Grasp)-操纵(Manipulation)-放(Release)”模型(G-M-R),即用户的当前行为为在进行三维操纵界面直接操纵;否则,返回步骤a。
CN201510013947.0A 2015-01-12 2015-01-12 一种基于智能电视的非接触式虚拟人机交互方法 Active CN104571823B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510013947.0A CN104571823B (zh) 2015-01-12 2015-01-12 一种基于智能电视的非接触式虚拟人机交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510013947.0A CN104571823B (zh) 2015-01-12 2015-01-12 一种基于智能电视的非接触式虚拟人机交互方法

Publications (2)

Publication Number Publication Date
CN104571823A CN104571823A (zh) 2015-04-29
CN104571823B true CN104571823B (zh) 2015-12-02

Family

ID=53088036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510013947.0A Active CN104571823B (zh) 2015-01-12 2015-01-12 一种基于智能电视的非接触式虚拟人机交互方法

Country Status (1)

Country Link
CN (1) CN104571823B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105138949A (zh) * 2015-07-07 2015-12-09 济南大学 基于多手势与语义之间柔性映射的手势操控方法
CN104992156A (zh) * 2015-07-07 2015-10-21 济南大学 基于手势与多语义之间柔性映射的手势操控方法
CN105138122B (zh) * 2015-08-12 2018-10-26 深圳市卡迪尔通讯技术有限公司 一种通过识别手势遥控屏幕设备的方法
CN106203380B (zh) * 2016-07-20 2019-11-29 中国科学院计算技术研究所 超声波手势识别方法及***
WO2018018598A1 (zh) * 2016-07-29 2018-02-01 深圳市赛亿科技开发有限公司 一种指令识别方法
WO2018018600A1 (zh) * 2016-07-29 2018-02-01 深圳市赛亿科技开发有限公司 一种手势识别装置
CN106375868A (zh) * 2016-09-09 2017-02-01 杭州联络互动信息科技股份有限公司 一种显示设备切换观看模式的方法及装置
CN109144349A (zh) * 2018-08-07 2019-01-04 西交利物浦大学 一种虚拟、增强或混合现实头显运动方向识别方法及***
CN109528121B (zh) * 2018-11-30 2021-02-26 佛山市顺德区美的洗涤电器制造有限公司 洗碗机和识别操作轨迹的方法、装置、设备及介质
CN109885444B (zh) * 2019-01-16 2022-03-15 深圳壹账通智能科技有限公司 基于手势识别的测试方法、装置、存储介质及终端设备
CN112115853A (zh) * 2020-09-17 2020-12-22 西安羚控电子科技有限公司 一种手势识别方法、装置、计算机存储介质及电子设备
CN112306232A (zh) * 2020-09-18 2021-02-02 济南大学 一种实时重构物体运动轨迹的方法
CN114047901B (zh) * 2021-11-25 2024-03-15 阿里巴巴(中国)有限公司 人机交互方法及智能设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4855654B2 (ja) * 2004-05-31 2012-01-18 ソニー株式会社 車載装置、車載装置の情報提供方法、車載装置の情報提供方法のプログラム及び車載装置の情報提供方法のプログラムを記録した記録媒体
KR20100101389A (ko) * 2009-03-09 2010-09-17 삼성전자주식회사 사용자 메뉴를 제공하는 디스플레이 장치 및 이에 적용되는ui제공 방법
CN102200830A (zh) * 2010-03-25 2011-09-28 夏普株式会社 基于静态手势识别的非接触控制***和控制方法
CN102457688A (zh) * 2011-12-30 2012-05-16 四川长虹电器股份有限公司 一种电视音量和频道智能调节方法
KR102035134B1 (ko) * 2012-09-24 2019-10-22 엘지전자 주식회사 영상표시장치, 및 그 동작방법

Also Published As

Publication number Publication date
CN104571823A (zh) 2015-04-29

Similar Documents

Publication Publication Date Title
CN104571823B (zh) 一种基于智能电视的非接触式虚拟人机交互方法
Green et al. SIGGRAPH'90 Workshop report: software architectures and metaphors for non-WIMP user interfaces
US8866781B2 (en) Contactless gesture-based control method and apparatus
CN107728792B (zh) 一种基于手势识别的增强现实三维绘图***及绘图方法
Yoo et al. 3D user interface combining gaze and hand gestures for large-scale display
Fu et al. Multi-touch techniques for exploring large-scale 3D astrophysical simulations
CN104137043A (zh) 用于在图形用户界面(gui)上进行人机交互的方法
CN105808071B (zh) 一种显示控制方法、装置和电子设备
JP2011022984A (ja) 立体映像インタラクティブシステム
CN102622225A (zh) 一种支持用户自定义手势的多点触控应用程序开发方法
CN108628455B (zh) 一种基于触摸屏手势识别的虚拟沙画绘制方法
CN103365402A (zh) 显示设备的控制方法和装置
CN102520862B (zh) 基于声明性映射的用户输入的响应
Stannus et al. Gestural navigation in *** earth
US20170315609A1 (en) Method for simulating and controlling virtual sphere in a mobile device
CN105929946B (zh) 一种基于虚拟界面的自然交互方法
CN109118584A (zh) 控制自动化***的方法、控制***及计算机程序产品
Chatain et al. Exploring input modalities for interacting with augmented paper maps
CN110187781A (zh) 以瀑布流方式显示图片的方法、***、设备和存储介质
GB2533777A (en) Coherent touchless interaction with steroscopic 3D images
Lemoine et al. Interaction techniques: 3d menus-based paradigm
CN104219587A (zh) 一种用于对应用进行操控的方法和装置
Billinghurst et al. Multimodal Interfaces for Augmented Reality
Harish et al. Human computer interaction-a brief study
CN105955450A (zh) 一种基于计算机虚拟界面的自然交互***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant