CN108459702A - 基于手势识别与视觉反馈的人机交互方法与*** - Google Patents
基于手势识别与视觉反馈的人机交互方法与*** Download PDFInfo
- Publication number
- CN108459702A CN108459702A CN201710097594.6A CN201710097594A CN108459702A CN 108459702 A CN108459702 A CN 108459702A CN 201710097594 A CN201710097594 A CN 201710097594A CN 108459702 A CN108459702 A CN 108459702A
- Authority
- CN
- China
- Prior art keywords
- control
- hand
- user
- cursor
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000000007 visual effect Effects 0.000 title abstract description 18
- 230000004044 response Effects 0.000 claims abstract description 51
- 230000004913 activation Effects 0.000 claims abstract description 36
- 230000002452 interceptive effect Effects 0.000 claims description 39
- 230000010365 information processing Effects 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 15
- 210000003128 head Anatomy 0.000 claims description 6
- 210000001747 pupil Anatomy 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims description 2
- 210000003811 finger Anatomy 0.000 description 26
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000033001 locomotion Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 8
- 238000012790 confirmation Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000007667 floating Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 5
- 239000011800 void material Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000003213 activating effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 210000005224 forefinger Anatomy 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 230000005226 mechanical processes and functions Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
公开了基于手势识别与视觉反馈的人机交互方法与***。所公开的人机交互方法，包括：响应于视线朝向控制面板区域，将控制面板上的控件设置为激活状态；响应于对应于手部的光标进入处于激活状态的第一控件的区域，将光标绘制为准星图标；依据手部在虚拟坐标系中同第一控件的距离，更新准星图标的尺寸；以及响应于手部在虚拟坐标系中相对第一控件的距离小于阈值，生成第一事件。
Description
技术领域
本申请涉及人机交互领域。具体地，本发明涉及利用基于手势识别与视觉反馈进行人机交互的方法与***。
背景技术
人机交互技术中，控件是用于构建图形用户界面的可重用软件组件。通常，一个控件对应一种功能。例如，图1展示了二维图形用户界面中的“确认”控件。“确认”控件包括提示窗，提示窗中包括“确认”按钮与“取消”按钮。在“确认”控件被调用时，弹出如图1所示的提示窗，识别用户对“确认”按钮或“取消”按钮的点击来获得用户的操作意图，并实现人机交互。现有技术中的滑动解锁技术，通过手部在触摸屏上的滑动向信息处理设备告知用户的输入意图。
新型人机交互技术也在不断发展，基于手势识别的人机交互技术是热点之一。对手部运动的识别，可以通过多种方法实现。来自微软公司的US20100199228A1(公开日：2010年8月5日)提供了利用深度摄像头捕获并分析用户的身体姿态，并将其解释为计算机命令的方案。来自Nintendo公司的US20080291160A1(公开日：2008年11月27日)提供了利用红外传感器和加速度传感器捕获用户手部位置的方案。来自松下电器产业株式会社的CN1276572A提供了使用摄像头对手部进行拍照，然后对图像进行归一化分析，并将归一化得到的图像进行空间投影，并将所得的投影坐标与预先存储的图像的投影坐标进行比较。图2示出了来自天津锋时互动科技有限公司的专利申请CN201110100532.9提供的手势识别与空间位置的感知***与方法。如图2所示，手势识别***包含：计算机主机101、多摄像头***的控制电路102、多个摄像头103、使用者手部104、运行于计算机主机101的应用程序105、应用程序105中的***作对象106与虚拟手光标107。手势识别***还包括在图2中未示出的用于照明使用者手部104的红外照明光源以及放置于每个摄像头前的红外滤光片。多个摄像头103捕获使用者手部104的图像，控制电路102对摄像头103采集的手部图像进行处理，并识别手部的姿态和/或位置。此外，现有技术中还有利用数据手套来辅助对手部姿态的识别的方案。
发明内容
在基于手势识别的人机交互过程中，需要向用户给出有效的反馈，以向用户告知***所处的状态，***对用户的输入的反应，指导用户实施下一步的交互动作，以促进人机交互的完成。设计控件来促进应用程序的开发。控件以手势作为输入，而产生事件或消息作为输出。事件或消息可指示用户的“确认”或“取消”的操作目的，或指示多种不同含义的用户意图。而且由于人的生物特征决定了用户的手在三维交互空间的轨迹无法实现上笔直或者规范的问题，从而已有的人机交互技术难以有效地理解手势输入的意图。
在本申请的实施例中，通过向用户提供视觉反馈，来促进人机交互的完成。
根据本发明的第一方面，提供了第一人机交互方法，其中包括：响应于视线朝向控制面板区域，将控制面板上的控件设置为激活状态；响应于对应于手部的光标进入处于激活状态的第一控件的区域，将光标绘制为准星图标；依据手部在虚拟坐标系中同第一控件的距离，更新准星图标的尺寸；以及响应于手部在虚拟坐标系中相对第一控件的距离小于阈值，生成第一事件。
根据本发明的第一方面的第一人机交互方式，提供了根据本发明第一方面的第二人机交互方法，其中，响应于手部在虚拟坐标系中相对第一控件的距离小于阈值，还绘制第一控件被按下的效果。
根据本发明的第一方面的第二人机交互方式，提供了根据本发明第一方面的第三人机交互方法，其中，绘制第一控件被按下的效果后，还绘制第一控件浮起的效果。
根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第四人机交互方法，其中，将控制面板上的控件设置为激活状态，包括将控件绘制为浮起的效果。
根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第五人机交互方法，其中，将控制面板上的控件设置为激活状态，包括在控件周围绘制阴影。
根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第六人机交互方法，其中包括：响应于对应于手部的光标进入处于激活状态的第一控件的区域，在第一控件周围绘制瞄准框。
根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第七人机交互方法，其中包括：响应于对应于手部的光标进入处于激活状态的第二控件的区域，在第二控件周围绘制瞄准框；以及清除除第二控件之外的其他控件周围的瞄准框。
根据本发明的第一方面的前述第一至第六人机交互方式，提供了根据本发明第一方面的第八人机交互方法，其中包括：响应于对应于手部的光标移出第一控件的区域，清除除第一控件周围的瞄准框。
根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第九人机交互方法，其中包括：响应于视线离开控制面板区域，将控制面板上的控件设置为未激活状态。
根据本发明的第一方面的前述第一至第八人机交互方式，提供了根据本发明第一方面的第十人机交互方法，其中包括：响应于对应于手部的光标离开处于激活状态的第一控件的区域，若视线离开控制面板区域，将控件设置为未激活状态。
根据本发明的第一方面的前述第八至第十人机交互方式，提供了根据本发明第一方面的第十一人机交互方法，其中包括：将控件设置为未激活状态包括将清除控件的浮起效果。
根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第十二人机交互方法，其中包括：生成第一事件后，还将第一控件设置为激活状态。
根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第十三人机交互方法，其中包括：依据手部在现实坐标系中的位置得到对应于手部的光标在虚拟坐标系中的位置。
根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第十四人机交互方法，其中包括：依据瞳孔朝向和/或头部在现实坐标系中的姿态得到虚拟坐标系中的视线。
根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第十五人机交互方法，其中包括：响应于对应于手部的光标进入处于激活状态的第一控件的区域，将第一控件设置为瞄准状态；仅对于处于瞄准状态的第一控件，检测手部在虚拟坐标系中同第一控件的第一距离，并依据第一距离确定准星图标的直径。
根据本发明的第二方面，提供了一种人机交互装置，其中包括：激活模块，用于响应于视线进入控制面板区域，将控制面板上的控件设置为激活状态；准星绘制模块，用于响应于对应于手部的光标进入处于激活状态的第一控件的区域，将光标绘制为准星图标；准星更新模块，用于依据手部在虚拟坐标系中同第一控件的距离，更新准星图标的尺寸；以及事件生成模块，用于响应于手部在虚拟坐标系中相对第一控件的距离小于阈值，生成第一事件。
根据本发明的第三方面，提供了根据本发明第三方面的第一人机交互***，其中包括：包括计算单元、显示设备以及传感器模块；所述计算单元用于运行虚拟现实应用以构建虚拟现实场景；所述显示设备用于显示计算单元构建的虚拟显示场景；传感器模块用于感知用户视线的朝向以及用户手部在现实坐标系中的姿态；所述计算单元基于传感器模块所感知的用户视线的朝向，响应于视线进入控制面板区域，将控制面板上的控件设置为激活状态；所述计算单元基于传感器所感知的用户手部在现实坐标系中的姿态，确定对应于手部的光标的位置，响应于对应于手部的光标进入处于激活状态的第一控件的区域，将光标绘制为准星图标；所述计算单元依据用户手部在虚拟坐标系中同第一控件的距离，更新准星图标的尺寸；以及响应于手部在虚拟坐标系中相对第一控件的距离小于阈值，生成第一事件。
根据本发明的第三方面的第一人机交互***，提供了根据本发明第三方面的第二人机交互***，其中包括：响应于手部在虚拟坐标系中相对第一控件的距离小于阈值，还绘制第一控件被按下的效果。
根据本发明的第三方面的第二人机交互***，提供了根据本发明第三方面的第三人机交互***，其中包括：绘制第一控件被按下的效果后，还绘制第一控件浮起的效果。
根据本发明的第三方面的前述人机交互***，提供了根据本发明第三方面的第四人机交互***，其中包括：将控制面板上的控件设置为激活状态，包括将控件绘制为浮起的效果。
根据本发明的第三方面的前述人机交互***，提供了根据本发明第三方面的第五人机交互***，其中包括：将控制面板上的控件设置为激活状态，包括在控件周围绘制阴影。
根据本发明的第三方面的前述人机交互***，提供了根据本发明第三方面的第六人机交互***，其中包括：响应于对应于手部的光标进入处于激活状态的第一控件的区域，在第一控件周围绘制瞄准框。
根据本发明的第三方面的前述人机交互***，提供了根据本发明第三方面的第七人机交互***，其中包括：响应于对应于手部的光标进入处于激活状态的第二控件的区域，在第二控件周围绘制瞄准框；以及清除除第二控件之外的其他控件周围的瞄准框。
根据本发明的第三方面的前述第一至第六人机交互***，提供了根据本发明第三方面的第八人机交互***，其中包括：响应于对应于手部的光标移出第一控件的区域，清除除第一控件周围的瞄准框。
根据本发明的第三方面的前述人机交互***，提供了根据本发明第三方面的第九人机交互***，其中包括：响应于视线离开控制面板区域，将控制面板上的控件设置为未激活状态。
根据本发明的第三方面的前述第一至第八人机交互***，提供了根据本发明第三方面的第十人机交互***，其中包括：响应于对应于手部的光标离开处于激活状态的第一控件的区域，若视线离开控制面板区域，将控件设置为未激活状态。
根据本发明的第三方面的前述第八至第十人机交互***，提供了根据本发明第三方面的第十一人机交互***，其中包括：将控件设置为未激活状态包括将清除控件的浮起效果。
根据本发明的第三方面的前述人机交互***，提供了根据本发明第三方面的第十二人机交互***，其中包括：生成第一事件后，还将第一控件设置为激活状态。
根据本发明的第三方面的前述人机交互***，提供了根据本发明第三方面的第十三人机交互***，其中包括：依据手部在现实坐标系中的位置得到对应于手部的光标在虚拟坐标系中的位置。
根据本发明的第三方面的前述人机交互***，提供了根据本发明第三方面的第十四人机交互***，其中包括：依据瞳孔朝向和/或头部在现实坐标系中的姿态得到虚拟坐标系中的视线。
根据本发明的第三方面的前述人机交互***，提供了根据本发明第三方面的第十五人机交互***，其中包括：响应于对应于手部的光标进入处于激活状态的第一控件的区域，将第一控件设置为瞄准状态；仅对于处于瞄准状态的第一控件，检测手部在虚拟坐标系中同第一控件的第一距离，并依据第一距离确定准星图标的直径。
根据本发明的第四方面，提供了一种信息处理设备，其中所述信息处理设备包括处理器、存储器、显示设备，所述信息处理设备还耦合到传感器模块并接收传感器模块感知的用户的状态；所述存储器存储程序，所述处理器运行所述程序使所述信息处理设备执行根据本发明的第一方面的前述人机交互方法。
附图说明
当连同附图阅读时，通过参考后面对示出性的实施例的详细描述，将最佳地理解本发明以及优选的使用模式和其进一步的目的和优点，其中附图包括：
图1展示了现有技术中二维图形用户界面的“确认”控件；
图2是现有技术中的手势识别***结构示意图；
图3是根据本发明实施例的基于手势识别的人机交互***的框图；
图4A-4D是根据本发明实施例的控件的多种状态的示意图；
图5是根据本发明实施例的控件的状态图；
图6A-6C是根据本发明实施例的实现人机交互的方法的流程图；
图7A-7D是根据本发明实施例的人机交互中控制面板的示意图；以及
图8是根据实施例的信息处理设备的框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
图3是根据本发明实施例的基于手势识别的人机交互***的框图。根据本发明实施例的人机交互***包括彼此耦合的手势输入设备310、信息处理设备320以及显示设备330。在一个例子中，手势输入设备310，用于捕获用户手部的图像，并将获取的图像发送给信息处理设备进行处理。信息处理设备320，用于接收手势输入设备发送的手部图像，识别图像中用户手部的手势信息。信息处理设备320还通过显示设备330向用户展示图形和/或图像，例如在显示设备330上绘制用户手部的虚拟图像。信息处理设备可以是诸如计算机、手机或专用的手势识别设备。显示设备330可以是诸如平面显示器、投影仪、头戴式显示器。
在另一个例子中，手势输入设备310感知用户手部的位置和/或姿态，识别用户手部的手势信息，并将用户手部信息发送给信息处理设备320。信息处理设备320识别手势输入设备310提供的用户手部信息作为用户提供的输入，并通过显示设备330向用户提供输出，以实现人机交互。显然，信息处理设备320还可通过声音、力学作用等形式与用户进行交互。
作为依然另一个例子，手势输入设备310还是可以是例如深度传感器、距离传感器、VR控制器(如Oculus Rift Touch)、游戏手柄、数据手套(如CyberGlove)、动作捕捉***(如OptiTracker)、陀螺仪等，用于感知用户手部的位置和/或姿态。
手势输入设备310还包括视线检测设备312。视线检测设备312可以是例如头盔或头戴设备。通过步骤于头盔上的陀螺仪识别用户头部的位置与方向，并确定用户眼睛的方向作为视线方向。作为另一个例子，通过视频或图像捕捉设备识别用户眼睛，特别是瞳孔，所观察的方向作为视线方向。射频或图像捕捉设备可布置于头盔上，或人机交互***中可观察到用户眼睛的位置。视线检测设备312识别用户的视线方向，并提供给信息处理设备320。可选地，视线检测设备312捕获基本信息并提供给信息处理设备320，而由信息处理设备320从基本信息中提取出用户视线的方向。作为另一个例子，视线检测设备312独立于手势输入设备310，并通过独立的信道同信息处理设备320交互。可选地，视线检测设备312识别用户的视野范围，并提供给信息处理设备320。视野范围可以是以用户的眼睛或头部为起点的锥体，以用户的视线作为椎体的主轴线。
从用户在现实世界(或称“现实空间”)中所做的手势和/或动作，提取出基于虚拟坐标系的手势信息(i)。手势信息(i)可以是一个向量，并形式化表示为i＝{C,palm,thumb,index,mid,ring,little}。其中，c表示整个手的手型，例如，握拳、五指张开、胜利手势等，palm代表指示手掌的位置信息，thumb、index、mid、ring和little分别代表拇指、食指、中指、无名指和小指的位置信息和/或朝向信息。以及其中，虚拟坐标系用以展示由信息处理设备320所构建的虚拟世界(或称“虚拟空间”)中的位置信息。而用现实坐标系展示现实世界中物体或空间的位置信息。信息处理设备320所构建的虚拟世界可以是例如二维图形用户界面的二维空间、三维空间或融合了用户的虚拟现实场景。现实坐标系与虚拟坐标系，可以是二维坐标系或三维坐标系。可按一定的频率或时间间隔更新手势信息(i)，或者在用户的手部位置和/或姿态发生变化时，更新手势信息(i)。
在用户界面上，可以依据手势信息(i)显示光标，用来向用户提供视觉响应。光标在图形界面上的位置可表示为手势信息(i)的函数，例如func_a(i)。本领域技术人员可以理解，函数func_a根据不同的应用场景或设置而不同。
例如，在一个二维用户界面中，通过公式(1)计算要绘制光标的位置：
Func_a(i)＝C*0+palm*0+index.position*0.5+mid*0+little*0 (1)
(1)式中，index.position指用户食指的位置，因而从(1)式中可知，光标在用户界面上的位置，仅依赖于用户食指位置，且光标在用户界面上移动的距离，是用户食指移动距离的一半。
光标可具有单一样式，例如手的形状。光标也可具有对应于不同手型的多种样式。作为一个例子，光标展示了手型，例如，食指伸出、另外四指弯曲，手心朝向用户自己的手型，光标还提供了食指指向的方向。
基于手势信息(i)，能够确定在虚拟世界中，用户手部与其他物体的相对位置或距离，例如，手部的食指与控件所在平面的距离。作为另一个例子，通过在虚拟坐标系中，将用户的手部投影到控件所在的平面，来得到依据手势信息(i)显示的光标的位置。以及依据手部与控件所在平面的距离，确定显示的光标的大小。在根据本申请的实施例中，光标的直径与该距离相关，食指距离控件所在的平面越近，光标的直径越小，而食指距离控制所在的平面越远，光标的直径越大。从而通过绘制的光标的直径，向用户提供视觉反馈，以指示在虚拟世界中，食指与控件的距离，使得用户得以知晓自己的动作是使得手指在虚拟世界中更接近控件还是更远离控件。
从用户在现实世界中的视线的朝向，提取出视线在虚拟世界中的朝向。以及基于用户头部和/或手部在虚拟世界中的位置，计算在虚拟世界中用户的视线所处的直线、圆柱体或圆锥体。在虚拟世界中用户的视线同所处的直线、圆柱体或圆锥体同控件所在的平面可能相交，将相交的位置确定为用户视线所朝向、所观察的位置或区域。相交位置或区域的控件或对象是用户视线所观察的对象。还识别在虚拟世界中用户视线的移动，并确定用户视线进入或离开的区域，或者确定用户视线在控件所在平面上进入或离开的区域。
图4A-图4D展示了根据本发明实施例的按键同用户交互中给出的视觉反馈。在虚拟世界中可视地向用户展示按键。按键可以是二维的，也可以是三维的。可以理解，按键是作为举例，本发明的实施例也可应用于菜单、选择框等控件。
图4A展示了处于未激活状态的按键。按键同“返回”事件相关联。在按键上标注文字“返回”，以向用户提示触发该按键将引起回到上一场景或上一流程步骤的“返回”事件或消息。通过视觉的方式指示按键处于未激活状态，例如，将按键展示为贴紧在所在的平面上(例如，面板或控制面板)，按键四周没有阴影。作为另一个例子，处于未激活状态的按键是隐藏的，而不以可视的方式展示处于未激活状态的按键。在依然又一个例子中，未激活状态的按键距离控制面板最近，此时按键四周的阴影的面积最小，阴影部分透明度最高，边缘模糊程度最低。
图4B展示了处于激活状态的“返回”按键。通过视觉的方式向用户指示按键处于激活状态。例如，将按键展示为从平面上浮起，例如，在按键的四周呈现阴影，按键的位置按透视规则整体平移。作为另一个例子，将按键展示为从平面上凹下。作为又一个例子，改变控件颜色来指示按键处于激活状态。
图4C展示了处于瞄准状态的“返回”按键。通过视觉的方式向用户指示按键处于瞄准状态。例如，在按键的四周出现瞄准框。瞄准框由在按键四角外部出现的包围按键的四角的直角形状组成。以向用户指示该按键是当前用户操作的目标。进一步地，还在按键上绘制准星。准星是依据手势信息展示的，同用户手部对应的光标的一种样式。光标在按键所在平面上的位置，可以是虚拟空间中，手部在平面上的投影，依据手势信息与平面自身的位置得到。当光标位于处于激活状态的按键所在区域时，按键由激活状态变为瞄准状态。以及改变光标的样式为准星图案。进一步地，依据虚拟空间中，手部距离按键所在平面的距离，确定准星的直径。例如，手部距离按键的距离为L，则准星的直径为4L/3+10。从而，随着手部逐渐接***面，准星的直径变小，以向用户指示虚拟空间中的手部在逐渐接***面，且手部的投影(光标)依然保持在按键上。从而用户得以知晓保持手部在现实空间中的运动方向，能够在虚拟空间中接触按键。以及若光标离开了按键区域，按键将由瞄准状态变为激活状态，光标的样式也由准星变为普通样式，从而用户得以知晓手部移动的方向是否符合预期。
在3D虚拟空间的虚拟现实应用中，按键的瞄准状态特别有用。用户在3D空间中做出的动作或手势在位置、方向与距离上难以保持稳定。通过提供瞄准状态，以及通过准星的位置与尺寸不断就用户手部移动的方向与程度提示用户，引导用户完成对目标按键的点击，或调整目标。
图4D展示了处于点击状态的“返回”按键。通过视觉的方式向用户指示按键处于点击状态。当虚拟空间中，手部接触了按键所在平面，或手部到按键的距离小于阈值，触发对按键的点击。产生事件或者消息，以指示用户点击了按键。点击事件或消息同按键上的文字“返回”相关联。以及将准星绘制为实心圆，以向用户指示触发了对按键的点击。可选地，绘制按键被按下的效果，或者绘制按键被按下又弹起的效果，以向用户指示触发了对按键的点击，并且点击已经完成。在一个例子中，按键被按下，生成点击事件或消息，但不弹起，按键退出点击状态，按键周围的瞄准框消失，光标的样式从准星图案变为普通光标，将按键的这种状态称为被点击。在另一个例子中，按键被按下，生成点击事件或消息，接着随着虚拟空间中的用户手部远离按键，按键弹起，按键退出点击状态，并依据光标是否在按键区域内，按键进入激活状态或瞄准状态。
通过为按键提供多种状态，以及在每种状态提供按键不同的视觉效果，来及时向用户提供反馈，以引导用户利用手势便捷、有效且容易地同虚拟现实***中的控件进行交互。依然可选地，除了提供视觉反馈，还播放指定声音和/或向用户提供力学反馈。例如，随着虚拟控件中手部距离按键所在平面的距离变化，播放的声音逐渐变化和/或频率逐渐变化。
除了按键，本发明的实施例还可应用于其他控件，诸如单选框、复选框、文本框或其他能够响应点击事件的控件。对于单选框，点击动作使单选框选中，而处于同一组内的其他单选框被取消选中；对于复选框，点击事件使复选框选中；以及对于文本框，点击事件使文本框准备接收文本输入。控件可以有不同的外形。在各种状态中，可采用不同的视觉效果来向用户指示控件所处的状态。
对于按键的每种状态，还可以通过文字提示或声音来向用户指示按键所处的状态，或状态发生的变化。
图5是根据本发明实施例的控件的状态图。控件的状态包括未激活状态510、激活状态520、瞄准状态530与点击状态540。***初始化后，控件处于未激活状态510。以及依据用户手部在虚拟空间中的位置，绘制光标。处于未激活状态的控件可以如图4A所示，也可以是隐藏的，或者仅提供简单的就控件存在性的指示。对于处于未激活状态的控件，当检测到用户观察控件、控件所在的区域或承载控件的控制面板区域时，控件从未激活状态510转换为激活状态520(也参看图4B)。通过例如视线检测设备312(也参看图3)识别用户视线进入控件所在的区域。作为又一个例子，视线检测设备312提供用户的视野范围，获取视野范围的椎体与控件所在的区域或控制面板区域的截面。若视野范围或视野范围的截面与控件所在区域的重叠部分的占比超过阈值，或者视野范围的椎体的主轴线进入控件所在的区域，则识别出用户视线进入控件所在的区域。通过检测用户视线观察控件来激活控件，为人机交互提供了极大的便捷性。用户视线同手势可以同时并协同动作，来激活并操作控件。
对于处在激活状态的控件，若检测到用户不再观察该控件或视线离开控件所在区域，控件从激活状态520变为未激活状态510。对于处在激活状态的控件，若检测到随着用户手部的移动，同用户手部对应的光标移动到控件区域，控件从激活状态520变为瞄准状态。作为一个例子，在虚拟空间中，将光标投影到控件所在的平面(例如控制面板所处的平面)，以识别光标是否移动到控件区域。作为又一个例子，将虚拟空间中的用户手部投影到控件所在的平面，并在手部在控件所在平面的投影位置绘制光标。
对于处在瞄准状态530的控件，若检测到随着用户手部的移动，同用户手部对应的光标从控件区域移出，控件从瞄准状态530变为激活状态520。作为一个例子，控件处于瞄准状态530时，用户视线离开控制面板区域，不影响控件的状态。而作为另一个例子，控件处于瞄准状态530时，若用户视线离开控制面板区域，控制从瞄准状态530进入未激活状态510。在不同的环境下，用户可能需要不同的人机交互体验。
也参看图4C，对于处于瞄准状态530的控件，在控件周围绘制瞄准框，将同用户手部对应的光标绘制为准星样式，以向用户提供视觉反馈。以及准星的大小同用户手部在虚拟空间中到控件的距离有关。从而，通过准星的大小与位置，引导用户完成对控件的点击或避免对非目标控件的点击。展示准星的位置，引导用户避免将手部或同手部对应的光标移出控件区域，从而使用户知晓将被点击的控件是否是希望被点击的控件。展示准星的大小，随着用户手部在虚拟空间中接近控件，准星直径逐渐缩小，来使用户知晓在虚拟空间中，手部逐步接近控件。并且，用户通过准星的直径得以估计为完成点击还需要在现实空间中移动手部的距离，以及可选地移动方向。
对于处于瞄准状态530的控件，若虚拟空间中，用户手部接触了控件，或者为了提高鲁棒性，用户手部距控件的距离小于指定阈值时，控件从瞄准状态530进入点击状态540。
也参看图4D，进入点击状态的控件540，生成事件或消息，以指示点击的发生。
对于处于点击状态540的控件，随着时间的流逝或生成了指示点击的事件或消息，就自动地进入其他状态(例如，“退出点击”状态(未视出))。或者，依据手部或光标的位置，从点击状态540进入瞄准状态530或激活状态520。若光标处于控件区域，则控件进入瞄准状态530；若光标处于控件区域之外，则控件进入激活状态520。作为另一个例子，对于处于点击状态540的控件，随着在虚拟空间中手部离开控件所在平面，或者手部距离控件所在平面的距离超过指定阈值，依据光标所处的位置，控件从点击状态540进入瞄准530或激活状态520。可以理解地，图5展示的是单一控件的状态变化。在控制面板上可以布置多个控件，为每个控件维护自己的状态。例如，当光标从一个控件的区域移出，而进入另一个控件的区域时，得到光标的控件进入瞄准状态530，而失去光标的控件进入激活状态520。
图6A是根据本发明实施例的实现人机交互的流程图。在虚拟空间中设置控制面板，控制面板上设置一个或多个控件。控制面板具有平面形状，并依据人机交互的需求，设置在虚拟空间的指定位置。当虚拟空间初始化时，或者响应于对控制面板的设置和/或创建，初始化控制面板以及控制面板上的一个或多个控件，并将控件设置为未激活状态510(也参看图5)。在虚拟空间中还绘制对应于用户手部的光标，依据用户手部在虚拟空间中的位置确定光标的位置。
响应于用户视线进入控制面板区域，将控制面板上的一个或多个控件设置为激活状态520(S610)。以及通过使激活状态的一个或多个控件绘制从控制面板上浮起或凹下，在控件的四周绘制阴影，和/或从隐藏到展示，来向用户展示控件被激活。
随着用户移动手部，光标随之移动。用户通过移动手部，将光标移动到控件所处的区域。响应于光标进入控制面上的控件之一所处的区域，将该控件设置为瞄准状态530，并将光标绘制为准星图案(参看图4C)(S611)。以及在处于瞄准状态530的控件周围绘制瞄准框，以向用户指示该控件已被瞄准。
当控件处于瞄准状态时，随着用户移动手部，虚拟空间中手部相对控制面板上的被瞄准控件的距离随之改变。依据用户手部相对处于瞄准状态的控件的距离，更新准星图案的尺寸(S612)。使得手部距离被瞄准控件越近时，准星图案的直径越小，而手部距离被瞄准的控件越远时，准星图案的直径越大。
可选地，绘制被瞄准控件周围的瞄准框，以展示手部相对被瞄准控件的距离的变化。例如，随着手部接近被瞄准控件，重复绘制从大到小的多个瞄准框；而随着手部远离被瞄准控件，重复绘制从小到大的多个瞄准框。
当手部在虚拟空间中的位置接触被瞄准控件或手部相对被瞄准控件的距离小于阈值，将控件从瞄准状态设置为点击状态，以及生成指示点击的事件或消息(也参看图4D)(S613)。以及将准星绘制为实心圆形，以向用户可视地展示点击的发生。可选地，还绘制控件被按下，和/或弹起的效果，以向用户可视地展示点击的发生。
图6B是根据本发明又一实施例的实现人机交互的流程图。如图6B所示，该人机交互方法始于开始步骤S620，包括以下步骤：步骤S621，初始化控件，将控制面板上的控件设置为未激活状态。
可选地，根据人机交互需求在控制面板上设置一个或多个控件。作为一个示例，将未激活状态的控件展示为贴紧在所述控制面板上，控件四周没有阴影，以此来表示控件的“未激活”状态。接下来，在步骤S622，检测用户视线是否进入控制面板区域。作为一个例子，利用视线检测设备检测用户的视角，以确定用户视线是否朝向控制面板上的一个或多个控件，从而来检测用户视线是否进入控制面板区域。
若检测到用户视线进入控制面板区域，进入到步骤S623，将控制面板上的一个或多个控件由未激活状态510设置为激活状态520(也参看图5)。作为一个例子，将“激活”状态的控件展示为从控制面板上浮起，同时，在控件的四周呈现阴影，控件的位置按透视规则整体平移。作为另一个例子，将控件展示为从平面上凹下。作为另一个例子，改变控件颜色来指示控件处于“激活”状态。
接下来，在步骤S624，检测同用户手部对应的光标是否进入控制面板上的控件区域。
作为举例，在在虚拟空间中绘制对应于用户手部的光标。以及光标在虚拟空间中的位置依赖于用户手部的位置。随着用户移动手部，光标的位置随之移动。作为一个例子，将光标或用户手部在虚拟空间中的位置投影到控件所在的控制面板所在的平面，从而依据投影在控制面板所在平面上的识别光标是否移动到控件区域。
在检测到光标进入控制面板上的控件区域时，进入步骤S625，将控制面板上的控件设置为“瞄准”状态530(也参看图5)，并将光标绘制为准星图标。例如，光标的投影在控制面板所在平面上的位置同控件之一重叠或距离控件之一的边缘的距离小于阈值，认为光标进入控制面板上的该控件的区域。作为一个例子，在控件的四周出现瞄准框以展示“瞄准”状态的控件。可选地，瞄准框由在控件四角外部出现的包围控件的四角的直角形状组成，以向用户指示该控件是当前用户操作的目标。进一步地，还在控件上绘制准星图标。准星图标是依据手势信息展示的，是同用户手部对应的光标的一种样式。可选地，依据虚拟控件中手部位置在控制面板上的投影所在的位置绘制准星图标，将准星图标展现为圆环光标，圆环光标的尺寸随着手部的移动发生变化。作为另一个例子，准星图标也可以呈现为矩形，并在矩形中心呈现十字图案或“X”图案。
对于处在“瞄准”状态530的控件，若检测到随着用户手部的移动，同用户手部对应的光标从控件区域移出(步骤S629)，则将控制面板上处于“瞄准”状态的控件从“瞄准”状态530变为“激活”状态520。
对于处在“瞄准”状态530的控件，在步骤S626，根据虚拟空间中用户手部相对处在“瞄准”状态530的控件的距离，更新准星图标的尺寸。作为一个例子，准星图标是圆环光标。圆环光标的直径随着手部同控件的距离的变化而根据函数变化，同时圆环的环径保持不变。例如，手部距离控件的距离为L，则圆环光标的直径的变化函数为：4L/3+10，从而，随着手部逐渐接近控制面板，圆环光标的直径变小，以向用户指示虚拟空间中的手部在逐渐接***面，且手部的在控制面板平面的投影(光标)依然保持在处于“瞄准”状态的控件上。可选地，圆环光标的直径随着手部的移动进行变化，圆环的环径保持不变，即外圆与内圆的直径之差保持不变。
在步骤S627，判断手部在虚拟空间中相对“瞄准”状态的控件的距离是否小于阈值。阈值可以是0或者其他指定值。阈值是0或者其他指定值，指示在虚拟空间，手部接触了控制面板上的控件，或手部到控件的距离小于阈值，表明用户意图点击控件。若步骤S627判断出用户手部相对控件距离小于阈值，在步骤S628，将控制面板上的该控件设置为“点击”状态，并生成同该控件对应的事件或者消息，以指示用户点击了控件。
作为一个例子，手部接触了控制面板上的控件，或手部到控件的距离小于阈值时，将准星图标(圆环光标)绘制为实心圆，以向用户指示触发了对控件的点击。响应于“点击”状态，绘制控件回落到控制面板，控件周围的阴影消失，生成点击事件或消息。进一步可选地，回落到控制面板的控件不弹起，以及将控件设置为“退出点击”状态，控件周围的瞄准框消失，光标的样式从准星图标变为普通光标。作为另一个例子，响应于“点击”状态，绘制控件被按下，生成点击事件或消息，接着随着虚拟空间中的用户手部远离该控件，绘制控件弹起，并依据光标在控制面板所在平面的投影是否在该控件区域内，将该控件设置为“激活”状态或“瞄准”状态。
可选地，在虚拟空间，用户与控制面板交互过程中，响应于检测到用户视线离开控制面板区域，将控制面板上的控件设置为未激活状态510(步骤S630)。
图6C是根据本发明再一实施例的实现人机交互的方法的流程图。本发明实施例提供的人机交互方法适用于虚拟控件中可提供固定控制面板的面板的场景，优选地，控制面板距离用户的距离不超过用户手臂的长度。作为举例，控制面板具有平面形状，控制面板上设置有一个或多个控件。依据人机交互的需求，设置控制面板在虚拟空间的指定位置。用户通过手部与控制面板上的控件进行交互。
当虚拟空间初始化时，或者响应于对控制面板的设置和/或创建，初始化控制面板以及控制面板上的一个或多个控件，并将控件设置为“未激活”状态510。响应于检测到用户视线进入控制面板区域，将控制面板上的所有控件设置为“激活”状态520(步骤S641-S642)，具体地，绘制多个控件从控制面板浮起，并且在控件周围绘制阴影。
当控制面板上的控件被激活之后，开始检测虚拟空间中用户的食指在控制面板所在平面的投影是否在落在控件之一上(步骤S643)。如果检测结果为是，则将该控件设置为“瞄准“状态。作为举例，为向用户可视地提供控件处于“瞄准”状态的反馈，在该控件的四角绘制瞄准框；以及将光标绘制为圆环光标的样式；以及随着手部的移动，更新圆环光标的尺寸。假设圆环光标的直径为d，在虚拟控件中食指距离控件的距离为L，圆环光标的直径d随着食指距离控件的距离L根据函数变化(步骤S644)，例如d＝4L/3+10。这样随着食指距离控件的距离不断缩小，圆环光标的直径随之减小，以向用户指示手部在逐渐接近控制面板，且圆环光标的位置依然保持在食指在控制面板所在平面的投影位置。当食指距离控件的距离L为0或小于指定阈值，代表了用户意图用食指接触控制面板上的控件。作为响应，生成控件被点击的事件，将被点击的控件设置为“点击”状态。为向用户可视地指示控件被设置为“点击”状态，绘制控件回落至控制面板并被弹回至原位置，以及触发同控件关联的事件(步骤S645-S646)。触发了同控件关联的事件后，回到步骤S643，继续检测虚拟空间中用户的食指在控制面板所在平面的投影是否在落在控件之一上。若在步骤S645检测食指距离控件L的距离不小于阈值，则控件仍然保持为“激活”状态，以及回到步骤S643，继续检测虚拟空间中用户的食指在控制面板所在平面的投影是否在落在控件之一上。
在步骤S643，检测用户的食指投影是否在落在控件之一上。如果检测结果为否，即用户的食指投影没有落在控制面板上的任何一个控件上，则继续检测用户视线是否离开控制面板区域(S647).如果用户视线离开了控制面板区域，则绘制控制面板上的控件回落至控制面板，控件周围的阴影消失，并将控件设置为“未激活”状态(步骤S647-S648)。以及转向步骤S641，重新开始执行检测用户视线是否进入控制面板。
图7A-7D是根据本发明实施例的人机交互中控制面板的示意图。为促进人机交互，在虚拟空间中可视地向用户展示控制面板以及控制面板上的按键。作为举例，控制面板上包括“播放”、“暂停”、“前进”、“后退”四个按键。按键的样式可以是二维的，也可以是三维的。可以理解，按键是作为举例，本发明的实施例也可应用于菜单、选择框等控件。按键数量可以是四个，也可以根据人机交互需求设置任意多个。依据手部在虚拟控件中的位置在控制面板所在平面的投影绘制光标，光标的形状可以有多种，例如，手形，箭头形状，圆环形等。
图7A展示的控制面板，其上的多个按键处于“未激活”状态。当虚拟空间初始化时，或者响应于对控制面板的设置和/或创建，在虚拟空间中显示如图7A的控制面板。通过视觉的方式指示按键处于未激活状态，例如，将按键展示为贴紧在所述控制面板上，和/或按键四周没有阴影。作为另一个例子，当控制面板上的按键处于“未激活”状态时，隐藏控制面板和/或控制面板上的控件，从而减少对用户的影响。
图7B展示的控制面板，其上的多个按键处于“激活”状态。响应于用户视线进入控制面板区域，在虚拟空间中显示如图7B的控制面板。通过视觉的方式向用户指示按键处于“激活”状态。可选地，将按键展示为从平面上浮起，例如，在按键的四周呈现阴影，和/或按键的位置按透视规则整体平移。
图7C展示的控制面板，其上的“后退”按键处于“瞄准”状态，剩余的按键保持在“激活”状态。响应于光标进入“后退”按键区域，“后退”按键由“激活”状态变为“瞄准”状态，在虚拟空间中显示如图7C的控制面板。通过视觉的方式向用户指示按键处于“瞄准”状态。例如，在按键的四周绘制瞄准框。瞄准框由在按键四角外部出现的包围按键的四角的直角形状组成。以向用户指示该按键是当前用户操作的目标。进一步地，还在按键上绘制准星图标。
图7D展示的控制面板，其上的“后退”按键处于“点击”状态，剩余的按键保持“激活”状态。响应于虚拟空间中用户手部接触“后退”按键，或者手部相对“后退”按键的距离小于阈值，“后退”按键由“瞄准”状态变为“点击”状态。以及将准星光标为绘制实心圆，并触发同“后退”按键关联的事件。虚拟空间中显示如图7D的控制面板，以通过视觉的方式向用户指示按键处于“点击”状态。以及，以视觉方式向用户展示生成了同“后退”按键关联的点击事件或消息，或者点击动作完成。例如，绘制按键四周的瞄准框，按键回落到控制面板上，按键周围阴影消失，以向用户指示触发了对按键的点击，并且点击已经完成。可选地，以按键回落到控制面板又弹起的效果向用户指示触发了对按键的点击，并且点击已经完成。
作为一个实施方式，在“后退”按键变成“点击”状态之后，若用户收回手部(虚拟空间中手部到按键的距离大于阈值)，将“后退”按键设置为“激活”状态，在虚拟空间中再次展示如图7B所示的控制面板，并继续检测用户的操作。
作为又一个实施方式，在“后退”按键变成“点击”状态之后，若用户收回手部(虚拟空间中手部到按键的距离大于阈值)，将“后退”按键设置为“退出点击”状态。处于“退出点击”状态的按键同处于“激活”状态或“瞄准”状态按键可以不同，例如，按键位于控制面板上而不自动浮起，光标位于“退出点击”状态的按键区域内时，光标被展示为普通光标样式而不是圆环光标样式。
可选地，本发明实施例的操作面板、控件、光标可以是不同的颜色，并且三者之间的颜色有明显差异，以便于用户区分和操作。
可选地，根据本申请的实施例中，用户利用手指进行交互时，保持手指对手势输入设备310的可见性，避免手掌遮挡手指，从而有利于对手部姿态、手指位置的识别。
图8是实现本发明实施例的信息处理设备的框图。在根据本发明的实施例中，信息处理设备800在用户界面上生成控件，并识别用户手势信息(i)或接收手势输入/手势识别设备提供的手势信息(i)，识别用户的指示，并向用户提供反馈以同用户交互。图8中展示的信息处理设备800是计算机。计算机仅仅是适当的计算环境的一个例子，而不意图暗示关于本发明的使用或功能范围的任何限制。图8所展示的信息处理设备也不应当被解释为在所示出的任何组件或组件组合方面有任何依赖性或要求。
信息处理设备800包括直接或间接地耦合到总线810的存储器812、一个或更多处理器814、一个或更多呈现组件816、I/O组件820以及电源822。总线810所代表的可以是一种或更多种总线(比如地址总线、数据总线或其组合)。是在实际情况中各个组件的界定并不是必然如图8中的方式。举例来说，可以把诸如显示设备之类的呈现组件视为I/O组件820。此外，处理器可具有存储器。图8的图示仅仅是为了说明可以与本发明的一个或多个实施例相结合地使用的示例性计算机***。
信息处理设备800通常包括多种存储器812。作为举例而非限制，存储器812可以包括：随机存取存储器(RAM)、只读存储器(ROM)、电子可擦写可编程只读存储器(EEPROM)、闪存、压缩盘只读存储器(CDROM)、数字通用盘(DVD)或其他光学或全息介质、磁盒、磁带、磁盘存储或其他磁性存储设备。计算机存储介质可以是非易失性的。
信息处理设备800包括一个或更多处理器814，其从诸如总线810、存储器812或者I/O组件820之类的各种实体读取数据。一个或多个呈现组件816向用户或其他设备呈现数据指示。示例性的呈现组件816包括显示设备、扬声器、打印组件、振动组件、平面显示器、投影仪、头戴式显示器等。呈现组件816也可以是用于耦合显示设备、扬声器、打印组件、振动组件、平面显示器、投影仪、头戴式显示器等的I/O端口。说明性的I/O组件820包括摄像头、麦克风、操纵杆、游戏手柄、碟形卫星信号收发天线、扫描仪、打印机、无线设备等。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。
Claims (10)
1.一种人机交互方法，包括：
响应于视线朝向控制面板区域，将控制面板上的控件设置为激活状态；
响应于对应于手部的光标进入处于激活状态的第一控件的区域，将光标绘制为准星图标；依据手部在虚拟坐标系中同第一控件的距离，更新准星图标的尺寸；以及
响应于手部在虚拟坐标系中相对第一控件的距离小于阈值，生成第一事件。
2.根据权利要求1所述的方法，其中，
响应于手部在虚拟坐标系中相对第一控件的距离小于阈值，还绘制第一控件被按下的效果。
3.根据权利要求1-2之一所述的方法，还包括
响应于对应于手部的光标进入处于激活状态的第一控件的区域，在第一控件周围绘制瞄准框。
4.根据权利要求1-3之一所述的方法，还包括：
响应于视线离开控制面板区域，将控制面板上的控件设置为未激活状态。
5.根据权利要求1-4之一所述的方法，其中
依据手部在现实坐标系中的位置得到对应于手部的光标在虚拟坐标系中的位置。
6.根据权利要求1-5之一所述的方法，其中
依据瞳孔朝向和/或头部在现实坐标系中的姿态得到虚拟坐标系中的视线。
7.根据权利要求1-6之一所述的方法，其中
响应于对应于手部的光标进入处于激活状态的第一控件的区域，将第一控件设置为瞄准状态；仅对于处于瞄准状态的第一控件，检测手部在虚拟坐标系中同第一控件的第一距离，并依据第一距离确定准星图标的直径。
8.一种人机交互装置，包括：
激活模块，用于响应于视线进入控制面板区域，将控制面板上的控件设置为激活状态；
准星绘制模块，用于响应于对应于手部的光标进入处于激活状态的第一控件的区域，将光标绘制为准星图标；
准星更新模块，用于依据手部在虚拟坐标系中同第一控件的距离，更新准星图标的尺寸；以及
事件生成模块，用于响应于手部在虚拟坐标系中相对第一控件的距离小于阈值，生成第一事件。
9.一种人机交互***，包括计算单元、显示设备以及传感器模块；
所述计算单元用于运行虚拟现实应用以构建虚拟现实场景；
所述显示设备用于显示计算单元构建的虚拟现实场景；
传感器模块用于感知用户视线的朝向以及用户手部在现实坐标系中的姿态；
所述计算单元基于传感器模块所感知的用户视线的朝向，响应于视线进入控制面板区域，将控制面板上的控件设置为激活状态；
所述计算单元基于传感器所感知的用户手部在现实坐标系中的姿态，确定对应于手部的光标的位置，响应于对应于手部的光标进入处于激活状态的第一控件的区域，将光标绘制为准星图标；
所述计算单元依据用户手部在虚拟坐标系中同第一控件的距离，更新准星图标的尺寸；以及响应于手部在虚拟坐标系中相对第一控件的距离小于阈值，生成第一事件。
10.一种信息处理设备，包括处理器、存储器、显示设备，所述信息处理设备还耦合到传感器模块并接收传感器模块感知的用户的状态；
所述存储器存储程序，所述处理器运行所述程序使所述信息处理设备执行权利要求1-7之一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710097594.6A CN108459702B (zh) | 2017-02-22 | 2017-02-22 | 基于手势识别与视觉反馈的人机交互方法与*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710097594.6A CN108459702B (zh) | 2017-02-22 | 2017-02-22 | 基于手势识别与视觉反馈的人机交互方法与*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108459702A true CN108459702A (zh) | 2018-08-28 |
| CN108459702B CN108459702B (zh) | 2024-01-26 |
Family
ID=63220832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710097594.6A Active CN108459702B (zh) | 2017-02-22 | 2017-02-22 | 基于手势识别与视觉反馈的人机交互方法与*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108459702B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109725723A (zh) * | 2018-12-29 | 2019-05-07 | 百度在线网络技术（北京）有限公司 | 手势控制方法和装置 |
| CN109725724A (zh) * | 2018-12-29 | 2019-05-07 | 百度在线网络技术（北京）有限公司 | 有屏设备的手势控制方法和装置 |
| CN113760137A (zh) * | 2021-06-16 | 2021-12-07 | 荣耀终端有限公司 | 光标显示方法及电子设备 |
| TWI776522B (zh) * | 2021-03-23 | 2022-09-01 | 宏達國際電子股份有限公司 | 用於與虛擬環境互動的方法、電子裝置以及可讀儲存媒體 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101441513A (zh) * | 2008-11-26 | 2009-05-27 | 北京科技大学 | 一种利用视觉进行非接触式人机交互的*** |
| US20090231278A1 (en) * | 2006-02-08 | 2009-09-17 | Oblong Industries, Inc. | Gesture Based Control Using Three-Dimensional Information Extracted Over an Extended Depth of Field |
| CN102375683A (zh) * | 2010-08-20 | 2012-03-14 | 索尼公司 | 信息处理设备、计算机程序产品以及显示控制方法 |
| CN102426480A (zh) * | 2011-11-03 | 2012-04-25 | 康佳集团股份有限公司 | 一种人机交互***及其实时手势跟踪处理方法 |
| CN103347437A (zh) * | 2011-02-09 | 2013-10-09 | 普莱姆森斯有限公司 | 3d映射环境中的凝视检测 |
| CN104808795A (zh) * | 2015-04-29 | 2015-07-29 | 王子川 | 一种增强现实眼镜的手势识别方法及增强现实眼镜*** |
| CN105955461A (zh) * | 2016-04-25 | 2016-09-21 | 乐视控股（北京）有限公司 | 一种交互界面管理方法和*** |
-
2017
- 2017-02-22 CN CN201710097594.6A patent/CN108459702B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090231278A1 (en) * | 2006-02-08 | 2009-09-17 | Oblong Industries, Inc. | Gesture Based Control Using Three-Dimensional Information Extracted Over an Extended Depth of Field |
| CN101441513A (zh) * | 2008-11-26 | 2009-05-27 | 北京科技大学 | 一种利用视觉进行非接触式人机交互的*** |
| CN102375683A (zh) * | 2010-08-20 | 2012-03-14 | 索尼公司 | 信息处理设备、计算机程序产品以及显示控制方法 |
| CN103347437A (zh) * | 2011-02-09 | 2013-10-09 | 普莱姆森斯有限公司 | 3d映射环境中的凝视检测 |
| CN102426480A (zh) * | 2011-11-03 | 2012-04-25 | 康佳集团股份有限公司 | 一种人机交互***及其实时手势跟踪处理方法 |
| CN104808795A (zh) * | 2015-04-29 | 2015-07-29 | 王子川 | 一种增强现实眼镜的手势识别方法及增强现实眼镜*** |
| CN105955461A (zh) * | 2016-04-25 | 2016-09-21 | 乐视控股（北京）有限公司 | 一种交互界面管理方法和*** |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109725723A (zh) * | 2018-12-29 | 2019-05-07 | 百度在线网络技术（北京）有限公司 | 手势控制方法和装置 |
| CN109725724A (zh) * | 2018-12-29 | 2019-05-07 | 百度在线网络技术（北京）有限公司 | 有屏设备的手势控制方法和装置 |
| CN109725724B (zh) * | 2018-12-29 | 2022-03-04 | 百度在线网络技术（北京）有限公司 | 有屏设备的手势控制方法和装置 |
| TWI776522B (zh) * | 2021-03-23 | 2022-09-01 | 宏達國際電子股份有限公司 | 用於與虛擬環境互動的方法、電子裝置以及可讀儲存媒體 |
| CN113760137A (zh) * | 2021-06-16 | 2021-12-07 | 荣耀终端有限公司 | 光标显示方法及电子设备 |
| CN113760137B (zh) * | 2021-06-16 | 2022-08-05 | 荣耀终端有限公司 | 光标显示方法及电子设备 |
| US11989385B2 (en) | 2021-06-16 | 2024-05-21 | Honor Device Co., Ltd. | Cursor display method and electronic device |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108459702B (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220382379A1 (en) | Touch Free User Interface | |
| US10015402B2 (en) | Electronic apparatus | |
| US9685005B2 (en) | Virtual lasers for interacting with augmented reality environments | |
| US10324293B2 (en) | Vision-assisted input within a virtual world | |
| US20210011556A1 (en) | Virtual user interface using a peripheral device in artificial reality environments | |
| CN105229582B (zh) | 基于近距离传感器和图像传感器的手势检测 | |
| KR101791366B1 (ko) | 증강된 가상 터치패드 및 터치스크린 | |
| JP6539816B2 (ja) | １つのシングル・センシング・システムを使用したマルチ・モーダル・ジェスチャー・ベースの対話型のシステム及び方法 | |
| EP2480955B1 (en) | Remote control of computer devices | |
| US20190238755A1 (en) | Method and apparatus for push interaction | |
| CN108536273A (zh) | 基于手势的人机菜单交互方法与*** | |
| JP4513830B2 (ja) | 描画装置、及び描画方法 | |
| EP2558924B1 (en) | Apparatus, method and computer program for user input using a camera | |
| CN108459702A (zh) | 基于手势识别与视觉反馈的人机交互方法与*** | |
| US9804667B2 (en) | Electronic apparatus | |
| KR20130001176A (ko) | 근접 범위 움직임 추적 시스템 및 방법 | |
| CN103347437A (zh) | 3d映射环境中的凝视检测 | |
| KR20100106203A (ko) | 멀티 텔레포인터, 가상 객체 표시 장치, 및 가상 객체 제어 방법 | |
| US20160073017A1 (en) | Electronic apparatus | |
| JP6534011B2 (ja) | 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法 | |
| EP2590060A1 (en) | 3D user interaction system and method | |
| JP2014026355A (ja) | 映像表示装置および映像表示方法 | |
| JP6519075B2 (ja) | 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法 | |
| CN110717993B (zh) | 一种分体式ar眼镜***的交互方法、***及介质 | |
| CN110673810B (zh) | 显示设备及其显示方法、装置、存储介质和处理器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20191121 Address after: 300450 room 203b-3, building 3, No.4, Haitai development road 2, Huayuan Industrial Zone (outside the ring), Binhai high tech Zone, Binhai New Area, Tianjin Applicant after: TIANJIN SHARPNOW TECHNOLOGY Co.,Ltd. Address before: 518000 Guangdong, Shenzhen, Nanshan District science and technology south twelve road Konka R & D building 12 floor, A2 Applicant before: TIANJIN FENGSHI HUDONG TECHNOLOGY Co.,Ltd. SHENZHEN BRANCH |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210120 Address after: 518000 B1018, 99 Dahe Road, Runcheng community, Guanhu street, Longhua District, Shenzhen City, Guangdong Province Applicant after: Shenzhen laimile Intelligent Technology Co.,Ltd. Address before: Room 203b-3, building 3, No.4, Haitai development road 2, Huayuan Industrial Zone, Binhai high tech Zone, Binhai New Area, Tianjin 300450 Applicant before: Tianjin Sharpnow Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210917 Address after: 518000 509, xintengda building, building M8, Maqueling Industrial Zone, Maling community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province Applicant after: Shenzhen qiaoniu Technology Co.,Ltd. Address before: 518000 B1018, 99 Dahe Road, Runcheng community, Guanhu street, Longhua District, Shenzhen City, Guangdong Province Applicant before: Shenzhen laimile Intelligent Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |