CN104428732A - 与近眼显示器的多模交互 - Google Patents

与近眼显示器的多模交互 Download PDF

Info

Publication number
CN104428732A
CN104428732A CN201280074696.1A CN201280074696A CN104428732A CN 104428732 A CN104428732 A CN 104428732A CN 201280074696 A CN201280074696 A CN 201280074696A CN 104428732 A CN104428732 A CN 104428732A
Authority
CN
China
Prior art keywords
screen
cursor
eye
posture
further operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280074696.1A
Other languages
English (en)
Inventor
汪孔桥
V·兰茨
李江伟
徐磊
J·于奥帕尼米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Priority to CN201910212295.1A priority Critical patent/CN110083202B/zh
Publication of CN104428732A publication Critical patent/CN104428732A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及一种方法，包括采用第一摄像机跟踪用户眼睛的凝视，其中，该凝视的位置确定光标在近眼显示器(NED)屏幕上的地方，其中，该凝视的移动被配置为移动该屏幕上的光标并且当检测到凝视的移动是静止的或仅轻微移动时，采用第二摄像机观察用户的一只手的姿势，并且如果检测到该手的至少一个姿势则执行进一步的操作。本发明进一步涉及被配置为执行该方法的装置和计算机程序产品。

Description

与近眼显示器的多模交互
技术领域
本申请大体涉及用于结合了手势检测器和凝视***的近眼显示器的多模交互***。
背景技术
头戴式显示器即近眼(near-to-eye)显示器设备，尤其是移动设备眼睛佩戴物(eyewear)，使得个人能够看到自然的或电子产生的图像，并同时允许该个人通过该显示看到真实世界。另外，头戴式显示设备可以包括允许该个人和显示设备交互，即控制该设备的技术。现有的控制机制可以包括，例如动作传感器、凝视跟踪***、或触摸传感器。然而，现有的控制机制经常使用起来费力、不方便或困难。
发明内容
现在，已经发明了一种改进的方法和实施该方法的技术设备，本发明的各个方面包括一种方法、一种装置以及一种计算机程序，其特征在于独立权利要求所声明的内容。本发明示例的各个方面在权利要求中提出。
根据本发明的第一方面，提供了一种方法，包括：采用第一摄像机跟踪用户眼睛的凝视，其中，凝视的位置确定光标在近眼显示器(NED)屏幕上的地方，其中，该凝视的移动被配置为移动屏幕上的光标并且当检测到该凝视的移动是静止的或仅轻微移动时，采用第二摄像机观察用户的一只手的姿势，并且如果检测到该手的至少一个姿势则执行进一步的操作。
根据一个实施例，该进一步的操作取决于检测到的姿势。根据一个实施例，该检测到的姿势是拳头的移动、手掌的晃动或者远离或向着该第二摄像机的手掌的移动。根据一个实施例，该进一步的操作进一步取决于该光标在该近眼显示器屏幕上的位置。根据一个实施例，该进一步的操作是：如果该光标在屏幕上显示的菜单选项或者功能图标的区域之外，基于该手的相对移动调整光标在近眼显示器屏幕上的位置。根据一个实施例，该进一步的操作是：如果光标在菜单选项或者功能图标上，选择显示在近眼显示器屏幕上的菜单选项或者功能图标。根据一个实施例，该进一步的操作是：放大或缩小近眼显示器屏幕的视野。根据一个实施例，该进一步的操作是：返回、移动或删除。根据一个实施例，该方法进一步包括：如果没有检测到手的姿势，并且如果光标在屏幕上显示的菜单选项或者功能图标的区域上，则观察用户眼睛的眨眼，以及如果检测到用户眼睛的眨眼，选择该菜单选项或者该功能图标。
根据本发明的第二方面，提供了一种装置，包括至少一个处理器，包括用于一个或多个程序单元的计算机程序代码的至少一个存储器，该至少一个存储器和计算机程序代码被配置为利用该处理器使该装置执行至少以下步骤：采用第一摄像机跟踪用户眼睛的凝视，其中，该凝视的位置确定光标在装置的近眼显示器(NED)屏幕上的地方，其中，凝视的移动被配置为移动该屏幕上的光标并且当检测到该凝视的移动是静止的或仅轻微移动时，采用第二摄像机观察用户的一只手的姿势，并且如果检测到该手的至少一个姿势则执行进一步的操作。
根据一个实施例，该进一步的操作取决于检测到的姿势。根据一个实施例，该检测到的姿势可以是拳头的移动、手掌的晃动或者远离或向着该第二摄像机的手掌的移动。根据一个实施例，该进一步的操作进一步取决于该光标在该近眼显示器屏幕上的位置。根据一个实施例，该进一步的操作是：如果光标在屏幕上显示的菜单选项或者功能图标的区域之外，则基于该手的相对移动调整该光标在该近眼显示器屏幕上的位置。根据一个实施例，进一步的操作是，如果该光标在菜单选项或者功能图标上，选择显示在该近眼显示器屏幕上的该菜单选项或者功能图标。根据一个实施例，进一步的操作是：放大或缩小该近眼显示器屏幕的视野。根据一个实施例，该进一步的操作是返回、移动或删除。根据一个实施例，该计算机程序代码被进一步配置为利用该处理器使该装置执行：如果没有检测到手的姿势并且如果光标在屏幕上显示的菜单选项或者功能图标的区域上，观察用户眼睛的眨眼，并且，如果检测到用户眼睛的眨眼，选择该光标在该近眼显示器屏幕上的该菜单选项或者功能图标。根据一个实施例，所述装置是近眼显示器(NED)设备。根据一个实施例，所述近眼显示器设备是移动电话。根据一个实施例，该近眼显示器设备是移动电话的终端设备。
根据一个实施例，一种计算机程序产品，包含一个或多个指令的一个或多个序列，当其被一个或多个处理器执行时，使装置执行至少步骤：采用第一摄像机跟踪用户眼睛的凝视，其中，该凝视的位置确定光标在该装置的近眼显示器(NED)屏幕上的地方，其中，该凝视的移动被配置为移动该屏幕上的光标并且当检测到该凝视的移动是静止的或仅轻微移动时，采用第二摄像机观察用户的一只手的姿势，并且如果检测到该手的至少一个姿势则执行进一步的操作。
根据一个实施例，该进一步的操作取决于检测到的姿势。根据一个实施例，该检测到的姿势是拳头的移动、手掌的晃动或者远离或向着该第二摄像机的手掌的移动。根据一个实施例，该进一步的操作进一步取决于该光标在该近眼显示器屏幕上的位置。根据一个实施例，该进一步的操作是：如果该光标在屏幕上显示的菜单选项或者功能图标的区域之外，则基于该手的相对移动调整该光标在近眼显示器屏幕上的位置。根据一个实施例，该进一步的操作是：如果该光标在菜单选项或者功能图标上，则选择显示在该近眼显示器屏幕上的该菜单选项或者功能图标。根据一个实施例，该进一步的操作是：放大或缩小该近眼显示器屏幕的视野。根据一个实施例，该进一步的操作是：返回、移动或删除。根据一个实施例，该计算机程序代码被进一步配置为利用该处理器使该装置执行：如果没有检测到手的姿势并且如果光标在屏幕上显示的菜单选项或者功能图标的区域上，则观察用户眼睛的眨眼，并且如果检测到用户眼睛的眨眼，则选择该菜单选项或者该功能图标。根据一个实施例，该装置是近眼显示器(NED)设备。根据一个实施例，该近眼显示器设备是移动电话。根据一个实施例，该近眼显示器设备是移动电话的终端设备。
根据第三方面，提供了一种计算机程序，包括一个或多个指令，当其被一个或多个处理器执行时，使装置执行：
根据一个实施例，一种装置，包括：采用第一摄像机跟踪用户眼睛的凝视，其中，该凝视的位置确定光标在近眼显示器(NED)屏幕上的地方，其中，该凝视的移动被配置为移动该屏幕上的光标并且当检测到该凝视的移动是静止的或仅轻微移动时，采用第二摄像机观察用户的一只手的姿势，并且如果检测到该手的至少一个姿势则执行进一步的操作。
附图说明
为了更完整地理解本发明示例的实施例，现在将结合附图参考以下描述，在附图中：
图1示出了根据一个实施例的与近眼显示器设备交互的方法的流程图；
图2示出了执行本发明的实施例的适当装置；
图3示出了根据一个实施例的用于控制NED设备的用户界面的方法的流程图；
图4示出了根据一个实施例的产生用于控制光标在NED设备的屏幕上的位置的命令的方法的流程图；以及
图5示出了根据一个实施例的产生用于控制NED设备的用户界面控制***的命令的方法的流程图。
具体实施方式
用于实现本发明实施例的近眼显示器(NED)设备控制***可以包括至少两个异构摄像机。第一摄像机可以是可以跟踪该NED的用户的一只眼睛的凝视的内视红外视频摄像机。光标被布置于眼睛在透视(see-through)屏幕上的视点上，其中屏幕是NED的至少一个镜片的至少一部分。基于眼睛的位置和/或移动以及该视点，光标在透视屏幕上同步定位和移动；换言之，光标的定位和移动能够被凝视跟踪所控制。当检测到该视点(凝视)正在移动时，光标跟踪该视点。
当视点(凝视)移动得足够慢时，即该凝视的移动如此慢以至于该光标仅轻微移动，或者凝视基本上静止，第二摄像机可以被激活。第二摄像机可以是可对准用户的手的任意视频摄像机；换言之，第二摄像机可以是观察该手的姿势的所谓的侧下视摄像机(sidedown-looking camera)。当第二摄像机被激活以后检测到至少一个姿势时，第二摄像机可以通知用户界面(UI)软件已经检测到手势，并且手势控制将被激活。因此，当第二摄像机检测该手时，手动控制接管该凝视控制。并且另一方面，当该手从第二摄像机的视野内消失时，该凝视重新接管该UI的控制。
UI软件基于所检测到的手势产生用于处理器的命令。该命令的类型可以取决于该手势，但是也取决于光标在屏幕上的位置。如果该光标在菜单选项、功能图标或者在屏幕上显示的任意其他可选择的点的区域之外，控制***可以利用手势检测器来调整光标的位置，例如，通过计算手掌的移动来调整到功能图标上。因此，该光标可以基于手的移动重新定位。
然而，当手势检测器检测到手的姿势时，如果光标位于功能图标、菜单选项、或任意其他可选择的点之上，该姿势能够被用于选择或确认该菜单选项或任意其他可选择的点。例如，如果检测到手的抓取姿势，可以产生选择或确认命令以选择光标位于其上的图标。然而，如果手势检测器没有检测到任何手势，并且光标位于功能图标、菜单选项、或任意其他可选择的点上，也可能为了选择或确认命令而利用第一摄像机、凝视***。那么，凝视***所检测到的超过特定阈值时间(眼睛应该闭合足够久)的眼睛的眨眼或者眼睛的特定移动，以及或加速传感器所检测到的诸如用户点头的头部姿势和麦克风或EMG传感器所检测到的牙齿咬合，能够被用作该选择或确认命令。此外，口语命令也可以被用于选择或确认。
另外，通过除了抓取之外的其他手部姿势，可能产生用于UI控制的任意类型的命令。那些命令可以是在普通的用户界面中采用的任意类型的命令，例如删除、拖拽或取消命令。代表了命令的姿势的类型不以任何形式限制，例如可能手的抓取姿势意味着缩放而不是选择或确认，等等。
本发明的示例性实施例及其潜在优势通过参照附图中的图1至附图5而得以理解。
图1示出了根据一个实施例的与近眼显示器设备交互的方法的流程图。在步骤110中，近眼显示器(NED)设备中的适于产生视频流的凝视***即第一摄像机，一个红外摄像机，跟踪NED设备的用户的凝视。凝视的位置确定了光标在该近眼显示器屏幕上的位置；换言之，光标被布置在眼睛在该NED的透视屏幕的视点处。凝视和视点的移动使得屏幕上的光标移动。在步骤120中，在凝视***已经观察到该凝视保持静止或仅轻微移动后，手势检测器观察用户手的一个或多个姿势，其中手势检测器可以是该NED设备的第二摄像机，例如适于产生用户的手的视频流的摄像机。当由第二摄像机检测到至少一个姿势时，第二摄像机可以通知用户界面(UI)软件已经检测到的手势，并且手势控制将被激活，并且手动控制接管该凝视控制。基于手势检测器的检测，该设备可以继续进一步的方法步骤。
图2示出了用于执行本发明实施例的适当装置。装置200可以例如是用于移动设备的终端设备即近眼显示器(NED)，或者作为移动电话或智能电话的NED设备。如图2中所示，装置200包括存储器201、至少一个处理器202和203、和存在于存储器201中的用于实现例如诸如操作***或浏览器的用户界面等软件应用的功能的计算机程序代码204。装置200包括至少两个摄像机205和206用于捕获例如视频流的图像数据。摄像机205可以是内视型的、即看向该设备的用户并且被布置用于凝视跟踪的红外摄像机。摄像机206可以是侧下视型的、其瞄准用户的一只手并且被布置用于手势跟踪。装置200还可以包括屏幕即显示屏207，例如透视屏幕，以用于查看图形化用户界面。近眼装置200的镜片可以作为透视屏幕。也可能仅仅一个镜片的一部分用作屏幕或者仅一个镜片用作屏幕。装置200还可以包括一个或多个无线或有线麦克风，或者与其连接的可以是数字或模拟信号输入的任意合适的音频输入。另外，装置200也可以包括可再充电的电池(未示出)或另一合适的移动能量设备，诸如太阳能电池、燃料电池或发条发电机(clockwork generator)。装置200可以进一步包括用于与其他设备进行短程视线通信的红外端口。该红外端口可以被用于获得即接收将被标记的媒体内容。在另一个实施例中，装置200可以进一步包括任意合适的短程通信解决方案，诸如例如蓝牙或蓝牙智能无线连接或USB/火线有线连接。另外，当NED作为移动设备的显示器时，该NED和移动设备之间可以是有线或无线连接。
装置200可以通过诸如因特网或局域网之类的固定网络，或诸如全球移动通信***(GSM)网络、第3代(3G)网络、第3.5代(3.5G)网络、第4代(4G)网络、无线局域网络(WLAN)、蓝牙等移动通信网络，或其他当代和将来的网络与其他设备相连。不同的网络可以借助于通信接口彼此互连。该网络包括诸如用于处理数据的路由器和交换机(未示出)等的网络单元和诸如基站等的通信接口，以便向不同设备提供网络接入，以及该基站本身可以通过固定连接或无线连接而连接到移动网络。
图3示出了用于根据一个实施例的控制NED的用户界面的方法的流程图。在步骤300中，内视型摄像机即凝视***跟踪用户的凝视，并且凝视跟踪软件控制NED屏幕上的视点，使得该屏幕上的光标位置将主要涉及视点。在步骤310中，检测到该凝视仅轻微移动或基本保持静止之后，通过侧下视摄像机即手势检测器观察手的姿势。在步骤315中，由手势检测软件确定是否检测到手势，即该用户的手是否移动。如果在步骤315中确定出没有检测到手势，凝视***继续跟踪该凝视，并且在步骤320中光标将继续跟随视的视点。然而，如果在步骤315中确定出检测到了手势，在步骤330中该手势被记录到该NED设备的存储器中。在步骤340中，由NED的UI软件获得并记录光标的位置V(x0,y0)。在步骤345中确定该光标是否在任意功能图标、菜单选项或任意其他可选择的点上。如果在步骤345中确定光标不在任意功能图标或菜单选项上，在步骤350中该方法继续光标定位方法。该光标定位方法在图4的情境中被公开。然而，如果在步骤345中确定出该光标在某个功能图标或菜单选项上，在步骤360中该方法继续命令产生方法。该命令产生方法在图5的情境中被公开。
图4示出了根据一个实施例的产生用于控制光标在NED设备的屏幕上的位置的命令的方法的流程图。在该实施例中，在该光标没有位于任意功能图标或菜单选项之上、也即在光标的当前位置处任意功能图标或菜单选项都不可选的情况下，基于检测到的手势执行该定位。该视点的位置、即光标的位置V(x0,y0)在图3的步骤340中被获得并记录进NED设备的存储器中。记录检测到的手势(图3的步骤330)。在步骤410中，获得并记录手势中手掌的第一位置P(x1,y1)。在步骤420中，获得并记录手势中手掌的第二位置P(x2,y2)。在步骤430中，基于手掌的第一位置和第二位置计算手势中该手掌的相对移动P(Δx,Δy)，其中Δx＝x2-x1且Δy＝y2-y1。在步骤440中，基于手掌的相对移动P(Δx,Δy)在屏幕上定位该光标。因而，该光标的新位置是V(x,y)，其中x＝x0+Δx且y＝y0+Δy。然而，应注意的是，当光标的位置没有改变时，Δx和/或Δy可以是0。因此，当凝视被跟踪为无运动或仅轻微移动时，通过手掌的移动可能使得光标的位置移动。然而，也可能基于其他姿势而非该手掌的移动确定该光标的新位置，例如，基于拇指的移动。
图5示出了根据一个实施例的产生用于NED设备的用户界面控制***的命令的方法的流程图。在该实施例中，在该光标位于功能图标或菜单选项上、即在光标的当前位置处任意功能图标或菜单选项可选的情况下，基于检测到的手势或眨眼执行命令的产生。在步骤510中，侧下视视频摄像机正在检测手的姿势。在步骤515中，确定该侧下视摄像机是否检测到手势。如果在步骤515中检测到手势，在步骤520中该NED的软件基于该手势产生选择/确认命令。然而，如果在步骤515中确定没有检测到手势，在步骤530中凝视***继续凝视跟踪。在步骤535中确定凝视***是否检测到超过阈值时间的眨眼。如果在步骤535中凝视***检测到眨眼，在步骤540中该NED设备的软件产生选择/确认命令。如果在步骤535中该凝视***没有检测到眨眼，该凝视***设备可以继续跟踪该凝视。然而，在步骤530中也可能激活一些除了凝视***之外的其他传感器，例如麦克风、加速传感器或EMG传感器，并且基于它们的输入为NED设备产生命令。
因此，该控制近眼设备的UI***的方法是一种结合了手势检测器和凝视***的多模交互***。屏幕光标的定位和移动能够通过内视摄像机由凝视跟踪作为主导形式控制，而选择/确认命令主要通过侧下视摄像机由手的抓取姿势产生。在产生应用于交互的任意UI命令之前，该***将选择交互的主导形式。
在该多模交互***的实现中，确保可靠的手检测器和凝视***是重要的。下面将更详细地介绍如何使用用于手和凝视跟踪的HOG和SVM的概述：
用于手或凝视的处理可以分离为两个单独的部分：手检测器训练和手跟踪，或者凝视检测器训练和凝视跟踪。
手检测器训练可以包括：收集作为训练数据的大规模的手的样本和背景；HOG被应用到该数据上以提取用于样本描述的特征；并且所有HOG特征被输入到SVM学习机中以学习手检测器。
手跟踪可以包括如下步骤：对于每一视频帧，采用金字塔扫描产生图像尺度空间的检测窗口池；并且从每一检测窗口提取HOG特征然后推入手检测器以确认当前检测窗口是否是手。
凝视的处理可以以与手的处理相同的方式进行工作。然而，在凝视的处理中有另外的最后步骤，其中在定位的凝视区域内检测凝视椭圆(ellipse gaze)和两个最亮的反射点，然后，凝视椭圆和两个最亮的反射点二者都被用于定位该NED屏幕上的视点。
总之，在手和凝视跟踪框架中有两个步骤，即基于HOG特征的提取和基于SVM的分类。
基于HOG特征的提取
在手或凝视跟踪中，从图像提取区别特征以在手或凝视与背景之间进行区分。与其他特征提取方法不同，HOG统计了本地图像区域内的梯度方向的事件，以便能够宏观边缘提取，并且支持几何和光度变换的不变性。考虑到人手和凝视都具有明显的轮廓结构，HOG自适应于它们的特征。下面公开了根据一个实施例的从手或凝视图像中提取特征的HOG方法，该方法可以包括以下步骤：
-计算手或凝视图像中的每个图像像素的梯度大小及其方向；
-针对每个像素点使用以其梯度大小加权的线性插值将梯度方向量化为9个仓(bin)；
-通过使得块窗口滑过整个图像而将该图像分为12×12的块，其中一个块覆盖了两个相邻块之间的半个窗口尺寸；
-将每个块分解为四个6*6单元，并且对于每个单元，基于单元内每个像素的量化方向以及像素位置和单元中心之间的距离、利用9个仓计算方向直方图，以形成针对每个块的36个仓的HOG特征向量。
-使用正常值归一化该36个仓的向量，并且连接从所有图像块中提取的所有HOG特征向量，以形成该36*n维的最终HOG表示形式。
从手图像提取特征的该方法主要采用了对本地图像区域的加权直方图统计的机制。
基于SVM的分类。
为了在多模交互中实现可靠的手或凝视跟踪，从大规模的训练样本中学习统计模型以区分手或凝视对象与其他背景对象可能是有利的。具体的，基于HOG+SVM的手和凝视***的学习可以包括以下步骤：
-从作为训练数据的包括手/非手或凝视/非凝视图像的训练中提取HOG特征；
-随机选择超过20,000张手或凝视图像作为正训练集合，以及超过40,000张非手或非凝视图像作为初始负集合；
–初步的手或凝视检测器由SVM训练，然后从训练集合收集错误报警作为“难例(hard example)”；
-最终的手或凝视检测器能够通过将SVM再次应用于相同的正训练集合和通过包含初始负集合得到的增强负集合而得到，并且基于手和凝视的移动分析建立“难例”，因此性能依赖于可靠的手检测和凝视跟踪，以使用户在用户交互时感觉舒适。可能利用例如方向梯度直方图(HOG)和支持向量机(SVM)方法从安装在NED上的摄像机捕获的视频流定位手和凝视。
配置完手和凝视检测器以后，在与NED进行多模交互时，通过应用他们以从视频流中查找手或凝视的精确位置，使得实时的手或凝视检测和跟踪成为可能。可以通过使得检测窗口滑过图形帧而采用标准目标检测框架。对于每一个滑动窗口，可以从中提取HOG特征，然后输入到经学习的SVM检测器以确认在当前滑动窗口是否包含手或凝视。
然而，也可能采用除了HOG和SVM之外的一些其他方法来检测手和凝视跟踪。
在通过多模的用户交互中，基于检测到的眼睛凝视和手的运动分析，该***将选择用于交互的主导形式以便例如重新定位光标或产生命令。在多模交互***中，如果眼睛凝视的视点正在移动，该屏幕光标将跟随该视点并且该交互***检测手的抓取姿势。采用这些操作，有可能使用用户的UI命令为NED实现灵活的多模交互环境。
本发明的各种实施例能够利用驻留在存储器中并且使相关的装置执行本发明的计算机程序代码实现。例如，NED装置可以包括用于处理、接收和传输数据的电路和电子器件、存储器中的计算机程序代码，以及当运行该计算机程序代码时使该NED设备执行实施例的特征的处理器。又进一步，网络设备可以包括用于处理、接收和传输数据的电路和电子器件、存储器中的计算机程序代码，以及当运行该计算机程序代码时使该网络设备执行实施例的特征的处理器。
显然，本发明并不仅限于上述提出的实施例，而能够在随附的权利要求的范围内进行修改。

Claims (34)

1.一种方法，包括：
采用第一摄像机跟踪用户眼睛的凝视，其中所述凝视的位置确定光标在近眼显示器(NED)的屏幕上的地方，其中所述凝视的移动被配置为使得所述屏幕上的所述光标移动，并且当检测到所述凝视的移动是静止的或仅轻微移动时，
采用第二摄像机观察所述用户的一只手的姿势，并且
如果检测到所述手的至少一个姿势，则执行进一步的操作。
2.根据权利要求1所述的方法，其中所述进一步的操作取决于所述检测到的姿势。
3.根据权利要求1或2所述的方法，其中所述检测到的姿势是拳头的移动、手掌的晃动或者手掌远离或向着所述第二摄像机的移动。
4.根据权利要求1、2或3所述的方法，其中所述进一步的操作进一步取决于所述光标在所述近眼显示器的所述屏幕上的位置。
5.根据权利要求1至4中任一项所述的方法，其中所述进一步的操作是：
如果所述光标在所述屏幕上显示的菜单选项或者功能图标的区域之外，则基于所述手的相对移动调整所述光标在所述近眼显示器的所述屏幕上的位置。
6.根据权利要求1至4中任一项所述的方法，其中所述进一步的操作是：
如果所述光标在菜单选项或者功能图标上，则选择显示在所述近眼显示器的所述屏幕上的所述菜单选项或者功能图标。
7.根据权利要求1至4中任一项所述的方法，其中所述进一步的操作是：
放大或缩小所述近眼显示器的所述屏幕的视野。
8.根据权利要求1至4中任一项所述的方法，其中所述进一步的操作是：
返回、移动或删除。
9.根据权利要求1所述的方法，进一步包括：
如果没有检测到手的姿势，并且如果所述光标在所述屏幕上显示的菜单选项或者功能图标的区域上，则观察所述用户的所述眼睛的眨眼，以及，
如果检测到所述用户的所述眼睛的眨眼，则选择所述菜单选项或者所述功能图标。
10.一种装置，包括至少一个处理器、包括用于一个或多个程序单元的计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为利用所述处理器使所述装置执行至少如下步骤：
采用第一摄像机跟踪用户的一只眼睛的凝视，其中所述凝视的位置确定光标在所述装置的近眼显示器(NED)的屏幕上的地方，其中所述凝视的移动被配置为移动所述屏幕上的所述光标，并且当检测到所述凝视的移动是静止的或仅轻微移动时，
采用第二摄像机观察所述用户的一只手的姿势，并且
如果检测到所述手的至少一个姿势，则执行进一步的操作。
11.根据权利要求10所述的装置，其中所述进一步的操作取决于所述检测到的姿势。
12.根据权利要求10或11所述的装置，其中所述检测到的姿势可以是拳头的移动、手掌的晃动以及手掌远离或向着所述第二摄像机的移动。
13.根据权利要求10、11或12所述的装置，其中所述进一步的操作进一步取决于所述光标在所述近眼显示器的所述屏幕上的位置。
14.根据权利要求10至14中任一项所述的装置，其中所述进一步的操作是：
如果所述光标在所述屏幕上显示的菜单选项或者功能图标的区域之外，则基于所述手的相对移动调整所述光标在所述近眼显示器的所述屏幕上的位置。
15.根据权利要求10至14中任一项所述的装置，其中所述进一步的操作是：
如果所述光标在菜单选项或者功能图标上，则选择显示在所述近眼显示器的所述屏幕上的所述菜单选项或者功能图标。
16.根据权利要求10至14中任一项所述的装置，其中所述进一步的操作是：
放大或缩小所述近眼显示器的所述屏幕的视野。
17.根据权利要求10至14中任一项所述的装置，其中所述进一步的操作是：
返回、移动或删除。
18.根据权利要求10所述的装置，其中所述计算机程序代码被进一步配置为利用所述处理器使所述装置执行：
如果没有检测到手的姿势，并且如果所述光标在所述屏幕上显示的菜单选项或者功能图标的区域上，则观察所述用户的所述眼睛的眨眼，以及，
如果检测到所述用户的所述眼睛的眨眼，则选择所述光标在所述近眼显示器的所述屏幕上的所述菜单选项或者功能图标。
19.根据权利要求10至18中任一项所述的装置，其中所述装置是近眼显示器(NED)设备。
20.根据权利要求19所述的装置，其中所述近眼显示器设备是移动电话。
21.根据权利要求19所述的装置，其中所述近眼显示器设备是移动电话的终端设备。
22.一种计算机程序产品，包含一个或多个指令的一个或多个序列，当其被一个或多个处理器执行时，使得装置执行至少以下步骤：
采用第一摄像机跟踪用户眼睛的凝视，其中所述凝视的位置确定所述光标在近眼显示器(NED)的屏幕上的地方，其中所述凝视的移动被配置为移动所述屏幕上的所述光标，并且当检测到所述凝视的移动是静止的或仅轻微移动时，
采用第二摄像机观察所述用户的一只手的姿势，并且
如果检测到所述手的至少一个姿势，则执行进一步的操作。
23.根据权利要求22所述的计算机程序产品，其中所述进一步的操作取决于所述检测到的姿势。
24.根据权利要求22或23所述的计算机程序产品，其中所述检测到的姿势可以是拳头的移动、手掌的晃动或者手掌远离或向着所述第二摄像机的移动。
25.根据权利要求22、23或24所述的计算机程序产品，其中所述进一步的操作进一步取决于所述光标在所述近眼显示器的所述屏幕上的位置。
26.根据权利要求22至25中任一项所述的计算机程序产品，其中所述进一步的操作是：
如果所述光标在所述屏幕上显示的菜单选项或者功能图标的区域之外，则基于所述手的相对移动调整所述光标在所述近眼显示器的所述屏幕上的位置。
27.根据权利要求22至25中任一项所述的计算机程序产品，其中所述进一步的操作是：
如果所述光标在菜单选项或者功能图标上，则选择显示在所述近眼显示器的所述屏幕上的所述菜单选项或者功能图标。
28.根据权利要求22至25中任一项所述的计算机程序产品，其中所述进一步的操作是：
放大或缩小所述近眼显示器的所述屏幕的视野。
29.根据权利要求22至25中任一项所述的计算机程序产品，其中所述进一步的操作是：
返回、移动或删除。
30.根据权利要求22所述的计算机程序产品，其中所述计算机程序代码被进一步配置为利用所述处理器使所述装置执行：
如果没有检测到手的姿势，并且如果所述光标在所述屏幕上显示的菜单选项或者功能图标的区域上，则观察所述用户的所述眼睛的眨眼，以及，
如果检测到所述用户的所述眼睛的眨眼，则选择所述菜单选项或者所述功能图标。
31.根据权利要求22至30中任一项所述的计算机程序产品，其中所述装置是近眼显示器(NED)设备。
32.根据权利要求31所述的计算机程序产品，其中所述近眼显示器设备是移动电话。
33.根据权利要求31所述的计算机程序产品，其中所述近眼显示器设备是移动电话的终端设备。
34.一种装置，包括：
采用第一摄像机跟踪用户的一只眼睛的凝视，其中所述凝视的位置确定光标在近眼显示器(NED)的屏幕上的地方，其中所述凝视的移动被配置为移动所述屏幕上的所述光标，并且当检测到所述凝视的移动是静止的或仅轻微移动时，
采用第二摄像机观察所述用户的一只手的姿势，并且，
如果检测到所述手的至少一个姿势，则执行进一步的操作。
CN201280074696.1A 2012-07-27 2012-07-27 与近眼显示器的多模交互 Pending CN104428732A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910212295.1A CN110083202B (zh) 2012-07-27 2012-07-27 与近眼显示器的多模交互

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/079286 WO2014015521A1 (en) 2012-07-27 2012-07-27 Multimodal interaction with near-to-eye display

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910212295.1A Division CN110083202B (zh) 2012-07-27 2012-07-27 与近眼显示器的多模交互

Publications (1)

Publication Number Publication Date
CN104428732A true CN104428732A (zh) 2015-03-18

Family

ID=49996520

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280074696.1A Pending CN104428732A (zh) 2012-07-27 2012-07-27 与近眼显示器的多模交互
CN201910212295.1A Active CN110083202B (zh) 2012-07-27 2012-07-27 与近眼显示器的多模交互

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910212295.1A Active CN110083202B (zh) 2012-07-27 2012-07-27 与近眼显示器的多模交互

Country Status (4)

Country Link
US (1) US10095033B2 (zh)
EP (1) EP2877909B1 (zh)
CN (2) CN104428732A (zh)
WO (1) WO2014015521A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550655A (zh) * 2015-12-16 2016-05-04 Tcl集团股份有限公司 一种手势图像获取设备及其手势图像获取方法
CN109031672A (zh) * 2018-10-19 2018-12-18 山东济大象外创新科技有限公司 一种具有视线追踪功能的近眼显示器
CN109799899A (zh) * 2017-11-17 2019-05-24 腾讯科技（深圳）有限公司 交互控制方法、装置、存储介质和计算机设备
CN111601129A (zh) * 2020-06-05 2020-08-28 北京字节跳动网络技术有限公司 控制方法、装置、终端及存储介质

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
US10558272B2 (en) * 2013-06-20 2020-02-11 Uday Parshionikar Gesture control via eye tracking, head tracking, facial expressions and other user actions
US10884493B2 (en) * 2013-06-20 2021-01-05 Uday Parshionikar Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions
US10254844B2 (en) * 2013-06-20 2019-04-09 Uday Parshionikar Systems, methods, apparatuses, computer readable medium for controlling electronic devices
JP2015153195A (ja) * 2014-02-14 2015-08-24 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
US11907421B1 (en) * 2014-03-01 2024-02-20 sigmund lindsay clements Mixed reality glasses operating public devices with gaze and secondary user input
MY175525A (en) * 2014-03-07 2020-07-01 Mimos Berhad Method and apparatus to combine ocular control with motion control for human computer interaction
KR102337682B1 (ko) * 2014-10-01 2021-12-09 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
US10248192B2 (en) * 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
JP2016192122A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10335572B1 (en) * 2015-07-17 2019-07-02 Naveen Kumar Systems and methods for computer assisted operation
US9829976B2 (en) * 2015-08-07 2017-11-28 Tobii Ab Gaze direction mapping
CN105892636A (zh) * 2015-11-20 2016-08-24 乐视致新电子科技（天津）有限公司 一种应用于头戴设备的控制方法及头戴设备
DE102015016501A1 (de) * 2015-12-18 2017-06-22 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
JP2018045373A (ja) * 2016-09-13 2018-03-22 富士通株式会社 情報処理プログラム、情報処理端末及び情報処理方法
KR20180041905A (ko) * 2016-10-17 2018-04-25 삼성전자주식회사 Emi 센서를 포함하는 전자 장치
CN107679448B (zh) * 2017-08-17 2018-09-25 平安科技（深圳）有限公司 眼球动作分析方法、装置及存储介质
US10739861B2 (en) * 2018-01-10 2020-08-11 Facebook Technologies, Llc Long distance interaction with artificial reality objects using a near eye display interface
US10540015B2 (en) * 2018-03-26 2020-01-21 Chian Chiu Li Presenting location related information and implementing a task based on gaze and voice detection
US10890967B2 (en) 2018-07-09 2021-01-12 Microsoft Technology Licensing, Llc Systems and methods for using eye gaze to bend and snap targeting rays for remote interaction
JP6524320B2 (ja) * 2018-09-12 2019-06-05 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
US20200192485A1 (en) * 2018-12-12 2020-06-18 Lenovo (Singapore) Pte. Ltd. Gaze-based gesture recognition
CN111487035B (zh) * 2019-01-25 2022-02-01 舜宇光学（浙江）研究院有限公司 一种用于近眼检测***的对准方法及其***
US11009698B2 (en) * 2019-03-13 2021-05-18 Nick Cherukuri Gaze-based user interface for augmented and mixed reality device
GB2586157B (en) * 2019-08-08 2022-01-12 Toshiba Kk System and method for performing 3D imaging of an object
CN111984124A (zh) * 2020-09-02 2020-11-24 广州彩熠灯光股份有限公司 一种舞台灯光控台的操作方法、介质及舞台灯光控台
WO2022207821A1 (en) * 2021-03-31 2022-10-06 Legind Von Bergen Holding Aps A method for integrated gaze interaction with a virtual environment, a data processing system, and computer program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1770063A (zh) * 2004-10-01 2006-05-10 通用电气公司 信息显示、凝视探测和用户控制权优先化的方法和设备
WO2011156195A2 (en) * 2010-06-09 2011-12-15 Dynavox Systems Llc Speech generation device with a head mounted display unit
WO2012082971A1 (en) * 2010-12-16 2012-06-21 Siemens Corporation Systems and methods for a gaze and gesture interface

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981309A (ja) 1995-09-13 1997-03-28 Toshiba Corp 入力装置
US6204828B1 (en) * 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
JP2001100903A (ja) * 1999-09-28 2001-04-13 Sanyo Electric Co Ltd 視線検出機能搭載装置
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
CN1357862A (zh) * 2000-12-06 2002-07-10 英业达股份有限公司 视窗的光标视觉点选方法及装置
US6773114B2 (en) * 2001-12-07 2004-08-10 Nokia Corporation Portable multimode display device
CA2501897A1 (en) * 2002-10-09 2004-04-22 Raphael Bachmann Rapid input device
BR0315384A (pt) * 2002-10-15 2005-09-06 Volvo Technology Corp Método e disposição para interpretar a atividade da cabeça e ocular de indivìduos
US9274598B2 (en) * 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
US20110077548A1 (en) 2004-04-01 2011-03-31 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
DK1607840T3 (da) * 2004-06-18 2015-02-16 Tobii Technology Ab Øjenstyring af et computerapparat
US7501995B2 (en) 2004-11-24 2009-03-10 General Electric Company System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
SE529156C2 (sv) * 2005-10-28 2007-05-15 Tobii Technology Ab Ögonföljare med visuell återkoppling
CN103119512A (zh) 2008-11-02 2013-05-22 大卫·乔姆 近眼式显示***和装置
WO2010129679A1 (en) 2009-05-08 2010-11-11 Kopin Corporation Remote control of host application using motion and voice commands
JP2011028366A (ja) * 2009-07-22 2011-02-10 Sony Corp 操作制御装置および操作制御方法
IT1399456B1 (it) * 2009-09-11 2013-04-19 Sr Labs S R L Metodo e apparato per l'utilizzo di generiche applicazioni software attraverso controllo oculare e opportune metodologie di interazione.
US9128281B2 (en) * 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9760123B2 (en) * 2010-08-06 2017-09-12 Dynavox Systems Llc Speech generation device with a projected display and optical inputs
US20120188148A1 (en) * 2011-01-24 2012-07-26 Microvision, Inc. Head Mounted Meta-Display System
US8223088B1 (en) * 2011-06-09 2012-07-17 Google Inc. Multimode input field for a head-mounted display
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1770063A (zh) * 2004-10-01 2006-05-10 通用电气公司 信息显示、凝视探测和用户控制权优先化的方法和设备
WO2011156195A2 (en) * 2010-06-09 2011-12-15 Dynavox Systems Llc Speech generation device with a head mounted display unit
WO2012082971A1 (en) * 2010-12-16 2012-06-21 Siemens Corporation Systems and methods for a gaze and gesture interface

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550655A (zh) * 2015-12-16 2016-05-04 Tcl集团股份有限公司 一种手势图像获取设备及其手势图像获取方法
CN109799899A (zh) * 2017-11-17 2019-05-24 腾讯科技（深圳）有限公司 交互控制方法、装置、存储介质和计算机设备
CN109799899B (zh) * 2017-11-17 2021-10-22 腾讯科技（深圳）有限公司 交互控制方法、装置、存储介质和计算机设备
CN109031672A (zh) * 2018-10-19 2018-12-18 山东济大象外创新科技有限公司 一种具有视线追踪功能的近眼显示器
CN111601129A (zh) * 2020-06-05 2020-08-28 北京字节跳动网络技术有限公司 控制方法、装置、终端及存储介质

Also Published As

Publication number Publication date
WO2014015521A1 (en) 2014-01-30
CN110083202B (zh) 2023-09-19
US10095033B2 (en) 2018-10-09
US20150338651A1 (en) 2015-11-26
EP2877909B1 (en) 2018-12-26
CN110083202A (zh) 2019-08-02
EP2877909A4 (en) 2016-01-20
EP2877909A1 (en) 2015-06-03

Similar Documents

Publication Publication Date Title
CN104428732A (zh) 与近眼显示器的多模交互
WO2021082749A1 (zh) 一种基于人工智能的动作识别方法和相关装置
CA3016921C (en) System and method for deep learning based hand gesture recognition in first person view
US9218781B2 (en) Information processing apparatus, display control method, and program
US11170580B2 (en) Information processing device, information processing method, and recording medium
US8732623B2 (en) Web cam based user interaction
US20160224123A1 (en) Method and system to control electronic devices through gestures
CN102789313A (zh) 一种用户交互***和方法
CN111898407B (zh) 一种基于人脸动作识别的人机交互操作***
CN104410883A (zh) 一种移动可穿戴非接触式交互***与方法
CN103353935A (zh) 一种用于智能家居***的3d动态手势识别方法
CN103118227A (zh) 一种基于kinect的摄像机PTZ控制方法、装置和***
WO2018000519A1 (zh) 一种基于投影的用户交互图标的交互控制方法及***
WO2018099258A1 (zh) 无人机的飞行控制方法和装置
CN103605466A (zh) 一种基于面部识别操控终端的方法
WO2012119371A1 (zh) 一种用户交互***和方法
CN111695408A (zh) 一种智能手势信息识别***及方法、信息数据处理终端
US20210081092A1 (en) Information processing system, information processing method, and program
CN112416126B (zh) 页面滚动控制方法和装置、存储介质及电子设备
WO2024055748A1 (zh) 一种头部姿态估计方法、装置、设备以及存储介质
CN116069169A (zh) 一种基于智能手表输入虚拟文本的数据处理方法及***
Dhamanskar et al. Human computer interaction using hand gestures and voice
CN113448427B (zh) 设备控制方法、装置及***
CN114610156A (zh) 基于ar/vr眼镜的交互方法、装置及ar/vr眼镜
CN109582136B (zh) 三维窗口手势导航方法、装置、移动终端及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160119

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj

RJ01 Rejection of invention patent application after publication

Application publication date: 20150318

RJ01 Rejection of invention patent application after publication