CN103858073B - 增强现实设备、操作增强现实设备的方法、计算机可读介质 - Google Patents

增强现实设备、操作增强现实设备的方法、计算机可读介质 Download PDF

Info

Publication number
CN103858073B
CN103858073B CN201280048836.8A CN201280048836A CN103858073B CN 103858073 B CN103858073 B CN 103858073B CN 201280048836 A CN201280048836 A CN 201280048836A CN 103858073 B CN103858073 B CN 103858073B
Authority
CN
China
Prior art keywords
real
image information
user
gesture
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280048836.8A
Other languages
English (en)
Other versions
CN103858073A (zh
Inventor
I·卡茨
A·申弗尔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eyesight Mobile Technologies Ltd
Original Assignee
Eyesight Mobile Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eyesight Mobile Technologies Ltd filed Critical Eyesight Mobile Technologies Ltd
Priority to CN202210808606.2A priority Critical patent/CN115167675A/zh
Publication of CN103858073A publication Critical patent/CN103858073A/zh
Application granted granted Critical
Publication of CN103858073B publication Critical patent/CN103858073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

本公开提供增强现实设备、操作增强现实设备的方法、计算机可读介质。现实世界场景的图像从一个或多个图像传感器获得。所述图像传感器的方向和/或位置从一个或多个状态传感器获得。所述现实世界场景的所述图像中的现实世界对象被识别且与所述识别的对象关联的数据被显示在查看设备上，预定指向对象在所述现实世界对象上执行预定手势。本发明也提供一种计算机程序，其包括用于当所述程序在计算机上运行时执行本发明的方法的所有步骤的计算机程序代码构件。

Description

增强现实设备、操作增强现实设备的方法、计算机可读介质
技术领域
本发明涉及用于增强现实的方法和***。
相关技术
以下列出与本公开主题的背景相关的参考文献：
美国专利No.7126558；
美国公开专利申请20110221669；
美国公开专利申请20110270522；
GB2465280(A)；
美国公开专利申请20120068913；
美国专利No.7,215,322；
WO2005/091125；
WO 2010/086866
Crowley,J.L.等人的“Finger Tracking as an Input Device for AugmentedReality”。其发表在1995年6月Switzerland的Zurich的《International Workshop onFace and Gesture Recognition》的会刊上。
上述参考文献的确认不应被推断为意指，这些都以任何方式与本公开主题的专利相关。
背景技术
增强现实是物理、现实世界环境的实时、直接或间接视图的术语，所述物理、现实世界环境的元素由计算机生成的信息来增强，例如文本、声音、视频、图形或GPS数据。有关环境和其对象的人工信息因此覆盖在现实世界视图或图像上。增强通常实时进行且在环境因素的语义上下文中，使得关于用户的周围现实世界的信息变得互动和数字可操作。
用于增强现实的主要硬件组件是处理器、显示器、传感器和输入设备。特别是CPU、显示器、相机和MEMS传感器(例如加速度计、GPS或固态罗盘)的这些元件存在于例如智能手机的便携式设备中，从而允许它们充当增强现实平台。
增强现实***已在娱乐、导航、装配工艺、维修、医疗程序中广泛应用。便携式增强现实***也已在旅游观光中广泛应用，其中增强现实用以呈现正在观看的现实世界对象和位置对象的信息。
使用通常呈护目镜或头盔形式的头戴式显示器来提供身临其境的增强现实体验。在使用头戴式显示器的情况下，虚拟视觉对象被叠加到用户现实世界场景的视图上。头戴显示器用允许***把虚拟信息与物理世界对齐的传感器来跟踪。例如，跟踪可使用例如数码相机或其它光学传感器、加速度计、GPS、陀螺仪、固态罗盘、RFID和无线传感器的技术中的任一个或多个来执行。头戴式显示器是光透视或视频透视。光透视使用一些解决方案，例如半镀银镜以使图像通过镜片并覆盖将要反映到用户眼睛的信息，和透明LCD投影机，所述透明LCD投影机把数字信息和图像直接或间接显示到用户视网膜。
发明内容
本发明提供一种用于增强现实的互动***。本发明的互动***包括可例如并入一副眼镜或护目镜的可穿戴数据显示设备。可穿戴显示器具有提供位置提取功能的设备(例如GPS)和罗盘。***也包括允许用户选择计算机生成的数据以增强用户查看的现实世界场景的用户界面。相机获得正被查看的现实世界场景的图像。处理器在相机捕获的现实世界场景的图像中检测预定对象，例如用户手指。当用户指向场景中的元素时，与所述元素有关的数据被显示在数据显示设备上并被叠加到用户的场景查看中。
因此，在一个方面，本发明提供一种用于增强现实的方法，其包括：
(a)从一个或多个图像传感器获得现实世界场景的图像；
(b)从一个或多个状态传感器获得所述图像传感器的方向和位置数据中的一个或两个；
(c)在所述一个或多个图像传感器获得的所述现实世界场景的所述图像中识别现实世界对象，预定指向对象在所述现实世界对象上执行预定手势，所述手势检测模块利用所述一个或多个状态传感器提供的数据；和
(d)在查看设备的显示器上呈现与所述识别的对象关联的数据。
所述图像传感器可选自：相机、光传感器、IR传感器、超声波传感器、接近传感器、CMOS图像传感器、短波红外(SWIR)图像传感器或反射传感器、IR传感器、超声波传感器、接近传感器，和反射传感器。状态传感器中的一个或多个可选自：光学传感器、加速度计、GPS、陀螺仪、罗盘、磁传感器、指示所述设备相对于地球磁场的所述方向的传感器、重力传感器和RFID检测器。
与所述识别的对象关联的所述数据可通过在存储器中搜索与所述现实世界对象关联的数据来获得。
所述预定对象例如可为手、手的一部分、两只手、两只手的部分、手指、手指的一部分或指尖。
所述查看设备可被配置以由用户佩戴，例如，眼镜或护目镜。所述查看设备可被被并入移动通信设备。
所述在所述一个或多个图像传感器获得的所述现实世界场景的所述图像中识别的步骤可包括：确定所述图像传感器获得的图像中所述预定对象的位置(X,Y)；和确定所述传感器提供的所述显示设备的位置和方向中的一个或两个。
本发明的方法还可包括：与外部设备或网站通信。所述通信可包括：把消息发送到在所述外部设备上运行的应用程序、在所述外部设备上运行的服务、在所述外部设备上运行的操作***、在所述外部设备上运行的程序、在所述外部设备的处理器上运行的一个或多个应用程序、在所述外部设备的所述背景中运行的软件程序，或在所述外部设备上运行的一个或多个服务。所述方法还可包括：把消息发送到在所述移动通信设备上运行的应用程序、在所述移动通信设备上运行的服务、在所述移动通信设备上运行的操作***、在所述移动通信设备上运行的程序、在所述移动通信设备的处理器上运行的一个或多个应用程序、在所述移动通信设备的所述背景中运行的软件程序，或在所述移动通信设备上运行的一个或多个服务。
所述方法还可包括：从在所述外部设备上运行的应用程序、在所述外部设备上运行的服务、在所述外部设备上运行的操作***、在所述外部设备上运行的程序、在所述外部设备的处理器上运行的一个或多个应用程序、在所述外部设备的所述背景中运行的软件程序发送消息，所述消息请求与图像中识别的现实世界对象有关的数据，或者把所述消息发送到在所述外部设备上运行的一个或多个服务。所述方法还可包括：从在所述移动通信设备上运行的应用程序、在所述移动通信设备上运行的服务、在所述移动通信设备上运行的操作***、在所述移动通信设备上运行的程序、在所述移动通信设备的处理器上运行的一个或多个应用程序、在所述移动通信设备的所述背景中运行的软件程序发送消息，所述消息请求与图像中识别的现实世界对象有关的数据，或者把所述消息发送到在所述移动通信设备上运行的一个或多个服务。
到所述外部设备或网站的所述消息可为命令。所述命令可选自：在所述外部设备或网站上运行应用程序的命令、停止在所述外部设备或网站上运行的应用程序的命令、激活在所述外部设备或网站上运行的服务的命令、停止在所述外部设备或网站上运行的服务的命令，或发送与图像中识别的现实世界对象有关的数据的命令。
到所述移动通信设备的所述消息可为命令。所述命令可选自：在所述移动通信设备上运行应用程序的命令、停止在所述移动通信设备或网站上运行的应用程序的命令、激活在所述移动通信设备上运行的服务的命令、停止在所述移动通信设备上运行的服务的命令，或发送与图像中识别的现实世界对象有关的数据的命令。
所述方法还可包括：从所述外部设备或网站接收与图像中识别的现实世界对象有关的数据；和把所述接收到的数据呈现给用户。
与所述外部设备或网站通信可通过通信网络进行。
到所述外部设备的所述命令可选自：按压所述外部设备的显示设备上显示的虚拟键；旋转选择转盘；切换桌面、在所述外部设备上运行预定软件应用程序；关闭所述外部设备上的应用程序；打开或关闭音箱；调高或调低音量；锁定所述外部设备、解锁所述外部设备、跳到媒体播放器的另一个曲目或在IPTV频道间转换；控制导航应用程序；发起呼叫、结束通话、呈现出通知、显示通知；浏览照片或音乐专辑图库、滚动网页页面、呈现电子邮件、呈现一个或多个文档或地图、控制游戏中的动作、指着地图、放大或缩小地图或图像、在图像上着色、抓激活图标且从所述显示设备拉出所述激活图标、旋转激活图标、在所述外部设备上模拟触摸命令、执行一个或多个多点触摸命令、触摸手势命令、打字、点击显示视频以暂停或播放、标记帧或从视频捕获帧、呈现传入消息；接听来电、静音或拒绝接听来电、打开来电提醒；呈现从网络社区服务收到的通知；呈现由所述外部设备生成的通知、打开预定应用程序、改变所述外部设备的锁定模式并打开最近通话应用程序、改变所述外部设备的锁定模式并打开在线服务应用程序或浏览器、改变所述外部设备的锁定模式并打开电子邮件应用程序、改变所述外部设备的锁定模式并打开在线服务应用程序或浏览器、改变所述设备的锁定模式并打开日历应用程序、改变所述设备的锁定模式并打开提醒应用程序、改变所述设备的锁定模式并打开用户设置的、所述外部设备的制造商设置的或服务运营商设置的预定应用程序、激活激活图标、选择菜单项、在显示器上移动指针、操纵显示器上的免触摸鼠标、激活图标、改变显示器上的信息。
在本发明的方法中，所述预定手势可选自：翻页手势、两个手指的对捏运动、指向、左到右手势、右到左手势、向上手势、向下手势、按压手势、打开握紧的拳头、打开握紧的拳头并移向所述图像传感器、轻敲手势、挥手手势、鼓掌手势、反向鼓掌手势、手握成拳、对捏手势、反向对捏手势、张开手指的手势、反向张开手指的手势、指着激活图标、保持激活对象预定时间量、点击激活图标、双击激活图标、从右侧点击激活图标、从左侧点击激活图标、从下点击激活图标、从上点击激活图标、抓激活图标即所述对象、从右指着激活图标即所述对象、从左指着激活图标、从左通过激活图标、推对象、鼓掌、在激活图标上方挥手、执行***手势、执行轻敲手势、在激活图标上执行顺时针或反时针手势、滑动图标、用两个手指抓激活图标，和执行点击拖动释放运动。
与所述识别的对象关联的所述数据可为视觉数据、音频数据或文本数据中的任一个或多个。与所述识别的对象关联的所述数据可为激活图标。所述激活图标可为2D或3D激活图标。所述激活图标可由用户在所述用户前面的3D空间中感知。
本发明的方法可具有两个或更多个操作模式。所述方法可在识别预定手势之后，改变所述***的所述操作模式。操作模式可由以下中的任一个或多个指定：将要识别的所述手势、在所述手势检测模块上有效的算法；所述图像传感器捕获的图像分辨率，和所述图像传感器捕获的图像捕获率、将要呈现的所述数据的所述详细程度、将要呈现给所述用户的所述激活图标、将要呈现的数据源、将要呈现的所述数据的详细程度、将要在所述显示设备上显示的激活图标、活跃的在线服务。
所述操作模式可为选自以下的模式：在识别预定手势之后所述图像传感器视频录制图像的模式；在识别预定手势之后麦克风录制声音并在识别另一预定手势之后停止录制的模式；连续监测视频或声音并在检测到预定手势之后录制从识别所述手势之前预定时间量开始的所述视频或声音且在识别另一预定手势之后停止所述录制的模式；在识别预定手势之后向捕获和实时录制的视频添加标签的模式；在所述相机捕获的所述视场中选择区域并把所述区域复制到所述视场中另一位置且其调整大小的模式；对图像中选择区域使用***并在所述显示设备上所述调整大小和重新安置区域中实时呈现所述选择区域的模式；在识别预定手势之后捕获图像的模式。
本发明的方法还可包括：运行跟踪算法，所述跟踪算法跟踪所述识别的现实世界对象并维持所述显示的相关视觉数据相对于所述识别的现实世界对象处于固定位置。
对象识别模块可用以只有当所述显示设备具有低于预定阈值的运动水平时才检测所述预定对象。
所述方法还可包括：当已识别到预定手势时提供反馈。所述反馈例如可为视觉反馈、听觉反馈、触觉反馈、定向振动、空气触觉反馈，或超声波反馈。所述反馈可为呈选自以下形式的视觉指示：所述显示设备上显示的激活图标、所述显示设备上显示的激活图标的变化、所述显示设备上显示的激活图标的颜色的变化、所述显示设备上显示的激活图标的大小的变化、所述显示设备上显示的激活图标的动画、指示灯、在显示设备上移动的指示器、在所述显示设备上出现的所有其它图像或视频顶部出现的在所述显示设备上移动的指示器，和所述预定对象周围的辉光的所述外观。所述反馈可为振动、定向振动指示，或空气触觉指示。
在本发明的方法中，所述显示设备上显示的激活图标的部分不在所述预定对象所在的位置呈现，使得所述预定对象似乎在所述激活图标的顶部。
当所述显示设备具有高于预定阈值的活动水平时，激活图标可被从所述显示设备删除。例如，当所述显示设备具有低于所述预定阈值的运动水平时，在所述显示设备上的所述删除的图标可被删除。
当执行预定动作时，所述方法可被带入所述活动模式。所述预定动作可选自：当用户把所述预定对象放入某一位置或一团时，把所述预定对象从下带入所述视场，例如指着所述相机视场的所述右下角或在所述相机视场中打开手；当显示激活图标且所述用户执行关联到所述激活图标的预定手势时，例如指着所述激活图标时，执行预定手势，例如从右向左移动手穿过所述视场，或在呈现所述激活图标的所述位置执行挥手手势，或通过在所述3D空间中在感知所述激活图标处于的位置执行手势、通过触摸所述设备，或如果所述设备具有加速度计就在所述设备上轻敲，把所述浮动激活图标从一个位置滑动到另一位置。作为另一实例，如果所述设备具有接近传感器或超声波传感器，那么当所述用户的手靠近所述设备时，所述***可进入所述活动模式。所述***也可由语音命令激活，或当所述用户把所述预定对象放入所述视场中特定位置时激活。作为另一实例，只有当在所述用户的所述视场中有与所述现实世界关联的相关数据时，所述***才可进入所述活动模式。此时，所述***可向所述用户指示何时有将要呈现的相关数据，或何时准备好进行互动。
本发明的方法还可包括：把视觉指示附加到现实世界对象，以指示存在与所述现实世界对象相关的数据的存储器。所述视觉指示可被覆盖在所述现实世界对象的图像上。所述视觉可选自激活图标、照片和信封的图像。
本发明的方法还可包括：记录所述预定对象的一个或多个物理参数的校准过程。所述校准过程可包括选自以下的任一个或多个步骤：在所述显示器上在3D空间中不同的位置处呈现激活图标；提取所述预定对象的物理特性；和确定所述预定对象的尺寸和它与所述相机的距离之间的相关性。所述校准过程可包括以下步骤：构建三角形，所述三角形的顶点在所述图像传感器中的一个上且在所述预定对象的前端，且所述三角形的边由用户的视线形成。所述现实世界对象与所述相机的所述距离可基于所述校准中提取的信息来估计。
所述方法还可包括：显示能够进行文字输入的键盘。所述键盘可在检测到预定手势之后显示，所述预定手势例如从右到左的手势、呈现张开的手、在图像传感器的所述视场的预定区域中呈现两个张开的手。所述键盘可在3D打字区域或感知预定激活图标所处于的位置中执行点击手势之后显示。
本发明也提供一种***，其包括被配置以执行本发明的方法的设备。
本发明也提供一种计算机程序，其包括用于当所述程序在计算机上运行时执行本发明的方法的所有步骤的计算机程序代码构件。所述计算机程序可实施在计算机可读介质上。
用户可与通常通过眼镜显示的视觉图像互动。因此，用户的现实视图被显示器上呈现的信息增强。增强现实设备的一个问题是用户与设备互动并控制设备的方式。例如鼠标、跟踪球或触摸屏的传统控制设备难以与增强现实设备连用。在增强现实***中使用手势识别并不简单，因为用户在不断的实时移动因此增强现实设备也在不断的实时移动。
本发明因此提供一种计算机程序产品，其包含用于使处理器执行包括以下步骤的方法的指令：
从与增强现实设备关联的图像传感器接收与环境关联的图像信息；
在与设备关联的显示器上显示与环境有关的增强信息；
在图像信息中识别设备用户的手势；
把手势与增强信息相关联；和
基于关联来改变显示的增强信息。
所述增强信息可包括以下中至少一个：与环境中对象关联的信息；与环境关联的图像；和与环境关联的距离。
所述关联可包括：确定用户手的至少一部分的三维空间中的参考位置；和确定与参考位置关联的增强信息和图像信息数据中至少一个。
所述改变可包括：根据与参考位置关联的数据来改变增强信息。
附图说明
为了理解本发明并了解其在实践中如何实施，现在将参照附图仅通过非限制性实例的方式来描述实施方案，在附图中：
图1示意性地示出根据本发明的一个实施方案的用于增强现实的***；
图2示出根据本发明的一个实施方案的用于增强现实的***，所述***包括一组护目镜；
图3示出使用中的图2的***；
图4a示出在图2的***的显示设备上显示的现实世界场景的视图；图4b示出图4a的视图，其中用户手指指向视图中的对象；和图4c示出覆盖在图4b的视图上的与用户手指所指向的对象有关的视觉文本；
图5示出根据本发明的另一实施方案的与通信设备成一体的用于增强现实的***；和
图6a示出通过用户执行“绘制”区域轮廓的手势来指定图像传感器的视场中的区域；图6b示出通过执行第二手势来调整选择区域的大小；图6c示出调整大小之后的区域；和图6d示出拖到视场中新的位置之后的区域。
具体实施方式
图1示意性地示出根据本发明的一个实施方案的用于增强现实的***30。***30包括一个或多个图像传感器32，图像传感器32被配置以获得现实世界场景的图像。任何类型的图像传感器可用于本发明的***，例如相机、光传感器、IR传感器、超声波传感器、接近传感器、CMOS图像传感器、短波红外(SWIR)图像传感器或反射传感器。
***30还包括具有一个或多个显示设备35的查看设备34，显示设备35使得用户能够看到现实世界场景和叠加到现实世界场景上的外部信息，例如图像、视频或音频信号。允许用户看到现实世界场景和显示的数据的任何类型的显示设备可用于本发明的***中。
显示设备35可例如包括视觉材料在其上呈现给用户的表面或直接把图像显示到用户视网膜的一个或多个投影机。处理器36从一个或多个状态传感器38获得***30的方向和/或位置数据，状态传感器38例如可为光学传感器、加速度计、GPS、陀螺仪、固态罗盘、磁传感器、重力传感器和RFID检测器中的任一个或多个。处理器36例如可为专用处理器、通用处理器、DSP(数字信号处理器)处理器、GPU(可视处理单元)处理器、专用硬件，或者可在外部设备上运行的处理器。***30可作为软件在查看设备34或并入***30的其它组件的另一设备37(例如智能手机)上运行。
处理器36被配置以运行手势检测模块40，手势检测模块40在图像传感器32获得的现实世界场景的图像中识别预定对象正指向的一个或多个现实世界对象。现实世界对象例如可为建筑物或广告牌。现实世界对象的确定使用状态传感器38提供的数据。预定对象可为用户的手指或例如手写笔或棒的其它对象。
当处理器36已识别到预定对象正指向的现实世界对象时，处理器在存储器42中搜索与识别的对象关联的数据。数据例如可为视觉数据、音频数据，或文本数据。视觉数据可为与识别的对象有关的文本信息。处理器然后在查看设备的显示器上显示与识别的对象关联的相关视觉数据。存储器42可与***30成一体，或可能位于远程并通过例如互联网的通信网络访问。***30因此可包括通信模块39，通信模块39允许***30与网络、无线网络、蜂窝网络、外部设备(例如，另一设备30、手机、平板)，或互联网网站等通信。
所述数据可为激活图标。如本文所使用，术语“激活图标”代表与用户互动所激活的一个或多个消息或命令关联的图像或视频中的区域。激活图标例如可为2D或3D视觉元素，例如虚拟按钮、虚拟键盘或图标。激活图标借由一个或多个预定对象来激活，所述预定对象可由***来识别，且例如可为手写笔、用户的手或手的一部分、一个或多个手指或例如指尖的手指的一部分中的一个或多个。预定对象激活激活图标中的一个或多个生成了定位到操作***、一个或多个服务、一个或多个应用程序、一个或多个设备、一个或多个远程应用程序、一个或多个远程服务，或一个或多个远程设备的消息或命令。
处理器36可被配置以把消息或命令发送到设备37或远程设备、在设备上运行的应用程序、在设备37上运行的服务，和在设备上运行的操作***、在设备上运行的程序、在背景中运行的软件程序和在设备上运行的一个或多个服务，或在设备中运行的过程。消息或命令可通过例如互联网或蜂窝电话网络的通信网络来发送。命令例如可为在设备上运行应用程序的命令、停止在设备上运行的应用程序的命令、激活在设备上运行的服务的命令、停止在设备上运行的服务的命令，或把与处理器36在图像中识别的现实世界对象有关的数据发送到处理器36的命令。
所述命令可为到设备37的命令，例如按压设备的显示设备上显示的虚拟键；旋转选择转盘；切换桌面、在设备上运行预定软件应用程序；关闭设备上的应用程序；打开或关闭音箱；调高或调低音量；锁定设备、解锁设备、跳到媒体播放器的另一个曲目或在IPTV频道间转换；控制导航应用程序；发起呼叫、结束通话、呈现出通知、显示通知；浏览照片或音乐专辑图库、滚动网页页面、呈现电子邮件、呈现一个或多个文档或地图、控制游戏中的动作、控制互动视频或动画内容、编辑视频或图像、指着地图、放大或缩小地图或图像、在图像上着色、把激活图标从显示设备拉开、抓激活图标且从显示设备拉出激活图标、旋转激活图标、在设备上模拟触摸命令、执行一个或多个多点触摸命令、触摸手势命令、打字、点击显示视频以暂停或播放、编辑视频或音乐命令、标记帧或从视频捕获帧、从视频切割视频的子集、呈现传入消息；接听来电、静音或拒绝接听来电、打开来电提醒；呈现从网络社区服务收到的通知；呈现由设备生成的通知、改变设备的锁定模式并激活最近通话应用程序、改变设备的锁定模式并激活在线服务应用程序或浏览器、改变设备的锁定模式并激活电子邮件应用程序、改变设备的锁定模式并激活在线服务应用程序或浏览器、改变设备的锁定模式并激活日历应用程序、改变设备的锁定模式并激活提醒应用程序、改变设备的锁定模式并激活用户设置的、设备的制造商设置的或服务运营商设置的预定应用程序、激活激活图标、选择菜单项、在显示器上移动指针、操纵免触摸鼠标、激活显示器上的激活图标，和改变显示器上的信息。
通信模块可用以发送例如可被定位到远程设备的消息。消息例如可为到远程设备的命令。命令例如可为在远程设备上运行应用程序的命令、停止在远程设备上运行的应用程序的命令、激活在远程设备上运行的服务的命令、停止在远程设备上运行的服务的命令。消息可为到远程设备的选自以下的命令：按压远程设备的显示设备上显示的虚拟键；旋转选择转盘；切换桌面、在远程设备上运行预定软件应用程序；关闭远程设备上的应用程序；打开或关闭音箱；调高或调低音量；锁定远程设备、解锁远程设备、跳到媒体播放器的另一个曲目或在IPTV频道间转换；控制导航应用程序；发起呼叫、结束通话、呈现出通知、显示通知；浏览照片或音乐专辑图库、滚动网页页面、呈现电子邮件、呈现一个或多个文档或地图、控制游戏中的动作、指着地图、放大或缩小地图或图像、在图像上着色、抓激活图标且从显示设备拉出激活图标、旋转激活图标、在远程设备上模拟触摸命令、执行一个或多个多点触摸命令、触摸手势命令、打字、点击显示视频以暂停或播放、标记帧或从视频捕获帧、呈现传入消息；接听来电、静音或拒绝接听来电、打开来电提醒；呈现从网络社区服务收到的通知；呈现由远程设备生成的通知、打开预定应用程序、改变远程设备的锁定模式并打开最近通话应用程序、改变远程设备的锁定模式并打开在线服务应用程序或浏览器、改变远程设备的锁定模式并打开电子邮件应用程序、改变远程设备的锁定模式并打开在线服务应用程序或浏览器、改变设备的锁定模式并打开日历应用程序、改变设备的锁定模式并打开提醒应用程序、改变设备的锁定模式并打开用户设置的、远程设备的制造商设置的或服务运营商设置的预定应用程序、激活激活图标、选择菜单项、在显示器上移动指针、操纵免触摸鼠标、激活显示器上的图标、改变显示器上的信息。
消息可为对与识别的对象关联的数据的请求。数据请求消息可被定位到应用程序、服务、过程、在设备上运行的线程，或从应用程序、服务、过程或在外部设备上运行的线程，或在线服务定位。
为了减少CPU资源，只有当耳机如从状态传感器获得的信息所确定地并未显著移动时，才可使用检测预定对象的对象识别模块。
图2示出根据本发明的一个实施方案的用于增强现实的***2。***2包括便携式查看设备，所述查看设备例如可为互动头戴式目镜，例如一副眼镜或护目镜4。护目镜4具有获得现实世界场景8的图像的图像传感器6。场景8例如可包括一个或多个建筑物12，或一个或多个广告牌14。护目镜可具有一个或多个显示设备10，所述显示设备10位于护目镜4中以当用户配戴护目镜4时位于用户眼睛前。显示设备10例如可为通过其查看现实世界场景并呈现外部数据的透视设备，例如透明LCD屏幕。***2还包括处理器16，处理器16被配置以在图像传感器6捕获的图像中识别预定对象，所述预定对象执行手势或指向现实世界场景8中的现实世界对象或显示给用户的激活图标。***2也包括一个或多个位置和/或方向传感器23，例如GPS、加速度计、陀螺仪、固态罗盘、磁传感器，或重力传感器。
图5示出根据本发明的另一实施方案的用于增强现实的***40。***40被集成到例如手机、平板或相机的移动通信设备42。图5a示出通信设备42的前视图，而图5b示出通信设备42的后视图。通信设备42的背面上具有获得现实世界场景的图像的图像传感器46，图像传感器46在显示设备对面。通信设备42的正面上也具有显示设备48，当相机46面对现实世界场景时，显示设备48位于用户前面。显示设备48例如可为向用户呈现相机6获得的现实世界场景的图像以及如下文所解释的视觉数据的LCD屏幕。***40使用相机46、显示设备48，和通信设备42的处理器，且还包括一个或多个状态传感器，所述状态传感器被包含在图5中未示出的通信设备42的外壳中。处理器被配置以在图像传感器46捕获的图像中识别指向现实世界场景中现实世界对象的预定对象。
图3a示出使用中的***2。护目镜4被放置在用户18眼睛上方。用户面向现实世界场景8因此查看场景8。图3b示出使用中的***40。用户18手持通信设备42，通信设备42具有面向现实世界场景8的图像传感器46和面向用户的显示设备48。
***2或40现在执行以下过程。当用户使用***2或40时将查看到的场景8的视图被显示在显示设备上。图4a示出当用户使用***2或40查看现实世界场景8时将看到的场景8的视图。处理器36分析图像传感器获得的图像，以确定图像传感器捕获的图像中的预定对象何时执行与现实世界场景8中的现实世界对象相关的预定手势。
例如护目镜4或通信设备42的查看设备34在使用中并不固定，这是由于用户走路时发生的移动或用户的头或手的移动。在这种情况下，传感器38生成的信号可能是嘈杂且不准确的。在这种情况下，机器视觉模块37运行跟踪算法，所述跟踪算法跟踪识别的现实世界对象并维持显示的相关视觉数据相对于识别的现实世界对象处于固定位置。
与现实世界对象或激活图标有关的预定手势例如可指向现实世界对象或激活图标，或对现实世界对象或激活图标执行翻页手势。激活图标可与现实世界对象相关或不相关。
其它可能的预定手势包括翻页手势、两个手指的对捏运动(例如食指和拇指或中指和拇指)、指向、左到右手势、右到左手势、向上手势、向下手势、按压手势、打开握紧的拳头、打开握紧的拳头并移向图像传感器、轻敲手势、挥手手势、鼓掌手势、反向鼓掌手势、手握成拳、对捏手势、反向对捏手势、张开手指的手势、反向张开手指的手势、指着激活图标或现实世界对象、指着激活图标或现实世界对象预定时间量、点击激活图标或现实世界对象、双击激活图标或现实世界对象、食指点击激活图标或现实世界对象、中指点击激活图标或现实世界对象、从下点击激活图标或现实世界对象、从上点击激活图标、抓激活图标或现实世界对象、从右指着激活图标或现实世界对象、从左指着激活图标或现实世界对象、从左通过激活图标或现实世界对象、推激活图标或现实世界对象、鼓掌或在激活图标或现实世界对象上方挥手、执行***手势、执行轻敲手势、在激活图标或现实世界对象上执行顺时针或反时针手势、滑动激活图标或现实世界对象、用两个手指抓激活图标或现实世界对象，或执行点击拖动释放运动。
预定对象例如可为用户的手、用户的手的一部分，例如用户的手指20或两个不同手的部分。或者，预定对象可为手写笔或棒。
当处理器16确定已执行预定手势时，这可能通过任何类型的反馈指示给用户，例如视觉反馈、听觉反馈、触觉反馈、定向振动、空气触觉反馈，或超声波反馈。反馈可为呈选自以下形式的视觉指示：显示设备上显示的激活图标、显示设备上显示的激活图标的变化、显示设备上显示的激活图标的颜色的变化、显示设备上显示的激活图标的大小的变化、显示设备上显示的激活图标的动画、指示灯、在显示设备上移动的指示器、振动、定向振动指示、空气触觉指示。指示可由在显示设备上出现的所有其它图像或视频顶部出现的在显示设备上移动的指示器提供。视觉反馈可为当***识别预定对象时预定对象周围的辉光的外观。
手势检测模块40可使用任何用于检测图像传感器32获得的图像中预定对象的方法。例如，手势检测模块可检测如WO2005/091125或WO 2010/086866中所公开的预定对象。
处理器16还被配置以确定对其执行预定手势的场景8中的现实世界对象。因此，例如，在图4b示出的图像中，处理器16将通过确定图像中指尖位置(X,Y)并把这个信息与来自状态传感器21的用户的位置和护目镜4的方向相组合来确定用户的手指20指向广告牌14。现实世界对象因此被处理器识别，而无需向用户呈现光标或其它标志物来指示用户希望选择的现实世界对象，从而使得能够直接指着现实世界对象以开始互动。处理器16在可能与处理器16成一体或可能位于远程的存储器中搜索与用户的手指20指着的现实世界对象有关的数据。例如，存储器可能已存储了与广告牌14有关的数据。当用户指向数据存储在存储器中或从例如网址的远程服务器提取的场景8中的对象时，数据被显示在显示设备10上叠加到用户的场景的视图。因此，当用户指向广告牌14时(图3)，与广告牌14有关的视觉数据21被显示在显示设备10上，如图4c示出。
视觉数据21可为静态或动态的。视觉数据21可包括一个或多个激活图标，使得当相对于激活图标中的一个激活图标执行预定手势时，执行与激活图标关联的命令。命令例如可为显示与选择的现实世界对象有关的具体视觉材料。激活图标可为2D或3D激活图标且可被呈现给用户，使得用户感知在他前面的3D空间中的图标。如本文所使用，激活图标是与用户互动激活的一个或多个消息关联的2D或3D图像或视频中的区域。激活图标例如可为2D或3D视觉元素。激活图标可为虚拟按钮、虚拟键盘、2D或3D激活图标、图像或视频中的区域。激活图标可包含两个或更多个激活图标。
处理器可能不呈现预定对象所处的激活图标的部分，使得预定对象似乎在激活图标的顶部。当用户快速移动他的头时，激活图标可被删除，然后当头部运动低于预定运动速度时，激活图标返回。
***2可具有两个或更多个操作模式，且处理器16可被配置以识别一个或多个预定手势来在操作模式之间变化。因此，手势可用以打开或关闭***、选择将要呈现的视觉材料源、选择将要呈现的视觉材料的详细程度、选择将要呈现给用户的按钮或激活图标，或激活在线服务，例如关于选择的现实世界对象的在线服务。另一操作模式可为在识别预定手势之后用图像传感器开始视频录制图像且/或用麦克风录制声音，并在识别另一预定手势之后停止录制。另一操作模式是连续监测视频和/或声音，但在检测到预定手势之后，录制从识别手势之前预定时间量开始的视频/声音，且在识别另一预定手势之后停止录制。预定时间可由用户定义。另一操作模式是在识别预定手势之后向捕获和实时录制的视频添加标签。
图6a至图6d示出另一操作模式。在图6a中，通过用户执行“绘制”区域轮廓的手势来指定图像传感器捕获的视场60中的区域62，如图6中虚线示出。选择区域然后被通过用户执行第二手势来调整大小，例如如图6b中箭头66所指示地分开两个手指或把两个手指靠得更近，直到选择区域达到所希望的大小(图6c中的67)。区域67然后被拖到视场中新的位置(图6d)并被复制到视场中新的位置。***然后在选择区域上使用***，且选择区域被实时呈现在显示设备上用户设置的调整大小且重新安置区域中。
为了最小化CPU资源，对于每个显示的激活图标，包含显示的激活图标周围的显示的激活图标边界框的图像区域可被定义为保持不变。***使用机器视觉***来跟踪这个边界框。在视频序列的两个帧中的边界框的位置之间的距离小于使用视频***确定的预定距离，且边界框的***的相关值低于预定值。
当***处于其中只可激活激活图标而不能激活现实世界对象的操作模式时，CPU可通过只在每个显示的激活图标附近搜索预定对象来最小化。为了进一步减小CPU，只有当如从状态传感器获得的信息确定耳机未显著移动时，才激活对象识别模块。
用户可选择不同的过滤器来筛选与现实世界对象相关的数据，例如“显示仅由朋友生成的数据”，或显示来自注册源的数据或过去三个月生成的数据的过滤器。
***2可具有待机模式，其中***2的耗电量最小。例如，活动模式可能在以下方面与待机模式不同：***分析的每秒钟的视频帧的数目、分析的图像分辨率、分析的图像帧的部分，和/或激活的检测模块。***2可被通过任何技术带入活动模式。例如，***2可通过以下动作而被带入活动模式：当用户把预定对象放入某一位置或一团时把预定对象从下带入视场，例如指着相机视场的右下角或在相机视场中打开手；当显示激活图标且用户执行关联到激活图标的预定手势时，例如指着所述激活图标时，执行预定手势，例如从右向左移动手穿过视场，或在呈现激活图标的位置执行挥手手势，或通过在3D空间中在感知激活图标处于的位置执行手势、通过触摸设备，或如果设备具有加速度计就在设备上轻敲，把浮动激活图标从一个位置滑动到另一位置。作为另一实例，如果设备具有接近传感器或超声波传感器，那么当用户的手靠近设备时，***可进入活动模式。***也可由语音命令激活，或当所述用户把预定对象放入视场中特定位置时激活。作为另一实例，只有当在用户的视场中有与现实世界关联的相关数据时，***才可进入活动模式。此时，***可向用户指示何时有将要呈现的相关数据，或何时准备好进行互动。
视觉指示可被附加到现实世界对象，以让用户知道有与现实世界对象相关的数据。
相关数据的指示可覆盖在现实世界对象的位置上，因为例如激活图标“i”的小的视觉指示可指示信息，而“照片”的标志可指示与现实世界对象相关的图像，或者“信封”的标志指示朋友或其它用户留下的与现实世界对象相关的消息。当用户执行与激活图标相关的预定手势时，可呈现数据。
***2可被配置以经过校准过程来记录预定对象的各种物理参数，从而促进处理器2在相机获得的图像中识别预定对象。这可例如通过以下动作进行：在显示器上在3D空间中不同的位置处向用户呈现激活图标；提取预定对象的物理特性，例如预定对象的大小或方向；和确定预定对象的尺寸和它与相机的距离之间的相关性。校准可包括计算相机的三角、用户的视线和预定对象的前端来确定用户的指向。通过基于校准中提取的信息而估计现实世界对象与相机的距离来改善准确性。
处理器可被配置以由本发明的***的用户在相机获得的现实世界场景的图像进行识别。现实世界场景中另一用户的识别可例如通过向远程服务器通知特定地理区域中设备的位置来执行。其它设备的位置可被发送到地理区域中的所有设备。
当本发明的两个***之间存在通信链路时，这两个***可用以玩游戏。另一用户可被表示为计算机化身，用户可通过手势与其进行互动，例如向另一用户发送例如“喜欢”的消息。
处理器可被配置以显示能够使用一个或多个手指或手进行文字输入的键盘。键盘的显示可在检测到预定手势之后开始，所述预定手势例如从右到左的手势，或呈现张开的手，或在相机的视场的预定区域中呈现两个张开的手，所述预定区域例如视场的底部。另一种开始显示键盘的方式是当用户在打字区域或感知激活图标所处于的3D空间中执行点击手势时进行。键盘例如可用以写个便条、进行搜索或通过在虚拟键盘上打字来与在线服务(例如Skype或twitter)通信。***可能不呈现预定对象所处的键盘的部分，使得预定对象似乎在键盘的顶部来创造例如用户的手的预定对象似乎在键盘“上方”的错觉。
当***处于输入模式时，动画手可呈现在键盘上，其位置与用户的手和手指相关。动画手的指尖可位于虚拟按键上方看到按键字符的位置。键盘和动画手最好是不透明的，使得用户不能看到键盘背后的背景。这往往使得键盘对于用户更加清晰。

Claims (18)

1.一种增强现实设备，所述增强现实设备包括：
至少一个处理器，所述至少一个处理器被配置成：
从图像传感器接收与现实世界场景相关联的图像信息的视频帧；
提供所述图像信息和增强信息以显示；
在所述图像信息中检测由用户执行的预定手势；
在所述图像信息中识别不同于用户的手和所述增强信息的一个或更多个现实世界对象，其中，识别所述一个或更多个现实世界对象与所检测到的预定手势相关联；
指定与所述视频帧中的所识别的一个或更多个现实世界对象相关联的所选择的图像信息，其中，所选择的图像信息与所述现实世界场景相关联，其中，与所述现实世界场景相关联的所述信息不包括所述用户的手和所显示的信息；
通过所述手势对与所识别的不同于所述用户的手的一个或更多个现实世界对象相关联的所选择的图像信息进行标记以指定与所选择的图像信息相关联的区域；以及
录制与所选择的图像信息的所指定的区域相关联的视频信息和从所检测到的预定手势之前的预定时间量开始的视频信息中的至少一者。
2.根据权利要求1所述的增强现实设备，其中，所述预定手势包括以下至少一项：绘制与现实世界对象相关联的轮廓，或指向现实世界对象。
3.根据权利要求1所述的增强现实设备，其中，所述至少一个处理器还被配置成对所指定的区域调整大小。
4.根据权利要求1所述的增强现实设备，其中，所述录制开始于所检测到的手势之前的预定时间。
5.根据权利要求1所述的增强现实设备，其中，所述录制结束于所检测到的手势之后的预定时间。
6.根据权利要求1所述的增强现实设备，其中，所述至少一个处理器还被配置成基于第二手势的检测来停止所述录制。
7.根据权利要求1所述的增强现实设备，其中，所述至少一个处理器还被配置成与在所述图像信息中检测到的第二预定手势相关联地从图像信息的所述视频帧中捕获帧。
8.根据权利要求1所述的增强现实设备，其中，所述时间是由所述用户定义的预定时间量。
9.根据权利要求1所述的增强现实设备，其中，所述至少一个处理器还被配置成响应于检测到的第二预定手势而运行跟踪算法，所述跟踪算法跟踪所述图像信息中所识别的现实世界对象。
10.根据权利要求1所述的增强现实设备，其中，所述至少一个处理器还被配置成在所选择的图像信息上采用***，以在所述用户的视场中的经调整大小的区域中呈现所选择的信息中的现实世界对象的实时视图。
11.一种操作增强现实设备的方法，该方法包括以下步骤：
由至少一个处理器从图像传感器接收与现实世界场景相关联的图像信息的视频帧；
提供所述图像信息和增强信息以显示；
由所述至少一个处理器在所述图像信息中检测用户执行的预定手势；
在所述视频帧中，由所述至少一个处理器指定与所述用户的手和所述增强信息不同的现实世界对象相关联的所选择的图像信息的区域，其中，所选择的图像信息与不包括所述用户的手和所显示的信息的所述现实世界场景相关联，所指定的区域与所检测到的预定手势相关联；
基于所指定的区域，跟踪与不包括所述用户的手的所述现实世界场景相关联的所选择的图像信息；
基于所述跟踪，固定所选择的图像信息的区域；
录制与所选择的图像信息的所指定的区域相关联的视频信息和从所检测到的预定手势之前的预定时间量开始的视频信息中的至少一者。
12.根据权利要求11所述的方法，其中，所述预定手势包括以下至少一项：绘制与现实世界对象相关联的轮廓，或指向现实世界对象。
13.根据权利要求11所述的方法，其中，所述至少一个处理器还被配置成对所指定的区域调整大小。
14.根据权利要求13所述的方法，其中，对所指定的区域调整大小通过第二预定手势来进行，并且其中，所述第二预定手势包括分开两个手指，或者使两个手指靠近在一起。
15.根据权利要求11所述的方法，所述方法还包括与在所述图像信息中检测到的第二预定义手势相关联地放大或缩小。
16.根据权利要求11所述的方法，所述方法还包括在所选择的区域上采用***，以在所述用户的视场中的经调整大小的区域中呈现所选择的信息中的现实世界对象的实时视图。
17.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质存储指令，所述指令在被执行时使至少一个处理器执行操作设备的方法，所述方法包括以下步骤：
从图像传感器接收与现实世界场景相关联的图像信息的视频帧；
提供所述图像信息和增强信息以显示；
在所述图像信息中检测用户执行的预定手势；
在所述视频帧中指定与所检测到的手势相关联的所选择的图像信息的区域，其中，所选择的图像信息与不包括所述用户的手和所显示的信息的现实世界场景相关联；以及
跟踪与不包括所述用户的手的现实世界场景相关联的所选择的图像信息，以录制与所选择的信息中的所述现实世界场景相关联的所选择的图像信息的实时视频。
18.根据权利要求17所述的非暂时性计算机可读介质，其中，所述现实世界场景至少部分地包括显示在显示设备上的信息。
CN201280048836.8A 2011-09-19 2012-09-19 增强现实设备、操作增强现实设备的方法、计算机可读介质 Active CN103858073B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210808606.2A CN115167675A (zh) 2011-09-19 2012-09-19 增强现实设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161536144P 2011-09-19 2011-09-19
US61/536,144 2011-09-19
PCT/IL2012/050376 WO2013093906A1 (en) 2011-09-19 2012-09-19 Touch free interface for augmented reality systems

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210808606.2A Division CN115167675A (zh) 2011-09-19 2012-09-19 增强现实设备

Publications (2)

Publication Number Publication Date
CN103858073A CN103858073A (zh) 2014-06-11
CN103858073B true CN103858073B (zh) 2022-07-29

Family

ID=47189999

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210808606.2A Pending CN115167675A (zh) 2011-09-19 2012-09-19 增强现实设备
CN201280048836.8A Active CN103858073B (zh) 2011-09-19 2012-09-19 增强现实设备、操作增强现实设备的方法、计算机可读介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210808606.2A Pending CN115167675A (zh) 2011-09-19 2012-09-19 增强现实设备

Country Status (5)

Country Link
US (8) US20140361988A1 (zh)
JP (3) JP2014531662A (zh)
KR (3) KR20220032059A (zh)
CN (2) CN115167675A (zh)
WO (1) WO2013093906A1 (zh)

Families Citing this family (242)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9865125B2 (en) 2010-11-15 2018-01-09 Bally Gaming, Inc. System and method for augmented reality gaming
KR20220032059A (ko) 2011-09-19 2022-03-15 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
RU2639026C2 (ru) * 2011-12-23 2017-12-19 Конинклейке Филипс Н.В. Способ и устройство для интерактивного отображения трехмерных ультразвуковых изображений
US11068049B2 (en) 2012-03-23 2021-07-20 Microsoft Technology Licensing, Llc Light guide display and field of view
US9558590B2 (en) 2012-03-28 2017-01-31 Microsoft Technology Licensing, Llc Augmented reality light guide display
US10191515B2 (en) 2012-03-28 2019-01-29 Microsoft Technology Licensing, Llc Mobile device light guide display
US9717981B2 (en) 2012-04-05 2017-08-01 Microsoft Technology Licensing, Llc Augmented reality and physical games
US10502876B2 (en) 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
TWI475474B (zh) * 2012-07-30 2015-03-01 Mitac Int Corp Gesture combined with the implementation of the icon control method
KR102001218B1 (ko) * 2012-11-02 2019-07-17 삼성전자주식회사 객체와 관련된 정보 제공 방법 및 이를 위한 디바이스
US10192358B2 (en) 2012-12-20 2019-01-29 Microsoft Technology Licensing, Llc Auto-stereoscopic augmented reality display
US11857331B1 (en) 2013-01-19 2024-01-02 Bertec Corporation Force measurement system
US11311209B1 (en) 2013-01-19 2022-04-26 Bertec Corporation Force measurement system and a motion base used therein
US10010286B1 (en) 2013-01-19 2018-07-03 Bertec Corporation Force measurement system
US11052288B1 (en) 2013-01-19 2021-07-06 Bertec Corporation Force measurement system
US10413230B1 (en) 2013-01-19 2019-09-17 Bertec Corporation Force measurement system
US10856796B1 (en) 2013-01-19 2020-12-08 Bertec Corporation Force measurement system
US10646153B1 (en) 2013-01-19 2020-05-12 Bertec Corporation Force measurement system
US9526443B1 (en) * 2013-01-19 2016-12-27 Bertec Corporation Force and/or motion measurement system and a method of testing a subject
US11540744B1 (en) 2013-01-19 2023-01-03 Bertec Corporation Force measurement system
US10231662B1 (en) 2013-01-19 2019-03-19 Bertec Corporation Force measurement system
US9770203B1 (en) 2013-01-19 2017-09-26 Bertec Corporation Force measurement system and a method of testing a subject
US10133342B2 (en) * 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
EP2960867A4 (en) * 2013-02-21 2016-08-03 Fujitsu Ltd DISPLAY DEVICE, DISPLAY PROCEDURE, DISPLAY PROGRAM AND POSITION SETTING SYSTEM
US20140240226A1 (en) * 2013-02-27 2014-08-28 Robert Bosch Gmbh User Interface Apparatus
US9122916B2 (en) * 2013-03-14 2015-09-01 Honda Motor Co., Ltd. Three dimensional fingertip tracking
US20140285520A1 (en) * 2013-03-22 2014-09-25 Industry-University Cooperation Foundation Hanyang University Wearable display device using augmented reality
US9213403B1 (en) 2013-03-27 2015-12-15 Google Inc. Methods to pan, zoom, crop, and proportionally move on a head mountable display
US9507426B2 (en) * 2013-03-27 2016-11-29 Google Inc. Using the Z-axis in user interfaces for head mountable displays
JP6108926B2 (ja) * 2013-04-15 2017-04-05 オリンパス株式会社 ウェアラブル装置、プログラム及びウェアラブル装置の表示制御方法
US9294365B2 (en) 2013-05-08 2016-03-22 Vringo, Inc. Cognitive radio system and cognitive radio carrier device
US9672627B1 (en) * 2013-05-09 2017-06-06 Amazon Technologies, Inc. Multiple camera based motion tracking
EP2818948B1 (en) * 2013-06-27 2016-11-16 ABB Schweiz AG Method and data presenting device for assisting a remote user to provide instructions
US10228242B2 (en) 2013-07-12 2019-03-12 Magic Leap, Inc. Method and system for determining user input based on gesture
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
KR102157313B1 (ko) 2013-09-03 2020-10-23 삼성전자주식회사 촬영된 영상을 이용하여 객체를 인식하는 방법 및 컴퓨터 판독 가능한 기록 매체
KR102165818B1 (ko) * 2013-09-10 2020-10-14 삼성전자주식회사 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
JP5877824B2 (ja) * 2013-09-20 2016-03-08 ヤフー株式会社 情報処理システム、情報処理方法および情報処理プログラム
KR102119659B1 (ko) * 2013-09-23 2020-06-08 엘지전자 주식회사 영상표시장치 및 그것의 제어 방법
CN103501473B (zh) * 2013-09-30 2016-03-09 陈创举 基于mems传感器的多功能耳机及其控制方法
KR101499044B1 (ko) * 2013-10-07 2015-03-11 홍익대학교 산학협력단 사용자의 손동작 및 음성에 기초하여 사용자가 의도한 텍스트를 취득하는 웨어러블 컴퓨터 및 사용자가 의도한 텍스트를 취득하는 방법
US9740935B2 (en) * 2013-11-26 2017-08-22 Honeywell International Inc. Maintenance assistant system
US9671826B2 (en) * 2013-11-27 2017-06-06 Immersion Corporation Method and apparatus of body-mediated digital content transfer and haptic feedback
US9264479B2 (en) 2013-12-30 2016-02-16 Daqri, Llc Offloading augmented reality processing
US10586395B2 (en) 2013-12-30 2020-03-10 Daqri, Llc Remote object detection and local tracking using visual odometry
EP2899609B1 (en) * 2014-01-24 2019-04-17 Sony Corporation System and method for name recollection
DE102014201578A1 (de) * 2014-01-29 2015-07-30 Volkswagen Ag Vorrichtung und Verfahren zur Signalisierung eines Eingabebereiches zur Gestenerkennung einer Mensch-Maschine-Schnittstelle
US20150227231A1 (en) * 2014-02-12 2015-08-13 Microsoft Corporation Virtual Transparent Display
KR20150110032A (ko) * 2014-03-24 2015-10-02 삼성전자주식회사 영상데이터 처리 전자장치 및 방법
WO2015161062A1 (en) * 2014-04-18 2015-10-22 Bally Gaming, Inc. System and method for augmented reality gaming
US9501871B2 (en) 2014-04-30 2016-11-22 At&T Mobility Ii Llc Explorable augmented reality displays
TWI518603B (zh) 2014-05-22 2016-01-21 宏達國際電子股份有限公司 影像編輯方法與電子裝置
US9332285B1 (en) 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
KR102303115B1 (ko) 2014-06-05 2021-09-16 삼성전자 주식회사 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법
KR101595957B1 (ko) 2014-06-12 2016-02-18 엘지전자 주식회사 이동 단말기 및 제어 시스템
CN106575151A (zh) * 2014-06-17 2017-04-19 奥斯特豪特集团有限公司 用于头戴式计算的外部用户接口
JP6500355B2 (ja) * 2014-06-20 2019-04-17 富士通株式会社 表示装置、表示プログラム、および表示方法
US20150379770A1 (en) * 2014-06-27 2015-12-31 David C. Haley, JR. Digital action in response to object interaction
US9959591B2 (en) * 2014-07-31 2018-05-01 Seiko Epson Corporation Display apparatus, method for controlling display apparatus, and program
JP6638195B2 (ja) * 2015-03-02 2020-01-29 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
CN104156082A (zh) * 2014-08-06 2014-11-19 北京行云时空科技有限公司 面向时空场景的用户界面及应用的控制***及智能终端
CN104133593A (zh) * 2014-08-06 2014-11-05 北京行云时空科技有限公司 一种基于体感的文字输入***及方法
US9696551B2 (en) * 2014-08-13 2017-07-04 Beijing Lenovo Software Ltd. Information processing method and electronic device
US9690375B2 (en) * 2014-08-18 2017-06-27 Universal City Studios Llc Systems and methods for generating augmented and virtual reality images
CN104197950B (zh) * 2014-08-19 2018-02-16 奇瑞汽车股份有限公司 地理信息显示的方法及***
US9910504B2 (en) * 2014-08-21 2018-03-06 Samsung Electronics Co., Ltd. Sensor based UI in HMD incorporating light turning element
JP5989725B2 (ja) * 2014-08-29 2016-09-07 京セラドキュメントソリューションズ株式会社 電子機器及び情報表示プログラム
DE102014217843A1 (de) * 2014-09-05 2016-03-10 Martin Cudzilo Vorrichtung zum Vereinfachen der Reinigung von Oberflächen und Verfahren zum Erfassen geleisteter Reinigungsarbeiten
GB2530036A (en) 2014-09-09 2016-03-16 Ultrahaptics Ltd Method and apparatus for modulating haptic feedback
US20160109701A1 (en) * 2014-10-15 2016-04-21 GM Global Technology Operations LLC Systems and methods for adjusting features within a head-up display
TWI613615B (zh) * 2014-10-15 2018-02-01 在地實驗文化事業有限公司 導覽系統及方法
US10108256B2 (en) * 2014-10-30 2018-10-23 Mediatek Inc. Systems and methods for processing incoming events while performing a virtual reality session
US10241738B2 (en) 2014-11-06 2019-03-26 Koninklijke Philips N.V. Method and system of communication for use in hospitals
KR102038965B1 (ko) * 2014-11-26 2019-10-31 삼성전자주식회사 초음파 센서 및 초음파 센서의 대상체 인식 방법
US10310624B2 (en) 2014-12-17 2019-06-04 Konica Minolta, Inc. Electronic apparatus, method for controlling electronic apparatus, and control program for the same
US9658693B2 (en) 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
US9600076B2 (en) * 2014-12-19 2017-03-21 Immersion Corporation Systems and methods for object manipulation with haptic feedback
CN104537401B (zh) * 2014-12-19 2017-05-17 南京大学 基于射频识别和景深感知技术的现实增强***及工作方法
US9685005B2 (en) * 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US20160196693A1 (en) * 2015-01-06 2016-07-07 Seiko Epson Corporation Display system, control method for display device, and computer program
CN104570354A (zh) * 2015-01-09 2015-04-29 京东方科技集团股份有限公司 交互式眼镜和导览***
TWI619041B (zh) * 2015-01-09 2018-03-21 Chunghwa Telecom Co Ltd Augmented reality unlocking system and method
US10317215B2 (en) 2015-01-09 2019-06-11 Boe Technology Group Co., Ltd. Interactive glasses and navigation system
JP2016133541A (ja) * 2015-01-16 2016-07-25 株式会社ブリリアントサービス 電子眼鏡および電子眼鏡の制御方法
US10018844B2 (en) 2015-02-09 2018-07-10 Microsoft Technology Licensing, Llc Wearable image display system
US10317677B2 (en) 2015-02-09 2019-06-11 Microsoft Technology Licensing, Llc Display system
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
WO2016132141A1 (en) 2015-02-20 2016-08-25 Ultrahaptics Ip Limited Algorithm improvements in a haptic system
US9886633B2 (en) * 2015-02-23 2018-02-06 Vivint, Inc. Techniques for identifying and indexing distinguishing features in a video feed
WO2016139850A1 (ja) * 2015-03-05 2016-09-09 ソニー株式会社 情報処理装置、制御方法、およびプログラム
JP6596883B2 (ja) 2015-03-31 2019-10-30 ソニー株式会社 ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム
US20160292920A1 (en) * 2015-04-01 2016-10-06 Caterpillar Inc. Time-Shift Controlled Visualization of Worksite Operations
US10156908B2 (en) * 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
JP6534292B2 (ja) * 2015-04-24 2019-06-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイの制御方法
US10055888B2 (en) 2015-04-28 2018-08-21 Microsoft Technology Licensing, Llc Producing and consuming metadata within multi-dimensional data
DE102015211515A1 (de) * 2015-06-23 2016-12-29 Siemens Aktiengesellschaft Interaktionssystem
US10409443B2 (en) * 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
US10156726B2 (en) * 2015-06-29 2018-12-18 Microsoft Technology Licensing, Llc Graphene in optical systems
CN105138763A (zh) * 2015-08-19 2015-12-09 中山大学 一种增强现实中实景与现实信息叠加的方法
CN108291921B (zh) * 2015-08-25 2020-12-01 株式会社日立高新技术 自动分析装置以及检测体检查自动化***
CN105205454A (zh) * 2015-08-27 2015-12-30 深圳市国华识别科技开发有限公司 自动捕捉目标物的***和方法
KR102456597B1 (ko) * 2015-09-01 2022-10-20 삼성전자주식회사 전자 장치 및 그의 동작 방법
KR101708455B1 (ko) * 2015-09-08 2017-02-21 엠더블유엔테크 주식회사 핸드 플로트 입체 메뉴 시스템
CN105183173B (zh) * 2015-10-12 2018-08-28 重庆中电大宇卫星应用技术研究所 一种将战术和摩尔斯码手势输入并转换为语音的装置
DE102015221860A1 (de) * 2015-11-06 2017-05-11 BSH Hausgeräte GmbH System und Verfahren zur Erleichterung einer Bedienung eines Haushaltsgeräts
CN105872815A (zh) * 2015-11-25 2016-08-17 乐视网信息技术（北京）股份有限公司 视频播放的方法及装置
EP3182328A1 (en) * 2015-12-17 2017-06-21 Nokia Technologies Oy A method, apparatus or computer program for controlling image processing of a captured image of a scene to adapt the captured image
US9697648B1 (en) 2015-12-23 2017-07-04 Intel Corporation Text functions in augmented reality
JP2017129406A (ja) * 2016-01-19 2017-07-27 日本電気通信システム株式会社 情報処理装置、スマートグラスおよびその制御方法、並びにコンピュータ・プログラム
CN105843390B (zh) * 2016-02-24 2019-03-19 上海理湃光晶技术有限公司 一种图像缩放的方法与基于该方法的ar眼镜
US10168768B1 (en) 2016-03-02 2019-01-01 Meta Company Systems and methods to facilitate interactions in an interactive space
US10133345B2 (en) 2016-03-22 2018-11-20 Microsoft Technology Licensing, Llc Virtual-reality navigation
US9933855B2 (en) * 2016-03-31 2018-04-03 Intel Corporation Augmented reality in a field of view including a reflection
SE541141C2 (en) * 2016-04-18 2019-04-16 Moonlightning Ind Ab Focus pulling with a stereo vision camera system
US10186088B2 (en) 2016-05-13 2019-01-22 Meta Company System and method for managing interactive virtual frames for virtual objects in a virtual environment
US9990779B2 (en) 2016-05-13 2018-06-05 Meta Company System and method for modifying virtual objects in a virtual environment in response to user interactions
ES2643863B1 (es) * 2016-05-24 2018-10-26 Sonovisión Ingenieros España, S.A.U. Método para proporcionar mediante realidad aumentada guiado, inspección y soporte en instalación o mantenimiento de procesos para ensamblajes complejos compatible con s1000d y dispositivo que hace uso del mismo
CN105915715A (zh) * 2016-05-25 2016-08-31 努比亚技术有限公司 来电提醒方法及其装置、佩戴式音频设备和移动终端
WO2017217752A1 (ko) * 2016-06-17 2017-12-21 이철윤 상품과 포장상자의 3차원 합성영상 생성 시스템 및 방법
CN106157363A (zh) * 2016-06-28 2016-11-23 广东欧珀移动通信有限公司 一种基于增强现实的拍照方法、装置和移动终端
CN106155315A (zh) * 2016-06-28 2016-11-23 广东欧珀移动通信有限公司 一种拍摄中增强现实效果的添加方法、装置及移动终端
CN106125932A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种增强现实中目标对象的识别方法、装置及移动终端
CN106066701B (zh) * 2016-07-05 2019-07-26 上海智旭商务咨询有限公司 一种ar和vr数据处理设备与方法
KR20180009170A (ko) * 2016-07-18 2018-01-26 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
CN110300542A (zh) 2016-07-25 2019-10-01 开创拉布斯公司 使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置
US11337652B2 (en) 2016-07-25 2022-05-24 Facebook Technologies, Llc System and method for measuring the movements of articulated rigid bodies
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
WO2018022597A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation Methods and apparatus for inferring user intent based on neuromuscular signals
US10268275B2 (en) 2016-08-03 2019-04-23 Ultrahaptics Ip Ltd Three-dimensional perceptions in haptic systems
CN106354257A (zh) * 2016-08-30 2017-01-25 湖北睛彩视讯科技有限公司 一种基于增强现实技术的移动场景融合***及方法
CN106980362A (zh) * 2016-10-09 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的输入方法及装置
US11119585B2 (en) 2016-10-13 2021-09-14 Ford Motor Company Dual-mode augmented reality interfaces for mobile devices
CN110084088A (zh) * 2016-10-26 2019-08-02 奥康科技有限公司 用于分析图像和提供反馈的可佩戴设备和方法
JP2018082363A (ja) * 2016-11-18 2018-05-24 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
WO2018100575A1 (en) 2016-11-29 2018-06-07 Real View Imaging Ltd. Tactile feedback in a display system
WO2018113740A1 (en) * 2016-12-21 2018-06-28 Zyetric Technologies Limited Combining virtual reality and augmented reality
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
CN106682468A (zh) * 2016-12-30 2017-05-17 百度在线网络技术（北京）有限公司 解锁电子设备的方法以及电子设备
USD864959S1 (en) 2017-01-04 2019-10-29 Mentor Acquisition One, Llc Computer glasses
WO2018162985A1 (en) * 2017-03-10 2018-09-13 Zyetric Augmented Reality Limited Interactive augmented reality
CN110582741B (zh) 2017-03-21 2024-04-02 交互数字Vc控股公司 用于增强现实中触觉交互检测和增强的方法和***
US10489651B2 (en) * 2017-04-14 2019-11-26 Microsoft Technology Licensing, Llc Identifying a position of a marker in an environment
US10620779B2 (en) * 2017-04-24 2020-04-14 Microsoft Technology Licensing, Llc Navigating a holographic image
US10481755B1 (en) * 2017-04-28 2019-11-19 Meta View, Inc. Systems and methods to present virtual content in an interactive space
US11054894B2 (en) 2017-05-05 2021-07-06 Microsoft Technology Licensing, Llc Integrated mixed-input system
US20210117680A1 (en) * 2017-05-10 2021-04-22 Humane, Inc. Wearable multimedia device and cloud computing platform with laser projection system
US10895966B2 (en) 2017-06-30 2021-01-19 Microsoft Technology Licensing, Llc Selection using a multi-device mixed interactivity system
US11023109B2 (en) 2017-06-30 2021-06-01 Microsoft Techniogy Licensing, LLC Annotation using a multi-device mixed interactivity system
CN107340871A (zh) * 2017-07-25 2017-11-10 深识全球创新科技（北京）有限公司 集成手势识别与超声波触觉反馈的装置及其方法和用途
WO2019021447A1 (ja) * 2017-07-28 2019-01-31 株式会社オプティム ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
WO2019021446A1 (ja) * 2017-07-28 2019-01-31 株式会社オプティム ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
CN107635057A (zh) * 2017-07-31 2018-01-26 努比亚技术有限公司 一种虚拟现实终端控制方法、终端和计算机可读存储介质
US10591730B2 (en) * 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
US10068403B1 (en) 2017-09-21 2018-09-04 Universal City Studios Llc Locker management techniques
US10506217B2 (en) * 2017-10-09 2019-12-10 Facebook Technologies, Llc Head-mounted display tracking system
EP3697297A4 (en) 2017-10-19 2020-12-16 Facebook Technologies, Inc. SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS
JP2019086916A (ja) * 2017-11-02 2019-06-06 オリンパス株式会社 作業支援装置、作業支援方法、作業支援プログラム
US20190129607A1 (en) * 2017-11-02 2019-05-02 Samsung Electronics Co., Ltd. Method and device for performing remote control
US11531395B2 (en) 2017-11-26 2022-12-20 Ultrahaptics Ip Ltd Haptic effects from focused acoustic fields
US11321880B2 (en) 2017-12-22 2022-05-03 Sony Corporation Information processor, information processing method, and program for specifying an important region of an operation target in a moving image
US10739861B2 (en) * 2018-01-10 2020-08-11 Facebook Technologies, Llc Long distance interaction with artificial reality objects using a near eye display interface
US11907423B2 (en) * 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
EP3743892A4 (en) 2018-01-25 2021-03-24 Facebook Technologies, Inc. VISUALIZATION OF INFORMATION ON THE STATE OF A RECONSTRUCTED HAND
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US10706628B2 (en) * 2018-02-28 2020-07-07 Lenovo (Singapore) Pte. Ltd. Content transfer
US20190324549A1 (en) * 2018-04-20 2019-10-24 Immersion Corporation Systems, devices, and methods for providing immersive reality interface modes
CA3098642C (en) 2018-05-02 2022-04-19 Ultrahaptics Ip Ltd Blocking plate structure for improved acoustic transmission efficiency
US20190339837A1 (en) * 2018-05-04 2019-11-07 Oculus Vr, Llc Copy and Paste in a Virtual Reality Environment
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US10768426B2 (en) 2018-05-21 2020-09-08 Microsoft Technology Licensing, Llc Head mounted display system receiving three-dimensional push notification
EP3801216A4 (en) 2018-05-29 2021-04-14 Facebook Technologies, LLC. SHIELDING TECHNIQUES FOR NOISE REDUCTION IN SURFACE ELECTROMYOGRAPHY SIGNAL MEASUREMENT AND RELATED SYSTEMS AND METHODS
US10970374B2 (en) 2018-06-14 2021-04-06 Facebook Technologies, Llc User identification and authentication with neuromuscular signatures
JP7056423B2 (ja) * 2018-07-10 2022-04-19 オムロン株式会社 入力装置
US11360558B2 (en) * 2018-07-17 2022-06-14 Apple Inc. Computer systems with finger devices
WO2020018892A1 (en) 2018-07-19 2020-01-23 Ctrl-Labs Corporation Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
CN112566553A (zh) 2018-08-13 2021-03-26 脸谱科技有限责任公司 实时尖峰检测和识别
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10698603B2 (en) 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US10909762B2 (en) 2018-08-24 2021-02-02 Microsoft Technology Licensing, Llc Gestures for facilitating interaction with pages in a mixed reality environment
US10905350B2 (en) 2018-08-31 2021-02-02 Facebook Technologies, Llc Camera-guided interpretation of neuromuscular signals
CN109348003A (zh) * 2018-09-17 2019-02-15 深圳市泰衡诺科技有限公司 应用控制方法及装置
WO2020061451A1 (en) * 2018-09-20 2020-03-26 Ctrl-Labs Corporation Neuromuscular text entry, writing and drawing in augmented reality systems
CN110942518B (zh) 2018-09-24 2024-03-29 苹果公司 上下文计算机生成现实(cgr)数字助理
WO2020069181A1 (en) 2018-09-26 2020-04-02 Ctrl-Labs Corporation Neuromuscular control of physical objects in an environment
CN112822992A (zh) * 2018-10-05 2021-05-18 脸谱科技有限责任公司 在增强现实环境中使用神经肌肉信号来提供与物理对象的增强交互
KR102620702B1 (ko) * 2018-10-12 2024-01-04 삼성전자주식회사 모바일 장치 및 모바일 장치의 제어 방법
US10788880B2 (en) 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
US10929099B2 (en) * 2018-11-02 2021-02-23 Bose Corporation Spatialized virtual personal assistant
US11797087B2 (en) 2018-11-27 2023-10-24 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
DE102019218787A1 (de) * 2018-12-04 2020-06-04 Apple Inc. Verfahren, vorrichtung und system zum erzeugen von mit einer darstellung eines artikels verbundenen angeboten
US10789952B2 (en) * 2018-12-20 2020-09-29 Microsoft Technology Licensing, Llc Voice command execution from auxiliary input
CN109782639A (zh) * 2018-12-29 2019-05-21 深圳市中孚能电气设备有限公司 一种电子设备工作模式的控制方法及控制装置
CN113272766A (zh) * 2019-01-24 2021-08-17 麦克赛尔株式会社 显示终端、应用程序控制***和应用程序控制方法
US10885322B2 (en) * 2019-01-31 2021-01-05 Huawei Technologies Co., Ltd. Hand-over-face input sensing for interaction with a device having a built-in camera
JP6720385B1 (ja) * 2019-02-07 2020-07-08 株式会社メルカリ プログラム、情報処理方法、及び情報処理端末
US10905383B2 (en) 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
US11842517B2 (en) 2019-04-12 2023-12-12 Ultrahaptics Ip Ltd Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network
CN110109547A (zh) * 2019-05-05 2019-08-09 芋头科技（杭州）有限公司 基于手势识别的命令激活方法和***
JP7331462B2 (ja) * 2019-05-24 2023-08-23 京セラドキュメントソリューションズ株式会社 ロボットシステム、ロボット制御方法及び電子装置
US10747371B1 (en) * 2019-06-28 2020-08-18 Konica Minolta Business Solutions U.S.A., Inc. Detection of finger press from live video stream
USD1009884S1 (en) * 2019-07-26 2024-01-02 Sony Corporation Mixed reality eyeglasses or portion thereof with an animated graphical user interface
JP2021026260A (ja) 2019-07-31 2021-02-22 セイコーエプソン株式会社 表示装置、表示方法、および、コンピュータープログラム
US10909767B1 (en) * 2019-08-01 2021-02-02 International Business Machines Corporation Focal and interaction driven content replacement into augmented reality
US11275453B1 (en) 2019-09-30 2022-03-15 Snap Inc. Smart ring for manipulating virtual objects displayed by a wearable device
WO2021076989A1 (en) * 2019-10-16 2021-04-22 The Board Of Trustees Of The California State University Augmented reality marine navigation
CN113012214A (zh) * 2019-12-20 2021-06-22 北京外号信息技术有限公司 用于设置虚拟对象的空间位置的方法和电子设备
US11715453B2 (en) 2019-12-25 2023-08-01 Ultraleap Limited Acoustic transducer structures
WO2021171616A1 (ja) * 2020-02-28 2021-09-02 日本電気株式会社 ロッカーシステム、ロッカー管理システム、ロッカー管理方法及び記憶媒体
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
US11816267B2 (en) 2020-06-23 2023-11-14 Ultraleap Limited Features of airborne ultrasonic fields
JP2022022568A (ja) * 2020-06-26 2022-02-07 沖電気工業株式会社 表示操作部および装置
US11886639B2 (en) 2020-09-17 2024-01-30 Ultraleap Limited Ultrahapticons
US11925863B2 (en) 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
US11546505B2 (en) * 2020-09-28 2023-01-03 Snap Inc. Touchless photo capture in response to detected hand gestures
US11644902B2 (en) * 2020-11-30 2023-05-09 Google Llc Gesture-based content transfer
US11740313B2 (en) 2020-12-30 2023-08-29 Snap Inc. Augmented reality precision tracking and display
US12013985B1 (en) 2021-02-25 2024-06-18 Snap Inc. Single-handed gestures for reviewing virtual content
US11531402B1 (en) 2021-02-25 2022-12-20 Snap Inc. Bimanual gestures for controlling virtual and graphical elements
CN113190110A (zh) * 2021-03-30 2021-07-30 青岛小鸟看看科技有限公司 头戴式显示设备的界面元素控制方法及装置
US20220326781A1 (en) * 2021-04-08 2022-10-13 Snap Inc. Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
US11861070B2 (en) 2021-04-19 2024-01-02 Snap Inc. Hand gestures for animating and controlling virtual and graphical elements
CN113141529B (zh) * 2021-04-25 2022-02-25 聚好看科技股份有限公司 显示设备及媒资播放方法
US11995899B2 (en) * 2021-04-29 2024-05-28 Google Llc Pointer-based content recognition using a head-mounted device
US11435857B1 (en) * 2021-04-29 2022-09-06 Google Llc Content access and navigation using a head-mounted device
KR102629771B1 (ko) * 2021-09-30 2024-01-29 박두고 손 또는 손가락 추적을 이용한 객체 인식용 웨어러블 장치
US11967147B2 (en) * 2021-10-01 2024-04-23 At&T Intellectual Proerty I, L.P. Augmented reality visualization of enclosed spaces
CN114089879B (zh) * 2021-11-15 2022-08-05 北京灵犀微光科技有限公司 一种增强现实显示设备的光标控制方法
US20230221799A1 (en) * 2022-01-10 2023-07-13 Apple Inc. Devices and methods for controlling electronic devices or systems with physical objects
US20230315208A1 (en) * 2022-04-04 2023-10-05 Snap Inc. Gesture-based application invocation
CN115309271B (zh) * 2022-09-29 2023-03-21 南方科技大学 基于混合现实的信息展示方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6545663B1 (en) * 1999-04-19 2003-04-08 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method and input device for controlling the position of an object to be graphically displayed in virtual reality
CN101262830A (zh) * 2005-07-20 2008-09-10 布拉科成像S.P.A.公司 用于把对象的虚拟模型映射到对象的方法和***
CN101300621A (zh) * 2005-09-13 2008-11-05 时空3D公司 用于提供三维图形用户界面的***和方法
CN101375599A (zh) * 2004-06-01 2009-02-25 L-3通信公司 用于执行视频监视的方法和***
CN101542584A (zh) * 2006-10-16 2009-09-23 索尼株式会社 显示设备、显示方法

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
JP3365246B2 (ja) 1997-03-14 2003-01-08 ミノルタ株式会社 電子スチルカメラ
JP3225882B2 (ja) * 1997-03-27 2001-11-05 日本電信電話株式会社 景観ラベリングシステム
AU7651100A (en) 1999-09-15 2001-04-17 Roche Consumer Health Ag Pharmaceutical and/or cosmetical compositions
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
SE0000850D0 (sv) * 2000-03-13 2000-03-13 Pink Solution Ab Recognition arrangement
EP1316055A4 (en) * 2000-05-29 2006-10-04 Vkb Inc DEVICE FOR ENTERING VIRTUAL DATA AND METHOD FOR ENTERING ALPHANUMERIC AND OTHER DATA
JP2002157606A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体
US7215322B2 (en) 2001-05-31 2007-05-08 Siemens Corporate Research, Inc. Input devices for augmented reality applications
US7126558B1 (en) 2001-10-19 2006-10-24 Accenture Global Services Gmbh Industrial augmented reality
AU2003217587A1 (en) * 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US7676079B2 (en) * 2003-09-30 2010-03-09 Canon Kabushiki Kaisha Index identification method and apparatus
IL161002A0 (en) 2004-03-22 2004-08-31 Itay Katz Virtual video keyboard system
US20060200662A1 (en) * 2005-02-01 2006-09-07 Microsoft Corporation Referencing objects in a virtual environment
KR100687737B1 (ko) * 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
JP4851771B2 (ja) * 2005-10-24 2012-01-11 京セラ株式会社 情報処理システム、および携帯情報端末
US7509588B2 (en) * 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US7725547B2 (en) * 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
JP4961914B2 (ja) * 2006-09-08 2012-06-27 ソニー株式会社 撮像表示装置、撮像表示方法
WO2008153599A1 (en) * 2006-12-07 2008-12-18 Adapx, Inc. Systems and methods for data annotation, recordation, and communication
KR101285360B1 (ko) * 2007-01-25 2013-07-11 삼성전자주식회사 증강현실을 이용한 관심 지점 표시 장치 및 방법
US8942764B2 (en) * 2007-10-01 2015-01-27 Apple Inc. Personal media device controlled via user initiated movements utilizing movement based interfaces
JP4933406B2 (ja) * 2007-11-15 2012-05-16 キヤノン株式会社 画像処理装置、画像処理方法
US8165345B2 (en) * 2007-12-07 2012-04-24 Tom Chau Method, system, and computer program for detecting and characterizing motion
EP2258587A4 (en) * 2008-03-19 2013-08-07 Denso Corp OPERATING DEVICE FOR A VEHICLE
JP5250834B2 (ja) * 2008-04-03 2013-07-31 コニカミノルタ株式会社 頭部装着式映像表示装置
US20110102570A1 (en) * 2008-04-14 2011-05-05 Saar Wilf Vision based pointing device emulation
US8971565B2 (en) 2008-05-29 2015-03-03 Hie-D Technologies, Llc Human interface electronic device
US20100177035A1 (en) * 2008-10-10 2010-07-15 Schowengerdt Brian T Mobile Computing Device With A Virtual Keyboard
US8397181B2 (en) 2008-11-17 2013-03-12 Honeywell International Inc. Method and apparatus for marking a position of a real world object in a see-through display
US9041660B2 (en) * 2008-12-09 2015-05-26 Microsoft Technology Licensing, Llc Soft keyboard control
WO2010086866A1 (en) 2009-02-02 2010-08-05 Eyesight Mobile Technologies Ltd. System and method for object recognition and tracking in a video stream
RU2534073C2 (ru) * 2009-02-20 2014-11-27 Конинклейке Филипс Электроникс Н.В. Система, способ и аппарат для инструктирования устройству входить в активный режим
US8009022B2 (en) 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
KR101622196B1 (ko) * 2009-09-07 2016-05-18 삼성전자주식회사 휴대용 단말기에서 피오아이 정보 제공 방법 및 장치
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
JP4679661B1 (ja) * 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
KR20110075250A (ko) 2009-12-28 2011-07-06 엘지전자 주식회사 객체 추적 모드를 활용한 객체 추적 방법 및 장치
US9128281B2 (en) * 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
WO2011106798A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8788197B2 (en) 2010-04-30 2014-07-22 Ryan Fink Visual training devices, systems, and methods
US8593375B2 (en) 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
JP5499985B2 (ja) * 2010-08-09 2014-05-21 ソニー株式会社 表示装置組立体
US20120062602A1 (en) * 2010-09-13 2012-03-15 Nokia Corporation Method and apparatus for rendering a content display
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US8768006B2 (en) * 2010-10-19 2014-07-01 Hewlett-Packard Development Company, L.P. Hand gesture recognition
CN102147926A (zh) * 2011-01-17 2011-08-10 中兴通讯股份有限公司 3d图标的处理方法、装置及移动终端
US9336240B2 (en) * 2011-07-15 2016-05-10 Apple Inc. Geo-tagging digital images
US20130050069A1 (en) * 2011-08-23 2013-02-28 Sony Corporation, A Japanese Corporation Method and system for use in providing three dimensional user interface
KR20220032059A (ko) * 2011-09-19 2022-03-15 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
US9671869B2 (en) 2012-03-13 2017-06-06 Eyesight Mobile Technologies Ltd. Systems and methods of direct pointing detection for interaction with a digital device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6545663B1 (en) * 1999-04-19 2003-04-08 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method and input device for controlling the position of an object to be graphically displayed in virtual reality
CN101375599A (zh) * 2004-06-01 2009-02-25 L-3通信公司 用于执行视频监视的方法和***
CN101262830A (zh) * 2005-07-20 2008-09-10 布拉科成像S.P.A.公司 用于把对象的虚拟模型映射到对象的方法和***
CN101300621A (zh) * 2005-09-13 2008-11-05 时空3D公司 用于提供三维图形用户界面的***和方法
CN101542584A (zh) * 2006-10-16 2009-09-23 索尼株式会社 显示设备、显示方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Research on Eye-gaze Tracking Network Generated by Augmented Reality Application;Ming Chen等;《IEEE》;20090202;全文 *
增强现实技术的应用和研究;涂子琰等;《计算机工程与应用》;20030421;全文 *

Also Published As

Publication number Publication date
US20220107687A1 (en) 2022-04-07
KR20220032059A (ko) 2022-03-15
KR20140069124A (ko) 2014-06-09
US11093045B2 (en) 2021-08-17
CN115167675A (zh) 2022-10-11
JP2014531662A (ja) 2014-11-27
JP7297216B2 (ja) 2023-06-26
US20170052599A1 (en) 2017-02-23
US20160320855A1 (en) 2016-11-03
US10401967B2 (en) 2019-09-03
KR20190133080A (ko) 2019-11-29
US20160259423A1 (en) 2016-09-08
JP2018028922A (ja) 2018-02-22
US20200097093A1 (en) 2020-03-26
US20160306433A1 (en) 2016-10-20
WO2013093906A1 (en) 2013-06-27
CN103858073A (zh) 2014-06-11
US20160291699A1 (en) 2016-10-06
US20140361988A1 (en) 2014-12-11
US11494000B2 (en) 2022-11-08
JP2021007022A (ja) 2021-01-21

Similar Documents

Publication Publication Date Title
US11494000B2 (en) Touch free interface for augmented reality systems
US10534442B2 (en) Method and wearable device for providing a virtual input interface
AU2022228121B2 (en) User interfaces for simulated depth effects
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
CN109739361B (zh) 基于眼睛跟踪的可见度提高方法和电子装置
US11941764B2 (en) Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
EP4068115A1 (en) Mobile terminal and method for controlling the same
US11367416B1 (en) Presenting computer-generated content associated with reading content based on user interactions
GB2494907A (en) A Head-mountable display with gesture recognition
US20240053859A1 (en) Systems, Methods, and Graphical User Interfaces for Interacting with Virtual Reality Environments
US9898183B1 (en) Motions for object rendering and selection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant