CN103814343A - 在可穿戴计算***上操纵和显示图像 - Google Patents

在可穿戴计算***上操纵和显示图像 Download PDF

Info

Publication number
CN103814343A
CN103814343A CN201280045891.1A CN201280045891A CN103814343A CN 103814343 A CN103814343 A CN 103814343A CN 201280045891 A CN201280045891 A CN 201280045891A CN 103814343 A CN103814343 A CN 103814343A
Authority
CN
China
Prior art keywords
realtime graphic
wearable computing
computing system
handled
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280045891.1A
Other languages
English (en)
Other versions
CN103814343B (zh
Inventor
X.苗
M.J.海因里希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN103814343A publication Critical patent/CN103814343A/zh
Application granted granted Critical
Publication of CN103814343B publication Critical patent/CN103814343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

公开了用于在可穿戴计算***上操纵和显示实时图像和/或照片的示例方法和***。可穿戴计算***可提供可穿戴计算***的真实世界环境的视图。可穿戴计算***可对真实世界环境的视图的至少一部分实时成像以获得实时图像。可穿戴计算***可接收与对实时图像的期望操纵相关联的至少一个输入命令。该至少一个输入命令可以是手部姿势。然后，基于接收到的至少一个输入命令，可穿戴计算***可依据期望操纵来操纵实时图像。在操纵实时图像之后，可穿戴计算***可在可穿戴计算***的显示器中显示***纵的实时图像。

Description

在可穿戴计算***上操纵和显示图像
相关申请的交叉引用
本申请要求于2011年7月20日递交的题为“Method and System forManipulating and Displaying an Image on a Wearable Computing System（用于在可穿戴计算***上操纵和显示图像的方法和***）”的第61/509,833号美国临时专利申请和于2011年11月8日递交的题为“Manipulating and Displaying anImage on a Wearable Computing System（在可穿戴计算***上操纵和显示图像）”的第12/291,416号美国专利申请的优先权，这里通过引用并入这些申请中的每一个的全部内容。
背景技术
除非本文另外指出，否则本部分中描述的材料并不是本申请中的权利要求的现有技术，并且并不因为被包括在本部分中就被承认为是现有技术。
诸如个人计算机、膝上型计算机、平板计算机、蜂窝电话和无数类型的具备联网能力的设备之类的计算设备在现代生活的许多方面中正越来越普遍。随着计算机变得更先进，预期将计算机生成的信息与用户对物理世界的感知相混合的增强现实设备会变得更普遍。
发明内容
在一个方面中，一种示例方法包括：（i）可穿戴计算***提供可穿戴计算***的真实世界环境的视图；（ii）对真实世界环境的视图的至少一部分实时成像以获得实时图像；（iii）可穿戴计算***接收与对实时图像的期望操纵相关联的输入命令；（iv）基于接收到的输入命令，可穿戴计算***依据期望操纵来操纵实时图像；以及（v）可穿戴计算***在可穿戴计算***的显示器中显示***纵的实时图像。
在示例实施例中，对图像的期望操纵可从由以下各项构成的组中选择：在实时图像的至少一部分上拉近（zoom in）、在实时图像的至少一部分上平移（pan）、旋转实时图像的至少一部分以及编辑实时图像的至少一部分。
在示例实施例中，该方法可包括：可穿戴计算***提供可穿戴计算***的真实世界环境的视图；（i）对真实世界环境的视图的至少一部分实时成像以获得实时图像；（ii）可穿戴计算***接收与对实时图像的期望操纵相关联的至少一个输入命令，其中，至少一个输入命令包括识别实时图像的要***纵的部分的输入命令，其中，识别实时图像的要***纵的部分的输入命令包括在真实世界环境的一区域中检测到的手部姿势，其中，该区域对应于实时图像的要***纵的部分；（iii）基于所接收到的至少一个输入命令，可穿戴计算***依据期望操纵来操纵实时图像；以及（iv）可穿戴计算***在可穿戴计算***的显示器中显示***纵的实时图像。
在另一方面中，公开了一种非暂态计算机可读介质，其上存储有指令，所述指令响应于被处理器执行而使得该处理器执行操作。根据示例实施例，所述指令包括：（i）用于提供可穿戴计算***的真实世界环境的视图的指令；（ii）用于对真实世界环境的视图的至少一部分实时成像以获得实时图像的指令；（iii）用于接收与对实时图像的期望操纵相关联的输入命令的指令；（iv）用于基于接收到的输入命令，依据期望操纵来操纵实时图像的指令；以及（v）用于在可穿戴计算***的显示器中显示***纵的实时图像的指令。
在另外一方面中，公开了一种可穿戴计算***。示例可穿戴计算***包括：（i）头戴式显示器，其中，头戴式显示器被配置为提供可穿戴计算***的真实世界环境的视图，其中，提供真实世界环境的视图包括显示由计算机生成的信息并允许对真实世界环境的视觉感知；（ii）成像***，其中，成像***被配置为对真实世界环境的视图的至少一部分实时成像以获得实时图像；（iii）控制器，其中，控制器被配置为（a）接收与对实时图像的期望操纵相关联的输入命令，以及（b）基于所接收到的输入命令，依据期望操纵来操纵实时图像；以及（iv）显示***，其中，显示***被配置为在可穿戴计算***的显示器中显示***纵的实时图像。
通过阅读在适当时参考附图的以下详细描述，本领域普通技术人员将清楚这些以及其他方面、优点和替换。
附图说明
图1是依据示例实施例的用于接收、发送和显示数据的可穿戴计算设备的第一视图。
图2是依据示例实施例的图1的可穿戴计算设备的第二视图。
图3是依据示例实施例的计算机网络基础设施的简化框图。
图4是图示根据示例实施例的方法的流程图。
图5a是根据示例实施例的可穿戴计算***的真实世界环境的示例视图的图示。
图5b是根据示例实施例的用于选择实时图像的一部分来操纵的示例输入命令的图示。
图5c是根据示例实施例的示例的所显示的***纵的实时图像的图示。
图5d是根据另一示例实施例的另一示例所显示***纵实时图像的图示。
图6a是根据示例实施例的示例手部姿势的图示。
图6b是根据示例实施例的另一示例手部姿势的图示。
具体实施方式
以下详细描述参考附图描述了所公开的***和方法的各种特征和功能。在图中，相似的符号一般识别相似的成分，除非上下文另有规定。本文描述的说明性***和方法实施例并不打算进行限定。将容易理解，所公开的***和方法的某些方面可按许多种不同的配置来布置和组合，所有这些在本文都已被设想到。
I.概述
可穿戴计算设备可被配置为允许对真实世界环境的视觉感知并且显示与对真实世界环境的视觉感知有关的计算机生成的信息。有利地，计算机生成的信息可与用户对真实世界环境的感知相集成。例如，计算机生成的信息可利用与用户在给定时刻正在感知或经历的东西有关的有用的计算机生成信息或视图来补充用户对物理世界的感知。
在一些情形中，操纵真实世界环境的视图对于用户可能是有益的。例如，放大真实世界环境的视图的一部分对于用户可能是有益的。例如，用户可能正看着一路标，但用户可能没有足够靠近该路标到能够清楚阅读路标上显示的街道名称。从而，能够在路标上拉近以便清楚阅读街道名称对于用户可能是有益的。作为另一个示例，旋转真实世界环境的视图的一部分对于用户可能是有益的。例如，用户可能正查看具有颠倒的或向着侧面的文本的某个东西。在这种情形中，旋转该视图的一部分使得文本正向直立对于用户可能是有益的。
本文描述的方法和***可促进操纵用户对真实世界环境的视图的至少一部分以便实现用户期望的环境的视图。具体地，所公开的方法和***可依据期望的操纵来操纵真实世界环境的实时图像。示例方法可包括：（i）可穿戴计算***提供可穿戴计算***的真实世界环境的视图；（ii）对真实世界环境的视图的至少一部分实时成像以获得实时图像；（iii）可穿戴计算***接收与对实时图像的期望操纵相关联的输入命令；（iv）基于接收到的输入命令，可穿戴计算***依据期望操纵来操纵实时图像；以及（v）可穿戴计算***在可穿戴计算***的显示器中显示***纵的实时图像。
依据示例实施例，可穿戴计算***可以以多种方式操纵实时图像。例如，可穿戴计算***可在实时图像的至少一部分上拉近，在实时图像的至少一部分上平移，旋转实时图像的至少一部分，和/或编辑实时图像的至少一部分。通过提供以这样的方式操纵实时图像的能力，用户可以有益地实时实现用户期望的环境的视图。
II.示例***和设备
图1图示了用于接收、发送和显示数据的示例***100。***100是以可穿戴计算设备的形式示出的。尽管图1图示了眼镜102作为可穿戴计算设备的示例，但可以额外地或可替换地使用其他类型的可穿戴计算设备。如图1中图示的，眼镜102包括框架元件、透镜元件110和112以及延伸侧臂114和116，其中框架元件包括透镜框架104和106以及中央框架支撑108。中央框架支撑108以及延伸侧臂114和116被配置为分别经由用户的鼻子和耳朵将眼镜102固定到用户的脸部。框架元件104、106和108以及延伸侧臂114和116中的每一个可由塑料和/或金属的实心结构形成，或者可由类似材料的中空结构形成，以允许配线和组件互连在内部按一定路线经过眼镜102。透镜元件110和112中的每一个可由能够适当地显示投影的图像或图形的任何材料形成。此外，透镜元件110和112中的每一个的至少一部分也可充分地透明以允许用户看穿透镜元件。结合透镜元件的这两个特征可促进增强现实或抬头显示，其中投影的图像或图形被叠加在用户透过透镜元件感知到的真实世界视图上或者连同该真实世界视图一起来提供。
延伸侧臂114和116各自是分别从框架元件104和106延伸开的突起物，并且可被定位在用户的耳后以将眼镜102固定到用户。延伸侧臂114和116还可通过绕着用户的头的后部延伸来将眼镜102固定到用户。额外地或可替换地，例如，***100可连接到头戴式头盔结构或附于头戴式头盔结构内。其他可能性也是存在的。
***100还可包括机载计算***118、视频相机120、传感器122以及手指可操作触摸板124和126。机载计算***118被示为定位在眼镜102的延伸侧臂114上；然而，机载计算***118可设在眼镜102的其他部分上或者甚至远离眼镜（例如，计算***118可无线或有线地连接到眼镜102）。机载计算***118例如可包括处理器和存储器。机载计算***118可被配置为接收和分析来自视频相机120、手指可操作触摸板124和126、传感器122（以及可能来自其他传感设备、用户接口元素或者这两者）的数据并且生成用于输出到透镜元件110和112的图像。
视频相机120被示为定位在眼镜102的延伸侧臂114上；然而，视频相机120可设在眼镜102的其他部分上。视频相机120可被配置为以各种分辨率或者以不同的帧率捕捉图像。例如，许多具有小外形参数的视频相机——比如蜂窝电话或网络摄像头中使用的那些——可被包含到***100的示例中。虽然图1图示了一个视频相机120，但可以使用更多视频相机，并且每一个可被配置为捕捉相同的视图，或者捕捉不同的视图。例如，视频相机120可以是前向的以捕捉用户感知到的真实世界视图的至少一部分。这个由视频相机120捕捉到的前向图像随后可用于生成增强现实，其中计算机生成的图像看起来与用户感知到的真实世界视图交互。
传感器122被示为安装在眼镜102的延伸侧臂116上；然而，传感器122可设在眼镜102的其他部分上。传感器122例如可包括加速度计或陀螺仪中的一个或多个。传感器122内可包括其他感测设备，或者传感器122可执行其他感测功能。
手指可操作触摸板124和126被示为安装在眼镜102的延伸侧臂114、116上。手指可操作触摸板124和126中的每一个可被用户用来输入命令。手指可操作触摸板124和126可经由电容感测、电阻感测或表面声波过程等等来感测手指的位置和移动中的至少一者。手指可操作触摸板124和126可能够感测在与板表面平行或在同一平面内的方向上、在与板表面垂直的方向上或者在这两个方向上的手指移动，并且还可能够感测施加的压力的水平。手指可操作触摸板124和126可由一个或多个半透明或透明绝缘层和一个或多个半透明或透明导电层形成。手指可操作触摸板124和126的边缘可形成为具有凸起的、凹陷的或粗糙的表面，从而在用户的手指到达手指可操作触摸板124和126的边缘时向用户提供触觉反馈。手指可操作触摸板124和126中的每一个可被独立操作，并且可提供不同的功能。另外，***100可包括被配置为从用户接收语音命令的麦克风。此外，***100可包括允许各种类型的外部用户接口设备连接到可穿戴计算设备的一个或多个通信接口。例如，***100可被配置用于与各种手持键盘和/或指点设备的连通。
图2图示了图1的***100的替换视图。如图2中所示，透镜元件110和112可充当显示元件。眼镜102可包括第一投影仪128，该第一投影仪128耦合到延伸侧臂116的内表面并且被配置为将显示130投影到透镜元件112的内表面上。额外地或可替换地，第二投影仪132可耦合到延伸侧臂114的内表面并被配置为将显示134投影到透镜元件110的内表面上。
透镜元件110和112可充当光投影***中的组合器并且可包括涂层，该涂层反射从投影仪128和132投影到其上的光。或者，投影仪128和132可以是与用户的视网膜直接交互的扫描激光设备。
在替换实施例中，也可使用其他类型的显示元件。例如，透镜元件110、112本身可包括：诸如电致发光显示器或液晶显示器之类的透明或半透明的矩阵显示器，用于将图像输送到用户的眼睛的一个或多个波导，或者能够将焦点对准的近眼图像输送到用户的其他光学元件。相应的显示驱动器可布置在框架元件104和106内以用于驱动这种矩阵显示器。可替换地或额外地，可以用激光或LED源和扫描***来将光栅显示直接绘制到用户的一只或两只眼睛的视网膜上。其他可能性也是存在的。
图3图示了计算机网络基础设施的示例示意图。在示例***136中，设备138能够利用通信链路140（例如，有线或无线连接）与远程设备142通信。设备138可以是任何类型的可接收数据并显示与数据相对应或相关联的信息的设备。例如，设备138可以是抬头显示***，比如参考图1和图2描述的眼镜102。
设备138可包括显示***144，显示***144包括处理器146和显示器148。显示器148例如可以是光学透视显示器（optical see-through display）、光学环视显示器（optical see-around display）或视频透视显示器。处理器146可从远程设备142接收数据，并且将该数据配置用于在显示器148上显示。处理器146可以是任何类型的处理器，诸如例如微处理器或数字信号处理器。
设备138还可包括机载数据存储装置，比如耦合到处理器146的存储器150。存储器150例如可存储可被处理器146访问和执行的软件。
远程设备142可以是被配置为向设备138发送数据的任何类型的计算设备或发送器，包括膝上型计算机、移动电话等等。远程设备142也可以是服务器或服务器的***。远程设备142和设备138可包含用于使能通信链路140的硬件，比如处理器、发送器、接收器，天线等等。
在图3中，通信链路140被图示为无线连接；然而，也可使用有线连接。例如，通信链路140可以是经由诸如通用串行总线之类的串行总线或者并行总线的有线链路。有线连接也可以是专有连接。通信链路140也可以是使用例如蓝牙
Figure BDA0000479773020000071
无线电技术、IEEE802.11（包括任何IEEE802.11修订版）中描述的通信协议、蜂窝技术（比如GSM、CDMA、UMTS、EV-DO、WiMAX或LTE）或紫蜂
Figure BDA0000479773020000072
技术等等的无线连接。远程设备142可经由因特网来访问并且例如可对应于与特定的web服务（例如，社交网络、照片共享、地址簿，等等）相关联的计算集群。
III.示范性方法
示范性方法可包括比如***100这样的可穿戴计算***以期望的方式操纵用户对真实世界环境的视图。图4是图示根据示例实施例的方法的流程图。更具体而言，示例方法400包括可穿戴计算***提供可穿戴计算***的真实世界环境的视图，如块402所示。可穿戴计算***可对真实世界环境的视图的至少一部分实时成像以获得实时图像，如块404所示。另外，可穿戴计算***可接收与对实时图像的期望操纵相关联的输入命令，如块406所示。
基于接收到的输入命令，可穿戴计算***可依据期望操纵来操纵实时图像，如块408所示。可穿戴计算***随后可在可穿戴计算***的显示器中显示***纵的实时图像，如块410所示。虽然示范性方法400被以示例方式描述为由可穿戴计算***100执行，但应当理解示例方法可由可穿戴计算设备与一个或多个其他实体相结合来执行，所述其他实体比如是与可穿戴计算***通信的远程服务器。
参考图3，设备138可执行方法400的步骤。具体地，方法400可对应于由处理器146在执行非暂态计算机可读介质中存储的指令时执行的操作。在示例中，非暂态计算机可读介质可以是存储器150的一部分。非暂态计算机可读介质上可存储有指令，所述指令响应于被处理器146执行而使得处理器146执行各种操作。所述指令可包括：（i）用于提供可穿戴计算***的真实世界环境的视图的指令；（ii）用于对真实世界环境的视图的至少一部分实时成像以获得实时图像的指令；（iii）用于接收与对实时图像的期望操纵相关联的输入命令的指令；（iv）用于基于接收到的输入命令依据期望操纵来操纵实时图像的指令；以及（v）用于在可穿戴计算***的显示器中显示***纵的实时图像的指令。
A.提供可穿戴计算***的真实世界环境的视图
如上所叙述的，在块402，可穿戴计算***可提供可穿戴计算***的真实世界环境的视图。如上所叙述的，参考图1和图2，可穿戴计算***的显示器148例如可以是光学透视（see-through）显示器、光学环视（see-around）显示器或视频透视显示器。这样的显示器可允许用户感知可穿戴计算***的真实世界环境的视图并且还可能够显示看起来与用户感知到的真实世界视图交互的计算机生成图像。具体地，“透视”可穿戴计算***可在透明表面上显示图形，以使得用户看到覆盖在物理世界上的图形。另一方面，“环视”可穿戴计算***可通过将不透明显示器放置得靠近用户的眼睛来将图形覆盖在物理世界上，以便利用用户的双眼之间的视觉共享并且产生显示是用户看到的世界的一部分的效果。
在一些情形中，修改或操纵所提供的真实世界环境的视图的至少一部分对于用户可能是有益的。通过操纵所提供的真实世界环境的视图，用户将能够以期望的方式控制用户对真实世界的感知。因此，依据示范性实施例的可穿戴计算***向用户提供了可使得用户对真实世界的视图对于用户的需求更有用的功能。
真实世界环境504的示例提供视图502在图5a中示出。具体地，此示例说明了当可穿戴计算***的用户在驾驶汽车并且正接近一红灯506时该用户看到的视图502。邻近红灯506的是路标508。在一示例中，路标可能离用户太远以至于用户不能清楚辨认出路标508上显示的街道名称510。在路标508上拉近以便阅读路标508上显示了什么街道名称510，对于用户可能是有益的。从而，诊据示范性实施例，用户可输入一个或多个输入命令以指示可穿戴计算***操纵该视图以使得用户能够阅读街道名称510。示例输入命令和期望的操纵在接下来的小节中描述。
B.获得真实世界视图的至少一部分的实时图像、接收与期望操纵相关联的输入命令并且操纵实时图像
为了操纵真实世界环境的视图，可穿戴计算***可在块404对真实世界环境的视图的至少一部分实时成像以获得实时图像。可穿戴计算***随后可依据用户期望的操纵来操纵实时图像。具体地，在块406，可穿戴计算***可接收与对实时图像的期望操纵相关联的输入命令，并且在块408，可穿戴计算***可依据该期望操纵来操纵实时图像。通过获得真实世界环境的视图的至少一部分的实时图像并且操纵该实时图像，用户可以选择性地实时补充用户对真实世界的视图。
在一示例中，对真实世界环境的视图的至少一部分实时成像以获得实时图像的步骤404发生在用户输入与对实时图像的期望操纵相关联的命令之前。例如，视频相机120可在取景器模式中操作。从而，相机可连续地对真实世界环境的至少一部分成像以获得实时图像，并且可穿戴计算***可在可穿戴计算***的显示器中显示该实时图像。
然而，在另一示例中，可穿戴计算***可在可穿戴计算***对真实世界环境的视图的至少一部分实时成像以获得实时图像之前接收与对实时图像的期望操纵（例如，拉近）相关联的输入命令。在这种示例中，输入命令可发起视频相机在取景器模式中操作以获得真实世界环境的视图的至少一部分的实时图像。用户可向可穿戴计算***指出用户想要操纵用户的真实世界视图502的哪个部分。可穿戴计算***随后可确定与用户的真实世界视图相关联的实时图像的那部分是什么。
在另一示例中，用户可能正在查看实时图像（例如，来自相机的取景器可能正在向用户显示实时图像）。在这种情况下，用户可以指示可穿戴计算***用户想要操纵实时图像的哪个部分。
可穿戴计算***可被配置为从用户接收指出对图像的期望操纵的输入命令。具体地，该输入命令可指示可穿戴计算***如何操纵用户的视图的至少一部分。此外，该输入命令可指示可穿戴计算***用户想要操纵该视图的哪个部分。在一示例中，单个输入命令既可指示可穿戴计算***（i）要操纵视图的哪个部分，又可指示（ii）如何操纵所识别的部分。然而，在另一示例中，用户可输入第一输入命令来识别要操纵视图的哪个部分，并且输入第二输入命令来指出如何操纵所识别的部分。可穿戴计算***可被配置为以多种方式从用户接收输入命令，这些方式的示例在下文论述。
i.示例触摸板输入命令
在一示例中，用户可经由可穿戴计算***的触摸板——比如触摸板124或触摸板126——来输入输入命令。用户可以以各种方式与触摸板交互以便输入用于操纵图像的命令。例如，用户可在触摸板上执行捏拉缩放（pinch-zoom）动作以在图像上拉近。视频相机可配备有光学变焦能力和数字变焦能力两者，视频相机利用这些能力来在图像上拉近。
在一示例中，当用户执行捏拉缩放动作时，可穿戴计算***朝着实时图像的中心拉近给定量（例如，2×倍率、3×倍率等等）。然而，在另一示例中，不是朝着图像的中心拉近，而是用户可指示***朝着实时图像的特定部分拉近。用户可以以多种方式来指出要操纵（例如拉近）的图像的特定部分，并且指出要操纵图像的哪个部分的示例在下文论述。
作为另一示例触摸板输入命令，用户可在触摸板用两根手指作出转动动作。可穿戴计算***可将这样的输入命令等同为将图像旋转给定度数（例如，与用户转动手指的度数相对应的度数）的命令。作为另一示例触摸板输入命令，可穿戴计算***可将触摸板上的双叩击等同为在图像上拉近预定量（例如，2x倍率）的命令。作为又一个示例，可穿戴计算***可将触摸板上的三叩击等同为在图像上拉近另一预定量（例如，3x倍率）的命令。
ii.示例姿势输入命令
在另一示例中，用户可通过利用给定姿势（例如，手部运动）来输入操纵图像的命令。因此，可穿戴计算***可被配置为跟踪用户的姿势。例如，用户可在可穿戴计算***前方进行手部运动，比如在真实世界环境的区域周围形成边界。例如，用户可圈出用户想要操纵（例如，拉近）的区域。在圈出该区域之后，可穿戴计算***可以以期望的方式操纵圈出的区域（例如，在圈出的区域上拉近给定量）。在另一示例中，用户可在用户想要操纵的区域周围形成框（例如，矩形框）。用户可用单手或用双手形成边界。另外，所述边界可以是多种形状（例如，圆形或基本为圆形的边界；矩形或基本为矩形的边界；等等）。
为了检测用户的姿势，可穿戴计算***可包括姿势跟踪***。依据一实施例，姿势跟踪***可跟踪并分析各种移动，比如手部移动和/或附于用户手部的物体（例如，诸如戒指之类的物体）或者握在用户手中的物体（例如，诸如手写笔之类的物体）的移动。
姿势跟踪***可以以多种方式跟踪并分析用户的姿势。在一示例中，姿势跟踪***可包括视频相机。例如，姿势跟踪***可包括视频相机120。这种姿势跟踪***可记录与用户的姿势有关的数据。此视频相机可以是与用于捕捉真实世界的实时图像的那个相机相同的视频相机。可穿戴计算***可分析记录的数据以便确定姿势，随后可穿戴计算***可识别出哪个操纵与所确定的姿势相关联。可穿戴计算***可执行光流分析以便跟踪并分析用户的姿势。为了执行光流分析，可穿戴计算***可分析所获得的图像以确定用户是否在作出手部姿势。具体地，可穿戴计算***可分析图像帧以确定帧中什么在移动以及什么没有在移动。***还可分析图像帧以确定用户正在作出的手部姿势的类型（例如，形状）。为了确定手部姿势的形状，可穿戴计算***可执行形状识别分析。例如，可穿戴计算***可识别手部姿势的形状并将所确定的形状与各种手部姿势形状的数据库中的形状相比较。
在另一示例中，手部姿势检测***可以是激光二极管检测***。例如，手部姿势检测***可以是基于衍射图样来检测手部姿势的类型的激光二极管***。在此示例中，激光二极管***可包括被配置为产生给定衍射图样的激光二极管。当用户执行手部姿势时，手部姿势可中断该衍射图样。可穿戴计算***可分析中断的衍射图样以便确定手部姿势。在一示例中，传感器122可包括激光二极管检测***。另外，激光二极管***可放置在可穿戴计算***上的任何适当位置。
可替换地，手部姿势检测***可包括闭环激光二极管检测***。这种闭环激光二极管检测***可包括激光二极管和光子检测器。在此示例中，激光二极管可发出光，该光随后可从用户的手反射回到激光二极管检测***。光子检测器随后可检测到反射的光。基于反射的光，***可确定手部姿势的类型。
在另一示例中，姿势跟踪***可包括被配置为识别用户的姿势的扫描仪***（例如，具有激光扫描镜的3D扫描仪***）。作为又一个示例，手部姿势检测***可包括红外相机***。红外相机***可被配置为检测来自手部姿势的移动并且可分析该移动以确定手部姿势的类型。
作为一具体操纵示例，参考图5b，用户可能想要在路标508上拉近以便获得更好的路标508中显示的街道名称510的视图。用户可作出手部姿势以圈出路标508周围的区域520。用户可在可穿戴计算机前方并且在用户对真实世界环境的视图中作出此画圈手部姿势。如上所论述的，可穿戴计算***随后可对真实世界环境的与用户圈出的区域相对应的至少一部分成像或者已经有了该部分的图像。可穿戴计算***随后可识别实时图像的与视图502的圈出区域520相对应的区域。计算***随后可在实时图像的该部分上拉近并且显示实时图像的被拉近部分。例如，图5c示出了所显示的***纵（例如，被放大）的部分540。所显示的被放大部分540极详细地示出了路标508，从而使得用户能够容易地阅读街道名称510。
在一示例中，圈出区域520可以是仅仅识别出真实世界视图或实时图像中用户想要操纵的的部分的输入命令。用户随后可输入第二命令来指出期望的操纵。例如，在圈出区域520之后，为了在部分520上拉近，用户可捏拉缩放或叩击（例如双叩击、三叩击等等）触摸板。在另一示例中，用户可输入语音命令（例如，用户可以说出“放大”）以指示可穿戴计算***在区域520上拉近。另一方面，在另一示例中，圈出区域520的动作可充当既指出（i）要操纵视图的哪个部分、又指出（ii）如何操纵所识别的部分的输入命令。例如，可穿戴计算***可将用户圈出视图的一区域视为拉近到圈出的区域中的命令。其他手部姿势可指出其他期望操纵。例如，可穿戴计算***可将用户在给定区域周围绘出一方形视为将该给定区域旋转90度的命令。其他示例输入命令也是可能的。图6a和图6b描绘了可穿戴计算***可检测的示例手部姿势。具体地，图6a描绘了真实世界视图602，其中用户在真实世界环境的一区域中利用手604和606作出手部姿势。该手部姿势是形成一矩形框，该矩形框形成真实世界环境的一部分610周围的边界608。另外，图6b描绘了真实世界视图620，其中用户利用手622作出手部姿势。该手部姿势是用户的手622的画圈运动（开始于位置（1）并朝着位置（4）移动），并且该姿势形成真实世界环境的一部分626周围的椭圆边界624。在这些示例中，所形成的边界包围真实世界环境中的一区域，并且实时图像的要***纵的部分可对应于所包围的区域。例如，参考图6a，实时图像的要***纵的部分可对应于被包围的区域610。类似地，参考图6b，实时图像的要***纵的部分可对应于被包围的区域626。
如上所叙述的，手部姿势还可识别出期望的操纵。例如，手部姿势的形状可指出期望的操纵。例如，可穿戴计算***可将用户圈出视图的一区域视为拉近到所圈出的区域中的命令。作为另一示例，手部姿势可以是捏拉缩放手部姿势。捏拉缩放手部姿势可用于既指出用户想要拉近的区域，又指出用户想要在该区域上拉近。作为又一个示例，期望的操纵可以是在实时图像的至少一部分上平移。在这种情况下，手部姿势可以是挥扫手部运动，其中挥扫手部运动识别期望的平移的方向。挥扫手部姿势可包括看起来像两指滚动的手部姿势。作为又一个示例，期望的操纵可以是旋转实时图像的给定部分。在这种情况下，手部姿势可包括（i）在真实世界环境中的一区域周围形成边界，其中，实时图像的要***纵的给定部分对应于被包围的区域，以及（ii）在期望旋转的方向旋转所形成的边界。指出期望的操纵和/或要操纵的图像的部分的其他示例手部姿势也是可能的。
iii.确定用户所聚焦的区域
在另一示例实施例中，可穿戴计算***可通过确定用户正聚焦于其上的图像区域来确定要操纵实时图像的哪个区域。从而，可穿戴计算***可被配置为识别真实世界视图或实时图像中的用户所聚焦的区域。为了确定用户正聚焦在图像的哪个部分上，可穿戴计算***可配备有眼睛跟踪***。能够确定用户所聚焦的图像区域的眼睛跟踪***是本领域公知的。给定的输入命令可与对用户所聚焦的区域的给定操纵相关联。例如，触摸板上的三叩击可与放大用户所聚焦的区域相关联。作为另一示例，语音命令可与对用户所聚焦的区域的给定操纵相关联。
iv.示例语音输入命令
在又一示例中，用户可基于指出要操纵什么区域的语音命令来识别要操纵的区域。例如，参考图5a，用户可以简单地说出“在路标上拉近”。可穿戴计算***——可能联合外部服务器——可分析实时图像（或者可替换地基于实时图像的静止图像）以识别路标在图像中的何处。在识别出路标之后，***可操纵图像以在路标上拉近，如图5c中所示。
在一示例中，基于语音命令可能不清楚要操纵什么区域。例如，可穿戴计算***可在其上拉近的路标可能有两个或更多个。在这种示例中，***可拉近到所有这些路标中。可替换地，在另一示例中，***可向用户发送消息以询问用户想要在哪个路标上缩放。
v.示例远程设备输入命令
在又一个示例中，用户可经由远程设备输入操纵图像的输入命令。例如，关于图3，用户可使用远程设备142来执行图像的操纵。例如，远程设备142可以是具有触摸屏的电话，其中该电话与可穿戴计算***无线地配对。远程设备142可显示实时图像，并且用户可使用触摸屏来输入操纵该实时图像的输入命令。远程设备和/或可穿戴计算***随后可依据（一个或多个）输入命令来操纵图像。在图像***纵之后，可穿戴计算***和/或远程设备可显示***纵的图像。除了无线电话以外，其他示例远程设备也是可能的。
应当理解，上述输入命令和用于跟踪或识别输入命令的方法只打算作为示例。其他输入命令和用于跟踪输入命令的方法也是可能的。
C.在可穿戴计算***的显示器中显示***纵的图像
在以期望的方式操纵实时图像之后，可穿戴计算设备可在可穿戴计算***的显示器中显示***纵的实时图像，如块410所示。在一示例中，可穿戴计算***可将***纵的实时图像覆盖在用户对真实世界环境的视图上。例如，图5c描绘了所显示的***纵实时图像540。在此示例中，所显示的***纵实时图像被覆盖在路标510上。在另一示例中，所显示的***纵实时图像可被覆盖在用户的真实世界视图的另一部分上，比如被覆盖在在用户的真实世界视图的***上。
D.实时图像的其他示例操纵
除了在图像的期望部分上拉近以外，对实时图像的其他操纵也是可能的。例如，其他示例可能操纵包括平移图像、编辑图像和旋转图像。
例如，在在图像的一区域上拉近之后，用户可平移图像以看到被拉近的部分周围的区域。参考图5a，邻近路标508的可以有用户不能阅读的某种类型的另一标志514。用户随后可指示可穿戴计算***平移被拉近的实时图像540。图5d描绘了被平移的图像542；这个被平移的图像542揭示了另一路标514的细节，以便用户可以清楚地阅读路标514的文本。有益地，通过在被拉近的部分周围平移，用户将不需要指示可穿戴计算***拉远然后又在图像的邻近部分上拉近。实时平移图像的能力从而可在实时操纵图像时节省用户的时间。
为了在图像上平移，用户可输入各种输入命令，比如触摸板输入命令、姿势输入命令和/或语音输入命令。作为示例触摸板输入命令，用户可在用户想要在图像上平移的方向上、在触摸板上作出挥扫运动。作为示例姿势输入命令，用户可在用户视图的用户想要平移的区域上用用户的手部作出挥扫姿势（例如，从左向右移动手指）。在一示例中，挥扫姿势可包括两指滚动。
作为示例语音输入命令，用户可以大声说出“平移图像”。另外，用户可给出具体的平移指示，例如“平移路标”、“向右平移两英尺”和“向上平移三英寸”。从而，用户可以以期望的具体度来指示可穿戴计算***。应当理解，上述输入命令只打算作为示例，而其他输入命令和输入命令的类型也是可能的。
作为另一示例，用户可通过调整图像的对比度来编辑图像。例如，如果图像昏暗并且由于图像的昏暗难以解读细节，则编辑图像可能是有益的。为了旋转图像，用户可输入各种输入命令，比如触摸板输入命令、姿势输入命令和/或语音输入命令。例如，用户可以大声说出“增大图像的对比度”。其他示例也是可能的。
作为另一示例，如果需要，用户可旋转图像。例如，用户可能正看着颠倒的或向着侧面的文本。用户随后可旋转图像使得该文本正向直立。为了旋转图像，用户可输入各种输入命令，比如触摸板输入命令、姿势输入命令和/或语音输入命令。作为示例触摸板输入命令，用户可在触摸板上用用户的手指作出转动动作。作为示例姿势输入命令，用户可识别要旋转的区域，然后作出与期望的旋转量相对应的转动或扭曲动作。作为示例语音输入命令，用户可大声说出“将图像旋转X度”，其中X是期望的旋转度数。应当理解，上述输入命令只打算作为示例，而其他输入命令和输入命令的类型也是可能的。
E.照片的操纵和显示
除了操纵实时图像并显示***纵的实时图像以外，可穿戴计算***还可被配置为操纵照片并且利用***纵的照片来补充用户对物理世界的视图。
可穿戴计算***可拍摄给定图像的照片，并且可穿戴计算***可在可穿戴计算***的显示器中显示该照片。用户随后可根据需要操纵该照片。操纵照片在许多方面可与操纵实时图像类似。从而，以上论述的关于操纵实时图像的许多可能性对于操纵照片也是可能的。对于流式视频也可执行类似的操纵。
操纵照片并且在用户对物理世界的视图中显示***纵的照片可基本上实时地发生。操纵静止图像时的延迟可稍长于操纵实时图像时的延迟。然而，因为静止图像可具有比实时图像更高的分辨率，所以静止图像的分辨率可以有益地更大。例如，如果用户在在实时图像上拉近时不能实现期望的放大质量，则用户可指示计算***改为操纵该视图的照片以便改善放大质量。
IV.结论
应当理解，本文描述的布置只是为了示例。这样，本领域技术人员将会明白，可以改为使用其他布置和其他元素（例如，机器、接口、功能、顺序和功能的分组等等），并且根据期望的结果可以完全省略一些元素。另外，所描述的元素中许多是可按任何适当的组合和位置实现为分立或分布的组件或者与其他组件结合实现的功能实体。
应当理解，对于本文论述的***和方法收集和/或使用关于用户的任何个人信息或者可能与用户的个人信息有关的信息的情形，可以向用户提供选择参与或不参与涉及这种个人信息（例如，关于用户的偏好的信息）的项目或特征的机会。此外，在存储或使用某些数据之前，可通过一种或多种方式使其匿名，从而去除个人可识别信息。例如，可以隐匿用户的身份，从而不能对用户确定个人可识别信息，并且从而任何所识别的用户偏好或用户交互都是一般化的（例如，基于用户人口统计资料来一般化的），而不是与特定用户相关联的。
尽管本文已公开了各种方面和实施例，但本领域技术人员将会清楚其他方面和实施例。本文公开的各种方面和实施例是为了说明，而并不打算进行限定，真实的范围和精神由权利要求以及这种权利要求所应享有的完整等同范围来指出。还要理解，本文使用的术语只是为了描述特定实施例，而并不打算进行限定。

Claims (20)

1.一种方法，包括：
可穿戴计算***，提供所述可穿戴计算***的真实世界环境的视图；
对所述真实世界环境的视图的至少一部分实时成像以获得实时图像；
所述可穿戴计算***接收与对所述实时图像的期望操纵相关联的至少一个输入命令，其中，所述至少一个输入命令包括识别所述实时图像的要***纵的部分的输入命令，其中，识别所述实时图像的要***纵的部分的输入命令包括在所述真实世界环境的一区域中检测到的手部姿势，其中，所述区域对应于所述实时图像的要***纵的部分；
基于所接收到的所述至少一个输入命令，所述可穿戴计算***依据所述期望操纵来操纵所述实时图像；以及
所述可穿戴计算***在所述可穿戴计算***的显示器中显示***纵的实时图像。
2.如权利要求1所述的方法，其中，所述手部姿势还识别所述期望操纵。
3.如权利要求1所述的方法，其中，所述手部姿势形成边界。
4.如权利要求3所述的方法，其中，所述边界包围所述真实世界环境中的一区域，并且其中，所述实时图像的要***纵的部分对应于被包围的区域。
5.如权利要求4所述的方法，其中，所述手部姿势的形状识别所述期望操纵。
6.如权利要求3所述的方法，其中，所述边界是从由基本为圆形的边界和基本为矩形的边界构成的组中选择的。
7.如权利要求1所述的方法，其中，所述手部姿势包括捏拉缩放手部姿势。
8.如权利要求1所述的方法，其中，所述期望操纵是从由以下各项构成的组中选择的：在所述实时图像的至少一部分上拉近、在所述实时图像的至少一部分上平移、旋转所述实时图像的至少一部分以及编辑所述实时图像的至少一部分。
9.如权利要求1所述的方法，其中，所述期望操纵是在所述实时图像的至少一部分上平移，并且其中，所述手部姿势包括挥扫手部运动，其中，所述挥扫手部运动识别期望平移的方向。
10.如权利要求1所述的方法，其中，所述期望操纵是旋转所述实时图像的给定部分，并且其中，所述手部姿势包括（i）在所述真实世界环境中的一区域周围形成边界，其中，所述实时图像的要***纵的给定部分对应于被包围的区域，和（ii）在期望旋转的方向上旋转所形成的边界。
11.如权利要求1所述的方法，其中，所述可穿戴计算***接收与对所述实时图像的期望操纵相关联的至少一个输入命令包括：
手部姿势检测***接收与所述手部姿势相对应的数据；
所述手部姿势检测***分析接收到的数据以确定所述手部姿势。
12.如权利要求11所述的方法，其中，所述手部姿势检测***包括被配置为检测所述手部姿势的激光二极管***。
13.如权利要求11所述的方法，其中，所述手部姿势检测***包括从由视频相机和红外相机构成的组中选择的相机。
14.如权利要求1所述的方法，其中，所述至少一个输入命令还包括语音命令，其中，所述语音命令识别对所述实时图像的期望操纵。
15.如权利要求1所述的方法，其中，对所述真实世界环境的视图的至少一部分实时成像以获得实时图像包括视频相机在取景器模式中操作以获得实时图像。
16.如权利要求1所述的方法，其中，在所述可穿戴计算***的显示器中显示***纵的实时图像包括把***纵的实时图像覆盖在所述可穿戴计算***的真实世界环境的视图上。
17.一种非暂态计算机可读介质，其上存储有指令，所述指令响应于被处理器执行而使得该处理器执行操作，所述指令包括：
用于提供可穿戴计算***的真实世界环境的视图的指令；
用于对所述真实世界环境的视图的至少一部分实时成像以获得实时图像的指令；
用于接收与对所述实时图像的期望操纵相关联的至少一个输入命令的指令，其中，所述至少一个输入命令包括识别所述实时图像的要***纵的部分的输入命令，其中识别所述实时图像的要***纵的部分的输入命令包括在所述真实世界环境的一区域中检测到的手部姿势，其中，所述区域对应于所述实时图像的要***纵的部分；
用于基于所接收到的所述至少一个输入命令，依据所述期望操纵来操纵所述实时图像的指令；以及
用于在所述可穿戴计算***的显示器中显示***纵的实时图像的指令。
18.一种可穿戴计算***，包括：
头戴式显示器，其中，所述头戴式显示器被配置为提供所述可穿戴计算***的真实世界环境的视图，其中，提供所述真实世界环境的视图包括显示由计算机生成的信息并允许对所述真实世界环境的视觉感知；
成像***，其中，所述成像***被配置为对所述真实世界环境的视图的至少一部分实时成像以获得实时图像；
控制器，其中，所述控制器被配置为（i）接收与对所述实时图像的期望操纵相关联的至少一个输入命令，以及（ii）基于所接收到的所述至少一个输入命令，依据所述期望操纵来操纵所述实时图像，其中，所述至少一个输入命令包括识别所述实时图像的要***纵的部分的输入命令，其中，识别所述实时图像的要***纵的部分的输入命令包括在所述真实世界环境的一区域中检测到的手部姿势，其中，所述区域对应于所述实时图像的要***纵的部分；以及
显示***，其中所述显示***被配置为在所述可穿戴计算***的显示器中显示***纵的实时图像。
19.如权利要求18所述的可穿戴计算***，还包括手部姿势检测***，其中，所述手部姿势检测***被配置为检测手部姿势。
20.如权利要求19所述的可穿戴计算***，其中，所述手部姿势检测***包括激光二极管。
CN201280045891.1A 2011-07-20 2012-07-10 在可穿戴计算***上操纵和显示图像 Active CN103814343B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161509833P 2011-07-20 2011-07-20
US61/509,833 2011-07-20
US13/291,416 US20130021374A1 (en) 2011-07-20 2011-11-08 Manipulating And Displaying An Image On A Wearable Computing System
US13/291,416 2011-11-08
PCT/US2012/046024 WO2013012603A2 (en) 2011-07-20 2012-07-10 Manipulating and displaying an image on a wearable computing system

Publications (2)

Publication Number Publication Date
CN103814343A true CN103814343A (zh) 2014-05-21
CN103814343B CN103814343B (zh) 2016-09-14

Family

ID=47555478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280045891.1A Active CN103814343B (zh) 2011-07-20 2012-07-10 在可穿戴计算***上操纵和显示图像

Country Status (3)

Country Link
US (1) US20130021374A1 (zh)
CN (1) CN103814343B (zh)
WO (1) WO2013012603A2 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104865831A (zh) * 2014-02-26 2015-08-26 三星电子株式会社 包括查看传感器的家庭控制***及控制其的方法
CN105242776A (zh) * 2015-09-07 2016-01-13 北京君正集成电路股份有限公司 一种智能眼镜的控制方法及智能眼镜
CN105718045A (zh) * 2014-12-19 2016-06-29 意美森公司 用于与对象进行触觉使能的交互的***和方法
CN106570441A (zh) * 2015-10-09 2017-04-19 微软技术许可有限责任公司 用于姿态识别的***
CN107003823A (zh) * 2014-12-25 2017-08-01 日立麦克赛尔株式会社 头戴式显示***和头戴式显示装置
CN107209582A (zh) * 2014-12-16 2017-09-26 肖泉 高直观性人机界面的方法和装置
CN107636514A (zh) * 2015-06-19 2018-01-26 麦克赛尔株式会社 头戴式显示装置和使用该装置的视觉辅助方法
CN109427089A (zh) * 2017-08-25 2019-03-05 微软技术许可有限责任公司 基于环境光照条件的混合现实对象呈现
CN111788543A (zh) * 2018-03-14 2020-10-16 苹果公司 具有注视跟踪的图像增强设备
CN112213856A (zh) * 2014-07-31 2021-01-12 三星电子株式会社 可穿戴眼镜和经由可穿戴眼镜显示图像的方法

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9153074B2 (en) 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US9696547B2 (en) * 2012-06-25 2017-07-04 Microsoft Technology Licensing, Llc Mixed reality system learned input and functions
US10133470B2 (en) * 2012-10-09 2018-11-20 Samsung Electronics Co., Ltd. Interfacing device and method for providing user interface exploiting multi-modality
US10185416B2 (en) 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US11157436B2 (en) 2012-11-20 2021-10-26 Samsung Electronics Company, Ltd. Services associated with wearable electronic device
US8994827B2 (en) 2012-11-20 2015-03-31 Samsung Electronics Co., Ltd Wearable electronic device
US11237719B2 (en) 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US9030446B2 (en) 2012-11-20 2015-05-12 Samsung Electronics Co., Ltd. Placement of optical sensor on wearable electronic device
US9477313B2 (en) 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
US10423214B2 (en) 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
US11372536B2 (en) 2012-11-20 2022-06-28 Samsung Electronics Company, Ltd. Transition and interaction model for wearable electronic device
US10551928B2 (en) 2012-11-20 2020-02-04 Samsung Electronics Company, Ltd. GUI transitions on wearable electronic device
TW201421340A (zh) * 2012-11-29 2014-06-01 Egalax Empia Technology Inc 一種放大影像的電子裝置與方法
US9681982B2 (en) * 2012-12-17 2017-06-20 Alcon Research, Ltd. Wearable user interface for use with ocular surgical console
US10133342B2 (en) 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
US10110647B2 (en) * 2013-03-28 2018-10-23 Qualcomm Incorporated Method and apparatus for altering bandwidth consumption
US9361501B2 (en) 2013-04-01 2016-06-07 Ncr Corporation Headheld scanner and POS display with mobile phone
DE102013207528A1 (de) * 2013-04-25 2014-10-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Interagieren mit einem auf einer Datenbrille angezeigten Objekt
DE102013210746A1 (de) * 2013-06-10 2014-12-11 Robert Bosch Gmbh System und Verfahren zum Überwachen und/oder Bedienen einer technischen Anlage, insbesondere eines Fahrzeugs
US9710130B2 (en) * 2013-06-12 2017-07-18 Microsoft Technology Licensing, Llc User focus controlled directional user input
CN103414687B (zh) 2013-07-08 2017-02-08 江苏凌空网络股份有限公司 一种采用条形码图像进行通信的方法和装置和嵌入感芯引擎的可佩戴的部件
US10134194B2 (en) * 2013-07-17 2018-11-20 Evernote Corporation Marking up scenes using a wearable augmented reality device
US9936916B2 (en) 2013-10-09 2018-04-10 Nedim T. SAHIN Systems, environment and methods for identification and analysis of recurring transitory physiological states and events using a portable data collection device
US10405786B2 (en) 2013-10-09 2019-09-10 Nedim T. SAHIN Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device
US9936340B2 (en) 2013-11-14 2018-04-03 At&T Mobility Ii Llc Wirelessly receiving information related to a mobile device at which another mobile device is pointed
CN103616998B (zh) * 2013-11-15 2018-04-06 北京智谷睿拓技术服务有限公司 用户信息获取方法及用户信息获取装置
US9491365B2 (en) * 2013-11-18 2016-11-08 Intel Corporation Viewfinder wearable, at least in part, by human operator
US9870060B2 (en) * 2013-12-31 2018-01-16 Google Llc Systems and methods for gaze-based media selection and editing
US9740923B2 (en) * 2014-01-15 2017-08-22 Lenovo (Singapore) Pte. Ltd. Image gestures for edge input
EP3111349A1 (en) 2014-02-24 2017-01-04 Brain Power, LLC Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device
US10691332B2 (en) 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
US20160371888A1 (en) * 2014-03-10 2016-12-22 Bae Systems Plc Interactive information display
US9977572B2 (en) * 2014-04-01 2018-05-22 Hallmark Cards, Incorporated Augmented reality appearance enhancement
US9639887B2 (en) 2014-04-23 2017-05-02 Sony Corporation In-store object highlighting by a real world user interface
US9870058B2 (en) 2014-04-23 2018-01-16 Sony Corporation Control of a real world object user interface
KR102173699B1 (ko) * 2014-05-09 2020-11-03 아이플루언스, 인크. 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들
US9323983B2 (en) * 2014-05-29 2016-04-26 Comcast Cable Communications, Llc Real-time image and audio replacement for visual acquisition devices
DE102014213058A1 (de) * 2014-07-04 2016-01-07 Siemens Aktiengesellschaft Verfahren zur Ausgabe von Fahrzeuginformation
US10185976B2 (en) * 2014-07-23 2019-01-22 Target Brands Inc. Shopping systems, user interfaces and methods
US9696551B2 (en) * 2014-08-13 2017-07-04 Beijing Lenovo Software Ltd. Information processing method and electronic device
US10725533B2 (en) * 2014-09-26 2020-07-28 Intel Corporation Systems, apparatuses, and methods for gesture recognition and interaction
US9778750B2 (en) * 2014-09-30 2017-10-03 Xerox Corporation Hand-gesture-based region of interest localization
US20160125652A1 (en) * 2014-11-03 2016-05-05 Avaya Inc. Augmented reality supervisor display
EP3258876B1 (en) * 2015-02-20 2023-10-18 Covidien LP Operating room and surgical site awareness
CN104750414A (zh) * 2015-03-09 2015-07-01 北京云豆科技有限公司 一种终端以及一种头戴式可视设备及其控制方法
EP3096303B1 (en) * 2015-05-18 2020-04-08 Nokia Technologies Oy Sensor data conveyance
JP6435049B2 (ja) 2015-07-15 2018-12-05 日本電信電話株式会社 画像検索装置及び方法、撮影時刻推定装置及び方法、反復構造抽出装置及び方法、並びにプログラム
US9690534B1 (en) 2015-12-14 2017-06-27 International Business Machines Corporation Wearable computing eyeglasses that provide unobstructed views
US9697648B1 (en) 2015-12-23 2017-07-04 Intel Corporation Text functions in augmented reality
US10288883B2 (en) * 2016-03-28 2019-05-14 Kyocera Corporation Head-mounted display
US10373290B2 (en) * 2017-06-05 2019-08-06 Sap Se Zoomable digital images
US10580215B2 (en) * 2018-03-29 2020-03-03 Rovi Guides, Inc. Systems and methods for displaying supplemental content for print media using augmented reality
US11030459B2 (en) 2019-06-27 2021-06-08 Intel Corporation Methods and apparatus for projecting augmented reality enhancements to real objects in response to user gestures detected in a real environment
US11640700B2 (en) * 2021-02-26 2023-05-02 Huawei Technologies Co., Ltd. Methods and systems for rendering virtual objects in user-defined spatial boundary in extended reality environment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090066690A1 (en) * 2007-09-10 2009-03-12 Sony Computer Entertainment Europe Limited Selective interactive mapping of real-world objects to create interactive virtual-world objects
US7774075B2 (en) * 2002-11-06 2010-08-10 Lin Julius J Y Audio-visual three-dimensional input/output
CN101853071A (zh) * 2010-05-13 2010-10-06 重庆大学 基于视觉的手势识别方法及***
CN102023707A (zh) * 2010-10-15 2011-04-20 哈尔滨工业大学 基于dsp-pc机器视觉***的斑纹式数据手套

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US8855719B2 (en) * 2009-05-08 2014-10-07 Kopin Corporation Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands
US20090172606A1 (en) * 2007-12-31 2009-07-02 Motorola, Inc. Method and apparatus for two-handed computer user interface with gesture recognition
JP5104679B2 (ja) * 2008-09-11 2012-12-19 ブラザー工業株式会社 ヘッドマウントディスプレイ
WO2011106798A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20120038668A1 (en) * 2010-08-16 2012-02-16 Lg Electronics Inc. Method for display information and mobile terminal using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7774075B2 (en) * 2002-11-06 2010-08-10 Lin Julius J Y Audio-visual three-dimensional input/output
US20090066690A1 (en) * 2007-09-10 2009-03-12 Sony Computer Entertainment Europe Limited Selective interactive mapping of real-world objects to create interactive virtual-world objects
CN101853071A (zh) * 2010-05-13 2010-10-06 重庆大学 基于视觉的手势识别方法及***
CN102023707A (zh) * 2010-10-15 2011-04-20 哈尔滨工业大学 基于dsp-pc机器视觉***的斑纹式数据手套

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104865831B (zh) * 2014-02-26 2019-08-13 三星电子株式会社 包括查看传感器的家庭控制***及控制其的方法
CN104865831A (zh) * 2014-02-26 2015-08-26 三星电子株式会社 包括查看传感器的家庭控制***及控制其的方法
US10177991B2 (en) 2014-02-26 2019-01-08 Samsung Electronics Co., Ltd. View sensor, home control system including view sensor, and method of controlling home control system
US10530664B2 (en) 2014-02-26 2020-01-07 Samsung Electronics Co., Ltd. View sensor, home control system including view sensor, and method of controlling home control system
CN112213856A (zh) * 2014-07-31 2021-01-12 三星电子株式会社 可穿戴眼镜和经由可穿戴眼镜显示图像的方法
CN107209582A (zh) * 2014-12-16 2017-09-26 肖泉 高直观性人机界面的方法和装置
CN105718045A (zh) * 2014-12-19 2016-06-29 意美森公司 用于与对象进行触觉使能的交互的***和方法
CN107003823A (zh) * 2014-12-25 2017-08-01 日立麦克赛尔株式会社 头戴式显示***和头戴式显示装置
CN107003823B (zh) * 2014-12-25 2020-02-07 麦克赛尔株式会社 头戴式显示装置及其操作方法
CN107636514B (zh) * 2015-06-19 2020-03-13 麦克赛尔株式会社 头戴式显示装置和使用该装置的视觉辅助方法
CN107636514A (zh) * 2015-06-19 2018-01-26 麦克赛尔株式会社 头戴式显示装置和使用该装置的视觉辅助方法
CN105242776A (zh) * 2015-09-07 2016-01-13 北京君正集成电路股份有限公司 一种智能眼镜的控制方法及智能眼镜
CN106570441A (zh) * 2015-10-09 2017-04-19 微软技术许可有限责任公司 用于姿态识别的***
CN109427089A (zh) * 2017-08-25 2019-03-05 微软技术许可有限责任公司 基于环境光照条件的混合现实对象呈现
CN109427089B (zh) * 2017-08-25 2023-04-28 微软技术许可有限责任公司 基于环境光照条件的混合现实对象呈现
US11727654B2 (en) 2017-08-25 2023-08-15 Microsoft Technology Licensing, Llc Ambient light based mixed reality object rendering
CN111788543A (zh) * 2018-03-14 2020-10-16 苹果公司 具有注视跟踪的图像增强设备

Also Published As

Publication number Publication date
WO2013012603A3 (en) 2013-04-25
US20130021374A1 (en) 2013-01-24
CN103814343B (zh) 2016-09-14
WO2013012603A2 (en) 2013-01-24

Similar Documents

Publication Publication Date Title
CN103814343A (zh) 在可穿戴计算***上操纵和显示图像
US11194388B2 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US10897607B2 (en) Mobile terminal and method for controlling the same
KR102049132B1 (ko) 증강 현실 광 가이드 디스플레이
EP3098693B1 (en) Eyerwear-type terminal and method for controlling the same
KR101983725B1 (ko) 전자 기기 및 전자 기기의 제어 방법
CN104205037B (zh) 用于光导显示和视野的装置
US9500867B2 (en) Head-tracking based selection technique for head mounted displays (HMD)
KR102238531B1 (ko) 이동단말기 및 그 제어방법
US20160195849A1 (en) Facilitating interactive floating virtual representations of images at computing devices
CN104204901A (zh) 移动设备光导显示
CN103827788A (zh) 对用户接口的有效输入区的动态控制
US11367416B1 (en) Presenting computer-generated content associated with reading content based on user interactions
US20190311796A1 (en) Color analysis and control using an electronic mobile device transparent display screen integral with the use of augmented reality glasses
US8766940B1 (en) Textured linear trackpad
KR20170055865A (ko) 롤러블 이동 단말기 및 그것의 제어방법
KR102151206B1 (ko) 이동 단말기 및 그 제어방법
KR20160134334A (ko) 이동 단말기 및 이의 제어방법
US10783666B2 (en) Color analysis and control using an electronic mobile device transparent display screen integral with the use of augmented reality glasses
KR102067599B1 (ko) 이동 단말기 및 그 제어방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: American California

Patentee after: Google limited liability company

Address before: American California

Patentee before: Google Inc.