CN107422840B - 用于识别目标对象的方法和*** - Google Patents
用于识别目标对象的方法和*** Download PDFInfo
- Publication number
- CN107422840B CN107422840B CN201611122024.XA CN201611122024A CN107422840B CN 107422840 B CN107422840 B CN 107422840B CN 201611122024 A CN201611122024 A CN 201611122024A CN 107422840 B CN107422840 B CN 107422840B
- Authority
- CN
- China
- Prior art keywords
- characteristic
- computing device
- target object
- perceived
- reference object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
描述了使用光学遮挡用于识别目标对象的方法和装置。头戴式显示器感知参考对象的特性。头戴式显示器检测感知到的参考对象的特性的改变,并且判定检测到的对象造成感知到的特性的改变。响应于做出判定,头戴式显示器将检测到的对象识别为目标对象。
Description
本申请属于国际申请日为2012年7月18日、国际申请号为PCT/US2012/047254的PCT国际申请进入中国国家阶段后的申请号为201280045189.5的中国专利申请的分案申请。
背景技术
计算设备,例如个人计算机、膝上计算机、平板计算机、蜂窝电话和无数类型的互联网功能设备正越来越流行于现代生活的各方面。随着计算机变得更加先进,人们期望混合计算机产生的信息与用户对物理世界的感知的增强现实设备会变得更加常用。
为了提供增强现实体验,当用户处理他们每日生活的各方面时,用户可以穿着感知位置和环境的计算设备。这样的计算设备通常称为“可穿戴”计算机,其被配置用来感测和分析用户的环境,并且智能地向物理世界提供适当的信息如同用户体验的一样。这样的可穿戴计算机可以例如通过判定用户的地理位置、使用摄像机和/或传感器来检测用户视野内的对象、使用麦克风和/或传感器来检测用户正在听什么、以及使用各种其他传感器来收集关于用户周围环境的信息,来感测用户的周围。进一步的,可穿戴计算机可以使用生物传感器来检测用户自己的身体状态。然后可以分析由可穿戴计算机收集到的信息以判定什么信息应当被呈现给用户。
许多可穿戴计算机包括由用户穿着的头戴式显示器(HMD)或者采用由用户穿着的头戴式显示器(HMD)的形式。HMD通常提供靠近用户的眼睛的抬头显示器。同样的,HMD也可以被称为“近眼”显示器。HMD通常在用户感知的物理世界上覆盖计算机产生的图形(例如,文本、图像、视频等)。HMD可以包括一些形式的显示器,其以用户同时感知计算机产生的图形和物理世界的方式在用户的一个或两个眼睛前面渲染图形。包括在用户双眼前的显示器的HMD称为“双眼”HMD,而那些包括只在一只眼睛前的显示器的HMD称为“单眼”HMD。
HMD可以使用若干技术在用户的物理世界的视野中集成计算机产生的图形。例如,“透视”HMD可以在透明的表面上显示图形,以便用户看到覆盖在物理世界上的图形。如另一个示例,“环顾”HMD通过靠近用户的眼睛放置显示器,以便利用用户双眼之间的视觉“共享”并且创造显示是用户看到的部分世界的效果,来在物理世界上覆盖显示。
为了感测用户的环境,可穿戴计算机可以包括对准用户的参照系并且被装载以便追踪用户头部运动的“视角”视频摄像机。通过在给定的时间有效地捕捉用户看见了什么,可以分析这个视频以检测在用户的视野内的对象和/或人,以识别这些对象和/或人,并且在HMD中显示对应于这些对象和/或人的信息。此外,视频的分析可以被用于判定给定的对象或者人在用户的参照系内处在什么位置,并且在HMD中显示对应的信息,这样用户看到对应的信息就像“漂浮”在给定的对象或者人之上或者附近。
如一个示例,当用户正在看朋友,在用户HMD上的视频摄像机可以捕捉朋友的视频。然后可以使用例如熟知的脸部识别技术来分析视频。同样的,可以识别朋友,并且可以展示与朋友有关的信息,从而用户看到靠近他们的朋友的信息。例如,HMD可以展示朋友的名字、联系信息、生日等。
发明内容
在许多场景中,在给定的时间可能有多个对象靠近HMD。为了HMD能够与对象交互(例如,执行脸部识别、光学特征识别等),可能需要HMD能够判定穿戴者要求与哪个对象互动。一个可能性是设计HMD来允许与预定的对象集交互。那些对象可以例如是穿戴者的身体部分(例如手臂、腿、手、脚、手指、脚趾等)。然而穿戴者可以要求与不同于预定的对象集的对象交互。
这里描述了用于使用光学遮挡(例如,由一个对象藏起、覆盖、重合或者屏蔽另一个对象)识别目标对象的方法和装置。在实施例中,HMD感知参考对象的特性。HMD检测感知到的参考对象的特性的改变,并且判定检测到的对象造成感知到的特性的改变。响应于做出判定,HMD将检测到的对象识别为目标对象。
例如,HMD可以装配传感器(例如摄像机)用于感知特性。在实施例中,参考对象可以是HMD穿戴者的手,并且感知到的特性可以是穿戴者的手的形状或者尺寸。在这个示例中,当穿戴者拿起名片并且把它握在他或她的手里时,HMD可以检测穿戴者的手的形状和尺寸的改变,因为从传感器的视角看,手的一部分变得被名片挡住。因为名片造成在感知到的特性中的改变,所以HMD会将名片识别为目标对象。当判定了名片(而不是在传感器的视野中的另一个对象)是目标对象时,HMD可以执行各种额外的功能,例如在名片上执行光学字符识别(OCR),并将名片的文本存储到可能存储在HMD或者在智能电话或者与HMD通信的其他设备的地址簿中。
对于本领域的普通技术人员,通过阅读以下的具体实施方式并在适当的地方参考附图,这些和其他的方面和优点将会变得明显。
附图说明
在这里参照以下附图描述了各种示例性的实施例,其中相似的数字表示相似的实体。
图1是示出了其中能实现可穿戴计算设备的示例性***的简化框图。
图2是按照示例性的实施例的可穿戴计算机的简化框图;
图3是按照示例性的实施例的HMD的三维渲染;
图4是可以按照示例性的实施例实施的方法的流程图;
图5描述了按照示例性的实施例的HMD的使用场景;和
图6是可以按照示例性的实施例实施的方法的流程图。
具体实施方式
图1是示出了其中能实现可穿戴计算设备的示例性***的简化框图。应当理解,在这里描述的这个和其他布置仅仅作为示例陈述。那些本领域的技术人员应当领会,可以作为替换或者额外使用其他的布置和元件(例如,机器、接口、功能、顺序和功能分组等),并且可以一起省略一些元件。进一步的,在这里描述的许多元件是功能实体,其可以实现为离散的或者分布的部件或者与其他部件结合,并且可以处于任何合适的组合和位置。可以由硬件、固件和/或软件实现在这里描述的由一个或多个实体执行的各种功能。可以由处理器执行存储在存储器中的指令来实现各种功能。
如显示的,网络100包括与LAN/WAN 106通过接入点104进行通信的可穿戴计算机102。网络100还包括增强现实(AR)服务器108和数据源110A-C,其每个都连接到LAN/WAN106。可以展示额外的实体,例如与接入点104通信的额外的可穿戴计算机,以及与因特网106通信的额外的实体(例如接入点、服务器和/或数据源)。同样,也可以有一个或多个设备和/或网络组成一个或多个通信链路的至少一部分。
参考图2详细描述的可穿戴计算机102可以是布置用来实现在这里描述的可穿戴计算机功能的任何设备或者设备组合。
接入点104可以采用各种形式,例如无线接入点(WAP)或者无线路由器,用于经由例如802.11或者以太网来促进通信。额外的或者可替代地,接入点104可以采用在蜂窝网络中的基站的形式,用于在其他协议中经由CDMA和/或GSM协议促进通信。那些本领域的技术人员将会认识到,接入点104可以采用其他形式,并且经由其他协议提供通信,而不偏离权利要求的范围。
LAN/WAN 106可以是公知的全球分组数据网络,通常称作因特网。然而,因特网106也可以是或者包括一个或多个其他分组数据网络,而不偏离所描述实施例的范围和精神。同样的,因特网106也可以包括一个或多个广域网络、一个或多个局域网络、一个或多个公共网络、一个或多个私有网络、一个或多个有线网络、一个或多个无线网络、和/或一个或多个任何其他类型的网络。与因特网106通信的设备可以使用分组交换协议(例如互联网协议(IP))交换数据,并且可以由地址(例如IP地址)识别。
AR服务器108例如可以帮助提高可穿戴计算机102的性能。由于尺寸、重量和/或成本约束可以限制由用户穿着的设备的数据存储和处理能力,因此转移一些(或者可能所有)数据处理功能到远程实体(例如AR服务器108)可以提供提高的处理能力到可穿戴计算机102。这对于由可穿戴计算机102的任何传感部件收集到的信息的潜在数据密集分析,和对于可穿戴计算机的任何显示器和/或用户界面的控制可能是有用的。
AR服务器108也可以包括(或者被连接到)一个或多个数据商店,其允许取回支持可穿戴计算机102的增强现实体验的数据。例如,AR服务器108可以经过一段时间收集特定于给定的可穿戴计算机102的数据,然后所述数据可以被用来定制用户体验。此外,AR服务器108可以合并从若干不同的可穿戴计算机在给定的位置捕捉到的特定位置数据。这样的数据然后可以被用于与来自可穿戴计算机102的传感设备的当前数据组合,以定制HMD显示到可穿戴计算机102的当前位置,和/或到可穿戴计算机102的穿戴者的特定用户偏好和倾向。
即使AR服务器108和数据源110A-C被示出为经由LAN/WAN106连接到可穿戴计算机102,但那些本领域的技术人员将会认识到这些实体可以通过不同的连接被连接到可穿戴计算机。例如,AR服务器108和/或数据源110A-C可以采用经由有线连接(例如USB)或者无线连接(例如蓝牙)与可穿戴计算机通信的智能电话的形式。
也应当注意,可穿戴计算机102自己可以包括数据存储,其中可穿戴计算机存储相似的数据,并且事实上,如果给予充足的存储和处理能力,可以不借助来自AR服务器108的任何支持而运行。然而,由于尺寸、重量和/或成本约束可能限制可穿戴计算机102的机载计算***的数据存储和处理能力,远程实体例如AR服务器108可以为可穿戴计算机102提供优越的数据存储和/或数据取回能力,并且因此可以提高可穿戴计算机102的性能。
图2是可穿戴计算机的框图。如示出的,可穿戴计算机102可以包括用户界面202、传感器204、处理器206、数据存储装置208(包括程序指令210)和通信接口212,所有这些部件由总线或者其他通信链路214连接。并且也可以展示在图2中没有显示的其他实体,包括现在已知的或者为这样的设备今后开发的任何其他实体。进一步的,可穿戴计算机102可以包含不止一个在图2中描绘的任何一个实体,或者可以包含在图2中示出的那些实体的子集。可穿戴计算机102可以采用在下面参考图3描述的HMD的形式。
用户界面202可以用于促进与可穿戴计算机102的交互。因此,用户界面202可以采用以下形式:显示器(例如单眼的视频显示器)、扬声器、麦克风、键盘输入、触摸屏和/或用于接收输入和/或通信输出的任何其他元件。此外,用户界面202可以与一个或多个输入/输出设备经由通信接口212进行交互,这在下面详细描述。
传感器204可以是合适用来检测对象的特性的任何设备,例如其中有对象的位置、颜色和/或尺寸。同样的,传感器204可以采用以下形式:摄像机(例如测距摄像机、视频摄像机和/或静止摄像机)、雷达、激光、全球定位***(GPS)接收器、红外传感器、光学传感器、生物传感器、射频识别(RFID)***、无线传感器、加速计、陀螺仪、和/或指南针、或者现在已知的或者今后开发的任何传感器的组合。
例如,处理器206可以是通用微处理器和/或离散信号处理器。虽然在这里将处理器206描述为单个处理器,但本领域的技术人员将会认识到可穿戴计算机102可以包含多个(例如,并行)处理器。
数据存储装置208可以存储可以由处理器208执行以实现在这里描述的各种功能的一组机器语言程序指令210。作为替代,可以通过硬件替代地实现一些或者所有功能。此外,数据存储装置208可以存储各种数据以促进实现在这里描述的各种功能。此外,除了许多其他的可能性之外,数据存储装置208还可以保持用户界面数据。
通信接口212可以促进与一个或多个设备的通信,例如移动电话、功能电话、智能电话、膝上或者台式计算机、无线接入点和/或蜂窝基站。通信接口212能够促进在各种有线和/或无线接口上的通信,例如除了其他可能性之外,还有通用串行总线(USB)、IEEE 1394(火线)、IEEE 802.11(Wi-Fi)、蓝牙、GSM、GPRS、CDMA、EV-DO、WiMAX或者LTE。
图3是HMD形式的可穿戴计算设备的示例性的三维渲染。如显示的,HMD 300包括单眼环顾显示器302、机载计算***304、摄像机306、光学波导308。注意,也可以展示其他的实体,例如额外的传感器或者显示器,并且不是所有在图3中描绘中的实体都需要以任意特定配置呈现。
单眼视频显示器302可以定位置和定尺寸,使得所显示的图像显得覆盖在或者“漂浮”在用户物理世界的视野上,因此提供计算机产生的信息与用户对物理世界的感知融合的体验。为了提供这一体验,机载计算***304(也许协同额外的实体,例如AR服务器108)可以被配置用来分析由摄像机306捕捉到的数据,以智能地判定(a)应当显示什么图形,和(b)应当如何显示图形(例如,在显示器上的位置、图形的尺寸等)。
机载计算***304可以包括,例如,处理器、存储一组机器语言程序指令用于实现各种HMD功能的数据存储装置、以及通信接口。同样的,机载计算***304可以控制单眼视频显示器302、从摄像机306接收输入、和/或促进与AR服务器108(在其他实体中)的通信。
摄像机306可以被安装到HMD 300的框架上,并且可以被定向以一般地追踪穿戴者的参照系(例如,穿戴者的视角)。摄像机306的类型可以被选择作为工程设计选择。同样的,摄像机306可以以各种不同的分辨率和/或以不同的帧率(例如,不同的帧每秒(fps))捕捉图像或者视频。许多具有小形状因子的摄像机可以在HMD 300中使用,例如那些在蜂窝电话、网络摄像头等中使用的摄像机。然而,应当理解示例性的实施例不限于任何特定类型的摄像机。
在示例性的实施例中,安装摄像机306以便捕捉用户的视角。特别的,摄像机306被安装在HMD 300上,以便它定位且定向于与用户的眼睛大体上相同的方向,以捕捉大体上相似于穿戴者的视野的视野。其他配置也是可能的。如仅仅一个示例,摄像机300可以替代地安装于用户的前额或者在用户的眼睛中间,并且可以追踪与用户的眼睛相同的方向。如那样的安装,视频摄像机可以追踪用户头部的运动,并且因此在给定的时间点由摄像机306接收到的数据的视角将会大概捕捉在那个时间用户的参照系(即用户的视野)。也可能示例性的可穿戴计算机可以合并视频摄像机,其可以被配置用来捕捉相同的视野,或者捕捉不同的视角或者视野。
图4按照示例性的实施例描绘了方法的流程图。虽然方法400被描述为由HMD 300实现,但该方法可以由任何其他数量的设备实现,例如除了其他可能性之外还有可穿戴计算机102。
如图4中显示的,方法400在步骤402中开始,HMD 300感知参考对象的特性。特性可以是,例如,对象的形状、颜色、尺寸、面积和/或位置。
参考对象可以是具有将被感知的特性的任何对象。在一个示例性的实施例中,参考对象是HMD 300的穿戴者的手。例如,参考图5,HMD 300能够感知参考对象502的形状,其被描绘为手并且如在时间(a)显示的是打开并伸张的。例如通过感知穿戴者的手的全部可见区域,HMD 300还可以感知穿戴者的手的尺寸。也可以感知穿戴者的手的其他特性。
在另一个实施例中,参考对象是计算机监视器。在这个实施例中,HMD 300除了其他特性之外还可以感知计算机监视器的全部可见区域和/或形状。参考对象的其他示例可以包括穿戴者的其他身体部分(例如手指或者脚)和/或其他对象,例如电视机或者汽车风挡(其可能包括抬头显示器)。
在一个示例性的实施例中,穿戴者可以选择一个对象作为参考对象。例如,HMD300(可能通过摄像机306)可以检测存在一个或者多个对象(可能在穿戴者的视野内)。HMD300然后可以竟有例如显示器302的用户界面呈现提示,询问穿戴者选择哪个对象应当是参考对象。穿戴者可以例如使用用户界面202选择参考对象。
在另一个实施例中,HMD 300判定那个对象是参考对象。例如,HMD 300可以被设计用来以仅仅一个参考对象(例如穿戴者的手)运行。其他示例也是可能的,而不偏离权利要求的范围。
可以使用传感器(例如摄像机306)感知参考对象502的特性。在一个实施例中,HMD300可以通过使用经由摄像机306收集到数据(例如所感知的特性的指示)并将所述数据(可能使用通信接口212)发送到另一个实体(例如AR服务器108)来感知特性。AR服务器108然后可以存储接收到的数据以供后续使用,或者AR服务器108可以发送关于感知到的特性的信息到HMD 300。在另一个实施例中,HMD 300不使用AR服务器108来感知特性。虽然分离的实体被描述为采用AR服务器108的形式,但本领域的技术人员将会理解,也可以使用任何其他实体。例如,实体可以是智能电话或者由HMD 300的穿戴者穿着的其他设备。
HMD 300和/或AR服务器108也可以存储关于参考对象502的“训练数据”,以协助感知参考对象的特性。除了参考对象502之外,还有若干其他对象将会可能在摄像机306的视野中,例如在图5中时间(a)显示的检测到的对象504。训练数据可以包含关于参考对象的(例如)一般颜色、尺寸和形状的信息,其可以允许HMD 300和/或AR服务器108在摄像机306的视野中从其它对象区分参考对象502。
在实施例中,HMD 300可以接收指令以感知参考对象502的特性。在某些情况下,可能希望阻止HMD 300尝试感知特性,例如当穿戴者希望节约用电和/或HMD的电池寿命时。因此,HMD 300可以仅在接收感知特性的指令(或许来自HMD 300的穿戴者)时感知参考对象502的特性。在另一个实施例中,HMD 300总是感知(或者至少尝试感知)参考对象502的特性。其他示例也是可能的,而不偏离权利要求的范围。
方法400在步骤404处继续,HMD 300检测感知到的参考对象的特性的改变。如果参考对象是穿戴者的手,则例如作为穿戴者抓住目标对象、或者把他或她的手放在目标对象之后的结果,感知到的特性可以改变。通过执行这些动作,手的形状改变(如由HMD 300感知的)。
例如,参考图5,感知到的参考对象502的许多特性在时间(a)和时间(b)之间可以改变。例如,因为在时间(b),手的大部分面积被检测到的对象504(由名片代表)挡住,所以感知到的手的面积已经改变。作为推论,作为穿戴者抓住名片的结果,感知到的手的形状已经改变。这里没有描述的其他特性也可能已经改变。
在一个实施例中,HMD 300可以通过使用经由摄像机306捕捉到的数据并且发送那个数据到AR服务器108来检测改变。AR服务器108然后可以在步骤402对接收到的数据与存储在AR服务器中的数据进行比较。在另一个实施例中,HMD 300可以检测改变而不使用分离的实体。
在另一个实施例中,在前进到步骤406之前,HMD 300可以判定在感知到的特性中的改变已经持续了一段最小阈值时间。例如,如果HMD 300的穿戴者正在走路,并且穿戴者的手正在摆动进出摄像机306的视野,那么仅在较短时间内,HMD 300可以检测感知到的特性的大量改变。为了阻止这样的结果,在前进到步骤406之前,HMD 300可以判定改变已经持续了最少三秒(例如)。也可以使用其他时间段。
方法400在步骤406继续,其中HMD 300做出判定:检测到的对象造成感知到的特性的改变。例如,参考图5,HMD 300可以判定检测到的对象504(名片)造成在参考对象502(手)的形状和/或尺寸的改变。
尽管检测到的对象504被描绘为名片,但本领域的技术人员将会认识到,检测到的对象可以是能够造成在感知到的参考对象502的特性中的改变的任何对象。同样的,检测到的对象504除了许多其他示例之外还可以采用智能手机、书、DVD或者食品的形式。
判定检测到的对象504造成改变可以包括HMD 300参考存储的训练数据以判定:如果不是检测到的对象,则参考对象502的特性改变通常不会发生。例如,如果参考对象502是穿戴者的手,且如果穿戴者合上或者攥紧他或她的手,那么感知到的特性的改变可以发生。在这种情况下,感知到的参考对象的尺寸和/或形状可以改变,即使检测到的对象不造成这样的改变。
因此,训练数据可以存储关于以下内容的信息:要不是由于出现了检测到的对象504,感知到的特性的改变是否已经发生。例如,如图5所示,要不是由于出现了名片,穿戴者的手的感知到的形状本将包括空隙(如HMD所感知的)。要不是由于出现了检测到的对象,在穿戴者的手中的这个“洞”通常本不会发生。
虽然描述了一种方法用于判定检测到的对象造成在感知到的特性中的改变,但本领域的技术人员将会认识到,其他方法是可能的而不偏离权利要求的范围和精神。
方法400在步骤408继续,其中HMD 300识别检测到的对象作为目标对象。在一个实施例中,HMD 300可以在没有穿戴者的任何介入的情况下,识别检测到的对象504作为目标对象,然后使用目标对象执行额外的操作。
在另一个实施例中,HMD 300可以呈现提示请求确认检测到的对象504是目标对象,并且接收确认检测到的对象504是目标对象。这样的实施例在以下场景可以是有用的,例如,HMD 300还没有关于参考对象502的充足的训练数据,可能造成HMD 300错误地识别了在感知到的特性中的改变是由参考对象造成的。这个实施例在下面的场景也可以是有用的,其中多个检测到的对象造成在感知到的特性中的改变。如果穿戴者要求仅与一个检测到的对象互动,那么HMD 300可以请求确认多个检测到的对象中的一个是目标对象。
在实施例中,已经将检测到的对象504识别为目标对象时,HMD 300可以在目标对象上执行额外的操作。例如,如上所述,HMD 300可以在目标对象上执行OCR。除了存储识别的文本,HMD 300可以使用识别的文本以呈现关于目标对象的额外信息。例如,如果目标对象是在书店找到的书或者在电影租赁店找到的DVD,HMD 300可以呈现那本书或者DVD的评论,允许穿戴者判定是否购买和/或租借该书或DVD。如另一个示例,如果目标对象是在快餐店购买的食品,则HMD 300可以呈现关于那个食品的营养信息。本领域的技术人员将会认识到,许多其他示例也是可能的,而不偏离权利要求的范围。
如上所述,可以由区别于HMD 300的实体促进关于目标对象的额外信息的呈现,除了其他可能性之外例如AR服务器108和/或与HMD 300通信的智能电话。一个或多个数据源110A-C可以存储关于目标对象的信息,并且将所述信息提供给例如AR服务器108和/或智能电话。
图6描绘了示例性的方法的流程图。方法600大致相似于方法400,除了不是检测到的对象504(可能位于参考对象502和HMD 300之间)造成感知到的参考对象的特性的改变(和HMD 300将检测到的对象识别为目标对象),而是在检测到的对象和HMD 300之间的参考对象造成感知到的检测到的对象的特性的改变。
如图6显示的,方法600在步骤602开始,其中HMD 300感知检测到的对象的特性。在步骤604,HMD 300检测感知到的检测到的对象的特性的改变。这个改变可能会产生,例如,因为HMD 300的穿戴者将手指放置在远处的目标对象(例如电影海报或者快餐店菜单)之间,造成检测到的对象的形状、尺寸或者其他特性改变。
方法600在步骤606继续,其中HMD 300判定参考对象造成感知到的特性改变。在步骤608,HMD 300将检测到的对象识别为目标对象。再次,HMD 300可以呈现提示,请求确认检测到的对象是目标对象,并且接收检测到的对象是目标对象的确认。这可能是适当的,因为当目标对象处于远处时,参考对象可以指向或者覆盖多个目标对象,并且因此对于多个检测到的对象造成感知到的特性的改变。
本领域的技术人员将会领会到,作为替代可以使用其他布置和元件(例如,机器、接口、功能、顺序和功能分组等),并且可以一同省略一些元件。
进一步的,在这里描述的许多元件是功能实体,其可以实现为离散的或者分布的部件或者与其他部件协同,并且可以处于任何合适的组合和位置。可以由硬件、固件和/或软件实现在这里描述的由一个或多个实体执行的各种功能。可以由处理器执行存储在存储器中的指令实现各种功能。
Claims (20)
1.一种用于识别目标对象的方法,所述方法包括:
感知参考对象的特性;
检测已经持续了最小阈值时间的感知到的所述参考对象的特性的改变;
由计算设备判定检测到的对象造成感知到的特性的改变;
响应于做出所述判定,将所述检测到的对象识别为所述目标对象;以及
对所述目标对象执行额外的操作。
2.根据权利要求1所述的方法,其中,所述计算设备包括可穿戴设备。
3.根据权利要求1所述的方法,其中,所述计算设备包括头戴式设备。
4.根据权利要求1所述的方法,其中,感知参考对象的特性包括从摄像机接收一个或多个图像。
5.根据权利要求1所述的方法,其中,所述特性是以下中的一个:形状、颜色、尺寸、面积和位置。
6.根据权利要求1所述的方法,其中,所述参考对象是从包含手臂、手、手指、腿、脚和脚趾的分组中选择的身体部分。
7.根据权利要求1所述的方法,其中,将所述检测到的对象识别为所述目标对象包括:(i)经由所述计算设备的用户界面呈现提示,请求确认所述检测到的对象是所述目标对象,和(ii)经由所述计算设备的用户界面接收所述确认。
8.根据权利要求1所述的方法,进一步包括:
经由所述计算设备的用户界面呈现提示,请求选择对象以用作所述参考对象;
经由所述计算设备的用户界面接收选择的对象;以及
使用所述选择的对象作为所述参考对象。
9.一种用于识别目标对象的计算机实现的方法,所述方法包括:
感知检测到的对象的特性;
检测已经持续了最小阈值时间的感知到的所述检测到的对象的特性的改变;
由计算设备判定参考对象造成感知到的特性的改变;
响应于做出所述判定,将所述检测到的对象识别为目标对象;以及
对所述目标对象执行额外的操作。
10.根据权利要求9所述的方法,其中,所述计算设备包括可穿戴设备。
11.根据权利要求9所述的方法,其中,所述计算设备包括头戴式设备。
12.根据权利要求9所述的方法,其中,感知检测到的对象的特性包括从摄像机接收一个或多个图像。
13.根据权利要求9所述的方法,其中,所述特性是以下中的一个:形状、颜色、尺寸、面积和位置。
14.根据权利要求9所述的方法,其中,所述参考对象是从包含手臂、手、手指、腿、脚和脚趾的分组中选择的身体部分。
15.根据权利要求9所述的方法,其中,将所述检测到的对象识别为所述目标对象包括:
经由所述计算设备的用户界面呈现提示,请求确认所述检测到的对象是所述目标对象;以及
经由所述计算设备的用户界面接收所述确认。
16.根据权利要求9所述的方法,进一步包括:
经由所述计算设备的用户界面呈现提示,请求选择对象以用作所述参考对象;
经由所述计算设备的用户界面接收选择的对象;以及
使用所述选择的对象作为所述参考对象。
17.一种用于识别目标对象的***,所述***包括:
至少一个处理器;以及
包括程序指令的数据存储装置,所述程序指令能被所述至少一个处理器执行以使得所述至少一个处理器执行包括以下各项的功能:
感知参考对象的特性;
检测已经持续了最小阈值时间的感知到的所述参考对象的特性的改变;
判定检测到的对象造成感知到的特性的改变;
响应于做出所述判定,将所述检测到的对象识别为所述目标对象;以及
对所述目标对象执行额外的操作。
18.根据权利要求17所述的***,其中,所述至少一个处理器包括可穿戴设备的至少一个处理器。
19.根据权利要求17所述的***,其中,所述至少一个处理器包括头戴式设备的至少一个处理器。
20.根据权利要求17所述的***,进一步包括摄像机;以及
其中,感知参考对象的特性包括从所述摄像机接收一个或多个图像。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/184,900 US8199974B1 (en) | 2011-07-18 | 2011-07-18 | Identifying a target object using optical occlusion |
US13/184,900 | 2011-07-18 | ||
US13/493,758 | 2012-06-11 | ||
US13/493,758 US8724853B2 (en) | 2011-07-18 | 2012-06-11 | Identifying a target object using optical occlusion |
CN201280045189.5A CN103827728B (zh) | 2011-07-18 | 2012-07-18 | 使用光学遮挡识别目标对象 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280045189.5A Division CN103827728B (zh) | 2011-07-18 | 2012-07-18 | 使用光学遮挡识别目标对象 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107422840A CN107422840A (zh) | 2017-12-01 |
CN107422840B true CN107422840B (zh) | 2020-08-25 |
Family
ID=47558712
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611122024.XA Active CN107422840B (zh) | 2011-07-18 | 2012-07-18 | 用于识别目标对象的方法和*** |
CN201280045189.5A Active CN103827728B (zh) | 2011-07-18 | 2012-07-18 | 使用光学遮挡识别目标对象 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280045189.5A Active CN103827728B (zh) | 2011-07-18 | 2012-07-18 | 使用光学遮挡识别目标对象 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8724853B2 (zh) |
EP (1) | EP2734890B1 (zh) |
CN (2) | CN107422840B (zh) |
WO (1) | WO2013012960A2 (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9390032B1 (en) * | 2012-06-27 | 2016-07-12 | Amazon Technologies, Inc. | Gesture camera configurations |
US20140191927A1 (en) * | 2013-01-09 | 2014-07-10 | Lg Electronics Inc. | Head mount display device providing eye gaze calibration and control method thereof |
US9619021B2 (en) | 2013-01-09 | 2017-04-11 | Lg Electronics Inc. | Head mounted display providing eye gaze calibration and control method thereof |
KR20140090552A (ko) | 2013-01-09 | 2014-07-17 | 엘지전자 주식회사 | 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 및 그 제어 방법 |
KR20150018264A (ko) * | 2013-08-09 | 2015-02-23 | 엘지전자 주식회사 | 안경형 단말기의 정보 제공 장치 및 그 방법 |
KR102303115B1 (ko) | 2014-06-05 | 2021-09-16 | 삼성전자 주식회사 | 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법 |
TWI512644B (zh) * | 2014-08-21 | 2015-12-11 | Coretronic Corp | 智慧型眼鏡及使用智慧型眼鏡的人臉辨識與提示方法 |
US20160057267A1 (en) * | 2014-08-22 | 2016-02-25 | Microsoft Technology Licensing, Llc | Unified command protocol for different communication interfaces |
US9679475B1 (en) * | 2016-04-05 | 2017-06-13 | Conduent Business Services, Llc | System and method for smart, rational and collaborative location tracking for trip planners |
JP6500842B2 (ja) * | 2016-06-03 | 2019-04-17 | 京セラドキュメントソリューションズ株式会社 | 印刷システム |
KR20240042181A (ko) * | 2016-09-22 | 2024-04-01 | 매직 립, 인코포레이티드 | 증강 현실 분광기 |
US11782669B2 (en) | 2017-04-28 | 2023-10-10 | Microsoft Technology Licensing, Llc | Intuitive augmented reality collaboration on visual data |
WO2019183399A1 (en) | 2018-03-21 | 2019-09-26 | Magic Leap, Inc. | Augmented reality system and method for spectroscopic analysis |
KR102277691B1 (ko) * | 2018-12-19 | 2021-07-15 | 라인플러스 주식회사 | 얼굴 이미지와 메신저 계정의 연동에 기반한 이미지 관리 방법 및 시스템 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101551732A (zh) * | 2009-03-24 | 2009-10-07 | 上海水晶石信息技术有限公司 | 带有交互功能的增强现实的方法及其*** |
WO2009128784A1 (en) * | 2008-04-14 | 2009-10-22 | Xid Technologies Pte Ltd | Face expressions identification |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030164819A1 (en) | 2002-03-04 | 2003-09-04 | Alex Waibel | Portable object identification and translation system |
JP4136420B2 (ja) * | 2002-03-29 | 2008-08-20 | キヤノン株式会社 | 情報処理方法および装置 |
US7263206B1 (en) * | 2002-05-10 | 2007-08-28 | Randy L. Milbert | Differentiating friend from foe and assessing threats in a soldier's head-mounted display |
US7778445B2 (en) * | 2006-06-07 | 2010-08-17 | Honeywell International Inc. | Method and system for the detection of removed objects in video images |
JP4789745B2 (ja) * | 2006-08-11 | 2011-10-12 | キヤノン株式会社 | 画像処理装置および方法 |
US9317110B2 (en) | 2007-05-29 | 2016-04-19 | Cfph, Llc | Game with hand motion control |
KR100860741B1 (ko) * | 2007-07-09 | 2008-09-29 | (재)대구경북과학기술연구원 | 이미지 패턴 분석을 통한 모니터링 서비스 제공 방법 및 모니터링 서비스 제공 시스템 |
FR2933218B1 (fr) * | 2008-06-30 | 2011-02-11 | Total Immersion | Procede et dispositif permettant de detecter en temps reel des interactions entre un utilisateur et une scene de realite augmentee |
JP5293025B2 (ja) * | 2008-09-11 | 2013-09-18 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
US9569001B2 (en) | 2009-02-03 | 2017-02-14 | Massachusetts Institute Of Technology | Wearable gestural interface |
CN102906623A (zh) | 2010-02-28 | 2013-01-30 | 奥斯特豪特集团有限公司 | 交互式头戴目镜上的本地广告内容 |
KR101029730B1 (ko) * | 2010-09-09 | 2011-04-18 | 주식회사 대덕지에스 | 사람과 차량을 식별하는 영상 감시 장치 |
US8199974B1 (en) * | 2011-07-18 | 2012-06-12 | Google Inc. | Identifying a target object using optical occlusion |
-
2012
- 2012-06-11 US US13/493,758 patent/US8724853B2/en active Active
- 2012-07-18 EP EP12814738.6A patent/EP2734890B1/en active Active
- 2012-07-18 WO PCT/US2012/047254 patent/WO2013012960A2/en active Application Filing
- 2012-07-18 CN CN201611122024.XA patent/CN107422840B/zh active Active
- 2012-07-18 CN CN201280045189.5A patent/CN103827728B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009128784A1 (en) * | 2008-04-14 | 2009-10-22 | Xid Technologies Pte Ltd | Face expressions identification |
CN101551732A (zh) * | 2009-03-24 | 2009-10-07 | 上海水晶石信息技术有限公司 | 带有交互功能的增强现实的方法及其*** |
Non-Patent Citations (1)
Title |
---|
Occlusion based Interaction Methods for Tangible Augmented Reality Environments;Gun A. Lee et al;《proceedings of the 2004 ACM siggraph》;20040101;第420-425页 * |
Also Published As
Publication number | Publication date |
---|---|
US8724853B2 (en) | 2014-05-13 |
EP2734890A4 (en) | 2015-07-08 |
EP2734890B1 (en) | 2020-02-19 |
CN107422840A (zh) | 2017-12-01 |
WO2013012960A3 (en) | 2013-04-25 |
US20130142387A1 (en) | 2013-06-06 |
WO2013012960A2 (en) | 2013-01-24 |
CN103827728A (zh) | 2014-05-28 |
CN103827728B (zh) | 2016-12-28 |
EP2734890A2 (en) | 2014-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107422840B (zh) | 用于识别目标对象的方法和*** | |
US11355086B2 (en) | Detection and display of mixed 2D/3D content | |
US8199974B1 (en) | Identifying a target object using optical occlusion | |
WO2020216054A1 (zh) | 视线追踪模型训练的方法、视线追踪的方法及装置 | |
US9317113B1 (en) | Gaze assisted object recognition | |
KR102039427B1 (ko) | 스마트 글라스 | |
US20150193977A1 (en) | Self-Describing Three-Dimensional (3D) Object Recognition and Control Descriptors for Augmented Reality Interfaces | |
US20230298247A1 (en) | Sharing received objects with co-located users | |
CN118103799A (zh) | 与远程设备的用户交互 | |
CN109791432A (zh) | 推迟影响图形用户界面的信息的状态改变直至不专注的情况期间 | |
CN113609358A (zh) | 内容分享方法、装置、电子设备以及存储介质 | |
KR102544779B1 (ko) | 움직임 정보 생성 방법 및 이를 지원하는 전자 장치 | |
US20230068730A1 (en) | Social connection through distributed and connected real-world objects | |
CN111754272A (zh) | 广告推荐方法、推荐广告显示方法、装置及设备 | |
CN117581253A (zh) | 用于增强现实体验的基于标记的虚拟邮箱 | |
US10409464B2 (en) | Providing a context related view with a wearable apparatus | |
JP5989725B2 (ja) | 電子機器及び情報表示プログラム | |
CN111967420A (zh) | 详情信息的获取方法、装置、终端及存储介质 | |
US20230069328A1 (en) | Snapshot messages for indicating user state | |
US20230060838A1 (en) | Scan-based messaging for electronic eyewear devices | |
US11874960B2 (en) | Pausing device operation based on facial movement | |
KR102284769B1 (ko) | 3d 컨텐츠를 제공하는 서버 및 그 동작 방법 | |
WO2024054381A1 (en) | Selecting a tilt angle of an ar display | |
CN114143588A (zh) | 一种播放控制方法以及电子设备 | |
CN113536167A (zh) | 信息显示方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: American California Applicant after: Google limited liability company Address before: American California Applicant before: Google Inc. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |