CN108700912B - 通过增强现实操作设备的方法和*** - Google Patents

Abstract

提供了一种通过增强现实操作设备的***。该***包括图像采集单元，图像处理单元，显示器，控制装置和控制中心。该图像采集单元采集用户的真实世界环境的图像。该图像处理单元处理采集的图像以识别目标设备。该显示器供用户观看，其向用户显示目标设备的AR信息图像。该控制装置从用户处接收目标设备的操作输入并传输该操作输入。该控制中心接收所传输的操作输入并向该目标设备发送操作信号。还提供了一种方法。通过增强现实操作设备的***和方法可以在提供设备状态和相关信息的同时对设备进行直观控制和操作。

Description

通过增强现实操作设备的方法和***

相关申请的交叉引用

本申请要求于2017年6月30日提交的申请号为PCT/CN2017/091261的PCT国际申请的优先权，其在此出于所有目的通过引用将其全部内容并入本文。

技术领域

本申请涉及用于通过增强现实进行直观操作的方法和***，更具体地，涉及用于通过设备的增强现实图像来控制和设置设备的方法和***。

背景技术

为了操作设备，例如获取设备的状态或设置设备的操作参数，用户通常需要靠近设备。靠近不同的设备单元并分别操作它们的用户界面需要耗费时间。一些现有的中央控制方法可以通过连接到所有设备单元的中央控制单元来访问多个设备单元的状态和管理操作。然而，那需要一个易于使用的界面和一个集成的控制和管理***。为各种类型的设备单元和不同的用户设计一个通用的、用户友好的界面是很有挑战性的。

增强现实(AR)是一种直接或间接的物理、现实环境的实时影像，其元素被计算机生成的输入(如声音、图像、图形或数据)进行增强或补充。在观察真实世界环境的同时，用户可以通过AR图像接收补充信息。AR提供并补充了关于设备的附加信息的直观视图。然而，直观的控制和操作设备很少被公开和讨论。

因此，在提供设备的状态和相关信息的同时，需要提供改进的方法和***来直观的控制和操作设备。本发明所公开的方法和***解决了上面列出的一个或多个问题和/或现有技术中的其他问题。

发明内容

根据一方面，本发明提供了一种通过增强现实(AR)操作设备的***，所述***包括图像采集单元、图像处理单元、显示器、控制装置和控制中心。图像采集单元采集用户的真实世界环境的图像；图像处理单元处理采集的图像以识别目标设备；显示器供所述用户观看，向所述用户显示目标设备的AR信息图像。控制装置从用户处接收所述目标设备的操作输入并传输所述操作输入。控制中心接收传输的所述操作输入并向所述目标设备发送操作信号。

根据另一方面，本发明提供了一种通过增强现实(AR)操作设备的方法。所述方法包括：获得真实世界环境的图像；识别所获得的所述图像中的目标设备；向用户显示所述目标设备的AR信息图像；接收所述目标设备的操作输入；以及向所述目标设备发送操作信号。

根据再一方面，本发明提供了一种存储有指令的非易失性计算机可读存储介质，当执行指令时，使至少一个处理器通过增强现实(AR)来执行操作设备的操作。所述操作包括：获得真实世界环境的图像；识别所获得的所述图像中的目标设备；向用户显示所述目标设备的AR信息图像；接收所述目标设备的操作输入；以及向所述目标设备发送操作信号。

通过增强现实(AR)操作设备的***和方法可以在提供设备状态和相关信息的同时直观的控制和操作设备

附图说明

并入本说明书并构成本说明书的一部分的附图示出了本公开示例性实施例，并且与说明书一起用于解释本公开的原理。

图1是根据公开的实施例的通过增强现实进行直观操作的示例性***；

图2是根据公开的实施例的在接收来自用户的操作输入之后的增强现实图像的示例性显示；

图3是根据公开的实施例的用于通过增强现实进行直观操作的示例性头戴式显示器；

图4是根据公开的实施例的用于通过增强现实的直观操作的示例性身份指示器；

图5是根据公开的实施例的用于通过增强现实进行直观操作的示例性相机；

图6是根据公开的实施例的用于通过增强现实进行直观操作的另一示例性相机；

图7是根据公开的实施例用于通过增强现实进行直观操作的示例性图像处理单元的框图；

图8是根据公开的实施例用于通过增强现实的直观操作的示例性***构架中的示例性控制中心；

图9是根据公开的实施例的用于通过增强现实进行直观操作的示例性控制装置；

图10是根据公开的实施例的用于通过增强现实的直观操作的示例性处理流程的流程图。

具体实施方式

本说明书和说明书示例性实施例的附图不应被视为限制。在不脱离本说明书和权利要求书的范围的情况下，可以进行各种机械、结构、电气和操作改变，包括等同物。在某些情况下，众所周知的结构和技术未被详细示出或描述，以免混淆本公开。两个或多个图形中的相似参考数字表示相同或相似的元素，此外，参考一个实施例详细公开的元件及其相关特征可以在任何实际时被包括在其中没有具体示出或描述的其他实施例中。例如，如果一个元素是参照第一个实施例被详细描述的，而不是参照第二个实施例被描述的，那么该元素仍然可以作为第二个实施例被声明。

本公开总体上涉及用于通过增强现实直观地操作设备的方法和***。目标设备可以是计算机、打印机、测量仪器、设备、炊具、洗衣机或其任何组合。目标设备可以包括物理、现实环境中的任何东西，比如电器、家具、设施、宠物，甚至人类。

对于能够根据用户的指令进行操作的目标设备，可能需要连接到控制中心来接收操作信号和/或信息。当目标设备接收操作信号和/或信息时，其可以相应地执行用户的指令。例如，计算机，打印机，测量仪器或炊具连接到控制中心时，可根据用户的指示执行某些操作。该控制中心接收到用户指令后发送控制信号指示目标设备。对于不能响应于用户指令执行任何操作的目标设备，当目标设备包括在***中并且在***中可识别时，用户可以通过增强现实的直观操作查询关于目标设备的信息。

本公开一方面针对一种通过增强现实进行直观操作的***。图1是根据公开的实施例的用于通过增强现实进行直观操作的示例性***。该***包括可由用户100观看的显示器，例如头戴显示器(HMD)200，图像处理单元500，控制中心600和控制装置700。另外，在该图中，计算机110和打印机120是通过增强现实观察和操作的示例性真实目标设备单元。计算机110和打印机120分别包括身份指示器310和320。计算机110，打印机120及其各自的身份指示器310和320通过无线接入点840连接到控制中心600。

用户100佩戴HMD200并通过HMD200观察计算机110和打印机120。HMD200包括捕捉用户100看到的图像的相机400。这些图像通过HMD200的分光镜240(如图3所示)来观看。分光镜240是将投影图像呈现为显示并将用户观看的实际图像与投影图像重叠的光学装置。HMD200通过无线通信连接到图像处理单元500，下面将更详细地描述，并且经由相机400接收从身份指示器310和320发送的指示信号。在相机400拍摄图像和/或接收指示信号之后，HMD200将这些图像和指示信号发送给图像处理单元500以供进一步处理。

在接收到图像和指示信号之后，图像处理单元500标识并识别一个或多个真实目标设备单元，例如，基于所接收的图像和指示信号的计算机110和打印机120。图像处理单元500还通过无线接入点820连接到控制中心600，如图所示。然后图像处理单元500发送目标设备的标识到控制中心600以检索目标设备的信息。例如，图像处理单元500通过无线接入点820提供的无线连接将计算机110和打印机120的标识发送到控制中心600。

控制中心600在接收到目标设备的身份后，根据接收到的目标设备的身份在其数据库中查找目标设备的信息，并将该目标设备的数据库信息发送给图像处理单元500，然后图像处理单元500将信息发送到HMD200。HMD200基于接收到的信息在分光镜240上显示AR信息图像。用户100通过分光镜240看到目标设备与目标设备有关的信息增强。例如，在图1中，当用户100通过HMD200的分光镜240时，用户100看到用AR信息图像112增强的计算机110。

用户100可以使用控制装置700来操作目标设备。控制装置700也包括身份指示器370。通过上述类似的识别过程，控制装置700在通过HMD200观看时是可识别的。在AR图像中，AR指针117可以用于表示控制装置700并且在AR图像中呈现其位置。当用户100移动控制装置700时，AR指针117在AR图像中相应地移动。当用户100移动控制装置700以使得AR指针117与AR信息图像112重叠时，用户100可以按下控制装置700的按钮，向目标设备或具体到重叠的AR信息表示操作输入。

在从用户100接收到用于目标设备的操作输入时，控制装置700将包含操作输入的输入信号发送到HMD200。响应于用户100的操作输入，HMD200可以显示另一个AR图像。例如，当AR指针117与计算机110或其AR信息图像112重叠时，在用户100按下控制装置700的按钮之后，HMD200向用户100显示可操作菜单的另一AR图像。在一些实施例中，HMD200可以将包含所接收的操作输入的信号发送到控制中心600以查询与所接收的操作输入相对应的进一步的信息。在HMD200从控制中心600接收到更新的信息之后，HMD200可以显示出与接收到的操作输入相对应的更新信息的另一AR图像。

在一些实施例中，HMD200可以通过控制中心600向目标设备发送操作信号。例如，HMD200在接收到来自用户100的操作输入之后，通过图像处理单元500向控制中心600发送操作信号。控制中心600识别目标设备计算机110在其控制之下，并发送相应的控制信号以指示计算机110根据HMD200的操作信号进行操作。

在图1中，HMD200，图像处理单元500，控制中心600和控制装置700之间的通信可以通过无线连接来实现，例如蓝牙，Wi-Fi和蜂窝(例如，GPRS，WCDMA，HSPA，LTE或后代蜂窝通信***)通信，或例如USB线或Lightning线等有线连接，除了如图所示的通过Wi-Fi接入点820和840的通信之外，可以使用其他通信技术来实现这些设备单元之间的连接。

例如，HMD200和控制装置700可以通过不需要接入点的Wi-Fi Direct技术直接连接。再例如，图像处理单元500和控制中心600可以通过LTE设备到设备技术直接连接，其不需要传统蜂窝通信***中所需的演进节点B(eNB)。在一些实施例中，HMD200，图像处理单元500，控制中心600和控制装置700之间的通信可以通过有线连接来实现。例如，可以使用通用串行总线(USB)线路，闪电线路或以太网电缆来实现这些设备单元之间的连接。

真实目标设备单元和控制中心600之间的通信可以以与上述用于HMD200，图像处理单元500，控制中心600以及控制装置700之间的通信类似的方式来实现。这些设备单元的通信单元执行这些通信，这将在下面更详细的描述。相反，在增强现实环境中，识别和定位目标设备和/或包含身份指示器的控制装置通过指示信号进行。

例如，在接收到从计算机110的身份指示器310发送的指示信号之后，HMD200在图像处理单元500和/或控制中心600的协助下，根据接收到的指示信号，确定计算机110为目标设备，并确定其在增强现实环境中的位置。指示信号可以包括一个或多个光信号，光信号的闪光速率以及来自身份指示器的光信号的波长。

图2是根据公开的实施例的在接收到来自用户100的操作输入之后的增强现实图像的示例性显示。当用户100移动控制装置700以使AR指针1171与AR信息图像1121重叠并按下控制装置700的按钮时，HMD200可以显示出用户100选择的操作选项的另一AR图像1122。例如，在接收到操作输入之后，HMD200显示AR图像1122包括1)状态，2)操作，以及3)用户100选择的设置选项。用户100可进一步移动控制装置700以使AR指针1172与AR图像1122的设置重叠，并再次按压控制装置700的按钮以进入计算机110的设置菜单。HMD200可进一步显示供用户100选择的设置菜单。

又例如，用户100可以移动AR指针1172以与AR图像1122中的状态重叠并按下控制装置700的按钮。在接收到操作输入之后，HMD200可以显示计算机110的状态。当HMD没有相应的信息显示时，HMD200可以向控制中心600发送一个请求信息的信号。在从控制中心600接收到相应信息之后，HMD200将接收到的信息显示在为用户100更新的AR图像中。

在另一个示例中，用户100可以移动控制装置700以使AR指针1172与计算机110的AR图像中的关机(未示出)重叠，并按下控制装置700的按钮。在接收到对应于关闭计算机110的这种操作输入之后，HMD200将包含关闭计算机110的指令的操作信号发送到控制中心600。控制中心600可以通过其在控制中心600和计算机110之间的信令将操作信号发送到计算机110。当从控制中心600接收到操作信号时，计算机110可以相应的关闭其自身。如果计算机110有任何未完成的任务，则计算机110可以响应控制中心600在完成某些任务之前不能关机。控制中心600可以向HMD200发送相应的消息。然后，HMD200将该消息显示在AR图像中以使用户100知道计算机110正忙于某些任务并且此时不能关闭。

图3是根据公开的实施例的用于通过增强现实进行直观操作的示例性头戴式显示器200。HMD200包括AR投影装置220，分光镜240，通信单元250和相机400。AR投影装置220为用户在分光镜240上投影增强图像。增强图像可以包括描述性信息、状态信息、操作信息、关于一个或多个真实的设备单元的设置信息、或其任何组合信息以及***消息。用户100通过分光镜240查看允许用户100直接观察真实的环境。当AR投影装置220将增强图像投影到分光镜240上时，分光镜240允许用户100看到用投影图像增强的真实世界环境。例如，如图1所示，当通过HMD200的分光镜240观看时，用户100看到用AR信息图像112增强的计算机110。

通信单元250可以包括可在处理器或控制器上执行的任何适当类型的硬件，例如集成电路和现场可编程门阵列，或例如指令集，子例程或功能(即功能程序)的软件，开展以下通信操作。例如，通信单元250可以包括Wi-Fi调制解调器，其通过Wi-Fi Direct技术向图像处理单元500发送数据并从图像处理单元500接收数据。又例如，通信单元250可以包括通过LTE设备到设备技术向控制中心600发送数据和从控制中心600接收数据的LTE调制解调器。在某些应用中，通信单元250可以采用红外技术。

作为另一个示例，通信单元250可以包括从Wi-Fi接入点820或840发送和接收数据的Wi-Fi调制解调器。接入点820或840可以与图1中的任何一个设备单元连接并且辅助HMD200与这些设备单元的数据传输。在一些实施例中，通信单元250可以包括用于有线通信的调制解调器，例如以太网，USB，IEEE 1394和Thunderbolt，而HMD200，图像处理单元500，控制中心600和/或控制装置700之间的连接是通过这些线路。

图4是根据公开的实施例的用于通过增强现实的直观操作的示例性身份指示器300。身份指示器300可以是单独的设备或嵌入为计算机110的身份指示器310，打印机120的身份指示器320以及控制装置700的身份指示器370。身份指示器300包括指示灯320，灯光控制器340和通信单元350。指示灯320可以包括一个或多个发光二极管(LED)灯。指示灯320可以通过一个或多个LED装置发出可见光和红外光。来自指示灯320的发射光信号被用于增强现实环境中的身份识别和定位。

例如，身份指示器300的指示灯320包括发出可见光作为指示器信号的LED灯321，322，323。又如，LED灯321，322，323可以以不同的速率发射和闪烁，构成用于增强现实环境中的身份识别和/或定位的另一种指示信号。又例如，LED灯321，322，323可以发射各种波长的光，这些波长构成又一种类型的指示器信号，用于在增强现实环境中进行身份识别和/或定位。

灯光控制器340可以包括可在处理器或控制器上执行的任何适当类型的硬件，例如集成电路和现场可编程门阵列，或者例如一组指令，子例程或功能(即功能程序)的软件，执行以下照明控制操作。灯光控制器340控制指示灯320的发光以发送用于身份识别和定位的指示信号。例如，灯光控制器340可以控制一个或多个LED灯321，322，323发射，LED灯321，322，323的发射或闪烁速率，和/或LED灯321，322和323发射的光的波长作为指示信号。来自身份指示器的这些指示信号可以是唯一的并且与其他身份指示器的信号不同。

例如，计算机110的身份指示器310可具有三个LED灯，而打印机120的身份指示器320具有两个LED灯。然后计算机110和打印机120可以基于它们各自的三灯和双灯指示器信号来识别。如果需要，灯光控制器340可以重新配置目标设备的指示信号的模式。例如，当灯光控制器340通过通信单元350从控制中心600接收到重新配置指令时，灯光控制器340重新配置其指示信号的模式以确保身份指示器300在其他身份指示器中的独特性。

通信单元350可以包括在处理器或控制器上可执行的任何适当类型的硬件，例如集成电路和现场可编程门阵列，或者例如指令集，子例程或功能(即功能程序)的软件，开展以下通信操作。通信单元350包括调制和解调用于数据发送和接收的电子或无线电信号的调制和解调子单元(即调制解调器)。例如，通信单元350可以包括Wi-Fi调制解调器，该Wi-Fi调制解调器通过Wi-Fi Direct技术向HMD 200发送和从HMD 200接收身份数据。

作为另一个例子，通信单元350可以包括LTE调制解调器，该LTE调制解调器通过LTE设备到设备技术向控制中心600发送和从控制中心600接收身份数据。再例如，通信单元350可以包括Wi-Fi调制解调器，其发送并接收来自Wi-Fi接入点820或840的身份数据。接入点820或840可以连接图1中的***的装置单元和真实的装置单元中的任何一个，并辅助识别指示符300和这些装置单元之间的数据传输。在一些实施例中，通信单元350可包括用于有线通信的调制解调器，例如以太网，USB，IEEE 1394和Thunderbolt，而身份指示器300和HMD 200，图像处理单元500，控制中心600和/或控制装置700的连接是通过这些线路。

在一些实施例中，通信单元350包括连接到目标设备或控制装置的通信单元的通信接口(未示出)。通信单元350通过目标设备或控制装置的通信单元向上述设备单元发送身份数据并从上述设备单元接收身份数据。例如，通信单元350通过控制装置700的通信单元750向HMD 200发送身份数据并从HMD 200接收身份数据。又例如，通信单元350通过计算机110的通信单元向控制中心600发送身份数据并从控制中心600接收身份数据。

图5是根据公开的实施例的用于通过增强现实进行直观操作的HMD200上的示例性相机420和440的图示。在图5中，HMD 200包括两个相机，例如相机420和相机440。相机420和440位于HMD 200的顶部并且用于捕捉用户通过HMD200的分光镜240看到的环境的图像。相机420和440将捕获的图像发送到HMD 200，并且HMD 200通过通信单元250将接收到的图像发送到图像处理单元500。

图6是根据公开的实施例的用于通过增强现实进行直观操作的HMD 200上的示例性相机460的图示。在图6中，HMD 200仅包括单个相机460。相机460位于HMD 200的顶部，并用于捕捉用户通过HMD 200的分光镜240看到的环境的图像。相机460将捕获的图像发送到HMD 200，并且HMD 200通过通信单元250将接收到的图像发送到图像处理单元500。在一些实施例中，相机420和440可以被放置在HMD 200的另一个位置以捕捉更接近用户100从HMD200看到的图像。

图7是根据公开实施例的用于通过增强现实进行直观操作的示例性图像处理单元500的框图。图像处理单元500包括图像处理模块520和通信单元550。图像处理模块520包括身份检测模块522和坐标计算模块524。

图像处理模块520可以包括任何适当类型的硬件，例如集成电路和现场可编程门阵列，或软件，例如可在处理器或控制器上执行的一组指令，子例程或功能(即功能程序)，执行以下图像处理操作。图像处理单元500的图像处理模块520通过通信单元550从HMD 200接收图像。身份检测模块522根据从一个或多个身份指示器发送的指示信号来识别存在于接收到的图像中的身份指示器的一个或多个身份。例如，身份检测模块522分别识别来自计算机110的身份指示器310和打印机120的身份指示器320的两个不同的指示信号。

身份检测模块522可以包括任何适当类型的硬件，例如集成电路和现场可编程门阵列，或例如一组指令，子例程或可在处理器或控制器上执行的功能(即功能程序)的软件，执行以下身份检测操作。在接收到指示信号之后，身份检测模块522例如从身份指示器识别光信号的数量，光信号的闪光率和/或光信号的波长。身份检测模块522将这些参数与潜在目标设备单元的参数进行比较。图像处理单元500可以从控制中心600获得潜在目标设备单元的这些参数。当身份检测模块522识别出与图像处理单元500中的任何一组参数不匹配的一组参数时，图像处理单元500可以从控制中心600以获取关于所识别的一组参数的信息。

除了身份检测之外，身份检测模块522也可以根据图像上接收到的指示信号的位置，至少粗略地确定目标设备单元在图像上的位置。之后，身份检测模块522将识别出的目标设备单元的身份和位置发送给坐标计算模块524。

坐标计算模块524可以包括任何适当类型的硬件，例如集成电路和现场可编程门阵列，或软件，例如可在处理器或控制器上执行的指令集，子例程或功能(即功能程序)，执行以下坐标计算操作。坐标计算模块524接收目标设备单元的图像和/或识别的标识和位置，并检测目标设备单元在接收到的图像上的准确位置。例如，在接收到计算机110的身份之后，坐标计算模块524可以通过将计算机110的样本图像与所接收的图像进行匹配以检测计算机110的位置来检测计算机110在图像中的位置。

在一些实施例中，在接收到的图像中匹配计算机110的样本图像可以包括根据常规模板匹配方法计算匹配率，例如平方差法，归一化平方差法，互相关法，相关法，相关系数法，归一化相关系数法或其任何组合。当与计算机110的模板图像的匹配率高于匹配阈值时，例如模板图像的自匹配率的80％，70％或60％，检测计算机110在接收到的图像中的位置。

在一些实施例中，坐标计算模块524可以参考从身份检测模块522接收的位置来检测目标设备的位置。坐标计算模块524可将计算机110的样本图像与从身份检测模块522接收的位置附近进行匹配以减少计算复杂度和/或处理时间。

在一些实施例中，坐标计算模块524可以检测目标设备在三维坐标中的位置，特别是当相机400包括两个相机时，例如图5中的相机420和440。坐标计算模块524可以利用由两个摄像机拍摄的图像之间的不同照明方向来计算目标设备在三维坐标中的位置。在识别目标设备的身份和位置之后，图像处理单元500可以通过通信单元550将它们发送到控制中心600。

通信单元550可以包括在处理器或控制器上可执行的任何适当类型的硬件，例如集成电路和现场可编程门阵列，或者例如指令集，子例程或功能(即功能程序)的软件，开展以下通信操作。通信单元550包括调制和解调用于数据传输和接收的电子或无线信号的调制和解调子单元(即调制解调器)。例如，通信单元550可以包括Wi-Fi调制解调器，该Wi-Fi调制解调器通过Wi-Fi Direct技术向控制中心600发送和接收目标设备的身份和位置。

又例如，通信单元550可以包括LTE调制解调器，其通过LTE设备到设备技术向控制中心600发送和接收目标设备的身份和位置。再例如，通信单元550可以包括Wi-Fi调制解调器，该Wi-Fi调制解调器从Wi-Fi接入点820或840发送并接收目标设备的身份和位置。对于一些应用，通信单元550可以采用红外技术。接入点820或840可以连接图1中的***的设备单元和真实的设备单元中的任何一个，并辅助图像处理单元550和这些装置单元之间的数据传输。在一些实施例中，通信单元550可以包括用于有线通信的调制解调器，例如以太网，USB，IEEE 1394和Thunderbolt，而图像处理单元500和HMD 200，控制中心600和/或控制装置700之间的连接是通过这些有线线路。

接入点820或840可以连接***的任何一个设备单元和图1中的真实世界的设备单元，并协助图像处理单元550与这些设备单元之间的数据传输。在一些实施例中，通信单元550可以包括用于有线通信的调制解调器，如以太网、USB、IEEE 1394和Thunderbolt，而图像处理单元500和HMD 200、控制中心600和/或控制装置700之间的连接则通过这些有线线路。

图8是根据公开实施例的用于通过增强现实的直观操作的示例性***中的示例性控制中心600。控制中心600包括数据库620，人机交互(HMI)控制器640，增强现实(AR)图像生成器660，通信单元651，通信单元652，通信单元653和通信单元654。控制中心600可以包括可在处理器或控制器上执行的任何适当类型的硬件，例如集成电路和现场可编程门阵列，或软件，例如一组指令，子例程或功能(即功能程序)通过增强现实对直观操作进行以下控制操作。在一些实施例中，控制中心600可以包括一个或多个存储单元和一个或多个网络服务器，以通过增强现实执行以下用于直观操作的控制操作。

数据库620可以包括用于存储关于目标身边单元的信息的一种或多种类型的存储器装置或模块，例如电路中的寄存器，高速缓冲存储器，随机存取存储器(RAM)，只读存储器(ROM)，磁盘存储器和云存储器。关于目标设备单元的信息可以至少包括身份信息，样本图像，描述性信息，状态信息，操作信息，设置信息等。

关于目标设备的身份信息包括唯一指示信号，其可以包括，例如，一个或多个光信号的组合，一个或多个光信号的一个或多个闪光率，以及一个或多个光信号的一个或多个波长。目标设备的样本图像可以包括目标设备的一个或多个图像，这些图像将被作为用于检测目标设备的位置的上述模板匹配方法中的模板。

关于目标设备的描述性信息可以包括目标设备的规范，功能，介绍等的描述。例如，计算机110的描述性信息可以包括其计算能力，其中央处理单元(CPU)的数量和型号，以及其主存储器，硬盘驱动器和/或云存储的容量。关于目标设备的状态信息可以包括目标设备的操作状态。例如，计算机110的状态信息可以包括其CPU负荷，存储器使用率，互联网连接的可访问性，网络连接的访问带宽，执行任务的进度等。

关于目标设备的操作信息可以包括用户指示目标设备可用的操作类型。例如，计算机110可以允许用户100指示打开/关闭电源，连接到服务器，执行某个任务等等。这些操作被收集为操作信息并且可以被显示在AR图像中以供用户100选择。

关于目标设备的设置信息可以包括目标设备允许用户决定的设置参数。例如，计算机110可以允许用户100决定图形用户界面的偏好，任务的后台执行，任务的执行优先级，任务的最后期限等。这些设置参数可以显示在AR图像中供用户100决定。

人机交互(HMI)控制器640可以包括任何适当类型的硬件，例如集成电路和现场可编程门阵列，或例如一组指令，子例程或功能(即功能程序)可执行的软件在处理器或控制器上，通过增强现实对直观操作进行以下控制操作。在一些实施例中，HMI控制器640可以包括一个或多个存储单元和一个或多个网络服务器，以通过增强现实执行以下用于直观操作的人机交互。HMI控制器640控制用户与所显示的AR图像之间的交互。当用户通过显示的AR信息图像输入操作指令时，HMI控制器640控制图1中的相关单元以完成相应的操作。

例如，用户100可以使用控制装置700来为计算机110提供操作输入。如上所述，图像处理单元500可识别控制装置700并跟踪其在AR信息图像中的位置。在通过通信单元652接收到控制装置700的身份及其在AR信息图像中的位置之后，HMI控制器640可以指示AR图像生成器660生成指针117(图1所示)以表示AR图像中的控制装置700。当用户100移动控制装置700时，HMI控制器640根据来自图像处理单元500的更新位置，控制AR图像生成器660在AR图像上的更新位置处生成指针117。

用户100可以移动控制装置700以使指针1171(图2所示)与AR信息图像1121重叠并且按下控制装置700的按钮作为与AR信息图像1121相关的操作输入。当用户100正在按压控制装置700的按钮时，HMI控制器640可以根据控制装置700的更新位置来确定指针1171的位置是否与AR信息图像1121重叠。在确定与AR信息图像1121相关的操作输入之后，HMI控制器640可以通过通信单元651将包括操作输入的对应信号发送到目标设备计算机110。计算机110可以在从HMI控制器640接收到这样的信号之后根据操作输入进行操作。

在一些实施例中，在接收到与AR信息图像1121相关的操作输入之后，HMI控制器640可以指示AR图像生成器660生成包括关于计算机110的更多详细信息的另一AR信息图像1122(在图2中示出)。用户100可移动控制装置700以使指针1172(图2所示)与AR信息图像1122的设置选项重叠，并按下控制装置700的按钮作为与AR信息图像1122的设置选项有关的操作输入。根据上述类似的步骤，HMI控制器640可以指示AR图像生成器660生成另一AR信息图像(未示出)，其包括若干设置操作以供用户100选择。

HMI控制器640还可以通过通信单元653,654来控制AR投影装置220。当HMI控制器640确定显示AR图像时，HMI控制器640将关于要显示的图像的控制信号和/或信息发送到AR图像生成器660和AR投影装置220。例如，HMI控制器640可以指示AR投影装置220在AR图像生成器660生成之后显示AR图像。HMI控制器640可以通过通信单元654向AR投影装置220发送位置和显示参数(例如，颜色，亮度和时间长度以显示)。

增强现实(AR)图像生成器660可以包括任何适当类型的硬件，例如集成电路和现场可编程门阵列，或者例如一组指令，子例程，或者可执行于其上的功能(即功能程序)的软件处理器或控制器，通过增强现实执行以下AR图像生成以实现直观操作。在从HMI控制器640接收到指令之后，AR图像生成器660可以生成要由HMD 200显示的AR信息图像。AR图像生成器660可以通过通信单元652从图像处理单元500获得图像，目标设备单元的位置和/或关于目标设备单元的标识信息。AR图像生成器660可以基于接收到的图像和目标设备单元的位置来识别AR信息将通过HMD 200投影到的位置。例如，如图1或图6所示，当AR图像生成器660接收到图像及其计算机110的位置时，AR图像生成器660可以将计算机的右上角处的位置识别为AR信息是将被预测。

在一些实施例中，AR图像生成器660可以从数据库620获得关于所识别的目标设备的信息。在接收到来自HMI控制器640的指令和目标设备的身份之后，AR图像生成器660可以根据HMI控制器640的指令向数据库620查询关于目标设备的信息。在接收到目标设备的相关信息后，AR图像生成器660可相应地生成一个或多个AR信息图像，并通过通信单元653发送给AR投影装置220。

通信单元651，652，653和654可以分别包括任何适当类型的硬件，例如集成电路和可编程门阵列，或例如一组指令，子例程或功能(即，功能程序)可在处理器或控制器上执行，以执行以下通信操作。在一些方面，通信单元651，652，653和654可以被组装为一个或多个通信单元，该通信单元分别包括任何适当类型的硬件，例如集成电路和现场可编程门阵列，或软件，例如一组指令，子程序或可在处理器或控制器上执行的功能来执行以下通信操作。

例如，图8中的通信单元651，652，653和654可能不被实现为通信单元650(未示出)，如可编程门阵列或例如一组指令，子例程或可在处理器或控制器上执行的功能(即功能程序)的软件来执行以下通信操作。在整个公开内容中，通信单元650可以被认为是通信单元651，652，653，654或它们的任何组合的替代以执行它们的通信操作，反之亦然。

通信单元650或每个通信单元651，652，653和654可以包括调制和解调用于数据传输和接收的电子或无线信号的调制和解调子单元(即调制解调器)。例如，通信单元650或651可以包括通过Wi-Fi Direct技术接收关于计算机110的状态信息的Wi-Fi调制解调器。又例如，通信单元650或652可以包含一个Wi-Fi调制解调器，通过Wi-Fi技术直接从图像处理单元500接收目标设备的身份和位置。

又如，通信单元650或653可包括将AR图像发射到AR投影装置220直到LTE设备到设备技术的LTE调制解调器。AR投影装置220通过通信单元250接收那些AR图像。又例如，通信单元650或654可包括LTE调制解调器，该调制解调器向AR投影装置220发送和从AR投影装置220接收控制信号直至LTE设备到设备技术。AR投影装置220通过通信单元650接收并发送那些控制信号。

在一些方面，通信单元650或通信单元651，652，653，654可以包括Wi-Fi调制解调器，该Wi-Fi调制解调器向Wi-Fi接入点820或840发送并从Wi-Fi接入点820或840接收上述信号和/或数据。接入点820或840可以连接***的任何一个设备单元和图1中的真实世界设备单元，并在这些设备单元之间协助信号和数据传输。在某些实施例中，通信单元650或通信单元651，652，653，654可能包含用于有线通信的调制解调器，如以太网，USB，IEEE 1394和Thunderbolt，而图1中这些设备单元之间的连接是通过这些有线线路连接的。

通信单元650或图8中的通信单元651，652，653和654执行控制中心600与图1所示的所有设备单元之间的通信操作。控制中心600可以获得这些设备的操作状态，参数和结果，特别是目标设备单元以及数据库620中的操作状态，参数和结果。此外，通信单元650或图8中的通信单元651，652，653和654中的一个可以在控制中心600和图像处理单元500之间进行通信操作。控制中心600可以通过通信单元650或652接收图像处理单元500的目标单元的实时身份和位置，查找关于数据库620中的目标设备的信息，并将该信息发送给图像生成器660。在某些方面，控制中心600通过通信单元650或652从图像处理单元500接收控制装置700的实时身份和位置，并将控制装置700的身份和位置发送到HMI控制器640。

此外，图8中的通信单元650或通信单元651，652，653和654中的一个可以执行控制中心600和HMD200之间的通信。控制中心600可决定显示哪些目标设备单元的信息，并通过通信单元650或653将由AR图像生成器660生成的相应AR信息图像发送到HMD 200。在某些实施例中，控制中心600可以显示操作输入的操作结果。例如，在HMI控制器640确定用户100操作输入的操作结果后，控制中心600可以通过通信单元650或653将由AR图像生成器660生成的操作结果的AR图像发送给HMD 200的AR投影装置220。

此外，图8中的通信单元650或通信单元651，652，653和654中的一个可以执行控制中心600和目标设备单元之间的通信操作。控制中心600可以接收用户对目标设备的操作输入，并且通过通信单元650或651将包括操作输入的对应信号发送到目标设备。例如，控制中心600可以接收用于关闭计算机110的操作输入，并且通过通信单元650或651将包括关机指令的信号发送到计算机110。

另外，图8示出根据实施例的用于通过增强现实的直观操作的示例性***架构中的信号和数据流。相机400捕捉包括指示信号的真实世界环境的图像，并将这些图像发送到图像处理单元500。图像处理单元500识别和检测目标设备单元的身份和位置，并将它们发送到控制中心600和/或HMD 200的AR投影装置220。控制中心600查找有关所识别目标设备单元、生成器AR信息图像的信息，并提供给HMD 200的AR投影装置220。用户100在真实世界环境中看到增强现实图像增强到识别的目标设备，例如计算机110。

用户100可进一步移动控制装置700以使其AR指示器与AR信息图像112重叠，并将控制装置700的按钮作为计算机110的操作输入。相机400从控制装置700捕捉指示信号，并将它们发送到图像处理单元500。图像处理单元500识别并检测控制装置700的身份和位置，并将其发送到控制中心600和/或HMD200的AR投影装置220。控制中心600在确定控制装置700的AR指针在接收操作输入时与AR信息图像112重叠后，将操作输入与计算机110关联起来。控制中心600将包括操作输入的信号发送到计算机110，并将操作结果的AR图像发送到HMD200的AR投影装置220。然后，用户100通过增强后的AR图像在真实世界环境中看到操作结果，例如，计算机110。

在某些实施例中，控制中心600的数据库620、HMI控制器640和/或AR图像生成器660可作为单个中央控制器或多个单独的设备单元进行。例如，HMI控制装置包括HMI控制器640和通信单元652，AR图像生成装置包括AR图像生成器660和通信单元653，并且数据库装置包括数据库620和通信单元651。在某些实施例中，图像处理单元500可以被集成到控制中心600中。

图9是根据公开的实施例的用于通过增强现实进行直观操作的示例性控制装置。控制装置700包括身份指示器370，例如输入按钮720的用户输入装置，控制装置控制器740和通信单元750。身份指示器370是身份指示器300的实施例，并且其结构和功能与身份指示器300的类似。输入按钮720可以包括物理按钮，触摸按钮，触摸屏上的虚拟按钮或其任何组合。当用户按下或输入按钮720时，其向控制装置控制器740发送关于操作输入的信号。在一些方面，控制装置700可以包括语音识别单元，以允许来自用户100的语音输入。

控制装置控制器740可以包括任何适当类型的硬件，例如集成电路和可编程门阵列，或者例如一组指令，子例程或可在处理器或控制器上执行的功能的软件对控制装置700进行以下的控制动作。控制装置控制器740控制身份指示器370发送与控制装置700的唯一身份相关联的光信号。控制装置控制器740也接收来自其中一个输入按钮720的输入信号，并且通过通信单元750将对应于输入或输出按钮720的信号作为操作输入发送到HMD 200和/或控制中心600。

通信单元750可以包括任何合适类型的硬件，例如可编程门阵列或软件，作为在处理器或控制器上可执行的一组指令，子例程或功能，开展以下通信操作。通信单元750包括用于数据传输和接收的电子或无线信号的调制和解调子单元(即调制解调器)。例如，通信单元750可以包括Wi-Fi调制解调器，该Wi-Fi调制解调器通过Wi-Fi Direct技术向HMD 200和/或控制中心600发送包括操作输入的信号。又例如，通信单元750可能包含一个LTE调制解调器，它通过LTE设备到设备技术从控制中心600接收控制装置700的分配标识。又例如，通信单元750可以包括Wi-Fi调制解调器，该Wi-Fi调制解调器从Wi-Fi接入点820或840接收由控制中心600发送的身份数据。接入点820或840可以是无线连接的控制中心600。在某些方面，通信单元750可以包括用于有线通信的调制解调器，例如以太网，USB，IEEE 1394和Thunderbolt，而控制装置700和HMD 200或控制中心600之间的连接是通过这些有线线路中的一个。

本发明的另一个方面是通过一个或多个集成电路、一个或多个现场可编程门阵列、一个或多个处理器或控制器执行实现该方法的指令或其任何组合来执行增强现实操作的方法。该方法可以包括但不限于上述所有方法和实施例以及下文中所述的方法和实施例。在某些实施例中，上述方法或实施例中的一部分步骤可以远程或单独执行。在某些实施例中，该方法可以由一个或多个分布式***执行。

本披露的另一个方面是通过一个或多个集成电路、一个或多个现场可编程门阵列、一个或多个处理器或控制器执行实现该方法的指令或其任何组合来执行增强现实操作的方法。该方法可以包括(但不限于)上述所有方法和实施例以及下文中所述的方法和实施例。在一些实施例中，上述方法或实施例中的一部分步骤可以远程或单独执行。在某些实施例中，该方法可以由一个或多个分布式***执行。

图10是根据公开的实施例的用于通过增强现实的直观操作的示例性方法800的流程图。方法800包括获得并存储关于潜在目标设备单元的信息(步骤S1)，接收真实世界环境的图像(步骤S2)，识别并定位控制装置(步骤S301)，检测到控制装置的AR指针处于目标设备的操作区域中(步骤S401)，接收目标设备的操作输入(步骤S501)，向目标设备发送操作信号(步骤S601)，识别和定位目标设备(步骤S302)，查找并获得关于目标设备的信息(步骤S402)，生成AR图像(步骤S502)，并投影AR图像(步骤S602)。

步骤S1包括获取并存储关于潜在的目标设备单元(即由控制中心600连接和控制的那些真实的设备单元)的信息。例如，在步骤S1中关于潜在目标设备单元的信息可以包括在初始化过程和常规或事件驱动报告过程中查询和接收关于潜在目标设备单元的信息。在初始化过程中，控制中心600可以查询将要连接到控制中心600并在控制中心600控制下的潜在目标设备单元的信息。这些潜在的目标设备单元可以在初始化过程中自动或在收到来自控制中心600的查询后提供信息。

该信息可以包括描述性信息，状态信息，操作信息以及关于潜在目标设备单元的设置信息。在定期报告过程中，与控制中心600相连的那些可能的目标设备单元可在一段时间内定期报告其最新资料。例如，目标设备可能每30分钟报告一次信息。在事件驱动的报告过程中，一旦有任何信息需要更新，这些潜在的目标设备单元可以报告它们的更新信息。例如，计算机110可能在收到用户100的操作输入后报告它已经完成了一个任务。控制中心600可以生成包括完成任务的信息和控制HMD 200的AR信息图像以显示AR信息图像。

在步骤S1中存储关于潜在目标设备单元的信息可以包括，例如，将上述信息存储到控制中心600的数据库620中。在一些方面，为了实现对用户体验的快速响应，控制中心600可以将关于潜在目标设备单元的所有信息保留在其数据库620中。有关潜在目标设备单元操作的状态信息可以通过事件驱动过程进行更新，以便为用户提供实时信息。

步骤S2包括接收真实世界环境的图像。当用户使用HMD 200并开始查看真实世界环境时，在步骤S2中接收真实世界环境的图像可以包括从HMD 200的摄像头400接收真实世界环境的图像。当在真实世界环境中存在潜在的目标设备单元时，在步骤S2中接收真实世界环境的图像也可以包括从这些潜在目标设备单元的标识符接收指示信号。方法800可以在用户100开始通过HMD 200查看真实世界环境之后继续执行步骤S2。

在接收到真实世界环境的图像后，方法800包括两组步骤，分别在增强现实中识别和交互目标设备和控制装置。为了在增强现实中识别和与目标设备交互，方法800包括识别和定位目标设备(步骤S302)，查找并获得关于目标设备的信息(步骤S402)，生成AR图像(步骤S502)并投影AR图像(步骤S602)。

步骤S302包括识别和定位目标设备。例如，在步骤S302中识别目标设备可以包括从设备接收指示信号，并根据接收到的指示信号确定该设备为目标设备。如上所述，目标设备包括一个身份指示器，该身份指示器定期通过其指示灯发送唯一的指示信号。在步骤S302中识别目标设备可包括从设备接收该指示信号，并在指示信号与潜在目标设备单元的指示信号匹配时确定该设备为目标设备。指示信号可以包括一个或多个来自设备指示灯的光信号，如图4所示的指示灯321，322，323。指示信号还可以包括一个或多个光信号的一个或多个闪光速率。指示信号还可以包括一个或多个光信号的一个或多个波长。

在某些方面，在步骤S302中确定设备作为目标设备可以包括向图像处理单元或控制中心发送识别设备的信号，并从图像处理单元或控制中心接收标识该设备为目标设备的信号。识别设备的信号包括接收到的指示信号，如指示灯的数量、接收到的光信号的闪光率和接收到的光信号的波长。图像处理单元或控制中心接收到识别设备的信号后，可以在其内存或数据库中对接收到的指示信号和潜在目标设备单元的指示信号进行比较。当接收到的指示灯信号与一个潜在目标设备单元的指示信号相匹配时，控制中心或图像处理单元可以发送标识为目标设备的信号。在步骤S302中确定设备为目标设备包括从控制中心或图像处理单元接收标识设备为目标设备的信号。

在一些方面，在步骤S302中确定该装置为目标设备可进一步包括从控制中心接收有关该目标设备的信息。例如，在将计算机110识别为目标设备后，控制中心600也可以将其数据库620中的计算机110信息发送给用户100。在步骤S302中确定设备作为目标设备可以包括从控制中心600接收有关计算机110的信息。

在步骤S302中定位目标设备可以包括根据接收到的指示信号在包含目标设备的一个或多个图像上识别目标设备的位置。在基于指示信号识别标识的同时，由于指示信号是由目标设备的标识信号发送的，所以可以使用接收到的图像上的指示信号的位置来至少找到目标设备在图像上的大致位置。因此，在步骤S302中定位目标设备可以包括根据接收到的图像上的指示信号的位置在接收到的图像上找到目标设备的大致位置。

在一些方面，在步骤S302中定位目标设备还可以包括匹配目标设备的模板图像和所接收的真实世界环境的图像。由于该目标设备已被识别，因此该目标设备的模板图像可以使用。因此，在步骤S302中定位目标设备可以包括根据指示信号在包含目标设备的图像上确定目标设备的位置。

步骤S402包括查找和获取有关目标设备的信息。例如，查找目标设备的信息可以包括根据步骤S302中获得的标识在控制中心600的数据库620中查找目标设备的信息。一旦在数据库620中找到目标设备，目标设备就被确认为控制中心600控制下的潜在目标设备单元之一。在数据库620中找到目标设备后，步骤S402中获取目标设备的信息也可以包括从数据库620中查询和获取关于识别目标设备的信息。关于目标设备的信息包括描述信息、状态信息、操作信息或关于目标设备的设置信息，或任何组合信息。

步骤S502包括生成AR图像。例如，在获得有关目标设备的信息后，在步骤S502中生成AR图像可以包括生成显示获得信息的AR图像。例如，在步骤S502中生成AR图像可以包括分别为计算机110和打印机120生成AR信息图像112和122，如图1所示。在一些实施例中，在步骤S502中生成AR图像还可以包括在接收操作输入后生成显示操作结果的AR图像。例如，在步骤S502中生成AR图像可以包括在接收到对计算机110的操作输入后生成AR信息图像1122，如图2所示。

步骤S602包括投影AR图像。例如，在步骤S602中投影AR图像可以包括在步骤S502中在分光镜240的固定位置投影生成的AR信息图像。例如，在步骤S602中投影AR图像可以包括在分光镜240的右上角投影AR信息图像112(未示出)。在某些实施例中，在步骤S602中投影AR图像可以包括在步骤S502中在目标设备的位置投影生成的AR信息图像。例如，在步骤S602中投影AR图像可以包括在计算机110的右上角投影AR信息图像112(未示出)。由于AR图像总是被投影在HMD 200的分光镜240上，并且目标设备可以位于不同位置，所以在步骤S602中投影AR图像在用户100移动分光镜240围绕其头部转动或转动时，还可以包括在计算机110的更新的右上位置迭代投影AR信息图像112。

在一些实施例中，在步骤S602中的投影AR图像可以包括将步骤S502中生成的AR信息图像投影到目标设备位置附近的位置。例如，在步骤S602中投影AR图像可以包括在靠近计算机110位置的右上角投影AR信息图像112，如图1所示。由于AR图像总是被投影在HMD200的分光镜240上，并且目标设备可以位于不同位置，所以在步骤S602中投影AR图像在用户100移动分光镜240围绕其头部转动或转动时，还可以包括在临近计算机110的更新的右上位置迭代投影AR信息图像112。

为了在增强现实中识别和与控制装置交互，方法800包括识别和定位控制装置(步骤S301)，检测到控制装置处于目标设备的操作区域中(步骤S401)，接收操作信号(步骤S501)，并向目标设备发送操作信号(步骤S601)。

步骤S301包括识别和定位控制装置。例如，在步骤S301中识别控制装置可以包括从设备接收指示信号，并根据接收的指示信号确定装置为控制装置700。如上所述，类似于目标设备的控制装置，包括一个通过其指示灯定期发送唯一指示信号的身份指示器。步骤S301中的识别控制装置可包括从设备接收该指示信号，并在指示信号与控制装置之一的指示信号相匹配时确定该装置为控制装置。指示灯信号可以包括一个或多个来自控制装置指示灯的光信号，如图4所示指示灯321，322，323。指示信号还可以包括一个或多个光信号的一个或多个闪光速率。指示信号还可以包括一个或多个光信号的一个或多个波长。

在一些实施例中，确定该装置为步骤S301中的控制装置可包括向图像处理单元或控制中心发送识别该装置的信号，并从图像处理单元或控制中心接收识别该装置为控制装置的信号。识别设备的信号包括接收到的指示信号，如指示灯的数量、接收到的光信号的闪光率和接收到的光信号的波长。图像处理单元或控制中心接收到目标设备的信号后，可以将接收到的指示信号与潜在控制装置的指示信号以及其存储器或数据库中的标识装置单元进行比较。当接收到的指示灯信号与某一控制装置相匹配时，控制中心或图像处理单元可以发送标识该装置为控制装置的信号。确定装置为步骤S301中的控制装置，包括从控制中心或图像处理单元接收标识装置为控制装置的信号。

在一些实施例中，确定该装置为步骤301中的控制装置可进一步包括从控制中心接收有关该控制装置的信息。例如，在确认控制装置700为控制装置后，控制中心600还可以在数据库620中发送控制装置700的信息，以显示给用户100。在第302步中确定该装置为控制装置可包括从控制中心600接收有关控制装置700的信息。

在步骤S301中定位控制装置可包括根据接收到的指示信号识别控制装置在包含控制装置的一个或多个图像上的位置。在基于指示信号识别标识时，因为指示信号是从控制装置的标识信号发送的，因此，指示信号在接收到的图像上的位置可以用来找到图像上至少一个控制装置的大致位置。因此，在步骤S302中定位控制装置可以包括根据接收到的图像上的指示器信号的位置在接收到的图像上找到控制装置的大致位置。

在一些实施例中，在步骤S301中定位控制装置还可能包括匹配控制装置的模板图像和实际环境所接收的图像。由于该控制装置已被识别，因此该控制装置的模板图像可以使用。因此，在第301步中定位控制装置可以包括根据指示信号在包含控制装置的图像上识别控制装置的位置。

步骤S401包括检测控制装置的AR指针位于目标设备的操作区域。例如，在步骤S401中检测控制装置的AR指针是否在目标设备的操作区域内，可以包括检测控制装置700的AR指针1171是否在计算机110的操作区域内。通过对HMD 200的分光镜240进行观察，将目标设备的操作区域定义为一个区域，当用户按下控制装置的按钮时，控制装置可以指向目标设备并向目标设备发送操作输入。目标设备的操作区域可以包括AR信息图像的一个区域。例如，图1中计算机110的操作区域在通过分光镜240进行观察时可以包括AR信息图像112的区域。

在一些实施例中，目标设备的操作区域可以包括目标设备的一个区域。例如，图1中的打印机120的操作区域可以包括通过分光镜240查看打印机120的区域。在一些实施例中，目标设备的操作区域可以包括目标设备的一个区域及其AR信息图像。例如，图1中计算机110的操作区域可以包括通过分光镜240观察的计算机110和AR信息图像112的区域。在一些实施例中，目标设备的操作区域可以包括在固定位置的区域。例如，图1中计算机110的操作区域可以包括通过分光镜240可以看到的右上角的区域。在一些实施例中，目标设备的操作区域可包括上述区域的任何组合区域。

检测控制装置700是否在计算机110的操作区域，可包括检测控制装置700的位置，确定控制装置700的检测位置是否在计算机110的操作区域内。增强现实中的目标设备单元、控制装置和AR信息图像的位置都可以通过它们的坐标记录下来。检测控制装置700的位置后，在步骤S401中检测控制装置的AR指针是否在目标设备的操作区域内，可包括比较控制装置700的坐标和计算机110的操作区域，并据此确定控制装置700是否在计算机110的操作区内。

在一些实施例中，操作区域可以包含一个或多个操作子区域，对应于目标设备单元的一个或多个详细信息。例如，在图2中AR信息图像1122被认为是计算机110的操作区域，而AR信息图像1122的状态、操作和设置子区域是AR指针1172可以指向的三个操作子区域。用户100可以通过控制装置700向对应于指向操作子区域的三个信息选项中的一个发送一个输入信号。检测AR指针1172并接收输入信号到一个操作分区与上述操作区域的操作类似。

步骤S501包括接收目标设备的操作输入。例如，在步骤S501中接收目标设备的操作输入可以包括接收来自控制装置700的输入信号，当AR指针1171位于计算机110的运算区域内时，即AR信息图像1121的区域，即为计算机110的输入信号，如图2所示。在一些实施例中，接收步骤S501中目标设备的操作输入，可以包括当用户100按下其中一个按钮720时在控制装置700上接收输入信号。输入信号的输入时序和/或AR指针1171在接收输入信号时的位置，可用于步骤S401中检测控制装置700或其AR指针1171是否在计算机110的操作区域的AR信息图像1121区域内，当AR指针1171与AR信息图像1121重叠时，接收S501中目标设备的操作输入可以包括确定输入信号为计算机110。

步骤S601包括向目标设备发送操作信号。例如，在步骤S601中向目标设备发送操作信号可以包括向控制中心发送操作信号，请求与操作输入对应的目标设备的操作。例如，在步骤S601中向目标设备发送操作信号，可以包括发送操作信号以请求计算机110运行任务。在接收到控制装置700的操作输入后，控制中心600可以将包括指令在内的操作信号发送给计算机110。

然而，目前公开的另一个方面是针对一种非瞬变的计算机可读介质存储指令，当执行该指令时，会导致至少一个处理器通过增强现实来执行直观操作。这些操作可以包括但不限于所有前述的方法和实施例。上述方法或实施例中的一部分步骤可以远程或单独执行。在某些实施例中，操作可以由一个或多个分布式***执行。

对于那些精通该技术的人来说，显然可以对公开的***和方法进行各种修改和变化，以便在增强现实中进行直观操作。其他实施例将通过考虑公开的***和方法在增强现实中进行直观操作的规范和实践，对技术熟练的人来说是显而易见的。它的意图是，规范和示例仅被认为是典范性的，真正的范围由以下的声明和它们的同类声明所指出。

Claims (35)

1.一种通过增强现实AR操作设备的***，其特征在于，所述***包括：

图像采集单元，用于采集用户的真实世界环境的图像，所述真实世界环境的图像中包括多个真实世界设备的图像，每个所述真实世界设备包括身份指示器，所述身份指示器包括指示灯，用于发送指示信号，所述指示信号包括所述指示灯发出的光信号；

图像处理单元，用于当检测到所述真实世界环境的图像中存在指示信号时，将所述指示信号与每个真实世界设备对应的预设信号匹配，查找到与所述指示信号匹配的预设信号对应的真实世界设备，作为目标设备；

图像处理单元还包括坐标计算模块，所述坐标计算模块用于基于指定信号在所述真实世界环境的图像中位置确定所述目标设备的初始位置，将所述目标设备的样本图像与所述目标设备在所述真实世界环境的图像中的图像匹配，若匹配率高于匹配阈值，则将所述初始位置作为所述目标设备的位置；

显示器，用于基于所述目标设备的位置通过显示器向用户显示所述目标设备的AR信息图像，所述显示器是头戴式显示器，所述头戴式显示器包括AR投影装置和分光镜，所述AR投影装置被配置为将所述AR信息图像投影到所述分光镜上，以使用户通过所述分光镜观察到所述AR信息图像在目标设备的位置的相邻位置；

控制装置，用于从用户处接收所述目标设备的操作输入并传输所述操作输入；以及

控制中心，用于接收所述操作输入并向所述目标设备发送操作信号。

2.根据权利要求1所述的***，其特征在于，所述指示信号的信息还包含至少一个：

光信号的闪光速度；或

光信号的波长。

3.根据权利要求1所述的***，其特征在于，所述图像处理单元包括标识检测模块，所述标识检测模块被配置为接收所采集的图像，以根据所述身份指示器发送的指示信号来识别所述身份指示器的身份。

4.根据权利要求3所述的***，其特征在于，所述图像处理单元与所述控制中心通信连接，以从所述控制中心接收所述目标设备的信息。

5.根据权利要求4所述的***，其特征在于，所述目标设备的信息包含至少一个：

所述目标设备的描述信息；

所述目标设备的状态信息；

所述目标设备的操作信息；或

所述目标设备的设置信息。

6.根据权利要求1所述的***，其特征在于，所述AR信息图像包含至少一个：

所述目标设备的描述信息；

所述目标设备的状态信息；

所述目标设备的操作信息；或

所述目标设备的设置信息。

7.根据权利要求1所述的***，其特征在于，所述显示器是头戴式显示器，所述头戴式显示器包括AR投影装置和分光镜，所述AR投影装置被配置为将所述AR信息图像投影到所述分光镜上，所述头戴式显示器与所述图像采集单元、所述图像处理单元以及所述控制中心通信连接。

8.根据权利要求1所述的***，其特征在于，所述控制装置包括：

用户输入设备，用于生成输入信号；和

控制装置控制器，用于当所述图像处理单元检测到所述控制装置的AR指针在所述目标设备的操作区域内时，接收所述输入信号并确定所述输入信号是针对所述目标设备。

9.根据权利要求8所述的***，其特征在于，所述目标设备的操作区域包含至少一个：

由所述用户通过分光镜看到的所述AR信息图像的区域；

由所述用户通过所述分光镜看到的所述目标设备的区域；或者

由所述用户通过所述分光镜看到的固定区域。

10.根据权利要求1所述的***，其特征在于，所述控制中心与所述目标设备、所述图像处理单元以及所述显示器通信连接，所述控制中心包括：

数据库，用于存储所述目标设备的信息；

人机交互控制器，用于控制所述用户与所显示的所述AR信息图像之间的交互；

增强现实图像生成器，用于生成所显示的所述AR信息图像。

11.根据权利要求1所述的***，其特征在于：

所述AR信息图像是第一AR信息图像；

所述操作输入是第一操作输入；

所述操作信号是第一操作信号；

所述显示器在接收到所述第一操作输入之后，向所述用户显示所述目标设备的第二AR信息图像；

所述控制装置从所述用户处接收所述目标设备的第二操作输入，并传输所述第二操作输入；

所述控制中心接收传输的所述第二操作输入，并向所述目标设备发送第二操作信号；以及

所述第二AR信息图像包含与所述第一操作输入对应的信息。

12.根据权利要求11所述的***，其特征在于：

所述第二AR信息图像包含与所述目标设备的详细信息相对应的操作子区域；并且

所述控制装置通过以下步骤接收所述目标设备的第二操作输入：

当所述图像处理单元检测到所述控制装置的AR指针在所述操作子区域内时，接收所述控制装置的输入信号。

13.根据权利要求11所述的***，其特征在于，所述第二AR信息图像包含至少一个：

所述目标设备的描述信息；

所述目标设备的状态信息；

所述目标设备的操作信息；或

所述目标设备的设置信息。

14.一种通过增强现实AR操作设备的方法，其特征在于，所述方法包括：

获得真实世界环境的图像，所述真实世界环境的图像中包括多个真实世界设备的图像，每个所述真实世界设备包括身份指示器，所述身份指示器包括指示灯，用于发送指示信号，所述指示信号包括所述指示灯发出的光信号；

当检测到所述真实世界环境的图像中存在指示信号时，将所述指示信号与每个真实世界设备对应的预设信号匹配，查找到与所述指示信号匹配的预设信号对应的真实世界设备，作为目标设备；

基于指定信号在所述真实世界环境的图像中位置确定所述目标设备的初始位置；

将所述目标设备的样本图像与所述目标设备在所述真实世界环境的图像中的图像匹配；

若匹配率高于匹配阈值，则将所述初始位置作为所述目标设备的位置；

基于所述目标设备的位置通过显示器向用户显示所述目标设备的AR信息图像，所述显示器是头戴式显示器，所述头戴式显示器包括AR投影装置和分光镜，所述AR投影装置被配置为将所述AR信息图像投影到所述分光镜上，以使用户通过所述分光镜观察到所述AR信息图像在目标设备的位置的相邻位置；

接收所述目标设备的操作输入；以及

向所述目标设备发送操作信号。

15.根据权利要求14所述的方法，其特征在于，所述指示信号的信息包含至少一个：

光信号的闪光速度；或

光信号的波长。

16.根据权利要求14所述的方法，其特征在于，还包括：

从控制中心接收关于所述目标设备的信息。

17.根据权利要求16所述的方法，其特征在于，所述目标设备的信息包含至少一个：

所述目标设备的描述信息；

所述目标设备的状态信息；

所述目标设备的操作信息；或

所述目标设备的设置信息。

18.根据权利要求14所述的方法，其特征在于，所述AR信息图像包含至少一个：

所述目标设备的描述信息；

所述目标设备的状态信息；

所述目标设备的操作信息；或

所述目标设备的设置信息。

19.根据权利要求14所述的方法，其特征在于，所述接收所述目标设备的操作输入，包括：

检测控制装置的AR指针是否在所述目标设备的操作区域内；和

从所述控制装置接收输入信号。

20.根据权利要求19所述的方法，其特征在于，所述目标设备的操作区域包含至少一个：

由所述用户通过分光镜看到的所述AR信息图像的区域；

由所述用户通过所述分光镜看到的所述目标设备的区域；或者

由所述用户通过所述分光镜看到的固定区域。

21.根据权利要求14所述的方法，其特征在于，所述向所述目标设备发送操作信号包括：

将所述操作信号发送到所述目标设备以请求所述目标设备的操作，所述操作对应于接收到的所述操作输入。

22.根据权利要求14所述的方法，其特征在于：

所述AR信息图像是第一AR信息图像；

所述操作输入是第一操作输入；

所述操作信号是第一操作信号；

所述方法还包括：

在接收到所述第一操作输入之后，向所述用户显示所述目标设备的第二AR信息图像；

接收所述目标设备的第二操作输入；和

向所述目标设备发送所述第二操作信号；和

所述第二AR信息图像包含与所述第一操作输入对应的信息。

23.根据权利要求22所述的方法，其特征在于：

所述第二AR信息图像包含与所述目标设备的详细信息相对应的操作子区域；和

所述接收所述目标设备的第二操作输入，包括：

检测控制装置的AR指针在所述操作子区域内；和

从所述控制装置接收输入信号。

24.根据权利要求22所述的方法，其特征在于，所述第二AR信息图像包含至少一个：

所述目标设备的描述信息；

所述目标设备的状态信息；

所述目标设备的操作信息；或

所述目标设备的设置信息。

25.一种非易失性计算机可读存储介质，当执行时，使至少一个处理器通过增强现实AR来执行操作设备的操作，所述操作包括：

获得真实世界环境的图像，所述真实世界环境的图像中包括多个真实世界设备的图像，每个所述真实世界设备包括身份指示器，所述身份指示器包括指示灯，用于发送指示信号，所述指示信号包括所述指示灯发出的光信号；

当检测到所述真实世界环境的图像中存在指示信号时，将所述指示信号与每个真实世界设备对应的预设信号匹配，查找到与所述指示信号匹配的预设信号对应的真实世界设备，作为目标设备；

基于指定信号在所述真实世界环境的图像中位置确定所述目标设备的初始位置；

将所述目标设备的样本图像与所述目标设备在所述真实世界环境的图像中的图像匹配；

若匹配率高于匹配阈值，则将所述初始位置作为所述目标设备的位置；

基于所述目标设备的位置通过显示器向用户显示所述目标设备的AR信息图像，所述显示器是头戴式显示器，所述头戴式显示器包括AR投影装置和分光镜，所述AR投影装置被配置为将所述AR信息图像投影到所述分光镜上，以使用户通过所述分光镜观察到所述AR信息图像在目标设备的位置的相邻位置；

接收所述目标设备的操作输入；以及

向所述目标设备发送操作信号。

26.根据权利要求25所述的非易失性计算机可读存储介质，其特征在于，指示信号的信息还包含至少一个：

光信号的闪光速度；或

光信号的波长。

27.根据权利要求25所述的非易失性计算机可读存储介质，其特征在于，还包括：

从控制中心接收关于所述目标设备的信息。

28.根据权利要求25所述的非易失性计算机可读存储介质，其特征在于，所述目标设备的信息包含至少一个：

所述目标设备的描述信息；

所述目标设备的状态信息；

所述目标设备的操作信息；或

所述目标设备的设置信息。

29.根据权利要求25所述的非易失性计算机可读存储介质，其特征在于，所述AR信息图像包含至少一个：

所述目标设备的描述信息；

所述目标设备的状态信息；

所述目标设备的操作信息；或

所述目标设备的设置信息。

30.根据权利要求25所述的非易失性计算机可读存储介质，其特征在于，所述接收所述目标设备的操作输入，包括：

检测控制装置的AR指针是否在所述目标设备的操作区域内；和

从所述控制装置接收输入信号。

31.根据权利要求30所述的非易失性计算机可读存储介质，其特征在于，所述目标设备的操作区域包含至少一个：

由所述用户通过分光镜看到的所述AR信息图像的区域；

由所述用户通过所述分光镜看到的所述目标设备的区域；或者

由所述用户通过所述分光镜看到的固定区域。

32.根据权利要求25所述的非易失性计算机可读存储介质，其特征在于，所述向所述目标设备发送操作信号包括：

将所述操作信号发送到所述目标设备以请求所述目标设备的操作，所述操作对应于接收到的所述操作输入。

33.根据权利要求25所述的非易失性计算机可读存储介质，其特征在于：

所述AR信息图像是第一AR信息图像；

所述操作输入是第一操作输入；

所述操作信号是第一操作信号；

所述操作还包括：

在接收到所述第一操作输入之后，向所述用户显示所述目标设备的第二AR信息图像；

接收所述目标设备的第二操作输入；和

向所述目标设备发送所述第二操作信号；和

所述第二AR信息图像包含与所述第一操作输入对应的信息。

34.根据权利要求33所述的非易失性计算机可读存储介质，其特征在于：

所述第二AR信息图像包含与所述目标设备的详细信息相对应的操作子区域；和

所述接收所述目标设备的第二操作输入，包括：

检测控制装置的AR指针在所述操作子区域内；和

从所述控制装置接收输入信号。

35.根据权利要求33所述的非易失性计算机可读存储介质，其特征在于，所述第二AR信息图像包含至少一个：

所述目标设备的描述信息；

所述目标设备的状态信息；

所述目标设备的操作信息；或

所述目标设备的设置信息。

Images