CN111462335B - 基于虚拟对象交互的设备控制方法及装置、介质和设备 - Google Patents

Abstract

本公开提供了一种基于虚拟对象交互的设备控制方法、基于虚拟对象交互的设备控制装置、计算机可读存储介质和电子设备，涉及增强现实技术领域。该基于虚拟对象交互的设备控制方法包括：获取至少两个虚拟对象之间的交互数据；基于交互数据确定控制指令；将控制指令发送给目标设备，以便目标设备执行与控制指令对应的操作。本公开可以实现虚拟环境与真实环境的互动。

Description

基于虚拟对象交互的设备控制方法及装置、介质和设备

技术领域

本公开涉及增强现实技术领域，具体而言，涉及一种基于虚拟对象交互的设备控制方法、基于虚拟对象交互的设备控制装置、计算机可读存储介质和电子设备。

背景技术

多人AR(Augmented Reality，增强现实)涉及的设备通常被分为主机和从机，主机和从机基于SLAM(Simultaneous Localization And Mapping，即时定位与地图构建)技术在真实场景中添加各自的虚拟物体，然后利用重定位将各自的虚拟物体显示在对方的虚拟场景中。由此，主机和从机可以各自操控虚拟物体进行互动。

目前，多人AR技术仍停留在使用户感知虚拟物体之间的交互，而不会对真实环境产生影响。

发明内容

本公开提供一种基于虚拟对象交互的设备控制方法、基于虚拟对象交互的设备控制装置、计算机可读存储介质和电子设备，进而至少在一定程度上解决虚拟场景的交互无法反映到真实环境的问题。

根据本公开的第一方面，提供了一种基于虚拟对象交互的设备控制方法，应用于第一设备，包括：获取至少两个虚拟对象之间的交互数据；基于交互数据确定控制指令；将控制指令发送给目标设备，以便目标设备执行与控制指令对应的操作。

根据本公开的第二方面，提供了一种基于虚拟对象交互的设备控制方法，应用于第一设备，包括：获取至少两个虚拟对象之间的交互数据；将交互数据发送给目标设备，以便目标设备执行与交互数据对应的操作。

根据本公开的第三方面，提供了一种基于虚拟对象交互的设备控制方法，应用于目标设备，包括：接收至少两个虚拟对象之间的交互数据；确定与交互数据对应的操作，并执行该操作。

根据本公开的第四方面，提供了一种基于虚拟对象交互的设备控制装置，应用于第一设备，包括：第一数据获取模块，用于获取至少两个虚拟对象之间的交互数据；控制指令确定模块，用于基于交互数据确定控制指令；控制指令发送模块，用于将控制指令发送给目标设备，以便目标设备执行与控制指令对应的操作。

根据本公开的第五方面，提供了一种基于虚拟对象交互的设备控制装置，应用于第一设备，包括：第二数据获取模块，用于获取至少两个虚拟对象之间的交互数据；数据发送模块，用于将交互数据发送给目标设备，以便目标设备执行与交互数据对应的操作。

根据本公开的第六方面，提供了一种基于虚拟对象交互的设备控制装置，应用于目标设备，包括：数据接收模块，用于获取至少两个虚拟对象之间的交互数据；操作执行模块，用于确定与交互数据对应的操作，并执行该操作。

根据本公开的第七方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于虚拟对象交互的设备控制方法。

根据本公开的第八方面，提供了一种电子设备，包括处理器；存储器，用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得所述处理器实现上述的基于虚拟对象交互的设备控制方法。

在本公开的一些实施例所提供的技术方案中，获取场景中虚拟对象之间的交互数据，基于该交互数据生成控制指令，并将该控制指令发送给目标设备，以便目标设备执行与该控制指令对应的操作，一方面，本公开可以利用虚拟对象之间的交互数据实现对真实环境中目标设备的控制，实现了虚拟环境与真实环境的互动；另一方面，鉴于本公开实现了虚拟环境与真实环境的互动，可以将虚拟环境与真实环境结合，构造出各种带有现实反馈的多人AR场景，大大提高多人AR的趣味性和应用范围。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的基于虚拟对象交互的设备控制方法或基于虚拟对象交互的设备控制装置的示例性***架构的示意图；

图2示出了适于用来实现本公开实施例的电子设备的结构示意图；

图3示意性示出了根据本公开一种应用于第一设备的基于虚拟对象交互的设备控制方法的流程图；

图4示意性示出了根据本公开另一种应用于第一设备的基于虚拟对象交互的设备控制方法的流程图；

图5示意性示出了根据本公开一种应用于目标设备的基于虚拟对象交互的设备控制方法的流程图；

图6示意性示出了一种以第一设备为主机且以第二设备为从机的方案中实现设备控制过程的交互图；

图7示出了根据本公开示例性实施方式的设备控制方法的一种应用场景示意图；

图8示出了根据本公开示例性实施方式的设备控制方法的另一种应用场景示意图；

图9示意性示出了根据本公开的第一示例性实施方式的应用于第一设备的基于虚拟对象交互的设备控制装置的方框图；

图10示意性示出了根据本公开的第二示例性实施方式的应用于第一设备的基于虚拟对象交互的设备控制装置的方框图；

图11示意性示出了根据本公开的第三示例性实施方式的应用于第一设备的基于虚拟对象交互的设备控制装置的方框图；

图12示意性示出了根据本公开的第四示例性实施方式的应用于第一设备的基于虚拟对象交互的设备控制装置的方框图；

图13示意性示出了根据本公开的示例性实施方式的应用于目标设备的基于虚拟对象交互的设备控制装置的方框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，下面所有的术语“第一”、“第二”、“第三”仅是为了区分的目的，不应作为本公开内容的限制。

图1示出了可以应用本公开实施例的基于虚拟对象交互的设备控制方法或基于虚拟对象交互的设备控制装置的示例性***架构的示意图。

如图1所示，本公开示例性实施方式方案的***架构可以包括第一设备1001、第二设备1002和目标设备1003。其中，第一设备1001和第二设备1002是执行多人AR交互的设备，通过SLAM技术在真实场景中添加各自的虚拟对象，并响应用户的操作实现虚拟对象的操控。目标设备1003可以是真实场景中能够基于控制指令执行相应操作的各种设备。

需要说明的是，一方面，在多人AR的场景中，除第一设备1001和第二设备1002参与之外，还可以包括其他设备。也就是说，参与多人AR交互过程的设备数量可以是两个以上，例如，架构中还可以包括第三设备、第四设备等。

另一方面，本公开对包括第一设备1001和第二设备1002在内的参与多人AR的设备的类型不做限制，可以例如是手机、平板、AR头盔、AR眼镜以及其他可穿戴智能设备。

再一方面，本公开对第一设备1001、第二设备1002、目标设备1003之间的通信方式不做限制，例如，可以通过蓝牙、WiFi热点等方式进行数据传输。另外，第一设备1001、第二设备1002等参与多人AR交互过程的设备之间，可以借助于云端实现建图与重定位，并通过云端将各设备配置的虚拟对象发送给其他设备。

本公开示例性实施方式以第一设备1001为例对基于虚拟对象交互的设备控制方案进行说明，应当注意的是，在多人AR场景存在两个以上参与设备的情况下，第一设备1001可以是其中的任意一个设备。此外，第一设备1001可以是执行建图操作的主机，也可以是执行重定位操作的从机。

在本公开的一些实施例中，第一设备1001可以获取场景中虚拟对象之间的交互数据，根据交互数据确定出对应的控制指令，并将控制指令发送给目标设备1003，以便目标设备1003执行与该控制指令对应的操作。

在本公开的另一些实施例中，第一设备1001可以将获取到的虚拟对象之间的交互数据发送给目标设备1003，由目标设备1003对该交互数据进行解析，确定出对应的操作，并执行该操作。

图2示出了适于用来实现本公开示例性实施方式的电子设备的示意图。本公开第一设备、第二设备等参与多人AR交互过程的设备可以被配置为如图2的形式。需要说明的是，图2示出的电子设备仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

本公开的电子设备至少包括处理器和存储器，存储器用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得处理器可以实现本公开示例性实施方式的基于虚拟对象交互的设备控制方法。

具体的，如图2所示，电子设备200可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(Subscriber IdentificationModule，SIM)卡接口295等。其中传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803、气压传感器2804、磁传感器2805、加速度传感器2806、距离传感器2807、接近光传感器2808、指纹传感器2809、温度传感器2810、触摸传感器2811、环境光传感器2812及骨传导传感器2813等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备200的具体限定。在本申请另一些实施例中，电子设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-etwork Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。另外，处理器210中还可以设置存储器，用于存储指令和数据。

USB接口230是符合USB标准规范的接口，具体可以是MiniUSB接口，MicroUSB接口，USBTypeC接口等。USB接口230可以用于连接充电器为电子设备200充电，也可以用于电子设备200与***设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

充电管理模块240用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电。

电子设备200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。

移动通信模块250可以提供应用在电子设备200上的包括2G/3G/4G/5G等无线通信的解决方案。

无线通信模块260可以提供应用在电子设备200上的包括无线局域网(WirelessLocal Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)、全球导航卫星***(Global Navigation Satellite System，GNSS)、调频(Frequency Modulation，FM)、近距离无线通信技术(Near Field Communication，NFC)、红外技术(Infrared，IR)等无线通信的解决方案。

电子设备200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏290和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

电子设备200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。在一些实施例中，电子设备200可以包括1个或N个摄像模组291，N为大于1的正整数，若电子设备200包括N个摄像头，N个摄像头中有一个是主摄像头。

内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。外部存储器接口222可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备200的存储能力。

电子设备200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。

音频模块270用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块270还可以用于对音频信号编码和解码。在一些实施例中，音频模块270可以设置于处理器210中，或将音频模块270的部分功能模块设置于处理器210中。

扬声器271，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备200可以通过扬声器271收听音乐，或收听免提通话。受话器272，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备200接听电话或语音信息时，可以通过将受话器272靠近人耳接听语音。麦克风273，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风273发声，将声音信号输入到麦克风273。电子设备200可以设置至少一个麦克风273。耳机接口274用于连接有线耳机。

针对电子设备200包括的传感器，深度传感器2801用于获取景物的深度信息。压力传感器2802用于感受压力信号，可以将压力信号转换成电信号。陀螺仪传感器2803可以用于确定电子设备200的运动姿态。气压传感器2804用于测量气压。磁传感器2805包括霍尔传感器。电子设备200可以利用磁传感器2805检测翻盖皮套的开合。加速度传感器2806可检测电子设备200在各个方向上(一般为三轴)加速度的大小。距离传感器2807用于测量距离。接近光传感器2808可以包括例如发光二极管(LED)和光检测器，例如光电二极管。指纹传感器2809用于采集指纹。温度传感器2810用于检测温度。触摸传感器2811可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏290提供与触摸操作相关的视觉输出。环境光传感器2812用于感知环境光亮度。骨传导传感器2813可以获取振动信号。

按键294包括开机键，音量键等。按键294可以是机械按键。也可以是触摸式按键。马达293可以产生振动提示。马达293可以用于来电振动提示，也可以用于触摸振动反馈。指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口295用于连接SIM卡。电子设备200通过SIM卡和网络交互，实现通话以及数据通信等功能。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

计算机可读存储介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。

附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

图3示意性示出了根据本公开一种应用于第一设备的基于虚拟对象交互的设备控制方法的流程图。参考图3，本公开一种应用于第一设备的基于虚拟对象交互的设备控制方法可以包括以下步骤：

S32.获取至少两个虚拟对象之间的交互数据。

在本公开的示例性实施方式中，虚拟对象可以由参与多人AR交互过程的设备配置并添加至场景。虚拟对象可以例如包括虚拟游戏角色、虚拟卡通、虚拟物体等，本公开对虚拟对象的类型不做限制。

另外，本公开示例性实施方式的场景所包含的至少两个虚拟对象中，至少存在一个虚拟对象可以由设备操控，这种操控的结果例如包括虚拟对象在各个方向的平移、旋转以及/或者虚拟对象所包含各部分的移动(如，虚拟游戏角色手臂的挥动)等。例如，场景中存在5个虚拟对象，其中至少有一个虚拟对象可以移动。

本公开所述的虚拟对象之间的交互通常可以包括虚拟对象之间的接触交互。也就是说，只要两个虚拟对象接触，就可以认为虚拟对象之间存在交互。例如，两个虚拟对象之间的握手操作即是一种交互。

另外，根据多人AR应用的不同，可以定义虚拟对象之间的交互。例如，如果两个虚拟对象之间的距离小于预定距离(如，1米)，则可以认为二者正在交互。又例如，两个虚拟对象并未接触，但均朝向对象进行预定动作，这样也可以被确定为二者正在交互。

需要注意的是，本公开所说的虚拟对象之间的交互，可以包括虚拟对象两两之间的交互，也可以包括多个对象之间的交互。也就是说，可以包括虚拟对象一对一的交互，还可以包括虚拟对象一对多或多对多的交互，本公开对此不做限制。

在第一设备获取至少两个虚拟对象之间的交互数据之前，需要在第一设备对应的虚拟场景中配置所述至少两个虚拟对象。这些虚拟对象的信息通常来自于包括第一设备在内的多人AR参与设备。一个设备通常配置一个虚拟对象，然而，本领域技术人员容易理解的是，一个设备还可以配置两个以上的虚拟对象。

下面以所述至少两个虚拟对象包括由第一设备配置的第一虚拟对象和由第二设备配置的第二虚拟对象为例进行说明。

第一设备在配置出第一虚拟对象的情况下，需要获取第二设备配置的第二虚拟对象。

根据本公开的一些实施例，第一设备为建图的主机设备，第二设备为重定位的从机设备。

具体的，第一设备可以扫描当前场景并执行建图操作，生成当前场景的地图信息。第一设备将地图信息发送给第二设备，以便第二设备利用地图信息执行重定位操作，当第二设备确定出的当前帧图像的特征点与地图信息中特征点匹配的情况下，重定位成功。由此，第二设备可以配置第二虚拟对象，并将第二虚拟对象的信息送给第一设备。

另外，第一设备可以在发送地图信息的同时，一并将配置的第一虚拟对象的信息发送给第二设备。或者，在第二设备重定位成功后，第一设备再将第一虚拟对象的信息发送给第二设备。

由此，第一设备的显示界面上除可以显示出第一虚拟对象外，还可以同步到第二虚拟对象的信息；第二设备的显示界面上除可以显示出第二虚拟对象外，还可以同步到第一虚拟对象的信息。

此外，在有云端参与SLAM的过程中，第一设备可以将扫描的图像信息以及配置的第一虚拟对象的信息发送给云端。云端执行建图的过程，生成地图信息。第二设备可以将当前帧图像的信息发送给云端，云端利用构建出的地图信息以及第二设备上传的图像信息，计算第一设备与第二设备之间的相对位姿关系，并基于这种相对位姿关系，实现第一设备与第二设备坐标系的对齐，进而可以将第二设备配置的第二虚拟对象的信息发送给第一设备，将第一设备配置的第一虚拟对象的信息发送给第二设备。由此，第一设备和第二设备的显示界面上均可以显示出第一虚拟对象和第二虚拟对象。

根据本公开的另一些实施例，第二设备为建图的主机设备，第一设备为重定位的从机设备。

类似的，第二设备执行建图操作，生成地图信息，并将地图信息发送给第一设备。第一设备获取当前场景的地图信息后，利用地图信息执行重定位操作。在执行重定位操作后，第一设备配置第一虚拟对象，并将第一虚拟对象同步给第二设备。另外，第一设备可以在获取地图信息的同时获取第二虚拟对象，并在重定位完成后，在界面上呈现出第二虚拟对象。或者，在重定位操作后，第一设备可以接收第二设备发送的第二虚拟对象的信息，并将第二虚拟对象呈现于界面上。

在有云端参与SLAM的过程中，类似的，第二设备可以将扫描的图像信息以及配置的第二虚拟对象的信息发送给云端，云端执行建图的过程，生成地图信息。第一设备可以将当前帧图像的信息发送给云端，云端利用地图信息和第一设备上传的图像信息，计算第一设备与第二设备之间的相对位姿关系，并基于这种相对位姿关系，实现第一设备与第二设备坐标系的对齐。进而可以实现第一设备和第二设备的显示界面上均呈现第一虚拟对象和第二虚拟对象。

此外，还可以由除第一设备和第二设备之外的执行建图操作的其他设备生成地图信息。例如，场景中第三设备为建图的主机设备，第一设备和第二设备均可以是作为从机的设备，均执行重定位操作。本领域技术人员容易理解的是，在确定出第一设备与第三设备之间的相对位姿关系以及第二设备与第三设备之间的相对位姿关系后，可以确定出第一设备与第二设备之间的相对位姿关系，进而第一设备可以同步第二设备的第二虚拟对象，第二设备可以同步第一设备的第一虚拟对象。

在第一设备接收到第二设备配置的第二虚拟对象的信息后，第一设备在响应用户的操作控制第一虚拟对象执行相应动作时，第一设备也可以同步到第二设备的用户针对第二虚拟对象的操作。

在这种情况下，可以判断第一虚拟对象和第二虚拟对象是否存在交互。

具体的，第一设备可以监测第一虚拟对象的顶点坐标以及第二虚拟对象的顶点坐标，并利用顶点坐标之间的关系，确定是否存在交互，并在存在交互的情况下，确定出基于顶点坐标的交互数据。其中，建立虚拟对象模型时，可以在虚拟对象的轮廓上配置顶点，这些顶点是设计人员或用户预定的顶点，例如，构建一把剑时，剑刃上的每一点均可以作为顶点。另外，在一些实例中，虚拟对象的轮廓点即是虚拟对象的顶点。

在第一虚拟对象的至少一个顶点坐标与第二虚拟对象的顶点坐标相同或相邻近时，可以认为第一虚拟对象与第二虚拟对象存在交互。

在存在交互的情况下，第一设备可以获取交互数据。其中，交互数据至少包括第一虚拟对象与第二虚拟对象哪些顶点有接触的信息、此外，还可以包括在世界坐标系下交互位置的坐标、第一虚拟对象和第二虚拟对象的ID、交互时间等，本公开对此不做限制。

上面以第一虚拟对象和第二虚拟对象为例对虚拟对象之间的交互进行了说明。然而，本领域技术人员容易理解的是，第一设备还可以获取到三个以上虚拟对象之间的交互数据，本示例性实施方式中对此不做特殊限定。

S34.基于交互数据确定控制指令。

在确定出至少两个虚拟对象之间的交互数据后，第一设备可以对交互数据进行解析，生成交互数据对应的控制指令。

在本公开的示例性实施方式中，可以预存交互数据与控制指令的映射关系，例如，交互数据为A时，对应控制指令1；交互数据为B时，对应控制指令2，等等。这种映射关系与多人AR的具体应用场景相关，例如，在构建多人AR游戏时，游戏开发人员根据可能的操控情况设定出交互数据与控制指令的映射关系。在包括第一设备和第二设备的多人AR游戏参与设备安装对应的游戏APP后，可以解析出该映射关系并保存在设备本地。

S36.将控制指令发送给目标设备，以便目标设备执行与控制指令对应的操作。

第一设备在确定出控制指令后，可以将该控制指令发送给场景中真实存在的目标设备。目标设备可以是与实现多人AR交互相关的设备，其与多人AR的具体场景相关。例如，多人AR的场景为游戏或娱乐的场景，目标设备可以是吹风机、喷水器等游戏惩罚类设备，以提高游戏或娱乐的竞争度和参与感。

在一些实施例中，目标设备可以是一个总控设备，其可以与各个具体执行操作的设备相连接，以便控制这些设备执行具体的操作。

另外，场景中还可以存在网关，以便第一设备通过该网关将控制指令发送给目标设备。

在目标设备获取到第一设备发送的控制指令时，可以执行与该控制指令相关的操作。

本公开还提供了一种提高目标设备操作正确性的方案。仍以场景中存在第一设备和第二设备为例进行说明。

在第一设备执行上述操作的同时，第二设备也可以获取第一虚拟对象与第二虚拟对象之间的交互数据，并生成控制指令发送给目标设备。如果将第一设备发送的控制指令记为第一控制指令，将第二设备发送的控制指令记为第二控制指令，则目标设备可以判断第一控制指令与第二控制指令是否一致，在二者一致的情况下，才会执行对应的操作。

由此，避免了多人AR中可能存在的作弊或数据处理错误的问题，提高设备控制的正确性。

图4示意性示出了根据本公开另一种应用于第一设备的基于虚拟对象交互的设备控制方法的流程图。参考图4，本公开另一种应用于第一设备的基于虚拟对象交互的设备控制方法可以包括以下步骤：

S42.获取至少两个虚拟对象之间的交互数据。

步骤S42与上述步骤S32的执行过程相同，在此不再赘述。

S44.将交互数据发送给目标设备，以便目标设备执行与交互数据对应的操作。

区别于上述步骤S34和步骤S36由第一设备生成并发送控制指令的过程。在步骤S44中，第一设备可以直接将交互数据发送给目标设备，由目标设备对该交互数据进行解析，确定出对应的操作，并执行该操作。

图5示意性示出了根据本公开一种应用于目标设备的基于虚拟对象交互的设备控制方法的流程图，其与图4所示应用于第一设备的方法对应。参考图5，本公开一种应用于目标设备的基于虚拟对象交互的设备控制方法可以包括以下步骤：

S52.接收至少两个虚拟对象之间的交互数据。

在一些实施例中，目标设备可以接收由第一设备发送的至少两个虚拟对象之前的交互数据。其中，第一设备获取该交互数据的过程上面已经说明，在此不再赘述。

在另一些实施例中，目标设备还可以接收场景中参与多人AR的其他设备发送的交互数据，以便进行比对，提高设备控制的正确性。

S54.确定与交互数据对应的操作，并执行该操作。

在一些实施例中，目标设备可以直接利用第一设备发送的交互数据确定出对应的操作，并执行该操作。

在另一些实施例中，目标设备可以将第一设备发送的交互数据与其他设备发送的交互数据进行比对，如果一致，则确定出对应的操作，并执行该操作。

例如，至少两个虚拟对象包括由第一设备配置并操作的第一虚拟对象以及由第二设备配置并操控的第二虚拟对象。在这种情况下，目标设备可以获取由第一设备发送的第一虚拟对象与第二虚拟对象之间的第一交互数据，还可以获取由第二设备发送的第一虚拟对象与第二虚拟对象之间的第二交互数据。接下来，目标设备将第一交互数据与第二交互数据比对，如果第一交互数据与第二交互数据一致，则确定并执行对应的操作。

上面描述了实现本公开各示例性实施方式的基于虚拟对象交互的设备控制方法的各步骤。为了更清楚的说明本方案的处理过程，下面参考图6对其中一个实施方式的整个过程进行说明。

在步骤S602中，第一设备执行建图操作，生成地图信息并配置第一虚拟对象；在步骤S604中，第一设备向第二设备发送地图信息和第一虚拟对象的信息。

在步骤S606中，第二设备利用地图信息执行重定位操作，其中，在特征点匹配时，重定位成功；在步骤S608中，第二设备可以配置第二虚拟对象；在步骤S610中，第二设备可以向第一设备发送第二虚拟对象的信息。另外，在重定位后，第二设备的界面上可以渲染出第一虚拟对象。

在步骤S612中，通过第一设备的用户以及第二设备的用户的操作，可以实现场景中第一虚拟对象与第二虚拟对象的交互；在步骤S614中，第一设备可以根据交互数据确定出控制指令，并将控制指令发送给目标设备。

在步骤S618中，目标设备可以执行与控制指令对应的操作。

另外，在步骤S616中，第二设备也可以根据交互数据生成控制指令，并将控制指令发送给目标设备，在目标设备判断出由第一设备发送的控制指令与由第二设备发送的控制指令一致的情况下，执行步骤S618。

虽然图6以第一设备和第二设备作为参与多人AR交互的设备为例进行说明，然而，本领域技术人员容易理解的是，在三个以上设备执行多人AR交互的场景中，也可以实现例如上述的过程，这应属于本公开内容的保护范围。

下面将参考图7对本公开的基于虚拟对象交互的设备控制方法的一个游戏应用场景进行示例性说明。

用户A持有第一设备1001，当用户A打开第一设备1001上安装的多人AR游戏APP时，由第一设备1001对当前场景进行扫描并执行建图操作，基于用户的操作或APP的默认设置配置出第一虚拟对象701，可以看出，第一虚拟对象701为一个虚拟游戏角色。

用户B持有第二设备1002，在用户B打开第二设备1002上安装的同样的游戏APP时，与第一设备1001建立连接(例如，通过蓝牙、WiFi等)。第二设备1002可以获取第一设备1001发送的地图信息和第一虚拟对象701的信息，并利用地图信息进行重定位操作，重定位成功后，第二设备1002可以响应用户的操作或APP的默认设置配置出第二虚拟对象702，并将第二虚拟对象702的信息发送给第一设备1001。

由此，用户A可以通过第一设备1001的屏幕看到真实桌面75上的第一虚拟对象701和第二虚拟对象702。用户B可以通过第二设备1002的屏幕看到真实桌面75上的第一虚拟对象701和第二虚拟对象702。

在这种情况下，用户A可以通过手势或操作第一设备1001上的控件来控制第一虚拟对象701执行对应动作。用户B也可以通过手势或操作第二设备1002上的控件来控制第二虚拟对象702执行对应动作。

当第一虚拟对象701攻击到第二虚拟对象702时，第一设备1001可以基于该交互数据确定出惩罚用户B的控制指令，并将该控制指令发送给惩罚控制设备70，其中，该惩罚控制设备70可以是上面所说的目标设备。惩罚控制设备70接收到惩罚用户B的控制指令后，可以向与用户B对应的第二执行设备72发送设备开启指令，该第二执行设备72可以是吹风机。随后，第二执行设备72可以响应由惩罚控制设备70发送的设备开启指令，向用户B吹送冷风。也是提醒用户B，第二虚拟对象702受到攻击。

类似的，当第二虚拟对象702攻击到第二虚拟对象701时，第一执行设备71可以响应由惩罚控制设备70发送的设备开启指令，向用户A吹送冷风。

在图7描述的过程中，一方面，各设备之间可以通过蓝牙、WiFi等方式进行数据通信，本公开对此不做限制；另一方面，第一设备1001可以是执行重定位操作的从机设备且第二设备1002可以是执行建图操作的主机设备，或者第一设备1001和第二设备1002均是重定位的设备；再一方面，第二设备1002可以基于交互数据生成控制指令并发送给惩罚控制设备70；又一方面，第一设备1001可以直接将交互数据发送给惩罚控制设备70，由惩罚控制设备70对交互数据进行解析，以得到相应的设备开启指令，发送给待惩罚方对应的执行设备。

下面将参考图8对本公开的基于虚拟对象交互的设备控制方法的另一个游戏应用场景进行示例性说明。

省略与图7相同的描述，用户A通过第一设备1001可以在真实桌面85上配置第一虚拟对象801，并操控第一虚拟对象801移动；用户B通过第二设备1002可以在真实桌面85上配置第二虚拟对象802，并操控第二虚拟对象802滚动。

游戏规则可以设定为，第一虚拟对象801在半分钟内抓到第二虚拟对象802，则用户A得1分，如果未抓到，则用户B得1分。

当第一虚拟对象801抓到第二虚拟对象802时，游戏规则中预设的交互条件达成，此时，第一设备1001可以生成控制指令，并将控制指令发送给目标设备80。在这个实例中，目标设备80被配置为具有比分显示功能的设备。当目标设备80接收到该控制指令时，用户A侧的计数加1，在例如三局后，目标设备80显示屏上的比分可以显示为3:0。

在图8描述的过程中，一方面，各设备之间可以通过蓝牙、WiFi等方式进行数据通信，本公开对此不做限制；另一方面，第一设备1001可以是执行建图操作的主机设备且第二设备1002可以是执行重定位操作的从机设备，或者，第一设备1001可以是执行重定位操作的从机设备且第二设备1002可以是执行建图操作的主机设备，又或者第一设备1001和第二设备1002均是重定位的设备；再一方面，第二设备1002可以生成控制指令发送给目标设备80；又一方面，第一设备1001可以直接将交互数据发送给目标设备80，由目标设备80对交互数据进行解析，以调整游戏比分。

综上所述，基于本公开示例性实施方式的基于虚拟对象交互的设备控制方法，一方面，本公开可以利用虚拟对象之间的交互数据实现对真实环境中目标设备的控制，实现了虚拟环境与真实环境的互动；另一方面，鉴于本公开实现了虚拟环境与真实环境的互动，可以将虚拟环境与真实环境结合，构造出各种带有现实反馈的多人AR场景，大大提高多人AR的趣味性和应用范围。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

进一步的，本示例实施方式中还提供了一种应用于第一设备的基于虚拟对象交互的设备控制装置。

图9示意性示出了本公开的示例性实施方式的应用于第一设备的基于虚拟对象交互的设备控制装置的方框图。参考图9，根据本公开的示例性实施方式的应用于第一设备的基于虚拟对象交互的设备控制装置9可以包括第一数据获取模块91、控制指令确定模块93和控制指令发送模块95。

具体的，第一数据获取模块91可以用于获取至少两个虚拟对象之间的交互数据；控制指令确定模块93可以用于基于交互数据确定控制指令；控制指令发送模块95可以用于将控制指令发送给目标设备，以便目标设备执行与控制指令对应的操作。

根据本公开的示例性实施例，所述至少两个虚拟对象包括由第一设备操控的第一虚拟对象以及由第二设备操控的第二虚拟对象。在这种情况下，第一数据获取模块91还可以用于获取第二虚拟对象的信息，以便确定出第一虚拟对象与第二虚拟对象之间的交互数据。

根据本公开的示例性实施例，参考图10，相比于基于虚拟对象交互的设备控制装置9，基于虚拟对象交互的设备控制装置10还可以包括建图模块101。

具体的，建图模块101可以被配置为执行：执行建图操作，生成当前场景的地图信息；将地图信息发送给第二设备，以便第二设备执行重定位操作；其中，在第二设备执行重定位操作后，第二设备配置第二虚拟对象，并将第二虚拟对象的信息发送给第一设备。

根据本公开的示例性实施例，建图模块101还可以被配置为执行：配置第一虚拟对象，并将第一虚拟对象的信息发送给第二设备。

根据本公开的示例性实施例，参考图11，相比于基于虚拟对象交互的设备控制装置9，基于虚拟对象交互的设备控制装置11还可以重定位模块111。

具体的，重定位模块111可以被配置为执行：获取当前场景的地图信息；其中，当前场景的地图信息由第二设备生成，或者由除第一设备和第二设备之外的执行建图操作的其他设备生成；利用地图信息执行重定位操作。在执行重定位操作后，配置第一虚拟对象。

根据本公开的示例性实施例，第一数据获取模块91可以被配置为执行：获取第一虚拟对象的顶点坐标以及第二虚拟对象的顶点坐标；根据第一虚拟对象的顶点坐标与第二虚拟对象的顶点坐标之间的关系，确定出第一虚拟对象与第二虚拟对象之间的交互数据。

进一步的，本示例实施方式中还提供了另一种应用于第一设备的基于虚拟对象交互的设备控制装置。

图12示意性示出了本公开的另一示例性实施方式的应用于第一设备的基于虚拟对象交互的设备控制装置的方框图。参考图12，根据本公开的另一示例性实施方式的应用于第一设备的基于虚拟对象交互的设备控制装置12可以包括第二数据获取模块121和数据发送模块123。

具体的，第二数据获取模块121可以用于获取至少两个虚拟对象之间的交互数据；数据发送模块123可以用于将交互数据发送给目标设备，以便目标设备执行与交互数据对应的操作。

进一步的，本示例实施方式中还提供了一种应用于目标设备的基于虚拟对象交互的设备控制装置。

图13示意性示出了本公开的示例性实施方式的应用于目标设备的基于虚拟对象交互的设备控制装置的方框图。参考图13，根据本公开的示例性实施方式的应用于目标设备的基于虚拟对象交互的设备控制装置13可以包括数据接收模块131和操作执行模块133。

具体的，数据接收模块131可以用于获取至少两个虚拟对象之间的交互数据；操作执行模块133可以用于确定与交互数据对应的操作，并执行该操作。

根据本公开的示例性实施例，所述至少两个虚拟对象包括由第一设备操控的第一虚拟对象以及由第二设备操控的第二虚拟对象。在这种情况下，数据接收模块131可以被配置为执行：获取由第一设备发送的第一虚拟对象与第二虚拟对象之间的第一交互数据；获取由第二设备发送的第一虚拟对象与第二虚拟对象之间的第二交互数据；其中，如果第一交互数据与第二交互数据一致，则确定并执行对应的操作。

由于本公开实施方式的基于虚拟对象交互的设备控制装置的各个功能模块与上述方法实施方式中相同，因此在此不再赘述。

基于本公开示例性实施方式的基于虚拟对象交互的设备控制装置，一方面，本公开可以利用虚拟对象之间的交互数据实现对真实环境中目标设备的控制，实现了虚拟环境与真实环境的互动；另一方面，鉴于本公开实现了虚拟环境与真实环境的互动，可以将虚拟环境与真实环境结合，构造出各种带有现实反馈的多人AR场景，大大提高多人AR的趣味性和应用范围。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (13)

1.一种基于虚拟对象交互的设备控制方法，其特征在于，应用于第一设备，多人AR场景包括两个以上参与设备，所述两个以上参与设备包括所述第一设备和第二设备，所述第一设备操控第一虚拟对象，所述第二设备操控第二虚拟对象；其中，所述设备控制方法包括：

获取所述第一虚拟对象与所述第二虚拟对象之间的交互数据；

基于所述交互数据确定第一控制指令；

将所述第一控制指令发送给目标设备，所述目标设备是游戏惩罚类设备；

其中，所述目标设备还获取第二控制指令，所述第二控制指令由所述第二设备基于所述第二设备获取到的所述第一虚拟对象与所述第二虚拟对象之间的交互数据而确定出；所述目标设备在判断出所述第一控制指令与所述第二控制指令一致的情况下，执行与所述第一控制指令对应的操作。

2.根据权利要求1所述的设备控制方法，其特征在于，所述设备控制方法还包括：

获取所述第二虚拟对象的信息，以便确定出所述第一虚拟对象与所述第二虚拟对象之间的交互数据。

3.根据权利要求2所述的设备控制方法，其特征在于，所述设备控制方法还包括：

执行建图操作，生成当前场景的地图信息；

将所述地图信息发送给所述第二设备，以便所述第二设备执行重定位操作；

其中，在所述第二设备执行重定位操作后，所述第二设备配置所述第二虚拟对象，并将所述第二虚拟对象的信息发送给所述第一设备。

4.根据权利要求3所述的设备控制方法，其特征在于，所述设备控制方法还包括：

配置所述第一虚拟对象，并将所述第一虚拟对象的信息发送给所述第二设备。

5.根据权利要求2所述的设备控制方法，其特征在于，所述设备控制方法还包括：

获取当前场景的地图信息；其中，所述当前场景的地图信息由所述第二设备生成，或者由除所述第一设备和所述第二设备之外的执行建图操作的其他设备生成；

利用所述地图信息执行重定位操作；

其中，在执行重定位操作后，配置所述第一虚拟对象。

6.根据权利要求2至5中任一项所述的设备控制方法，其特征在于，获取所述第一虚拟对象与所述第二虚拟对象之间的交互数据包括：

获取所述第一虚拟对象的顶点坐标以及所述第二虚拟对象的顶点坐标；

根据所述第一虚拟对象的顶点坐标与所述第二虚拟对象的顶点坐标之间的关系，获取所述第一虚拟对象与所述第二虚拟对象之间的交互数据。

7.一种基于虚拟对象交互的设备控制方法，其特征在于，应用于第一设备，多人AR场景包括两个以上参与设备，所述两个以上参与设备包括所述第一设备和第二设备，所述第一设备操控第一虚拟对象，所述第二设备操控第二虚拟对象；其中，所述设备控制方法包括：

获取所述第一虚拟对象与所述第二虚拟对象之间的第一交互数据；

将所述第一交互数据发送给目标设备，所述目标设备是游戏惩罚类设备；

其中，所述目标设备还获取第二交互数据，所述第二交互数据由所述第二设备获取到并发送给所述目标设备；所述目标设备将所述第一交互数据与所述第二交互数据进行比较，如果所述第一交互数据与所述第二交互数据一致，则执行与所述第一交互数据对应的操作。

8.一种基于虚拟对象交互的设备控制方法，其特征在于，应用于目标设备，所述目标设备是游戏惩罚类设备，多人AR场景包括两个以上参与设备，所述两个以上参与设备包括第一设备和第二设备，所述第一设备操控第一虚拟对象，所述第二设备操控第二虚拟对象；其中，所述设备控制方法包括：

接收由所述第一设备发送的所述第一虚拟对象与所述第二虚拟对象之间的第一交互数据；

接收由所述第二设备发送的所述第一虚拟对象与所述第二虚拟对象之间的第二交互数据；

将所述第一交互数据与所述第二交互数据进行比较；

如果所述第一交互数据与所述第二交互数据一致，则执行与所述第一交互数据对应的操作。

9.一种基于虚拟对象交互的设备控制装置，其特征在于，应用于第一设备，多人AR场景包括两个以上参与设备，所述两个以上参与设备包括所述第一设备和第二设备，所述第一设备操控第一虚拟对象，所述第二设备操控第二虚拟对象；其中，所述设备控制装置包括：

第一数据获取模块，用于获取所述第一虚拟对象与所述第二虚拟对象之间的交互数据；

控制指令确定模块，用于基于所述交互数据确定第一控制指令；

控制指令发送模块，用于将所述第一控制指令发送给目标设备，所述目标设备是游戏惩罚类设备；

其中，所述目标设备还获取第二控制指令，所述第二控制指令由所述第二设备基于所述第二设备获取到的所述第一虚拟对象与所述第二虚拟对象之间的交互数据而确定出；所述目标设备在判断出所述第一控制指令与所述第二控制指令一致的情况下，执行与所述第一控制指令对应的操作。

10.一种基于虚拟对象交互的设备控制装置，其特征在于，应用于第一设备，多人AR场景包括两个以上参与设备，所述两个以上参与设备包括所述第一设备和第二设备，所述第一设备操控第一虚拟对象，所述第二设备操控第二虚拟对象；其中，所述设备控制装置包括：

第二数据获取模块，用于获取所述第一虚拟对象与所述第二虚拟对象之间的第一交互数据；

数据发送模块，用于将所述第一交互数据发送给目标设备，所述目标设备是游戏惩罚类设备；

其中，所述目标设备还获取第二交互数据，所述第二交互数据由所述第二设备获取到并发送给所述目标设备；所述目标设备将所述第一交互数据与所述第二交互数据进行比较，如果所述第一交互数据与所述第二交互数据一致，则执行与所述第一交互数据对应的操作。

11.一种基于虚拟对象交互的设备控制装置，其特征在于，应用于目标设备，所述目标设备是游戏惩罚类设备，多人AR场景包括两个以上参与设备，所述两个以上参与设备包括第一设备和第二设备，所述第一设备操控第一虚拟对象，所述第二设备操控第二虚拟对象；其中，其特征在于，所述设备控制装置包括：

数据接收模块，用于接收由所述第一设备发送的所述第一虚拟对象与所述第二虚拟对象之间的第一交互数据；以及接收由所述第二设备发送的所述第一虚拟对象与所述第二虚拟对象之间的第二交互数据；

操作执行模块，用于将所述第一交互数据与所述第二交互数据进行比较；如果所述第一交互数据与所述第二交互数据一致，则执行与所述第一交互数据对应的操作。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至8中任一项所述的基于虚拟对象交互的设备控制方法。

13.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述处理器执行时，使得所述处理器实现如权利要求1至8中任一项所述的基于虚拟对象交互的设备控制方法。