CN117806305A

CN117806305A - 一种设备控制方法以及相关装置

Info

Publication number: CN117806305A
Application number: CN202211202127.2A
Authority: CN
Inventors: 薛景涛; 刘昌盛; 孟则辉; 王文侠; 谢宇; 严石
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2022-09-29
Filing date: 2022-09-29
Publication date: 2024-04-02

Abstract

一种设备控制方法，应用于智能家居场景，所述方法包括：获取第一信息，所述第一信息包括用户相对于第二设备的第一位置；根据所述第一信息，获取第二位置，所述第二位置为所述第二设备所在的位置；所述第一位置以及所述第二位置用于确定所述用户所在的位置；向所述第三设备发送所述用户所在的位置，以便第三设备可以移动至用户所在的位置。本申请中，用户只需要在任一具有麦阵的设备位置附近即可召唤第三设备到达身边，不依赖机器人本体麦阵的声源定位，感知范围大，可以实现跨房间级别的召唤。

Description

一种设备控制方法以及相关装置

技术领域

本申请涉及机器人领域，尤其涉及一种一种设备控制方法以及相关装置。

背景技术

随着人工智能技术的发展，越来越多的智能硬件走进人们生活，特别是智能音箱成为连接人和智能家居/在线内容的中枢。借助智能音箱，用户可以方便的控制环境灯光、厨房电器、甚至启动扫地机器人。

家庭服务机器人是智能交互和智能硬件的代表，以扫地机为代表，可以在不同房间自主移动，灵巧躲避障碍物，建立环境布局地图，执行基于位置的导航任务。当前智能家居解决方案大都把扫地机器人当成普通的智能硬件，通过预定义的几个语音指令控制扫地机开始工作、返回充电、结束清扫、定时清扫等。

家庭服务机器人给人提供服务首要的是响应用户的召唤，即用户呼喊机器人的名字，机器人可以从任何地方立刻自主移动到用户眼前。以智能音箱应用为代表的MIC声源定位技术已经成熟，有些扫地机配置麦阵后，可以实现单房间开阔环境下的召唤功能。具体的，用户呼唤机器人后，机器人本体麦阵对用户声源方向进行定位，机器人导航到达定位的位置，同时视觉检测在该位的位置有没有人物，如果有人物则导航到目标人物面前，完成召唤。

然而现有技术中，依赖机器人本体麦阵的声源定位，感知范围小，无法实现跨房间级别的召唤。

发明内容

本申请公开了一种设备控制方法，可以实现设备的跨房间召唤。

第一方面，本申请提供了一种设备控制方法，应用于第一设备，所述方法包括：获取第一信息，所述第一信息包括用户相对于第二设备的第一位置；其中，所述第一位置为根据所述第二设备采集的所述用户的第一语音确定的，所述第一语音指示第三设备移动至所述用户所在的区域；根据所述第一信息，获取第二位置，所述第二位置为所述第二设备所在的位置；所述第一位置以及所述第二位置用于确定所述用户所在的位置；向所述第三设备发送所述用户所在的位置。

在一些场景中，第三设备由于和用户之间的距离较远或者是存在障碍物的阻隔，使得用户的语音无法被第三设备采集到，或者是采集的语音由于信号强度过低无法进行声源定位。例如，第三设备和用户处于室内环境中的不同房间，或者同一房间内距离较远的不同位置，或者是同一房间内被障碍物所遮挡的不同位置。

在这种情况下，可以通过和用户之间距离较近或者不存在遮挡的其他智能设备(例如本申请实施例中的第二设备)来采集用户的语音指令，第二设备上可以设置有音频传感器(例如麦克风等用于采集音频数据的传感器)，基于该语音指令，可以准确的定位出用户相对于第二设备的位置，第二设备可以将上述确定的和用户之间的相对位置发送至第一设备，或者是直接将用于的语音发送至第一设备，由第一设备计算用户和第二设备之间的相对位置。进而，第一设备就可以基于预先知晓的第二设备的绝对位置、以及用户相对于第二设备的位置，来确定出用户的绝对位置，并将该用户的绝对位置发送至第三设备，以便第三设备可以基于该用户的绝对位置，移动到用户所在的区域。通过上述方式，用户只需要在任一具有麦阵的设备位置附近即可召唤第三设备到达身边，不依赖机器人本体麦阵的声源定位，感知范围大，可以实现跨房间级别的召唤。

在一种可能的实现中，所述获取第一信息，包括：接收来自所述第二设备发送的所述第一信息；或者，接收来自所述第二设备发送的所述第一语音，根据所述第一语音，确定所述第一信息。

在一种可能的实现中，所述第二位置为根据在目标位置采集的第二语音确定的，所述第二语音为所述第二设备发出的语音；或者，所述第二位置为根据在目标位置对所述第二设备采集的图像确定的。

在一种可能的实现中，所述第二语音或者所述图像用于确定第一身份信息，所述第一身份信息为所述第二设备的身份信息；所述方法还包括：建立所述第一身份信息和所述第二位置之间的映射关系；所述第一信息还包括所述第二设备的身份信息，所述获取第二位置，包括：根据所述第二设备的身份信息和所述映射关系，获取第二位置。

在一种可能的实现中，上述第一身份信息和所述第二位置之间的映射关系可以表示为实例级麦阵分布地图。通过上述方式，第三设备在探索环境时通过语音与第二设备交互，发现设备，并根据预录的应答编码识别设备属性、类别等身份信息。根据视觉、听觉多模态对第二设备进行精确定位，构建实例级麦阵设备分布地图。

在一种可能的实现中，所述第一位置，包括：根据所述第一语音确定的多个第一候选位置；所述用户所在的位置包括：根据所述第一位置以及所述第二位置确定的所述用户所在的多个第二候选位置。

在室内环境下声音传播反射路径复杂，声源定位方法通常可以给出声源的几个潜在位置(和强度)。本申请实施例中，第一设备可以将多个候选的用户位置均发送到第三设备，第三设备可以依次移动至多个候选的用户位置，来保证可以成功的移动至用户附近。

在一种可能的实现中，所述方法还包括：向所述第三设备发送目标次序，所述目标次序用于指示所述第三设备按照目标次序依次移动到所在的多个第二候选位置中的部分或全部。

在一种可能的实现中，所述目标次序与如下的至少一种有关：所述第三设备当前所处的位置和所述多个第二候选位置中每个第二候选位置之间的通行路径长度；所述多个第一候选位置中每个第一候选位置的置信度，所述置信度携带在所述第一信息中。

本申请实施例中，可以计算声源方位启发探索代价，机器人对***区域进行排序，优先导航到用户潜在区域置信高、距离近的区域，可以在保证正确移动至用户所在区域的前提下，降低移动的路径代价和时间代价。

在一种可能的实现中，所述第一信息还包括第二身份信息，所述第二身份信息为所述用户的身份信息，所述方法还包括：

接收到所述第三设备在移动到所述多个第二候选位置中的一个第二候选位置时，采集的所处环境的图像；基于所述第二身份信息以及根据所述图像中包括的用户的身份信息之间的匹配成功，向所述第三设备发送指示信息，所述指示信息指示所述第三设备已移动到所述多个第二候选位置中的正确候选位置；或者，

接收到所述第三设备在移动到所述多个第二候选位置中的一个第二候选位置时，采集的用户的第三语音；基于所述第二身份信息以及根据所述第三语音确定的用户身份信息之间的匹配成功，向所述第三设备发送指示信息，所述指示信息指示所述第三设备已移动到所述多个第二候选位置中的正确候选位置。

第二方面，本申请提供了一种设备控制方法，应用于第三设备，所述第三设备包括移动组件，所述方法包括：获取第一信息，所述第一信息包括用户相对于第二设备的第一位置；其中，所述第一位置为根据所述第二设备采集的所述用户的第一语音确定的，所述第一语音指示所述第三设备移动至所述用户所在的区域；根据所述第一信息，获取第二位置，所述第二位置为所述第二设备所在的位置；所述第一位置以及所述第二位置用于确定所述用户所在的位置；通过控制所述移动组件，移动到所述用户所在的位置。

在一些场景中，第三设备由于和用户之间的距离较远或者是存在障碍物的阻隔，使得用户的语音无法被第三设备采集到，或者是采集的语音由于信号强度过低无法进行声源定位。例如，第三设备和用户处于室内环境中的不同房间，或者同一房间内距离较远的不同位置，或者是同一房间内被障碍物所遮挡的不同位置。在这种情况下，可以通过和用户之间距离较近或者不存在遮挡的其他智能设备(例如本申请实施例中的第二设备)来采集用户的语音指令，第二设备上可以设置有音频传感器(例如麦克风等用于采集音频数据的传感器)，基于该语音指令，可以准确的定位出用户相对于第二设备的位置，第二设备可以将上述确定的和用户之间的相对位置发送至第三设备，第三设备就可以基于预先知晓的第二设备的绝对位置、以及用户相对于第二设备的位置，来确定出用户的绝对位置，并基于该用户的绝对位置，移动到用户所在的区域。通过上述方式，用户只需要在任一具有麦阵的设备位置附近即可召唤第三设备到达身边，不依赖机器人本体麦阵的声源定位，感知范围大，可以实现跨房间级别的召唤。

且现有技术中，机器人通常要先到达用户预录的地点坐标，然后随机在附近搜索用户，效率和找人成功率低。本申请提出了一种将第二设备对用户的潜在区域感知作为先验，使得第三设备可以更快速、更高效的移动至用户附近。

在一种可能的实现中，所述第二位置为通过如下方式的一种生成的：

在目标位置采集第二语音，所述第二语音为所述第二设备发出的语音；根据所述第二语音和所述目标位置，确定所述第二位置；或者，在目标位置采集所述第二设备的图像；根据所述图像和所述目标位置，确定所述第二位置。

在一种可能的实现中，所述方法还包括：发出唤醒语音；所述唤醒语音用于唤醒所述第二设备；所述第二语音为所述第二设备响应于所述唤醒语音发出的应答语音。

在一种可能的实现中所述方法还包括：向所述第二设备发送配置信息，所述配置信息用于指示所述第二设备将所述第二语音作为所述唤醒语音的响应。

应理解，上述配置信息也可以是第一设备向第二设备发送的。

在一种可能的实现中，所述第一位置，包括：根据所述第一语音确定的多个第一候选位置；所述第一位置以及所述第二位置用于确定所述用户所在的多个第二候选位置；所述通过控制所述移动组件，移动到所述用户所在的位置，包括：按照目标次序，通过控制所述移动组件，依次移动到所在的多个第二候选位置，直到移动到所述多个候选位置中的正确候选位置。

在一种可能的实现中，所述目标次序与如下的至少一种有关：

所述第三设备当前所处的位置和所述多个第二候选位置中每个第二候选位置之间的通行路径长度；

所述多个第一候选位置中每个第一候选位置的置信度，所述置信度携带在所述第一信息中。

在移动到所述多个第二候选位置中的一个第二候选位置时，采集所处环境的图像；基于所述第二身份信息以及根据所述图像中包括的用户的身份信息之间的匹配成功，确定移动到所述多个第二候选位置中的正确候选位置；或者，

在移动到所述多个第二候选位置中的一个第二候选位置时，采集用户的第三语音；基于所述第二身份信息以及根据所述第三语音确定的用户身份信息之间的匹配成功，确定移动到所述多个第二候选位置中的正确候选位置。

第三方面，本申请提供了一种设备控制方法，应用于第二设备，所述方法包括：

获取到用户的第一语音，所述第一语音指示第三设备移动至所述用户所在的区域；

根据所述第一语音，向所述第三设备或者第一设备发送第一信息，所述第一信息包括所述用户相对于所述第二设备的第一位置；所述第一位置为根据所述第一语音确定的。

在一种可能的实现中，所述方法还包括：

采集到所述第三设备发出的唤醒语音；

响应于所述唤醒语音，发出应答语音。

在一种可能的实现中，所述第一位置，包括：根据所述第一语音确定的多个第一候选位置。

在一种可能的实现中，所述第一信息还包括：所述多个第一候选位置中每个第一候选位置的置信度。

第四方面，本申请提供了一种设备控制装置，应用于第一设备，所述装置包括：

处理模块，用于获取第一信息，所述第一信息包括用户相对于第二设备的第一位置；其中，所述第一位置为根据所述第二设备采集的所述用户的第一语音确定的，所述第一语音指示第三设备移动至所述用户所在的区域；

根据所述第一信息，获取第二位置，所述第二位置为所述第二设备所在的位置；所述第一位置以及所述第二位置用于确定所述用户所在的位置；

发送模块，用于向所述第三设备发送所述用户所在的位置。

在一种可能的实现中，所述处理模块，具体用于：

接收来自所述第二设备发送的所述第一信息；或者，

接收来自所述第二设备发送的所述第一语音，根据所述第一语音，确定所述第一信息。

在一种可能的实现中，

所述第二位置为根据在目标位置采集的第二语音确定的，所述第二语音为所述第二设备发出的语音；或者，

所述第二位置为根据在目标位置对所述第二设备采集的图像确定的。

在一种可能的实现中，所述第二语音或者所述图像用于确定第一身份信息，所述第一身份信息为所述第二设备的身份信息；所述处理模块，还用于：

建立所述第一身份信息和所述第二位置之间的映射关系；

所述处理模块，具体用于：

根据所述第二设备的身份信息和所述映射关系，获取第二位置。

在一种可能的实现中，所述发送模块，还用于：

向所述第三设备发送目标次序，所述目标次序用于指示所述第三设备按照目标次序依次移动到所在的多个第二候选位置中的部分或全部。

在一种可能的实现中，所述第一信息还包括第二身份信息，所述第二身份信息为所述用户的身份信息，所述处理模块，还用于：

接收到所述第三设备在移动到所述多个第二候选位置中的一个第二候选位置时，采集的所处环境的图像；基于所述第二身份信息以及根据所述图像中包括的用户的身份信息之间的匹配成功，所述发送模块，还用于：向所述第三设备发送指示信息，所述指示信息指示所述第三设备已移动到所述多个第二候选位置中的正确候选位置；或者，

所述处理模块，还用于：接收到所述第三设备在移动到所述多个第二候选位置中的一个第二候选位置时，采集的用户的第三语音；基于所述第二身份信息以及根据所述第三语音确定的用户身份信息之间的匹配成功，所述发送模块，还用于：向所述第三设备发送指示信息，所述指示信息指示所述第三设备已移动到所述多个第二候选位置中的正确候选位置。

第五方面，本申请提供了一种设备控制装置，应用于第三设备，所述第三设备包括移动组件，所述装置包括：

处理模块，用于获取第一信息，所述第一信息包括用户相对于第二设备的第一位置；其中，所述第一位置为根据所述第二设备采集的所述用户的第一语音确定的，所述第一语音指示所述第三设备移动至所述用户所在的区域；

移动控制模块，用于通过控制所述移动组件，移动到所述用户所在的位置。

在目标位置采集第二语音，所述第二语音为所述第二设备发出的语音；根据所述第二语音和所述目标位置，确定所述第二位置；或者，

在目标位置采集所述第二设备的图像；根据所述图像和所述目标位置，确定所述第二位置。

在一种可能的实现中，所述装置还包括：

传感器模块，用于发出唤醒语音；所述唤醒语音用于唤醒所述第二设备；

所述第二语音为所述第二设备响应于所述唤醒语音发出的应答语音。

建立所述第一身份信息和所述第二位置之间的映射关系；

所述第一信息还包括所述第二设备的身份信息，所述处理模块，具体用于：

在一种可能的实现中，所述第一位置，包括：根据所述第一语音确定的多个第一候选位置；所述第一位置以及所述第二位置用于确定所述用户所在的多个第二候选位置；

所述移动控制模块，具体用于：

按照目标次序，通过控制所述移动组件，依次移动到所在的多个第二候选位置，直到移动到所述多个候选位置中的正确候选位置。

在一种可能的实现中，所述第一信息还包括第二身份信息，所述第二身份信息为所述用户的身份信息，所述传感器模块，还用于：

在移动到所述多个第二候选位置中的一个第二候选位置时，采集所处环境的图像；

所述处理模块，还用于基于所述第二身份信息以及根据所述图像中包括的用户的身份信息之间的匹配成功，确定移动到所述多个第二候选位置中的正确候选位置；或者，

所述传感器模块，还用于：在移动到所述多个第二候选位置中的一个第二候选位置时，采集用户的第三语音；

所述处理模块，还用于基于所述第二身份信息以及根据所述第三语音确定的用户身份信息之间的匹配成功，确定移动到所述多个第二候选位置中的正确候选位置。

第六方面，本申请提供了一种设备控制装置，应用于第二设备，所述装置包括：

处理模块，用于获取到用户的第一语音，所述第一语音指示第三设备移动至所述用户所在的区域；

发送模块，用于根据所述第一语音，向所述第三设备或者第一设备发送第一信息，所述第一信息包括所述用户相对于所述第二设备的第一位置；所述第一位置为根据所述第一语音确定的。

在一种可能的实现中，所述装置还包括：

传感器模块，用于采集到所述第三设备发出的唤醒语音；

响应于所述唤醒语音，发出应答语音。

本申请实施例还提供了一种设备控制方法，应用于第一设备，所述方法包括：获取第一信息，所述第一信息包括用户相对于第二设备的第一位置；其中，所述第一位置为根据所述第二设备采集的所述用户的第一语音确定的，所述第一语音指示控制目标类型的设备的工作；所述目标类型的设备包括多个设备；根据所述第一信息，获取第二位置，所述第二位置为所述第二设备所在的位置；所述第一位置以及所述第二位置用于确定所述用户所在的位置；基于所述用户所在的位置与所述多个设备中的第三设备所在的位置属于同一区域内，控制所述第三设备的工作。

在一种可能的实现中，所述属于同一区域包括：属于同一个房间内。

其中，目标类型的设备可以为灯、音箱、洗碗机、空调等家用电器。

在一些场景中，家居场景可以包括多个同一类型的设备，例如多个灯、多个空调等。同一类型的设备中不同的设备位于不同的位置(例如处于不同的房间)，当用户需要唤醒或者控制其中一个设备的工作时，若用户在语音中不明确说明具体是哪一个房间内的设备，第一设备往往无法确认用户具体是控制哪一台设备，现在技术中，往往对上述同类型的设备均进行控制，导致用户的体验感较差。

本申请实施例中，由于可以获取到用户在发出语音时所处的位置，且可以预先获取到设备类型为目标类型的多个设备中的每个设备的位置(例如所处的房间)，则可以从目标类型的设备中确定所处位置和用户的位置最接近的设备(或者是属于同一区域，例如属于同一个房间的设备)，该设备可以认为是用户最想控制的设备，进而第一设备可以控制该设备(第三设备)的工作，例如可以触发第三设备打开、关闭、以及其他功能。

关于如何获取到设备类型为目标类型的多个设备中的每个设备的位置：

在一种可能的实现中，每个设备的位置可以是用户主动输入的，例如可以向用户提供一个交互界面，用户可以在该界面中输入各个设备所在的房间。

在一种可能的实现中，每个设备的位置可以是可移动设备(例如扫地机器人等)在室内移动时通过传感器确定的，例如通过图像传感器进行视觉定位确定的。

应理解，关于第一设备的具体介绍还可以参照上述第一方面相关的介绍，相似之处这里不再赘述。

第七方面，本申请实施例提供了一种计算装置，可以包括存储器、处理器以及总线***，其中，存储器用于存储程序，处理器用于执行存储器中的程序，以执行如上述第一方面任一可选的方法、上述第二方面任一可选的方法、上述第三方面任一可选的方法。

第八方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面及任一可选的方法、上述第二方面任一可选的方法、上述第三方面任一可选的方法。

第九方面，本申请实施例提供了一种计算机程序产品，包括代码，当代码被执行时，用于实现上述第一方面及任一可选的方法、上述第二方面任一可选的方法、上述第三方面任一可选的方法。

第十方面，本申请提供了一种芯片***，该芯片***包括处理器，用于支持计算设备实现上述方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据；或，信息。在一种可能的设计中，所述芯片***还包括存储器，所述存储器，用于保存执行设备或设备控制装置必要的程序指令和数据。该芯片***，可以由芯片构成，也可以包括芯片和其他分立器件。

附图说明

图1A为本申请中的一个应用架构示意；

图1B为本申请中的一个应用架构示意；

图2为本申请中的一个应用架构示意；

图3为本申请中的一个应用架构示意；

图4为本申请中的一个设备控制方法的流程示意；

图5a为本申请中的一个地图构建示意；

图5b为本申请中的一个设备控制方法的流程示意；

图5c为本申请中的一个设备控制方法的流程示意；

图5d为本申请中的一个设备控制方法的流程示意；

图5e为本申请中的一个设备控制方法的流程示意；

图5f为本申请中的一个声源定位示意；

图5g为本申请中的一个机器人移动路径示意；

图5h为本申请中的一个机器人移动路径示意；

图6为本申请中的一个设备控制方法的流程示意；

图7为本申请中的一个设备控制装置的结构示意；

图8为本申请中的一个设备控制装置的结构示意；

图9为本申请实施例提供的一种执行设备的示意图；

图10为本申请实施例提供的一种训练设备的示意图；

图11为本申请实施例提供的一种芯片的示意图。

具体实施方式

下面结合本申请实施例中的附图对本申请的具体实现方式进行举例描述。然而本申请的实现方式还可以包括在不脱离本申请的精神或范围的前提下将这些实施例组合，比如采用其它实施例和做出结构性改变。因此以下实施例的详细描述不应从限制性的意义上去理解。本申请的实施例部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。

本申请的具体实施例中所提到的功能、模块、特征、单元等的一个或多个结构组成可以理解为由任何物理的或有形的组件(例如，由在计算机设备上运行的软件、硬件(例如，处理器或芯片实现的逻辑功能)等、或其它任何组合)以任何方式来实现。在某些实施例中，所示出的将附图中的将各种设备分成不同的模块或单元可以反映在实际实现中使用对应的不同的物理和有形的组件。可选的，本申请实施例附图中的单个模块也可以由多个实际物理组件来实现。同样，在附图中描绘的任何两个或更多个模块也可以反映由单个实际物理组件所执行的不同的功能。

关于本申请实施例的方法流程图，将某些操作描述为以一定顺序执行的不同的步骤。这样的流程图属于说明性的而非限制性的。可以将在本文中所描述的某些步骤分组在一起并且在单个操作中执行、可以将某些步骤分割成多个子步骤、并且可以以不同于在本文中所示出的顺序来执行某些步骤。可以由任何电路结构或有形机制(例如，由在计算机设备上运行的软件、硬件(例如，处理器或芯片实现的逻辑功能)等、或其任何组合)以任何方式来实现在流程图中所示出的各个步骤。

以下的说明可以将一个或多个特征标识为“可选的”。该类型的声明不应当被解释为对可以被认为是可选的特征的详尽的指示；即，尽管没有在文本中明确地标识，但其他特征可以被认为是可选的。此外，对单个实体的任何描述不旨在排除对多个这样的实体的使用；类似地，对多个实体的描述不旨在排除对单个实体的使用。最后，术语“示例性的”是指在潜在的许多实现中的一个实现。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、***、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

参照图1A，本申请实施例可以用于智能家居场景，例如可以应用于家庭服务机器人交互场景，智能家居场景可以包括机器人本体(本申请实施例中的第三设备可以为机器人本体)和至少一组智能家居麦阵设备(如智能音箱的麦阵、电视的麦阵等等，本申请实施例中的第二设备可以为智能家居麦阵设备)、以及智能家居***组成。机器人可通过智能家居***与麦阵设备通信，进行麦阵参数的配置、麦阵数据的收发等。智能家居***可以是运行在终端设备的软件(如手机软件)或云端服务。

参照图1B，本申请实施例可以用于智能家居场景，例如可以应用于家庭服务机器人交互场景，智能家居场景可以包括机器人本体(本申请实施例中的第三设备可以为机器人本体)和至少一组智能家居麦阵设备(如智能音箱的麦阵、电视的麦阵等等，本申请实施例中的第二设备可以为智能家居麦阵设备)、以及智能家居***中的控制终端(本申请实施例中的第一设备)组成。机器人和麦阵设备可以连接至控制终端，控制终端可以通过和麦阵设备以及机器人的交互来控制机器人和麦阵设备的工作。控制终端可以称之为全屋智能主机、智慧主机等。

参照图2，图2示出了机器人以及麦阵设备的一种结构示意。

其中，机器人本体可以包含：移动***、导航***、麦阵100、扬声器101、视觉感知单元、计算单元、存储介质。机器人移动***和导航***，可以实现机器人自主在室内移动避障，从A到B的自主导航，环境自动探索构图能力。视觉感知单元可以实现特定目标的检测、计算特定目标到机器人的距离,麦阵设备具体可以包含麦阵105、扬声器106。应理解，105麦阵也可以和100麦阵是同一个麦阵，都布置在机器人上。

其中，图1A示出的本地网络可以是局域网，也可以是通过中继(relay)设备转接的广域网，或者可以是同时包括局域网和广域网。当该本地网络为局域网时，示例性的，该本地网络可以是wifi热点网络、wifiP2P网络、蓝牙网络、zigbee网络或近场通信(near fieldcommunication，NFC)网络等近距离通信网络。当该本地网络为广域网时，示例性的，该本地网络可以是第三代移动通信技术(3rd-generation wireless telephone technology，3G)网络、***移动通信技术(the 4th generation mobile communication technology，4G)网络、第五代移动通信技术(5th-generation mobile communication technology，5G)网络、未来演进的公共陆地移动网络(public land mobile network，PLMN)或因特网等。

在一种可能的实现中，上述服务机器人可以为机器人，图3描绘了机器人的内部结构示意图，如图3所示，机器人包括处理器401，包括驱动器的驱动***402(例如本申请实施例中的移动组件)、传感器***403、无线通信***404、以及存储器405，上述各器件可以通过一个或多个通信总线406连接。

其中，驱动***402用于驱动机器人移动。

无线通信***404用于与服务器20或者终端设备10建立网络连接。

其中，传感器***403包括用于拍摄或者扫描环境信息的相机403a。相机403a可以是具有广角镜头的高清晰度相机。例如鱼眼镜头类型的高清晰度广角相机。

传感器***403还可以包括导航传感器403b、运动传感器403c、悬崖传感器403d。其中，导航传感器403b用于计算机器人在空间内的位置，以及用于生成机器人的作业地图。例如导航传感器403b具体可以是航位推算传感器，障碍物检测和避免(ODOA)传感器、定位和测绘(SLAM)传感器等。

在一些实施方式中，传感器***403中的一个或多个运动传感器403c用于产生指示机器人的运动的信号，例如，运动的信号可以包括机器人的行进距离，旋转量，速度或加速度等。

在一些示例中，传感器***403中的一个或多个悬崖传感器403d用于是检测扫地机器人下方的障碍物(例如门槛，楼梯等)。处理器401响应于来自悬崖传感器403d的信号，导航机器人远离所检测到的障碍物。

需要说明的是，除了图3中所示的各个传感器，传感器***403中还可以包括防打滑传感器、红外线防碰撞传感器等其它类型的传感器，本申请实施例中不再一一举例示出。

处理器401，用于根据传感器***采集的检测结果，运行存储器405中存储的计算机程序，控制机器人的姿态。

为了解决上述上述问题，本申请提供了一种设备控制方法。

参照图4，图4为本申请实施例提供的一种设备控制方法的流程示意，如图4所示，本申请实施例提供的一种设备控制方法，包括：

401、获取第一信息，所述第一信息包括用户相对于第二设备的第一位置；其中，所述第一位置为根据所述第二设备采集的所述用户的第一语音确定的，所述第一语音指示第三设备移动至所述用户所在的区域。

步骤401的执行主体可以为可移动机器人，也就是本申请实施例中描述的第三设备。

在一种可能的实现中，用户可以发出语音指令来召唤第三设备移动至用户附近，也就是移动至用户所在的区域。具体的，以第三设备为机器人，第二设备为麦阵设备为例，用户在麦阵设备周围召唤机器人，比如用户此时在卧室，卧室的麦阵设备(例如音箱)检测到机器人的唤醒词，被用户唤醒，即识别到用户对于机器人的召唤。

在这种情况下，可以通过和用户之间距离较近或者不存在遮挡的麦阵设备(例如本申请实施例中的第二设备)来采集用户的语音指令，第二设备上可以设置有音频传感器(例如麦克风等用于采集音频数据的传感器)，基于该语音指令，可以定位出用户相对于第二设备的位置，第二设备可以将上述确定的和用户之间的相对位置发送至第三设备，第三设备就可以基于预先知晓的第二设备的绝对位置、以及用户相对于第二设备的位置，来确定出用户的绝对位置，并基于该用户的绝对位置，移动到用户所在的区域。通过上述方式，用户只需要在任一具有麦阵的设备位置附近即可召唤第三设备到达身边，不依赖机器人本体麦阵的声源定位，感知范围大，可以实现跨房间级别的召唤。

现有技术中，机器人通常要先到达用户预录的地点坐标，然后随机在附近搜索用户，效率和找人成功率低。本申请提出了一种基于第二设备采集的语音数据而得到的用户的潜在区域感知作为先验，使得第三设备可以更快速、更高效的移动至用户附近。

接下来对上述流程进行详细介绍。

关于如何确定第二设备的位置：

在一种可能的实现中，第三设备可以移动至第二设备附近的区域，并基于第二设备发出的语音来定位第二设备所在的位置(该步骤为预先执行的，例如可以是第二设备刚接入智能家居***时执行、或者是为了保证第二设备的位置的准确性而定期或者是用户主动触发执行的(准确性问题主要是由于第二设备可能被移动而导致之前预存的位置信息失效))。通常情况下，第二设备被放置在固定的位置，因此该确定的位置可以被后续多次使用。

具体的，在一种可能的实现中，第三设备可以获取到第二设备的身份信息，第三设备可以采集到周围环境中的语音，并基于语音中携带的身份信息以及预先获取到的第二设备的身份信息进行比对来确定采集到的语音来自于第二设备。进而基于该语音，通过声源分析，确定第二设备的绝对位置。

在一种可能的实现中，第三设备在接入到智能家居***或者有新的设备接入智能家居***之后，可以获取到智能家居***中各个智能设备(包括第二设备)的信息，进而可以获取到第二设备的身份信息等信息。

以第三设备为机器人为例，第三设备在智能家居的场景中，机器人可以通过网络接入智能家居***，与至少一个家居设备(例如本申请实施例中的第二设备以及第一设备)建立连接，其中，智能家居***包括但不限于终端软件、云端服务，智能家居***通过网络与家庭智能终端连接，并对智能终端进行管理，智能家居***可读取家中智能设备的信息，如类型、mac身份标签、3D外观模型等。因此第三设备接入智能家居网络后，可以获取其他家居设备的信息。

接下来以第三设备为机器人为例，给出一个具体的第三设备获取其他家居设备的信息的流程示意：

在一种可能的实现中，机器人可以从智能家居***读取家中智能设备管理信息，包含但不限于如下表1所示。

表1

其中，mac地址用来表示设备身份，mac地址与设备是一对一对应。设备外观模型包括但不限于设备的3D模型，基于外观模型可以进行视觉检测从而识别该类型的设备，特别的外观模型也可以是一组用于视觉匹配的模板。设备类型和外观模型可以用来判断设备是否可以基于视觉进行检测。

在一种可能的实现中，第三设备可以获取到第二设备的位置。其中，第二设备的位置可以通过对第二设备发出的语音进行声源定位确定的。

在一种可能的实现中，需要触发第二设备发出语音，例如第三设备可以发出唤醒语音；所述唤醒语音用于唤醒所述第二设备；进而，第二设备可以响应于所述唤醒语音而发出应答语音(也就是本申请实施例中的第二语音)。

在一种可能的实现中，第二设备只能响应于预设的唤醒词来发出应答语音，第三设备可以预先获取到能够触发第二设备发出应答语音的唤醒词，或者是通过信息交互对第二设备进行配置，使得第二设备能够响应于第三设备配置的唤醒词来发出第三设备配置的应答语音(第三设备配置的应答语音可以理解为第三设备配置的应答语音中携带的应答词)。

在一种可能的实现中，第三设备可以向所述第二设备发送配置信息，所述配置信息用于指示所述第二设备将所述第二语音作为所述唤醒语音的响应。

其中，第三设备需要基于接收到的应答语音来确定出该应答语音中携带的设备身份为第二设备，进而才可以使用应答语音来进行第二设备的定位。该身份信息可以为语音中的声纹信息或者是语音中的应答词，第二设备的身份信息可以为第三设备预先获取到的，或者是第三设备预先对第二设备配置的。

参照图5d，接下来介绍一个第三设备对第二设备进行参数配置的示意：

1.第三设备通过智能家居***检测智能设备(包括第二设备在内)唤醒词是否为同一个，如果不同则为第二设备配置相同的唤醒词，如“小尹小尹”；

2.第三设备给每个麦阵设备编码应答词，使第三设备可以通过麦阵设备的应答词识别麦阵设备身份，该应答词可以是在正常应答词后加入特定的滴答声、或者设置的完全不同的语句。

可选的，第三设备为麦阵设置不同的应答声纹编码，这样即使设备应答词相同，第三设备可通过比对买真的声纹识别麦阵设备身份；

3.第三设备配置增加自己的唤醒词，匹配步骤2的应答词，第三设备可以被麦阵设备的应答词唤醒；

4.第三设备将自己的声纹信息配置到麦阵设备数据库，当麦阵设备被唤醒时，麦阵通过比对声源声纹判断交互对象是否是第三设备，从而用预配置的应答词回应第三设备。

在一种可能的实现中，第二设备的位置(也就是本申请实施例中的第二位置)可以为通过如下方式生成的：在目标位置采集第二语音，所述第二语音为所述第二设备发出的语音；根据所述第二语音和所述目标位置，确定所述第二位置。例如，第三设备可以在至少两个位置与第二设备进行语音交互，根据在这至少两个已知位置检测到的第二设备的方位计算第二设备的精确位置。应理解，通过声源定位可以得到第二设备相对于第三设备的位置，为了准确定位出第二设备的绝对位置，还可以利用第二设备当前的绝对位置(也就是目标位置)，目标位置可以是在第三设备坐标系下的一个绝对位置。

在一种可能的实现中，第二设备的位置(也就是本申请实施例中的第二位置)可以为通过如下方式生成的：在目标位置采集包括第二设备的图像；根据包括第二设备的图像和所述目标位置，通过图像检测来确定所述第二位置。例如可以根据第二设备的预录模板进行匹配或通过AI网络训练的检测模型对目标进行识别，进一步的可根据模板估计目标距离或直接根据TOF获取检测框内目标区域的深度作为目标距离，该目标距离可以用于确定第二设备的精确位置。

也就是，可以通过所述第二语音或者所述图像确定第一身份信息，所述第一身份信息为所述第二设备的身份信息，进而，第三设备可以建立所述第一身份信息和所述第二位置之间的映射关系。也就是可以知晓第二位置、且知晓第二位置是第二设备的位置。

接下来以第三设备为机器人，第二设备为麦阵设备为例，介绍一个构建实例级麦阵分布地图的示意：

在一种可能的实现中，参照图5b和图5c，机器人在自主探索过程中，间隔固定时间或按照地图刷新量，本体扬声器101可以呼唤麦阵唤醒名，麦阵设备通过自带扬声器106回应特定信息，机器人本体麦阵100接收到该信息被唤醒，并对声源扬声器106进行定位。实现交互式麦阵设备106搜索，下文中106指麦阵设备105等同。

麦阵设备定位。机器人本体麦阵100检测到预设应答词时，根据机器人与麦阵的交互协议，判断麦阵类型，采取不同的麦阵设备106空间检测定位策略。

对于外观特征明显的麦阵106基于视觉检测麦阵方位，当视觉检测超时或麦阵106本身视觉特征不明显时采用多位置声源定位方式估计麦阵方位120。所述麦阵方位估计方法120具体的，控制机器人在麦阵106至少两个不同方位上通过语音交互，获取麦阵相对机器人的方位角，根据麦阵方位线交点计算麦阵106在地图中的位置。当机器人采集方位大于两个时，可以通过LSM方法提高麦阵106方位估计精度。

具体的，以第三设备为机器人，第二设备为麦阵设备为例，机器人可以在自主移动过程中通过与环境中具有麦阵的智能硬件交互定位其具***置，并关联该智能硬件的属性信息，构建实例级麦阵分布地图。其中，实例级麦阵指每个麦阵都具有可被识别的身份信息，机器人可通过该身份信息唯一确认麦阵的ID。分布地图指在导航地图上对设备进行坐标标记后，形成的设备坐标地图。

首先，机器人可以按照常规探索方法对环境进行自主探索，如frontier-explore、最佳视角(NBV，Next Best View)等，机器人探索过程同步建立环境的地图。

其中，Frontier-explore是一种通过引导机器人寻找边界区域实现环境探索的运动策略。机器人实时根据当前导航地图的刷新结果(如图5a中的(a)所示)，提取未知的边界(如图5a中的(b)所示)，滤波处理后计算待探索区域(如图5a中的(c)所示)，根据距离机器人远近，选择优先探索方位。该算法效率高，在2D空间有很好的计算复杂度，被广泛用于平面移动机器人自主建图。

最佳视角点法是一种通过引导机器人选取最佳观测视角实现环境探索的运动策略，根据任务的观测信息增益模型，作为最佳视角的评价基准，在机器人运动空间内搜索信息增益最大化的目标状态，并控制机器人运动到达该状态，实现环境的自主探索。适合复杂空间、高维驱动的机器人的探索任务，如3D环境自主建图。

机器人自主探索过程中，间隔固定时间或按照地图刷新量，根据智能家居***的唤醒词，呼唤麦阵唤醒名，比如机器人发出声音“小尹小尹”。

参照图5e，机器人本体麦阵检测到预设应答词时，比如音箱的预设应答词为“你好管家”，根据机器人与麦阵的交互协议，判断麦阵身份。判断麦阵身份的协议可以是应答词中加入特定语句或者应答设备的声纹编码。根据麦阵身份机器人采取不同的麦阵定位策略。可选的，可以将麦阵根据身份属性分为两类：类型一，麦阵具有特征清晰的外观，尺寸不低于预设体积，智能家居***内具有可用于视觉检测的麦阵模型信息；类型二，不满足类型一中任一条件的，认为是类型二。

对类型一的麦阵设备，采用视觉检测目标定位方法：基于视觉对视野内麦阵目标进行检测。检测到目标时，估计目标框距离，估计方法包括但不限于：根据预录的麦阵模板的像素和距离映射表插值估计目标距离；如果机器人装有深度相机(TOF等)，也可直接根据TOF获取检测框内目标区域的深度作为目标距离。

对于类型二的麦阵，或者当采用类型一检测麦阵超时时，采用多位置声源定位方式估计麦阵方位。具体的，控制机器人在麦阵至少两个不同方位上通过语音交互，获取麦阵相对机器人的方位角，根据麦阵方位线交点计算麦阵在地图中的位置。当机器人采集方位大于两个时，可以通过LSM方法提高麦阵方位估计精度。

所述的机器人对麦阵采样的至少两个方位，采样点应该满足方位角间隔预设阈值，若采样点方位夹角为γ，则根据向量夹角公式有cos(γ)＝<cos(θ₀-φ₀),sin(θ₀-φ₀)>·<cos(θ₁-φ₁),sin(θ₁-φ₁)>，只需设置cos(γ)小于预设阈值即可。

所述的根据麦阵方位线交点计算麦阵位置，包括在每个方位得到声源方位线解析表达如下，联立多个方位线，即可得到麦阵设备在地图的具体方位坐标。

其中φ_i为声源定位方向角；

x_i,y_i,θ_i为机器人在导航地图上的位置坐标和朝向；

x_a,y_a为麦阵坐标。

在一种可能的实现中，第二设备可以基于用户发出的第一语音来确定用户相对于第二设备的位置。例如，在家居***中，该位置可以表示为用户在哪一个房间以及在该房间的哪一个位置。在哪一个房间可以描述为粗粒度定位，在该房间的哪一个位置可以描述为细粒度定位。

在一种可能的实现中，可以根据第一语音，通过声源定位方法检测用户相对于第二设备的位置，例如，声源定位方法包括但不限于到达时间差(time difference ofarival，TDOA)、麦克风间的能量差(inter-microphone intensity difference，IID)等。

具体的，以第三设备为机器人，第二设备为麦阵设备为例，用户在麦阵周围召唤机器人，比如用户此时在卧室，卧室的音箱检测到机器人的唤醒词，被用户唤醒，即识别到用户召唤。所述麦阵身份及位置在机器人导航地图中有标记，被唤醒的麦阵即表明用户位于该房间，从而实现第一级用户房间级粗定位。

其中，麦阵设备可以检测用户潜在方位。参照图5f，麦阵被唤醒后，通过声源定位确定用户方位。由于房间声音传播的多径效应，同一声源的语音有些直接传播被麦阵收到，有些经过墙体反射到达麦阵，造成麦阵会检测到多个声源潜在方位。由于声音信号经过不同的传播路径会有不同程度损耗，因此每个声源潜在方位(A_i)的信号强度(I_i)与置信度有一定的正相关性。合并方位角小于预设方位偏差阈值的声源方位A，并根据信号强度阈值T，计算该声源方位的置信区间R，R为信号强度高于T的方位角范围。计算每个潜在声源方位A_i，在置信区间R_i的平均信号强度当次召唤触发的声源定位潜在方位组成集合用户在房间的这些潜在区域，从而实现第二级用户区域级定位。

麦阵设备可以将用户潜在方位集合N、麦阵身份ID、用户的唤醒指令(上述信息可以携带在第一信息中)，通过智能家居***发送到机器人。

在室内环境下声音传播反射路径复杂，声源定位方法通常可以给出声源的几个潜在位置(和强度)。本申请实施例中，第二设备可以将多个候选的用户位置均发送到第三设备，第三设备可以依次移动至多个候选的用户位置，来保证可以成功的移动至用户附近。

402、根据所述第一信息，获取第二位置，所述第二位置为所述第二设备所在的位置；所述第一位置以及所述第二位置用于确定所述用户所在的位置。

在一种可能的实现中，第一信息可以包括所述第二设备的身份信息，进而第三设备可以根据所述第二设备的身份信息和所述映射关系，获取第二位置，具体可以参照上述实施例，这里不再赘述。

403、通过控制所述移动组件，移动到所述用户所在的位置。

在一种可能的实现中，第一信息可以包括多个候选的用户位置，进而第三设备可以确定出多个候选的用户位置，并按照目标次序，通过控制所述移动组件，依次移动到所在的多个第二候选位置，直到移动到所述多个候选位置中的正确候选位置。

示例性的，以第三设备为机器人为例，参照图5g和图5h，可以根据用户定位信息，机器人在导航地图上对麦阵设备所在房间可通行区域进行采样，采样方法可以是概率随机树(Probabilistic Roadmap PRM)、快速随机数(Rapid random Tree RRT)等。如PRM算法，机器人在导航地图上用户所在房间随机采样子节点，并连接临近无遮挡节点，得到该房间的可达拓扑节点树。将所有节点表示为P＝{p₁(x,y)…,p_n(x,y)}，进一步结合用户潜在区域对区域M_i内的节点求坐标平均，得到用户潜在区域的方位中心G_i(x,y)。

机器人计算从当前位置到达G_i的最短路径g_i，将用户潜在区域作为探索启发项h_i，探索启发代价与该区域方位强度和置信区间相关，即声源方位启发的探索总代价C_i＝g_i+h_i。并依次导航到用户潜在方位。对用户潜在方位集合N内的区域按照声源方位启发探索总代价进行排序，依次导航到G_i附近。如下图所示，当C₂<C₁时，机器人到达G₂的总体代价低于G₁，因此机器人优先规划到达G₂点的路径ψ₁，机器人到达G₂后，如果视觉无法检测到用户，则机器人再规划到达G₁的路径，机器人导航到达G₁后再次检测用户。

在一种可能的实现中，所述第一信息还包括第二身份信息，所述第二身份信息为所述用户的身份信息，第三设备可以在移动到所述多个第二候选位置中的一个第二候选位置时，采集所处环境的图像；基于所述第二身份信息以及根据所述图像中包括的用户的身份信息之间的匹配成功，确定移动到所述多个第二候选位置中的正确候选位置。

也就是说，第三设备到达G_i附近后，启动视觉人体检测。检测人体的过程包括对特定人进行身份识别，具体的，第三设备或智能家居***中保存了用户的声纹ID和人脸ID的对应关系，当用户呼喊机器人时，麦阵同步将用户的第二身份信息(例如声纹ID)记录并发送给机器人。机器人在潜在区域检测到用户后，将所述图像中包括的用户的身份信息(例如用户的人脸ID)与存储的召唤人的声纹进行匹配，如果匹配成功则认为找到目标，导航到距离用户特定位置，进而完成召唤响应。

在一种可能的实现中，第三设备可以在移动到所述多个第二候选位置中的一个第二候选位置时，采集用户的第三语音；基于所述第二身份信息以及根据所述第三语音确定的用户身份信息之间的匹配成功，确定移动到所述多个第二候选位置中的正确候选位置。

通过上述方式，机器人根据用户潜在区域根据距离和声源定位置信计算探索代价，指导机器人导航搜索的优先级。使机器人优先探索近距离区域、声源清晰的方位，这样机器人到达用户所在房间后，可避免在无效区域探索，快速找到目标。

本实施例中根据机器人本体麦阵采集到大于强度阈值的声源方位作为用户潜在方位，并按照导航距离和置信强度计算搜索代价。而现有技术只取最大强度方位，间隔固定阈值选取目标导航点探索，在环境比较复杂时，声音混响、多径噪声导致声源定位误差较大时，在该方向上可能找不到目标用户。本实施例可提高机器人在复杂环境时的召唤成功率，降低在无效区域的随机搜索，同时不放过***区域。

接下来从第一设备侧介绍本申请实施例提供的一种设备控制方法，参照图6，图6为本申请实施例提供的一种设备控制方法的流程示意，包括：

601、获取第一信息，所述第一信息包括用户相对于第二设备的第一位置；其中，所述第一位置为根据所述第二设备采集的所述用户的第一语音确定的，所述第一语音指示第三设备移动至所述用户所在的区域。

步骤601的执行主体可以为控制终端，也就是第一设备，第一设备可以为终端设备，也可以为云侧的服务器。

在一种可能的实现中，用户可以发出语音指令来召唤第三设备移动至用户附近，也就是移动至用户所在的区域。具体的，以第三设备为机器人，第二设备为麦阵设备为例，用户在麦阵设备周围召唤机器人，比如用户此时在卧室，卧室的音箱检测到机器人的唤醒词，被用户唤醒，即识别到用户召唤。

接下来对上述流程进行详细介绍。

在一种可能的实现中，为了知晓第二设备的位置，第三设备可以移动至第二设备附近的区域，并基于第二设备发出的语音来定位第二设备所在的位置(该步骤为预先执行的)，且通常情况下，第二设备被放置在固定的位置，因此该确定的位置可以被后续多次使用。具体的，在一种实现中，第三设备可以获取到第二设备的身份信息，第三设备可以采集到周围环境中的语音，并基于语音中携带的身份信息以及预先获取到的第二设备的身份信息进行比对来确定采集到的语音来自于第二设备。进而基于该语音，通过声源分析，确定第二设备的绝对位置。或者，第三设备可以将采集到的语音发送至第一设备，第一设备可以基于该语音，通过声源分析，确定第二设备的绝对位置。

在一种可能的实现中，第一设备在接入到智能家居***或者有新的设备接入智能家居***之后，可以获取到智能家居***中各个智能设备(包括第二设备)的信息，进而可以获取到第二设备的身份信息等信息。

第一设备可以通过网络接入智能家居***，与至少一个家居设备(例如本申请实施例中的第二设备以及第三设备)建立连接，其中，智能家居***包括但不限于终端软件、云端服务，智能家居***通过网络与家庭智能终端连接，并对智能终端进行管理，智能家居***可读取家中智能设备的信息，如类型、mac身份标签、3D外观模型等。因此第一设备接入智能家居网络后，可以获取其他家居设备的信息。

在一种可能的实现中，第一设备可以从智能家居***读取家中智能设备管理信息，包含但不限于如表1所示。

在一种可能的实现中，第三设备需要触发第二设备发出语音，例如第三设备可以发出唤醒语音；所述唤醒语音用于唤醒所述第二设备；进而，第二设备可以响应于所述唤醒语音而发出应答语音(也就是本申请实施例中的第二语音)。

在一种可能的实现中，第二设备只能响应于预设的唤醒词来发出应答语音，第三设备可以预先获取到能够触发第二设备发出应答语音的唤醒词，或者是通过信息交互对第二设备进行配置(配置过程的执行执行主体可以为第一设备或者第三设备)，使得第二设备能够响应于第三设备配置的唤醒词来发出第三设备配置的应答语音(第三设备配置的应答语音可以理解为第三设备配置的应答语音中携带的应答词)。

在一种可能的实现中，第一设备可以向所述第二设备发送配置信息，所述配置信息用于指示所述第二设备将所述第二语音作为所述唤醒语音的响应。

在一种可能的实现中，第三设备可以将第二语音发送至第一设备，第一设备可以根据第二语音确定第二设备的位置。

其中，第一设备需要基于接收到的应答语音来确定出该应答语音中携带的设备身份为第二设备，进而才可以使用应答语音来进行第二设备的定位。该身份信息可以为语音中的声纹信息或者是语音中的应答词，第二设备的身份信息可以为第一设备预先获取到的，或者是第一设备预先对第二设备配置的。

在一种可能的实现中，第一设备可以基于采集到的第二语音或者采集到的图像来确定出该第二语音或者图像对应于第二设备。例如可以根据第二设备的预录模板进行匹配或通过AI网络训练的检测模型对目标进行识别，进一步的可根据模板估计目标距离或直接根据TOF获取检测框内目标区域的深度作为目标距离，该目标距离可以用于确定第二设备的精确位置。

也就是可以通过所述第二语音或者所述图像确定第一身份信息，所述第一身份信息为所述第二设备的身份信息，进而，第一设备可以建立所述第一身份信息和所述第二位置之间的映射关系。也就是可以知晓第二位置、且知晓第二位置是第二设备的位置。

在一种可能的实现中，上述第一身份信息和所述第二位置之间的映射关系可以表示为实例级麦阵分布地图。通过上述方式，第三设备探索环境时通过语音与第二设备交互，发现设备，并根据预录的应答编码识别设备属性、类别等身份信息。根据视觉、听觉多模态对第二设备进行精确定位，构建实例级麦阵设备分布地图。

602、根据所述第一信息，获取第二位置，所述第二位置为所述第二设备所在的位置；所述第一位置以及所述第二位置用于确定所述用户所在的位置；

在一种可能的实现中，第一设备可以基于第一语音来确定用户相对于第二设备的位置，或者是接收到第二设备基于第一语音所确定的用户相对于第二设备的位置。

603、向所述第三设备发送所述用户所在的位置。

在一种可能的实现中，第一设备还可以向所述第三设备发送目标次序，所述目标次序用于指示所述第三设备按照目标次序依次移动到所在的多个第二候选位置中的部分或全部。

在一种可能的实现中，所述第一信息还包括第二身份信息，所述第二身份信息为所述用户的身份信息，第一设备还可以接收到所述第三设备在移动到所述多个第二候选位置中的一个第二候选位置时，采集的所处环境的图像；基于所述第二身份信息以及根据所述图像中包括的用户的身份信息之间的匹配成功，向所述第三设备发送指示信息，所述指示信息指示所述第三设备已移动到所述多个第二候选位置中的正确候选位置；或者，接收到所述第三设备在移动到所述多个第二候选位置中的一个第二候选位置时，采集的用户的第三语音；基于所述第二身份信息以及根据所述第三语音确定的用户身份信息之间的匹配成功，向所述第三设备发送指示信息，所述指示信息指示所述第三设备已移动到所述多个第二候选位置中的正确候选位置。

本申请提供了一种设备控制方法，应用于第一设备，所述方法包括：获取第一信息，所述第一信息包括用户相对于第二设备的第一位置；其中，所述第一位置为根据所述第二设备采集的所述用户的第一语音确定的，所述第一语音指示第三设备移动至所述用户所在的区域；根据所述第一信息，获取第二位置，所述第二位置为所述第二设备所在的位置；所述第一位置以及所述第二位置用于确定所述用户所在的位置；向所述第三设备发送所述用户所在的位置。

此外，本申请实施例还提供了一种设备控制方法，应用于第二设备，所述方法包括：获取到用户的第一语音，所述第一语音指示第三设备移动至所述用户所在的区域；根据所述第一语音，向所述第三设备或者第一设备发送第一信息，所述第一信息包括所述用户相对于所述第二设备的第一位置；所述第一位置为根据所述第一语音确定的。

在一种可能的实现中，第二设备可以采集到所述第三设备发出的唤醒语音；响应于所述唤醒语音，发出应答语音。

参照图7，图7为本申请实施例提供的一种设备控制装置的结构示意，应用于第一设备，所述装置700，包括：

处理模块701，用于获取第一信息，所述第一信息包括用户相对于第二设备的第一位置；其中，所述第一位置为根据所述第二设备采集的所述用户的第一语音确定的，所述第一语音指示第三设备移动至所述用户所在的区域；

其中，关于处理模块701的具体介绍可以参照上述实施例中步骤601和步骤602的描述，这里不再赘述。

发送模块702，用于向所述第三设备发送所述用户所在的位置。

其中，关于发送模块702的具体介绍可以参照上述实施例中步骤603的描述，这里不再赘述。

在一种可能的实现中，所述处理模块，具体用于：

接收来自所述第二设备发送的所述第一信息；或者，

在一种可能的实现中，

建立所述第一身份信息和所述第二位置之间的映射关系；

所述处理模块，具体用于：

在一种可能的实现中，所述发送模块，还用于：

参照图8，图8为本申请实施例提供的一种设备控制装置的结构示意，应用于第三设备，所述装置800，包括：

处理模块801，用于获取第一信息，所述第一信息包括用户相对于第二设备的第一位置；其中，所述第一位置为根据所述第二设备采集的所述用户的第一语音确定的，所述第一语音指示所述第三设备移动至所述用户所在的区域；

其中，关于处理模块801的具体介绍可以参照上述实施例中步骤401和步骤402的描述，这里不再赘述。

移动控制模块802，用于通过控制所述移动组件，移动到所述用户所在的位置。

其中，关于移动控制模块802的具体介绍可以参照上述实施例中步骤403的描述，这里不再赘述。

在一种可能的实现中，所述装置还包括：

建立所述第一身份信息和所述第二位置之间的映射关系；

所述移动控制模块，具体用于：

此外，本申请实施例还提供了一种设备控制装置，应用于第二设备，所述装置包括：

在一种可能的实现中，所述装置还包括：

传感器模块，用于采集到所述第三设备发出的唤醒语音；

响应于所述唤醒语音，发出应答语音。

接下来介绍本申请实施例提供的一种执行设备，请参阅图9，图9为本申请实施例提供的执行设备的一种结构示意图，执行设备900具体可以表现为上述介绍的第一设备、第二设备或者第三设备等，此处不做限定。其中，执行设备900实现图6对应实施例中设备控制方法的功能。具体的，执行设备900包括：接收器901、发射器902、处理器903和存储器904(其中执行设备900中的处理器903的数量可以一个或多个)，其中，处理器903可以包括应用处理器9031和通信处理器9032。在本申请的一些实施例中，接收器901、发射器902、处理器903和存储器904可通过总线或其它方式连接。

存储器904可以包括只读存储器和随机存取存储器，并向处理器903提供指令和数据。存储器904的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory，NVRAM)。存储器904存储有处理器和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。

处理器903控制执行设备的操作。具体的应用中，执行设备的各个组件通过总线***耦合在一起，其中总线***除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线***。

上述本申请实施例揭示的方法可以应用于处理器903中，或者由处理器903实现。处理器903可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器903中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器903可以是通用处理器、数字信号处理器(digital signal processing，DSP)、微处理器或微控制器、以及视觉处理器(vision processing unit，VPU)、张量处理器(tensorprocessing unit，TPU)等适用于AI运算的处理器，还可进一步包括专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器903可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器904，处理器903读取存储器904中的信息，结合其硬件完成上述实施例中步骤501至步骤503的步骤。

接收器901可用于接收输入的数字或字符信息，以及产生与执行设备的相关设置以及功能控制有关的信号输入。发射器902可用于通过第一接口输出数字或字符信息；发射器902还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据；发射器902还可以包括显示屏等显示设备。

本申请实施例还提供了一种设备控制装置，请参阅图10，图10是本申请实施例提供的设备控制装置一种结构示意图，具体的，设备控制装置1000由一个或多个服务器实现，设备控制装置1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(central processing units，CPU)1010(例如，一个或一个以上处理器)和存储器1032，一个或一个以上存储应用程序1042或数据1044的存储介质1030(例如一个或一个以上海量存储设备)。其中，存储器1032和存储介质1030可以是短暂存储或持久存储。存储在存储介质1030的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对设备控制装置中的一系列指令操作。更进一步地，中央处理器1010可以设置为与存储介质1030通信，在设备控制装置1000上执行存储介质1030中的一系列指令操作。

设备控制装置1000还可以包括一个或一个以上电源1026，一个或一个以上有线或无线网络接口1050，一个或一个以上输入输出接口1058；或，一个或一个以上操作***1041，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

具体的，设备控制装置可以为上述实施例中介绍的第一设备，以执行上述实施例中与设备控制方法相关的步骤。

本申请实施例中还提供一种包括计算机可读指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如前述执行设备所执行的步骤，或者，使得计算机执行如前述设备控制装置所执行的步骤。

本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于进行信号处理的程序，当其在计算机上运行时，使得计算机执行如前述执行设备所执行的步骤，或者，使得计算机执行如前述设备控制装置所执行的步骤。

本申请实施例提供的执行设备、设备控制装置或终端设备具体可以为芯片，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使执行设备内的芯片执行上述实施例描述的模型训练方法，或者，以使设备控制装置内的芯片执行上述实施例中与模型训练相关的步骤。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。

具体的，请参阅图11，图11为本申请实施例提供的芯片的一种结构示意图，所述芯片可以表现为神经网络处理器NPU 1100，NPU 1100作为协处理器挂载到主CPU(Host CPU)上，由Host CPU分配任务。NPU的核心部分为运算电路1103，通过控制器1104控制运算电路1103提取存储器中的矩阵数据并进行乘法运算。所述芯片可以为上述实施例中介绍的第一设备、第二设备或者第三设备，以执行上述实施例中与设备控制方法相关的步骤。

在一些实现中，运算电路1103内部包括多个处理单元(Process Engine,PE)。在一些实现中，运算电路1103是二维脉动阵列。运算电路1103还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路1103是通用的矩阵处理器。

举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器1102中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器1101中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)1108中。

统一存储器1106用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(Direct Memory Access Controller，DMAC)1105，DMAC被搬运到权重存储器1102中。输入数据也通过DMAC被搬运到统一存储器1106中。

BIU为Bus Interface Unit即，总线接口单元1110，用于AXI总线与DMAC和取指存储器(Instruction Fetch Buffer，IFB)1109的交互。

总线接口单元1110(Bus Interface Unit，简称BIU)，用于取指存储器1109从外部存储器获取指令，还用于存储单元访问控制器1105从外部存储器获取输入矩阵A或者权重矩阵B的原数据。

DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器1106或将权重数据搬运到权重存储器1102中或将输入数据数据搬运到输入存储器1101中。

向量计算单元1107包括多个运算处理单元，在需要的情况下，对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/全连接层网络计算，如Batch Normalization(批归一化)，像素级求和，对特征平面进行上采样等。

在一些实现中，向量计算单元1107能将经处理的输出的向量存储到统一存储器1106。例如，向量计算单元1107可以将线性函数；或，非线性函数应用到运算电路1103的输出，例如对卷积层提取的特征平面进行线性插值，再例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元1107生成归一化的值、像素级求和的值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路1103的激活输入，例如用于在神经网络中的后续层中的使用。

控制器1104连接的取指存储器(instruction fetch buffer)1109，用于存储控制器1104使用的指令；

统一存储器1106，输入存储器1101，权重存储器1102以及取指存储器1109均为On-Chip存储器。外部存储器私有于该NPU硬件架构。

其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，ASIC，或一个或多个用于控制上述程序执行的集成电路。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，设备控制装置，或者网络设备等)执行本申请各个实施例所述的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、设备控制装置或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、设备控制装置或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的设备控制装置、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

Claims

1.一种设备控制方法，其特征在于，应用于第一设备，所述方法包括：

获取第一信息，所述第一信息包括用户相对于第二设备的第一位置；其中，所述第一位置为根据所述第二设备采集的所述用户的第一语音确定的，所述第一语音指示第三设备移动至所述用户所在的区域；

向所述第三设备发送所述用户所在的位置。

2.根据权利要求1所述的方法，其特征在于，所述获取第一信息，包括：

接收来自所述第二设备发送的所述第一信息；或者，

3.根据权利要求1或2所述的方法，其特征在于，

4.根据权利要求3所述的方法，其特征在于，所述第二语音或者所述图像用于确定第一身份信息，所述第一身份信息为所述第二设备的身份信息；所述方法还包括：

建立所述第一身份信息和所述第二位置之间的映射关系；

所述第一信息还包括所述第二设备的身份信息，所述获取第二位置，包括：

5.根据权利要求1至4任一所述的方法，其特征在于，所述第一位置，包括：根据所述第一语音确定的多个第一候选位置；所述用户所在的位置包括：根据所述第一位置以及所述第二位置确定的所述用户所在的多个第二候选位置。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述目标次序与如下的至少一种有关：

8.一种设备控制方法，其特征在于，应用于第一设备，所述方法包括：

获取第一信息，所述第一信息包括用户相对于第二设备的第一位置；其中，所述第一位置为根据所述第二设备采集的所述用户的第一语音确定的，所述第一语音指示控制目标类型的设备的工作；所述目标类型的设备包括多个设备；

基于所述用户所在的位置与所述多个设备中的第三设备所在的位置属于同一区域内，控制所述第三设备的工作。

9.根据权利要求8所述的方法，其特征在于，所述属于同一区域包括：属于同一个房间内。

10.一种设备控制方法，其特征在于，应用于第三设备，所述第三设备包括移动组件，所述方法包括：

获取第一信息，所述第一信息包括用户相对于第二设备的第一位置；其中，所述第一位置为根据所述第二设备采集的所述用户的第一语音确定的，所述第一语音指示所述第三设备移动至所述用户所在的区域；

通过控制所述移动组件，移动到所述用户所在的位置。

11.根据权利要求10所述的方法，其特征在于，所述第二位置为通过如下方式的一种生成的：

12.根据权利要求11所述的方法，其特征在于，所述方法还包括：

发出唤醒语音；所述唤醒语音用于唤醒所述第二设备；

13.根据权利要求11或12所述的方法，其特征在于，所述第二语音或者所述图像用于确定第一身份信息，所述第一身份信息为所述第二设备的身份信息；所述方法还包括：

建立所述第一身份信息和所述第二位置之间的映射关系；

14.根据权利要求10至13任一所述的方法，其特征在于，所述第一位置，包括：根据所述第一语音确定的多个第一候选位置；所述第一位置以及所述第二位置用于确定所述用户所在的多个第二候选位置；

所述通过控制所述移动组件，移动到所述用户所在的位置，包括：

按照目标次序，通过控制所述移动组件，依次移动到所在的多个第二候选位置，直到移动到所述用户所在的多个候选位置中的正确候选位置。

15.根据权利要求14所述的方法，其特征在于，所述目标次序与如下的至少一种有关：

16.根据权利要求14或15所述的方法，其特征在于，所述第一信息还包括第二身份信息，所述第二身份信息为所述用户的身份信息，所述方法还包括：

17.一种设备控制方法，其特征在于，应用于第二设备，所述方法包括：

18.根据权利要求17所述的方法，其特征在于，所述方法还包括：

采集到所述第三设备发出的唤醒语音；

响应于所述唤醒语音，发出应答语音。

19.根据权利要求17或18所述的方法，其特征在于，所述第一位置，包括：根据所述第一语音确定的多个第一候选位置。

20.根据权利要求17至19任一所述的方法，其特征在于，所述第一信息还包括：所述多个第一候选位置中每个第一候选位置的置信度。

21.一种设备控制装置，其特征在于，应用于第一设备，所述装置包括：

发送模块，用于向所述第三设备发送所述用户所在的位置。

22.根据权利要求21所述的装置，其特征在于，所述处理模块，具体用于：

接收来自所述第二设备发送的所述第一信息；或者，

23.根据权利要求21或22所述的装置，其特征在于，

24.根据权利要求23所述的装置，其特征在于，所述第二语音或者所述图像用于确定第一身份信息，所述第一身份信息为所述第二设备的身份信息；所述处理模块，还用于：

建立所述第一身份信息和所述第二位置之间的映射关系；

所述处理模块，具体用于：

25.根据权利要求21至24任一所述的装置，其特征在于，所述第一位置，包括：根据所述第一语音确定的多个第一候选位置；所述用户所在的位置包括：根据所述第一位置以及所述第二位置确定的所述用户所在的多个第二候选位置。

26.根据权利要求25所述的装置，其特征在于，所述发送模块，还用于：

27.根据权利要求26所述的装置，其特征在于，所述目标次序与如下的至少一种有关：

28.一种设备控制装置，其特征在于，应用于第一设备，所述装置包括：

处理模块，用于获取第一信息，所述第一信息包括用户相对于第二设备的第一位置；其中，所述第一位置为根据所述第二设备采集的所述用户的第一语音确定的，所述第一语音指示控制目标类型的设备的工作；所述目标类型的设备包括多个设备；

控制模块，用于基于所述用户所在的位置与所述多个设备中的第三设备所在的位置属于同一区域内，控制所述第三设备的工作。

29.根据权利要求28所述的装置，其特征在于，所述属于同一区域包括：属于同一个房间内。

30.一种设备控制装置，其特征在于，应用于第三设备，所述第三设备包括移动组件，所述装置包括：

31.一种设备控制装置，其特征在于，应用于第二设备，所述装置包括：

32.一种计算设备，其特征在于，所述计算设备包括存储器和处理器；所述存储器存储有代码，所述处理器被配置为获取所述代码，并执行如权利要求1至20任一所述的方法。

33.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一个或多个指令，所述指令在由一个或多个计算机执行时使得所述一个或多个计算机实施权利要求1至20任一所述的方法。

34.一种计算机程序产品，包括代码，其特征在于，在所述代码被执行时用于实现如权利要求1至20任一所述的方法。