CN113854904B - 清洁设备的控制方法、装置、清洁设备和存储介质 - Google Patents

Abstract

本公开实施例提供了一种清洁设备的控制方法、装置、清洁设备和存储介质。其中，清洁设备的控制方法，控制方法包括：获取用户的音频信息和腿部图像信息；根据获取到的音频信息和腿部图像信息，确定工作位置信息和功能指令信息；根据工作位置信息和功能指令信息，控制清洁设备运行至待工作位置处，并执行对应的功能操作。由此，使得用户可以通过语音和腿部动作即可实现指导清洁设备移动至特定位置完成特定功能操作，且具有较高的准确性，优化了用户使用体验。

Description

清洁设备的控制方法、装置、清洁设备和存储介质

技术领域

本公开涉及智能控制技术领域，尤其涉及一种清洁设备的控制方法、装置、清洁设备和存储介质。

背景技术

目前的清洁设备，如自移动清洁设备，通常情况下，利用主机按键和APP等控制其执行对应的功能操作，且自移动清洁设备通常会根据内置的程序，在既定的清扫路径上行驶以执行相应的功能操作。

发明内容

有鉴于此，本公开实施例提供一种清洁设备的控制方法、装置、清洁设备和存储介质，以使用户可以通过语音和腿部动作即可实现指导清洁设备移动至特定位置完成特定功能操作，且具有较高的准确性，提升使用体验。

本公开第一方面的实施例，提供了一种清洁设备的控制方法，控制方法包括：

获取用户的音频信息和腿部图像信息；根据获取到的音频信息和腿部图像信息，确定工作位置信息和功能指令信息；根据工作位置信息和功能指令信息，控制清洁设备运行至待工作位置处，并执行对应的功能操作。

进一步地，根据获取到的音频信息和腿部图像信息，确定工作位置信息和功能指令信息，包括：

根据获取到的音频信息，确定第一位置信息和第一指令信息；根据获取到的腿部图像信息，确定第二位置信息和第二指令信息；根据第一位置信息和第二位置信息，确定工作位置信息，根据第一指令信息和第二指令信息，确定功能指令信息。

进一步地，根据获取到的音频信息和腿部图像信息，确定工作位置信息和功能指令信息，包括：

基于在第一预设时长内仅获取到的音频信息，确定第三位置信息和第三指令信息；根据第三位置信息控制清洁设备移动至第一概略位置处，并重新获取腿部图像信息；根据获取到的腿部图像信息，确定工作位置信息和第四指令信息；根据第三指令信息和第四指令信息，确定功能指令信息。

进一步地，根据获取到的音频信息和腿部图像信息，确定工作位置信息和功能指令信息，包括：

基于在第二预设时长内仅获取到的腿部图像信息，确定第四位置信息和第五指令信息；根据第四位置信息控制清洁设备移动至第二概略位置处，并重新获取音频信息；根据获取到的音频信息，确定工作位置信息和第六指令信息；根据第五指令信息和第六指令信息，确定功能指令信息。

进一步地，控制方法还包括：基于在第三预设时长内未获取到音频信息和/或腿部图像信息，发送提示信息。

进一步地，基于在第三预设时长内未获取到音频信息和/或腿部图像信息，发送提示信息，包括：

基于在第三预设时长内未获取到音频信息，发送第一提示信息；基于在第三预设时长内未获取到腿部图像信息，发送第二提示信息；基于在第四预设时长内未获取到音频信息和腿部图像信息，发送第三提示信息。

进一步地，控制方法还包括：响应于人工指导开始指令后，获取用户的音频信息和腿部图像信息。

本公开第二方面的实施例，提供了一种清洁设备的控制装置，控制装置包括：

获取模块，用于获取用户的音频信息和腿部图像信息；确定模块，用于根据获取到的音频信息和腿部图像信息，确定工作位置信息和功能指令信息；处理模块，用于根据工作位置信息和功能指令信息，控制清洁设备运行至待工作位置处，并执行对应的功能操作。

进一步地，确定模块包括：

第一确定单元，用于根据获取到的音频信息，确定第一位置信息和第一指令信息；

第二确定单元，用于根据获取到的腿部图像信息，确定第二位置信息和第二指令信息；

第三确定单元，用于根据第一位置信息和第二位置信息，确定工作位置信息；

第四确定单元，用于根据第一指令信息和第二指令信息，确定功能指令信息。

进一步地，确定模块包括：

第五确定单元，用于基于在第一预设时长内仅获取到的音频信息，确定第三位置信息和第三指令信息；

第六确定单元，用于根据第三位置信息控制清洁设备移动至第一概略位置处，并重新获取腿部图像信息；

第七确定单元，用于根据获取到的腿部图像信息，确定工作位置信息和第四指令信息；

第八确定单元，用于根据第三指令信息和第四指令信息，确定功能指令信息。

进一步地，确定模块包括：

第九确定单元，用于基于在第二预设时长内仅获取到的腿部图像信息，确定第四位置信息和第五指令信息；

第十确定单元，用于根据第四位置信息控制清洁设备移动至第二概略位置处，并重新获取音频信息；

第十一确定单元，用于根据获取到的音频信息，确定工作位置信息和第六指令信息；

第十二确定单元，用于根据第五指令信息和第六指令信息，确定功能指令信息。

进一步地，清洁设备的控制装置还包括：

提示模块，用于基于在第三预设时长内未获取到音频信息和/或腿部图像信息，发送提示信息。

进一步地，提示模块包括：

第一提示单元，用于基于在第三预设时长内未获取到音频信息，发送第一提示信息；

第二提示单元，用于基于在第三预设时长内未获取到腿部图像信息，发送第二提示信息；

第三提示单元，用于基于在第四预设时长内未获取到音频信息和腿部图像信息，发送第三提示信息。

进一步地，清洁设备的控制装置还包括：

响应模块，用于响应于人工指导开始指令后，获取用户的音频信息和腿部图像信息。

本公开第三方面的实施例，提供了一种清洁设备，包括处理器和存储器；存储器，用于存储操作指令；处理器，用于通过调用操作指令，执行上述第一方面任一项的清洁设备的控制方法。

本公开第四方面的实施例，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面任一项的清洁设备的控制方法。

本公开实施例提供的清洁设备的控制方法，获取用户的音频信息和腿部图像信息，其中，通过音频信息能够识别用户的大致位置方位和用户语音下达的指令信息，通过腿部图像信息能够识别用户指定位置信息和用户腿部表征的指令信息。通过根据获取到的音频信息和腿部图像信息，确定的工作位置信息和功能指令信息，具有较高的准确性，使得根据工作位置信息和功能指令信息，能够控制清洁设备准确地运行至待工作位置处，并执行对应的功能操作，与用户所在位置处和下达的指令误差较小，提高了清洁设备移动和工作的准确性和可靠性。同时，该控制方法不需要用户通过APP或清洁设备的主机按键控制清洁设备工作，仅通过用户的语音和腿部动作即可实现指导清洁设备移动至特定位置并完成特定功能操作，优化了用户使用体验。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本公开的一个可选实施例的清洁设备的结构示意图；

图2为图1所示实施例的一个视角的结构示意图；

图3为图1所示实施例的部分***示意图；

图4为根据本公开的一个可选实施例提供的清洁设备的定位方法的流程示意图；

图5为根据本公开的一个可选实施例提供的清洁设备的定位装置的示意框图；

图6为根据本公开的一个可选实施例提供的清洁设备的电子结构示意图。

10清洁设备，110机器主体，111前向部分，112后向部分，120感知***，121位置确定装置，130控制模块，140驱动***，141驱动轮模块，142从动轮，150清洁***，151干式清洁***，152边刷，153湿式清洁***，1531清洁头，1532驱动单元，1533驱动平台，1534支撑平台，160能源***，170人机交互***，20基站，500清洁设备的定位装置，502检测模块，504处理模块，601处理装置，602ROM，603RAM，604总线，605I/O接口、606输入装置，607输出装置，608存储装置，609通信装置。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本公开的限制。

本公开实施例提供一种可能的应用场景，该应用场景包括清洁设备，清洁设备为自移动清洁设备，例如扫地机器人、拖地机器人、扫拖一体机器人、吸尘器等等。可以理解的是，清洁设备也可以为满足要求的其他清洁设备。其中，自移动清洁设备通常利用主机按键和APP等控制其在既定的清扫路径上行驶以执行相应的功能操作，对于用户指定位置的清扫操作，需要用户手动将主机搬运至指定位置后进行功能操作。

进一步地，如图1和图2所示，清洁设备10可以包括机器主体110、感知***120、控制模块130、驱动***140、清洁***150、能源***160和人机交互***170。

其中，如图2所示，机器主体110包括前向部分111和后向部分112，具有近似圆形形状(前后都为圆形)，也可具有其他形状，包括但不限于前方后圆的近似D形形状及前方后方的矩形或正方形形状。

如图1所示，感知***120包括位于机器主体110上的位置确定装置121、设置于机器主体110的前向部分111的缓冲器上的碰撞传感器、近距离传感器，设置于机器主体110下部的悬崖传感器，以及设置于机器主体110内部的磁力计、加速度计、陀螺仪、里程计等传感装置，用于向控制模块130提供机器的各种位置信息和运动状态信息。位置确定装置121包括但不限于摄像头、激光测距装置(LDS，全称Laser Distance Sensor)。

如图1所示，机器主体110的前向部分111可承载缓冲器，在清洁过程中驱动轮模块141推进清洁设备10在地面行走时，缓冲器经由设置在其上的传感器***，例如红外传感器，检测清洁设备10的行驶路径中的一个或多个事件，清洁设备10可通过由缓冲器检测到的事件，例如障碍物、墙壁，而控制驱动轮模块141使清洁设备10来对事件做出响应，例如远离障碍物。

控制模块130设置在机器主体110内的电路主板上，包括与非暂时性存储器，例如硬盘、快闪存储器、随机存取存储器，通信的计算处理器，例如中央处理单元、应用处理器，应用处理器根据激光测距装置反馈的障碍物信息利用定位算法，例如即时定位与地图构建(SLAM，全称Simultaneous Localization And Mapping)，绘制清洁设备10所在环境中的即时地图。并且结合缓冲器上所设置传感器、悬崖传感器、磁力计、加速度计、陀螺仪、里程计等传感装置反馈的距离信息、速度信息综合判断清洁设备10当前处于何种工作状态、位于何位置，以及清洁设备10当前位姿等，如过门槛，上地毯，位于悬崖处，上方或者下方被卡住，尘盒满，被拿起等等，还会针对不同情况给出具体的下一步动作策略，使得清洁设备10有更好的清扫性能和用户体验。

如图2所示，驱动***140可基于具有距离和角度信息(例如x、y及θ分量)的驱动命令而操纵机器主体110跨越地面行驶。驱动***140包含驱动轮模块141，驱动轮模块141可以同时控制左轮和右轮，为了更为精确地控制机器的运动，优选驱动轮模块141分别包括左驱动轮模块和右驱动轮模块。左、右驱动轮模块沿着由机器主体110界定的横向轴设置。为了清洁设备10能够在地面上更为稳定地运动或者更强的运动能力，清洁设备10可以包括一个或者多个从动轮142，从动轮142包括但不限于万向轮。驱动轮模块141包括行走轮和驱动马达以及控制驱动马达的控制电路，驱动轮模块141还可以连接测量驱动电流的电路和里程计。驱动轮可具有偏置下落式悬挂***，以可移动方式紧固，例如以可旋转方式附接到机器主体110，且接收向下及远离机器主体110偏置的弹簧偏置。弹簧偏置允许驱动轮以一定的着地力维持与地面的接触及牵引，同时清洁设备10的清洁元件也以一定的压力接触地面。

能源***160包括充电电池，例如镍氢电池和锂电池。充电电池可以连接有充电控制电路、电池组充电温度检测电路和电池欠压监测电路，充电控制电路、电池组充电温度检测电路、电池欠压监测电路再与单片机控制电路相连。主机通过设置在机身侧方或者下方的充电电极与充电桩连接进行充电。

人机交互***170包括主机面板上的按键，按键供用户进行功能选择；还可以包括显示屏和/或指示灯和/或喇叭，显示屏、指示灯和喇叭向用户展示当前机器所处状态或者功能选择项；还可以包括手机客户端程序。对于路径导航型自动清洁设备，在手机客户端可以向用户展示设备所在环境的地图，以及机器所处位置，可以向用户提供更为丰富和人性化的功能项。

清洁***150可为干式清洁***151和/或湿式清洁***153。

如图2所示，本公开实施例所提供的干式清洁***151可以包括滚刷、尘盒、风机、出风口。与地面具有一定干涉的滚刷将地面上的垃圾扫起并卷带到滚刷与尘盒之间的吸尘口前方，然后被风机产生并经过尘盒的有吸力的气体吸入尘盒。干式清洁***151还可包括具有旋转轴的边刷152，旋转轴相对于地面成一定角度，以用于将碎屑移动到清洁***150的滚刷区域中。

如图2和图3所示，本公开实施例所提供的湿式清洁***153可以包括：清洁头1531、驱动单元1532、送水机构、储液箱等。其中，清洁头1531可以设置于储液箱下方，储液箱内部的清洁液通过送水机构传输至清洁头1531，以使清洁头1531对待清洁平面进行湿式清洁。在本公开其他实施例中，储液箱内部的清洁液也可以直接喷洒至待清洁平面，清洁头1531通过将清洁液涂抹均匀实现对平面的清洁。

其中，清洁头1531用于清洁待清洁表面，驱动单元1532用于驱动清洁头1531沿着目标面基本上往复运动的，目标面为待清洁表面的一部分。清洁头1531沿待清洁表面做往复运动，清洁头1531与待清洁表面的接触面表面设有清洁布或清洁板，通过往复运动与待清洁表面产生高频摩擦，从而去除待清洁表面上的污渍。

如图3所示，驱动单元1532还可以包括驱动平台1533和支撑平台1534，驱动平台1533连接于机器主体110底面，用于提供驱动力，支撑平台1534可拆卸的连接于驱动平台1533，用于支撑清洁头1531，且可以在驱动平台1533的驱动下实现升降。

其中，湿式清洁***153可以通过主动式升降模组与机器主体110相连接。当湿式清洁***153暂时不参与工作，例如，清洁机器人停靠基站对湿式清洁***153的清洁头1531进行清洗、对储液箱进行注水；或者遇到无法采用湿式清洁***153进行清洁的待清洁表面时，通过主动式升降模组将湿式清洁***153升起。

作为本公开的实施方式之一，如图4所示，本公开实施例提供了一种清洁设备的定位方法，包括如下方法步骤。

步骤S402：获取用户的音频信息和腿部图像信息；

步骤S404：根据获取到的音频信息和腿部图像信息，确定工作位置信息和功能指令信息。

其中，用户的音频信息包括用户发出的语音指令信息，具体地，语音指令信息可以包括“到这里来清扫”、“来这里拖地”、“过来加湿”、“监控这里”等同类命令词。具体地，在清洁设备上搭载有麦克风，利用麦克风识别用户的音频信息。用户的音频信息中包括有清扫、拖地、加湿、监控等指令信息，可以根据语音识别技术识别出用户音频信息中对应的指令信息。同时，利用声源定位技术，能够定位用户的基本方位，即能够获取用户的大致位置信息。

其中，用户的腿部图像信息可以包括用户的两支腿组成的图像信息、用户的两只脚组成的图形信息、用户的腿部动作信息、脚部动作信息等其中任意一种或任意组合。可以理解的是，不同的腿部图形信息代表了不同的指令信息，如两支腿并拢直立可以代表扫地指令，两支腿左右分开双脚落地可以代表拖地指令，两支腿前后分开双脚落地可以代表加湿指令，单脚落地可以代表监控指令等，本公开不一一列举。具体地，清洁设备上搭载有摄像头，利用摄像头能够获取用户的腿部图像信息，并利用视觉识别技术能够根据用户的腿部图形信息识别对应的功能指令信息。同时，利用图像识别技术，能够确定用户的当前位置信息。

其中，工作位置信息为清洁设备待工作位置处的信息，即用户希望清洁设备移动到工作位置信息对应的待工作位置处进行工作，如待工作位置处为用户发出音频信息位置处或用户指定位置处。功能指令信息为清洁设备待操作的功能指令，即用户希望清洁设备移动至待工作位置处执行功能指令信息对应的功能操作，如功能指令信息为清扫指令、拖地指令等。

因此，本公开通过获取到的音频信息和腿部信息，确定工作位置信息和功能指令信息，即工作位置信息由音频信息和腿部图像信息共同确定，功能指令信息由音频信息和腿部图像信息共同确定，即音频信息和腿部图像信息对位置信息和功能指令信息进行了双重确认，这样，有利于提高工作位置信息和功能指令信息确定的准确性。

步骤S406：根据工作位置信息和功能指令信息，控制清洁设备运行至待工作位置处，并执行对应的功能操作。

通过根据确定后的工作位置信息和功能指令信息，控制清洁设备运行至待工作位置处，并执行对应的功能操作，有利于提高清洁设备移动的准确性和执行功能操作的准确性，即清洁设备能够准确地移动到用户所在位置处或用户指定位置处，并能够正确执行用户通过语音和腿部动作下达的功能指令。降低了清洁设备移动后的待工作位置处与用户所在位置处的误差，同时也降低了清洁设备执行的功能操作与用户通过音频、腿部图像下发的指令信息的误差，提高了清洁设备移动和工作的准确性和可靠性。

也就是说，本公开实施例提供的清洁设备的控制方法，获取用户的音频信息和腿部图像信息，其中，通过音频信息能够识别用户的大致位置方位和用户语音下达的指令信息，通过腿部图像信息能够识别用户指定位置信息和用户腿部表征的指令信息。因此，根据获取到的音频信息和腿部图像信息，确定的工作位置信息和功能指令信息，具有较高的准确性，使得根据工作位置信息和功能指令信息，能够控制清洁设备准确地运行至待工作位置处，并执行对应的功能操作，与用户所在位置处和下达的指令误差较小，提高了清洁设备移动和工作的准确性和可靠性。同时，该控制方法不需要用户通过APP或清洁设备的主机按键控制清洁设备工作，仅通过用户的语音和腿部动作即可实现指导清洁设备移动至特定位置并完成特定功能操作，优化了用户使用体验。

其中，功能指令信息可以包括扫地指令、拖地指令、扫拖一体指令、监控指令、空气净化指令中的至少一个，可以理解的是，功能指令信息还可以包括满足要求的其他功能指令，只要清洁设备能够实现功能指令对应的功能操作即可。具体地，清洁设备可以通过感知***实现监控功能，如感知***包括摄像头，清洁设备可以利用摄像头执行监控操作。或者，清洁设备还可以搭载有空气净化***，如空气净化***包括雾化机构，通过雾化机构实现对空气的净化操作。

在本公开提供的一些可能实现的实施例中，步骤S404包括如下方法步骤。

S404-12：根据获取到的音频信息，确定第一位置信息和第一指令信息。

S404-14：根据获取到的腿部图像信息，确定第二位置信息和第二指令信息；

S404-16：根据第一位置信息和第二位置信息，确定工作位置信息；

S404-18：根据第一指令信息和第二指令信息，确定功能指令信息。

在该实施例中，由于用户发出的音频信息中包括有清扫、拖地、加湿、监控等指令信息，且利用声源定位技术，能够定位用户的基本方位，因此，根据获取到的音频信息确定第一位置信息和第一指令信息，即当用户在任一位置发出语音指令后，清洁设备能够根据获取到的音频信息，确定第一位置信息和第一指令信息，即第一位置信息和第一指令信息是与用户的当前位置、在当前位置发送的语音指令相关联的，其中，第一位置信息可以为用户当前位置的大致位置信息。

由于用户的腿部动作表征有清扫、拖地、加湿、监控等指令信息，因此，当用户在清洁设备能检测到的任一位置作出腿部特殊动作，清洁设备能够根据获取到的腿部图像信息，利用图像识别技术，确定第二位置信息和第二指令信息，即第二位置信息和第二指令信息是与用户在当前位置、在当前位置作出的腿部动相关联的。

可以理解的是，用户在同一位置发送语音指令，并作出腿部指定动作，也就是说，清洁设备获取到的音频信息的发出位置和腿部图像信息的发生位置是相同的。其中，用户发送的语音指令中的第一指令信息和腿部动作表征的第二指令信息是表征同一功能指令的，即用户语音发送“到这里清扫”，则腿部的动作应该为两支腿并拢直立，以代表扫地指令。

通过根据第一位置信息和第二位置信息，确定工作位置信息，根据第一指令信息和第二指令信息，确定功能指令信息，即工作位置信息由第一位置信息和第二位置信息双重信息进行确认，功能指令信息由第一指令信息和第二指令信息双重信息进行确认，有利于提高工作位置信息和功能指令信息确定的准确性，使得工作位置信息与用户所在位置处或用户指定位置具有较高的匹配度，功能指令信息与用户发出的指令一致，提高清洁设备工作的准确性和可靠性。

可以理解的是，由于用户口误或者失误，使得语音发出的指令信息和腿部动作表征的指令信息不一致时，即第一指令信息和第二指令信息表征不同指令时，清洁设备可以发出提示信息，以提醒用户重新发出语音指令，和/或重新作出腿部动作。其中，清洁设备可以通过根据第一指令信息和第二指令信息的匹配度确认二者是否表征同一功能指令。清洁设备可以通过声音、图像、指示灯灯光变化等发出提示信息。

在本公开提供的一些可能实现的实施例中，步骤S404包括如下方法步骤。

S404-22：基于在第一预设时长内仅获取到的音频信息，确定第三位置信息和第三指令信息；

S404-24：根据第三位置信息控制清洁设备移动至第一概略位置处，并重新获取腿部图像信息；

S404-26：根据获取到的腿部图像信息，确定工作位置信息和第四指令信息；

S404-28：根据第三指令信息和第四指令信息，确定功能指令信息。

在该实施例中，若在第一预设时长内仅获取到音频信息，即在第一预设时长内未获取到腿部图像信息，说明由于清洁设备的摄像头与用户的距离较远、或者光线问题、或者其他问题等，导致摄像头无法清晰、准确获取到用户的腿部图像信息。此时，可以根据在第一预设时长内获取到的音频信息，确定第三位置信息和第三指令信息，即第三位置信息和第三指令信息与用户的当前位置和在当前位置发送的语音指令相关联的，第三位置信息能够表征用户的大致位置。其中，第一预设时长可以为30s、60s、90s、或满足要求的其他数值，本公开不做具体限定。

然后，根据第三位置信息控制清洁设备移动至第一概略位置处，可以理解的是，第一概略位置与工作位置具有一定的变差，第一概略位置可以位于清洁设备的初始位置与工作位置之间，这样，与清洁设备未移动之前的初始位置相比，减小了清洁设备与用户之间的距离，通过重新获取腿部图像信息，使得清洁设备的摄像头能够顺利、准确、清晰地获取到腿部图像信息。根据获取到的腿部图像信息，确定工作位置信息和第四指令信息，根据第三指令信息和第四指令信息，确定功能指令信息。由于清洁设备移动至第一概略位置处后，清洁设备与用户之间的距离较小，此时，根据腿部图像信息，即可准确确定工作位置信息，且该工作位置信息与用户所在位置处或用户指定位置处匹配度较高。通过第三指令信息和第四指令信息确定功能指令信息，能够提高功能指令信息确定的准确性，降低了由于用户口误或者腿部动作放置失误而使清洁设备执行错误功能操作的问题。

可以理解的是，由于用户口误或者失误，使得语音发出的指令信息和腿部动作表征的指令信息不一致时，即第三指令信息和第四指令信息表征不同指令时，清洁设备可以发出提示信息，以提醒用户重新发出语音指令，和/或重新作出腿部动作。其中，清洁设备可以通过根据第三指令信息和第四指令信息的匹配度确认二者是否表征同一功能指令。

在本公开提供的一些可能实现的实施例中，步骤S404包括如下方法步骤。

S404-32：基于在第二预设时长内仅获取到的腿部图像信息，确定第四位置信息和第五指令信息；

S404-34：根据第四位置信息控制清洁设备移动至第二概略位置处，并重新获取音频信息；

S404-36：根据获取到的音频信息，确定工作位置信息和第六指令信息；

S404-38：根据第五指令信息和第六指令信息，确定功能指令信息。

在该实施例中，若在第二预设时长内仅获取到腿部图像信息，即在第二预设时长内未获取到音频信息，说明由于清洁机器人的摄像头与用户的距离较远、或者用户的语音指令声音较小等问题，导致麦克风无法清晰、准确获取到用户的音频信息。此时，可以根据在第二预设时长内获取到的腿部图像信息，确定第四位置信息和第五指令信息，即第四位置信息和第五指令信息与用户的当前位置和在当前位置作出的腿部动作相关联的，第四位置信息能够表征用户的大致位置。其中，第二预设时长可以为30s、60s、90s、或满足要求的其他数值，本公开不做具体限定。

然后，根据第四位置信息控制清洁设备移动至第二概略位置处，可以理解的是，第二概略位置与工作位置具有一定的变差，第二概略位置可以位于清洁设备的初始位置与工作位置之间，这样，与清洁设备未移动之前的初始位置相比，减小了清洁设备与用户之间的距离，通过重新获取音频信息，使得清洁设备的麦克风能够顺利、准确、清晰地获取到用户的音频信息。根据获取到的音频信息，确定工作位置信息和第六指令信息，根据第五指令信息和第六指令信息，确定功能指令信息。由于清洁设备移动至第二概略位置处后，清洁设备与用户之间的距离较小，此时，根据音频信息，即可准确确定工作位置信息，且该工作位置信息与用户所在位置处或用户指定位置处匹配度较高。通过第五指令信息和第六指令信息确定功能指令信息，能够提高功能指令信息确定的准确性，降低了由于用户口误或者腿部动作放置失误而使清洁设备执行错误功能操作的问题。

可以理解的是，由于用户口误或者失误，使得语音发出的指令信息和腿部动作表征的指令信息不一致时，即第五指令信息和第六指令信息表征不同指令时，清洁设备可以发出提示信息，以提醒用户重新发出语音指令，和/或重新作出腿部动作。其中，清洁设备可以通过根据第五指令信息和第六指令信息的匹配度确认二者是否表征同一功能指令。

在本公开提供的一些可能实现的实施例中，清洁设备的控制方法还包括：

步骤S408：基于在第三预设时长内未获取到音频信息和/或腿部图像信息，发送提示信息。

在该实施例中，当在第三预设时长内未获取到音频信息，说明麦克风故障，当在第三预设时长内未获取到腿部图像信息，说明摄像头故障。因此，基于在第三预设时长内未获取到音频信息和/或图像信息，发送提示信息，提醒用户清洁设备出现故障，有可能是麦克风故障或者摄像头故障，或者二者同时故障，在该种情况下，用户无法通过语音、腿部动作等准确指导清洁设备工作，用户可以对清洁设备进行检查和维修。

其中，提示信息包括音频、图文、光中的至少一种，也就是说，清洁设备可以通过音频、图文、指示灯灯光变化等信息发出提示信息，以告知用户清洁设备故障，无法获取到音频信息和/或图像信息。如清洁设备可以通过指示灯提醒用户清洁设备故障，或者，通过麦克风播报清洁设备故障。

其中，第三预设时长大于第一预设时长和第二预设时长，第三预设时长可以为90s、100s、200s或满足要求的其他数值，本公开不做具体限定。

在上述实施例中，步骤S408可以包括如下方法步骤。

S408-2：基于在第三预设时长内未获取到音频信息，发送第一提示信息；

S408-4：基于在第三预设时长内未获取到腿部图像信息，发送第二提示信息；

S408-6：基于在第三预设时长内未获取到音频信息和腿部图像信息，发送第三提示信息。

在该实施例中，基于在第三预设时长内未获取到音频信息，说明麦克风可能发生故障，发送第一提示信息，以提醒用户麦克风可能发生故障。也就是说，第一提示信息为麦克风故障信息。

基于在第三预设时长内未获取到腿部图像信息，说明摄像头可能发生故障，发送第二提示信息，以提醒用户摄像头可能发生故障。也就是说，第二提示信息为摄像头故障信息。

基于在第三预设时长内未获取到音频信息和腿部图像信息，说明麦克风和摄像头可能均发生故障，发送第三提示信息，以提醒用户麦克风和摄像头可能均发生故障。也就是说，第三提示信息为麦克风和摄像头均故障信息。

这样的设置，使得用户能够根据第一提示信息、第二提示信息、第三提醒信息这三个不同的提示信息，了解清洁设备的具体故障问题，如是麦克风故障、或摄像头故障、或麦克风和摄像头同时故障，进而便于用户有针对性的对故障部件进行检查和维修，有利于提高维修效率，提升维修体验。

具体地，以提示信息为指示灯灯光为例，可以用不同的颜色表征不同的提示信息，如第一提示信息为红色灯光，第二提示信息为黄色灯光，第三提示信息为绿色灯光等。可以理解的是，也可以通过其他方式表示第一提示信息、第二提示信息、第三提示信息，本公开不一一列举。

在本公开提供的一些可能实现的实施例中，清洁设备的控制方法还包括：

响应于人工指导开始指令后，获取用户的音频信息和腿部图像信息。

在该实施例中，人工指导开始指令用于表征清洁设备开始执行人工指导操作，其中，人工指导操作即为通过获取用的音频信息和腿部图像信息，指导清洁设备进行工作。

当清洁设备响应于人工指导开始指令后，说明清洁设备需要通过获取用户的音频信息和腿部图像信息来进行人工指导以控制清洁设备的工作，因此，获取用户的音频信息和腿部图像信息，以实现对清洁设备的控制，同时，能够避免在清洁设备通过主机按键或APP控制过程中，获取用户的音频信息航和腿部图像信息，而导致清洁设备的控制程序混乱的问题。也就是说，当清洁收设备响应于人工指导开始指令后，调整清洁设备的控制程序切换清洁设备的控制方法，使得当前的清洁设备通过获取用户的音频信息和腿部图像信息来指导清洁设备进行控制，而不是通过主机按键或APP进行控制。

可以理解的是，当不需要执行人工指导清洁设备工作时，可以发送人工指导结束指令以结束当前控制策略。其中，人工指导开始指令、人工指导结束指令可以通过用户的语音指令进行发送，或者通过满足要求的其他方式进行发送。例如，当需要清洁设备切换为人工指导控制程序时，用户可以发出“听我指挥”口令，清洁设备收到上述口令后，自动切换控制程序，关闭主机按键或APP的控制策略，自动获取用户的音频信息和腿部图像信息以进行人工指导控制策略，即开始执行本公开的控制方法。

如图5所示，本公开第二个方面的实施例，提供了一种清洁设备的控制装置500，控制装置500包括：获取模块502，用于获取用户的音频信息和腿部图像信息；确定模块504，用于根据获取到的音频信息和腿部图像信息，确定工作位置信息和功能指令信息；处理模块506，用于根据工作位置信息和功能指令信息，控制清洁设备运行至待工作位置处，并执行对应的功能操作。

本公开实施例提供的清洁设备的控制装置500，通过获取模块502获取用户的音频信息和腿部图像信息，其中，通过音频信息能够识别用户的大致位置方位和用户语音下达的指令信息，通过腿部图像信息能够识别用户指定位置信息和用户腿部表征的指令信息。因此，确定模块504根据获取到的音频信息和腿部图像信息，确定的工作位置信息和功能指令信息，具有较高的准确性，使得处理模块506根据工作位置信息和功能指令信息，能够控制清洁设备准确地运行至待工作位置处，并执行对应的功能操作，与用户所在位置处和下达的指令误差较小，提高了清洁设备移动和工作的准确性和可靠性。同时，该控制方装置不需要用户通过APP或清洁设备的主机按键控制清洁设备工作，仅通过用户的语音和腿部动作即可实现指导清洁设备移动至特定位置并完成特定功能操作，优化了用户使用体验。

作为一种示例，确定模块504包括：第一确定单元，用于根据获取到的音频信息，确定第一位置信息和第一指令信息；第二确定单元，用于根据获取到的腿部图像信息，确定第二位置信息和第二指令信息；第三确定单元，用于根据第一位置信息和第二位置信息，确定工作位置信息；第四确定单元，用于根据第一指令信息和第二指令信息，确定功能指令信息。

作为一种示例，确定模块504包括：第五确定单元，用于基于在第一预设时长内仅获取到的音频信息，确定第三位置信息和第三指令信息；第六确定单元，用于根据第三位置信息控制清洁设备移动至第一概略位置处，并重新获取腿部图像信息；第七确定单元，用于根据获取到的腿部图像信息，确定工作位置信息和第四指令信息；第八确定单元，用于根据第三指令信息和第四指令信息，确定功能指令信息。

作为一种示例，确定模块504包括：第九确定单元，用于基于在第二预设时长内仅获取到的腿部图像信息，确定第四位置信息和第五指令信息；第十确定单元，用于根据第四位置信息控制清洁设备移动至第二概略位置处，并重新获取音频信息；第十一确定单元，用于根据获取到的音频信息，确定工作位置信息和第六指令信息；第十二确定单元，用于根据第五指令信息和第六指令信息，确定功能指令信息。

作为一种示例，清洁设备的控制装置500还包括：提示模块，用于基于在第三预设时长内未获取到音频信息和/或腿部图像信息，发送提示信息。

作为一种示例，提示模块包括：第一提示单元，用于基于在第三预设时长内未获取到音频信息，发送第一提示信息；第二提示单元，用于基于在第三预设时长内未获取到腿部图像信息，发送第二提示信息；第三提示单元，用于基于在第四预设时长内未获取到音频信息和腿部图像信息，发送第三提示信息。

作为一种示例，清洁设备的控制装置500还包括：响应模块，用于响应于人工指导开始指令后，获取用户的音频信息和腿部图像信息。

本公开实施例提供了一种清洁设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机程序指令，处理器执行计算机程序指令时，实现任一实施例的清洁设备的控制方法的步骤。

如图6所示，清洁设备可以包括处理装置601(例如中央处理器、图形处理器等)，其可以根据存储在只读存储器(ROM602)中的程序或者从存储装置608加载到随机访问存储器(RAM603)中的程序而执行各种适当的动作和处理。在RAM603中，还存储有电子机器人操作所需的各种程序和数据。处理装置601、ROM602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口也连接至总线604。

通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、感应装置等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如硬盘等的存储装置608；以及通信装置609。通信装置609可以允许清洁设备与其他基站进行无线或有线通信以交换数据，例如，通信装置609可以实现清洁设备与基站或远程移动设备之间的通信。虽然图6示出了具有各种装置的基站，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为机器人软件程序。例如，本公开的实施例包括一种机器人软件程序产品，其包括承载在可读介质上的计算机程序，该计算机程序包含用于执行流程图4所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以但不限于：电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM603)、只读存储器(ROM602)、可擦式可编程只读存储器(EPROM602或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM602)、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述机器人中所包含的；也可以是单独存在，而未装配入该机器人中。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言诸如Java、Small talk,C++，还包括常规的过程式程序设计语言诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。

在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，如包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

最后应说明的是：以上实施例仅用以说明本公开的技术方案，而非对其限制：尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换：而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。

最后应说明的是：以上实施例仅用以说明本公开的技术方案，而非对其限制：尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换：而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。

Claims (14)

1.一种清洁设备的控制方法，其特征在于，所述控制方法包括：

获取用户的音频信息和腿部图像信息；

根据获取到的所述音频信息和所述腿部图像信息，确定工作位置信息和功能指令信息；其中，所述工作位置信息由所述音频信息和所述腿部图像信息共同确定，所述功能指令信息由所述音频信息和所述腿部图像信息共同确定；

根据所述工作位置信息和所述功能指令信息，控制所述清洁设备运行至待工作位置处，并执行对应的功能操作；

其中，所述根据获取到的所述音频信息和所述腿部图像信息，确定工作位置信息和功能指令信息，包括：

根据获取到的所述音频信息，确定第一位置信息和第一指令信息；

根据获取到的所述腿部图像信息，确定第二位置信息和第二指令信息；

根据所述第一位置信息和所述第二位置信息，确定所述工作位置信息；

根据所述第一指令信息和所述第二指令信息，确定所述功能指令信息。

2.根据权利要求1所述的清洁设备的控制方法，其特征在于，所述根据获取到的所述音频信息和所述腿部图像信息，确定工作位置信息和功能指令信息，包括：

基于在第一预设时长内仅获取到的所述音频信息，确定第三位置信息和第三指令信息；

根据所述第三位置信息控制所述清洁设备移动至第一概略位置处，并重新获取所述腿部图像信息；

根据获取到的所述腿部图像信息，确定所述工作位置信息和第四指令信息；

根据所述第三指令信息和所述第四指令信息，确定所述功能指令信息。

3.根据权利要求1所述的清洁设备的控制方法，其特征在于，所述根据获取到的所述音频信息和所述腿部图像信息，确定工作位置信息和功能指令信息，包括：

基于在第二预设时长内仅获取到的所述腿部图像信息，确定第四位置信息和第五指令信息；

根据所述第四位置信息控制所述清洁设备移动至第二概略位置处，并重新获取所述音频信息；

根据获取到的所述音频信息，确定所述工作位置信息和第六指令信息；

根据所述第五指令信息和所述第六指令信息，确定所述功能指令信息。

4.根据权利要求1至3中任一项所述的清洁设备的控制方法，其特征在于，所述控制方法还包括：

基于在第三预设时长内未获取到所述音频信息和/或所述腿部图像信息，发送提示信息。

5.根据权利要求4所述的清洁设备的控制方法，其特征在于，所述基于在第三预设时长内未获取到所述音频信息和/或所述腿部图像信息，发送提示信息，包括：

基于在所述第三预设时长内未获取到所述音频信息，发送第一提示信息；

基于在所述第三预设时长内未获取到所述腿部图像信息，发送第二提示信息；

基于在第四预设时长内未获取到所述音频信息和所述腿部图像信息，发送第三提示信息。

6.根据权利要求1至3中任一项所述的清洁设备的控制方法，其特征在于，所述控制方法还包括：

响应于人工指导开始指令后，获取用户的所述音频信息和所述腿部图像信息。

7.一种清洁设备的控制装置，其特征在于，所述控制装置包括：

获取模块，用于获取用户的音频信息和腿部图像信息；

确定模块，用于根据获取到的所述音频信息和所述腿部图像信息，确定工作位置信息和功能指令信息；其中，所述工作位置信息由所述音频信息和所述腿部图像信息共同确定，所述功能指令信息由所述音频信息和所述腿部图像信息共同确定；

处理模块，用于根据所述工作位置信息和所述功能指令信息，控制所述清洁设备运行至待工作位置处，并执行对应的功能操作；

其中，所述确定模块包括：第一确定单元，用于根据获取到的音频信息，确定第一位置信息和第一指令信息；

第二确定单元，用于根据获取到的所述腿部图像信息，确定第二位置信息和第二指令信息；

第三确定单元，用于根据所述第一位置信息和所述第二位置信息，确定所述工作位置信息；

第四确定单元，用于根据所述第一指令信息和所述第二指令信息，确定所述功能指令信息。

8.根据权利要求7所述的清洁设备的控制装置，其特征在于，所述确定模块包括：

第五确定单元，用于基于在第一预设时长内仅获取到的所述音频信息，确定第三位置信息和第三指令信息；

第六确定单元，用于根据所述第三位置信息控制所述清洁设备移动至第一概略位置处，并重新获取所述腿部图像信息；

第七确定单元，用于根据获取到的所述腿部图像信息，确定所述工作位置信息和第四指令信息；

第八确定单元，用于根据所述第三指令信息和所述第四指令信息，确定所述功能指令信息。

9.根据权利要求7所述的清洁设备的控制装置，其特征在于，所述确定模块包括：

第九确定单元，用于基于在第二预设时长内仅获取到的所述腿部图像信息，确定第四位置信息和第五指令信息；

第十确定单元，用于根据所述第四位置信息控制所述清洁设备移动至第二概略位置处，并重新获取所述音频信息；

第十一确定单元，用于根据获取到的所述音频信息，确定所述工作位置信息和第六指令信息；

第十二确定单元，用于根据所述第五指令信息和所述第六指令信息，确定所述功能指令信息。

10.根据权利要求7至9中任一项所述的清洁设备的控制装置，其特征在于，所述控制装置还包括：

提示模块，用于基于在第三预设时长内未获取到所述音频信息和/或所述腿部图像信息，发送提示信息。

11.根据权利要求10所述的清洁设备的控制装置，其特征在于，所述提示模块包括：

第一提示单元，用于基于在所述第三预设时长内未获取到所述音频信息，发送第一提示信息；

第二提示单元，用于基于在所述第三预设时长内未获取到所述腿部图像信息，发送第二提示信息；

第三提示单元，用于基于在第四预设时长内未获取到所述音频信息和所述腿部图像信息，发送第三提示信息。

12.根据权利要求7至9中任一项所述的清洁设备的控制装置，其特征在于，所述控制装置还包括：

响应模块，用于响应于人工指导开始指令后，获取用户的所述音频信息和所述腿部图像信息。

13.一种清洁设备，其特征在于，包括处理器和存储器；

所述存储器，用于存储操作指令；

所述处理器，用于通过调用所述操作指令，执行上述权利要求1至6中任一项所述的清洁设备的控制方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述权利要求1至6中任一项所述的清洁设备的控制方法。

Images