CN211484452U - 一种自移动清洁机器人 - Google Patents
一种自移动清洁机器人 Download PDFInfo
- Publication number
- CN211484452U CN211484452U CN201921931604.2U CN201921931604U CN211484452U CN 211484452 U CN211484452 U CN 211484452U CN 201921931604 U CN201921931604 U CN 201921931604U CN 211484452 U CN211484452 U CN 211484452U
- Authority
- CN
- China
- Prior art keywords
- module
- self
- cleaning robot
- moving cleaning
- microphone array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本实用新型提供一种自移动清洁机器人,包括:CPU处理模块,以及与所述CPU处理模块连接的麦克风阵列模块、通信模块、自主导航模块、功放模块、存储模块、MCU控制模块、缓存模块,还包括与所述功放模块连接的扬声器以及与所述MCU控制模块连接的驱动模块,其中,所述麦克风阵列模块设置在所述自移动清洁机器人的顶部。可见,本实用新型的自移动清洁机器人设置有麦克风阵列模块,能够用于采集用户的原始音频数据,进而CPU处理模块能够基于用户的语音执行相应的操作,简化了用户操作,使得用户对自移动清洁机器人的控制更加简便快捷。
Description
技术领域
本申请涉及智能家居领域,特别涉及一种自移动清洁机器人。
背景技术
扫地机器人等自移动清洁机器人已经被越来越广泛地应用于各种清洁场景,尤其是在居家环境中。用户可以通过与自移动清洁机器人进行交互,控制其例如行走方向,开始、暂停清扫,自动回充,定点清扫等。一般地,进行交互的方式有以下几种:一是通过机械按键或触摸按键控制,二是通过红外遥控,三是通过智能移动终端(如手机或平板电脑等)的应用程序(Application,APP)经由蓝牙(Bluetooth)或者无线保真(Wireless Fidelity,WIFI)控制,四是在自移动清洁机器人的顶部增加一个触摸屏实现触摸控制,五是通过Amazon Alexa或Google Home等中枢控制终端进行语音控制。
然而,通过按键控制需要用户弯腰去手指触控;通过红外遥控需要额外增加一个遥控器,并且易与家庭电视遥控等混淆;通过智能移动终端(如手机或平板电脑等)控制需要用户下载特定的APP从而占用智能移动终端的存储空间;同样地顶部的触摸屏也需要用户弯腰触控,且触摸屏耗电较快。再者,这几种方式的操作内容都很单一。可见,目前对自移动清洁机器人的控制方式对用户不友好,使得用户体验较差。
实用新型内容
基于上述问题而提出了本实用新型。
根据本实用新型,提供了一种自移动清洁机器人,包括:
CPU处理模块,以及与所述CPU处理模块连接的麦克风阵列模块、通信模块、自主导航模块、功放模块、存储模块、MCU控制模块、缓存模块,还包括与所述功放模块连接的扬声器以及与所述MCU控制模块连接的驱动模块,其中,
所述麦克风阵列模块设置在所述自移动清洁机器人的顶部。
在本实用新型的一种实现方式中,所述麦克风阵列模块包括至少两个麦克风,所述至少两个麦克风沿着所述自移动清洁机器人的周向呈环形状布局。
在本实用新型的一种实现方式中,所述至少两个麦克风为2个、4个、6个或8个。
在本实用新型的一种实现方式中,所述至少两个麦克风还包括设置在所述麦克风阵列模块的中部的至少1个麦克风。
在本实用新型的一种实现方式中,所述麦克风阵列模块所包括的麦克风是驻极体麦克风,或者是MEMS麦克风。
在本实用新型的一种实现方式中,所述通信模块包括无线WIFI发射接收装置。
在本实用新型的一种实现方式中,所述功放模块是D类音频功率放大器。
在本实用新型的一种实现方式中,所述扬声器是8Ω5W全频喇叭。
在本实用新型的一种实现方式中,所述MCU控制模块与所述CPU处理模块通过全双工串口通讯。
由此可见,本实用新型中的自移动清洁机器人设置有麦克风阵列模块,能够用于采集用户的原始音频数据,进而CPU处理模块能够基于用户的语音执行相应的操作,简化了用户操作,使得用户对自移动清洁机器人的控制更加简便快捷。并且能够针对用户的语音播放相应的应答语音,实现自移动清洁机器人与用户之间会话功能,这样交互能够提升用户的体验。
附图说明
通过结合附图对本实用新型进行更详细的描述,本实用新型的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本实用新型的进一步理解,并且构成说明书的一部分,与本实用新型一起用于解释本实用新型,并不构成对本实用新型的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1是本实用新型的控制自移动清洁机器人的***的一个示意性框图;
图2是本实用新型的控制自移动清洁机器人的***的另一个示意性框图;
图3是本实用新型的自移动清洁机器人的一个顶部示意图;
图4(a)-(j)是本实用新型的自移动清洁机器人的麦克风阵列模块的一个示意图;
图5是本实用新型的自移动清洁机器人的控制方法的一个示意性流程图;
图6是本实用新型的自移动清洁机器人的离线控制方法的一个示意性流程图;
图7是本实用新型的自移动清洁机器人与云平台交互的一个示意性流程图;
图8是本实用新型的自移动清洁机器人的控制方法的一个示意性流程图。
具体实施方式
在下文的描述中,给出了大量具体的细节以便提供对本实用新型更为彻底的理解。然而,对于本领域技术人员而言显而易见的是,本实用新型可以无需一个或多个这些细节而得以实施。在其他的例子中,为了避免与本实用新型发生混淆,对于本领域公知的一些技术特征未进行描述。
为了彻底理解本实用新型,将在下列的描述中提出详细的结构,以便阐释本实用新型。显然,本实用新型的施行并不限定于该技术领域的技术人员所熟习的特殊细节。本实用新型的较佳实施例详细描述如下,然而除了这些详细描述外,本实用新型还可以具有其他实施方式,不应当解释为局限于这里提出的实施例。
应当理解的是,在此使用的术语的目的仅在于描述具体实施例并且不作为本实用新型的限制,单数形式的“一”、“一个”和“所述/该”也意图包括复数形式,除非上下文清楚指出另外的方式。当在本说明书中使用术语“包含”和/或“包括”时,其指明存在所述特征、整体、步骤、操作、元件和/或组件,但不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。本实用新型中所使用的术语“上”、“下”、“前”、“后”、“左”、“右”以及类似的表述只是为了说明的目的,并非限制。
本实用新型中所引用的诸如“第一”和“第二”的序数词仅仅是标识,而不具有任何其他含义,例如特定的顺序等。而且,例如,术语“第一部件”其本身不暗示“第二部件”的存在,术语“第二部件”本身不暗示“第一部件”的存在。
语音作为人类信息最方便的交互方式,人与机器能否像人与人一样交流自如,是人类一直研究的方向,人机交互中机器大脑应具备情感感知计算能力,针对人类发出的信息作出更智能、更有效的反应。自移动清洁机器人作为家庭中常见的一款智能硬件产品,相比于人工智能(Artificial Intelligence,AI)音箱、智能陪伴机器人、智能电视,也需要更智能的人机无媒介、无障碍、沟通更简单、更丰富、更具情感化的应用。
目前已有的一种自移动清洁机器人可以基于“关键词列表”进行语音控制,该自移动清洁机器人采用语音识别芯片(例如LD 3320),该芯片集成了语音识别处理器和一些外部电路,包括数模转换器(Analog to Digital Converter,ADC)、模数转换器(Digital-to-Analog Converter,DAC)、麦克风接口、声音输出接口等,该芯片不需要外接任何的辅助芯片如闪存(Flash)、随机存取存储器(Random Access Memory,RAM)等,直接集成在现有的产品中,即可以实现语音识别、声控、人机对话功能。然而,基于关键词列表的方案功能简单、关键词有限,识别率低,识别距离近,离线状态下无法完成语音识别;且单麦克风***若离声源距离远,真实环境噪声、反射和混响等会影响拾取信号的质量和信号分离。
目前另一自移动清洁机器人利用智能语音识别硬件设备(如智能音箱)作为中间转接,用户控制智能音箱后,智能音箱控制自移动清洁机器人开启打扫模式,并且智能音箱的摄像装置可以监控自移动清洁机器人是否在干活。然而依靠中间转接设备一方面首先需要智能音箱的授权绑定,这样的联网配置操作复杂使用麻烦,并且依靠中间转接设备会增加多余的成本。
本实用新型提供了一种控制自移动清洁机器人的***,如图1所示,该***包括自移动清洁机器人100以及云平台200,自移动清洁机器人100与云平台200可以进行相互通信。示例性地,自移动清洁机器人100可以具有通信模块,并且自移动清洁机器人100可以经由通信模块与云平台200进行通信。
其中,通信模块可以为WIFI通信模块,如图2示出的WIFI发射接收装置102;或者,通信模块可以为移动通信模块,如LTE通信模块或者5G通信模块等;本实用新型对此不限定。为了描述的方便,本实用新型后续实施例以图2所示的WIFI发射接收装置102为例进行阐述。
示例性地,云平台200可以是语音开放云平台。该云平台200具有语音交互功能。具体地,云平台200具有强大的自然语言处理能力,可以使用语音交互技术合成语音技能库,实现与自移动清洁机器人100之间的语音交互。其中,云平台200可以建立有自移动清洁机器人100的知识信息基础,并通过逐步优化和训练,来构建与自移动清洁机器人100进行交互的语音库。本实用新型对所使用的云平台200不做限定,例如可以是目前已有的一些语音开放云平台,如亚马逊、讯飞、百度、阿里、图灵、思必驰等等所开发的;可以是在此之后重新开发得到的语音云平台等。
示例性地,如图2所示,自移动清洁机器人100可以包括中央处理单元(CentralProcessing Unit,CPU)处理模块110,以及与CPU处理模块110连接的麦克风阵列模块101、WIFI发射接收装置102、自主导航模块103、功放模块104、存储模块106、缓存模块107、MCU控制模块108,还包括与功放模块104连接的扬声器105以及与MCU控制模块108连接的驱动模块109。
其中,麦克风阵列模块101设置在自移动清洁机器人100的顶部(如图3示出的是自移动清洁机器人100的顶部的一个示意图),并且,麦克风阵列模块101包括至少两个麦克风。
示例性地,麦克风阵列模块101包括多个麦克风(假设为N个)且多个麦克风沿着自移动清洁机器人100的周向呈环形状布局。具体地,可以沿自移动清洁机器人100的顶部的周向进行环状布局。
可以理解,在自移动清洁机器人100的顶部设置麦克风阵列模块101之后,顶部还包括外壳,既可以防尘也保证了美观。如图3是安装外壳之后的顶部的一个示意图。
也就是说,多个麦克风(假设为N个)可以相对于自移动清洁机器人100的中心呈中心对称布局,且每个麦克风与自移动清洁机器人100的中心的距离都相等。作为一种实现方式,N个麦克风中每个麦克风与自移动清洁机器人100的中心之间的距离大于或等于该自移动清洁机器人100的半径。
本实用新型实施例中,自移动清洁机器人100的半径是指自移动清洁机器人100的中心与自移动清洁机器人100上的其它点之间的最大距离。
本实用新型实施例中,N为正整数,优选地为大于或等于2的正整数,如N=2或N=4或N=6或N=8等等。如图4(a)示出了N=2的一种情形,图4(c)示出了N=4的一种情形,图4(e)示出了N=6的一种情形,图4(g)示出了N=8的一种情形。
示例性地,麦克风阵列模块101所包括的至少两个麦克风中,可以有至少一个位于麦克风阵列模块101的中部。
可选地,麦克风阵列模块101除了上述提到的多个麦克风(假设为N个)之外,还可以进一步包括若干个麦克风(假设为M个),若干个麦克风围绕自移动清洁机器人100的中心均匀布局。
也就是说,若干个麦克风(假设为M个)可以相对于自移动清洁机器人100的中心呈中心对称布局,且每个麦克风与自移动清洁机器人100的中心的距离都相等。作为一种实现方式,M个麦克风中每个麦克风与自移动清洁机器人100的中心之间的距离小于或等于该自移动清洁机器人100的半径。也就是说,M个麦克风与自移动清洁机器人100的中心之间的距离小于N个麦克风与自移动清洁机器人100的中心之间的距离。
本实用新型实施例中,M为非负整数。可理解,M=0即上述实施例中只包括多个麦克风(N个麦克风)的情形。
作为一例,M=1,即若干个麦克风为1个麦克风,此时,这1个麦克风设置在自移动清洁机器人的顶部的中心。参照图4,图4(b)是在图4(a)的基础上多了一个麦克风,且该一个麦克风位于中心。图4(d)是在图4(c)的基础上多了一个位于中心的麦克风。图4(f)是在图4(e)的基础上多了一个位于中心的麦克风。图4(h)是在图4(g)的基础上多了一个位于中心的麦克风。
作为另一例,M=2,即若干个麦克风为2个麦克风,此时,这2个麦克风设置在自移动清洁机器人的顶部,且相对于中心对称设置。参照图4,图4(i)是在图4(c)的基础上多了2个麦克风,且这2个麦克风相对于中心是对称设置的。图4(j)是在图4(e)的基础上多了2个麦克风,且这2个麦克风相对于中心是对称设置的。
作为一个示例,可以选择N>M≥0。当然也可以是N=M或者甚至是N<M。本实用新型对此不限定。
基于上述的表述,本实用新型实施例中的麦克风阵列模块101可以称为N+M麦,例如图4(a)-(j)示出的依次为2麦、2+1麦、4麦、4+1麦、6麦、6+1麦、8麦、8+1麦、4+2麦、6+2麦。类似地,也可以布局5麦、8+2麦等等其他各种布局,这里不再一一罗列。
应当注意的,尽管图4中示出了N=2或4或6或8、M=0或1或2的几个布局示例,但是也可以采用其他的布局方式,本实用新型不限于图4(a)-(j)所示的麦克风布局。麦克风的数量可以为4、6、8或者更多或更少。
本实用新型实施例中,麦克风阵列模块101的多个麦克风进行环形状布局,能够便于收集各个方向的声音。不管声源位于哪个方位,都可以完整且精确的被麦克风阵列模块101采集到,麦克风的数量为2时,可以实现的拾音角度为180度;麦克风的数量更多时,可以实现的拾音角度为360度,即实现全方位声音采集。麦克风阵列模块101额外还包括若干个麦克风,可以进一步增加对声音收集的效果。
示例性地,麦克风阵列模块101所包括的麦克风可以是驻极体麦克风、或者可以是MEMS(微机电***,Micro-Electro-Mechanical System)麦克风、或者可以是其他类型的麦克风,具体地可以根据性能要求、成本要求等进行选取,本实用新型对此不限定。
可理解,若采用驻极体麦克风,如指向型驻极体麦克风,则其性能指标会更高,但与此同时由于生产需要大量人工介入会导致成本也相应地较高。可理解,若采用MEMS麦克风,则其性能指标较低,但是其成本低,能够保证量产质量。为了提高性能,可以选用模拟MEMS麦克风并配置模数转换器(Analog-to-Digital Converter,ADC),但是额外的ADC同时也增加了成本。另外,也可以选用数字MEMS麦克风,但是其对信号处理算法的要求比较高。
如图2所示,麦克风阵列模块101与CPU处理模块110连接,例如通过总线连接,麦克风阵列模块101在采集到音频之后,可以将采集到的音频发送至CPU处理模块110,以便由CPU处理模块110进行下一步地处理。
其中,WIFI发射接收装置102为上述通信模块的一例,自移动清洁机器人100可以经由WIFI发射接收装置102实现与云平台200之间的语音交互。
示例性地,WIFI发射接收装置102与CPU处理模块110连接,通过WIFI配网,实现自移动清洁机器人100与云平台200之间的数据交互。可选地,自移动清洁机器人100与云平台200之间的数据交互方式可以为socket通讯,它支持TCP/IP(Transmission ControlProtocol/Internet Protocol,传输控制协议/因特网协议)的网络通讯的基本操作单元。
自移动清洁机器人100上安装的操作***(如安卓(Android)***)可以通过自移动清洁机器人100建立的一个套接字(socket)并得到一个随机的socket号,进而云平台200可以时刻进行网络监听,一旦发现地址与端口号一致的连接请求,便进行连接,然后对所需的信息和数据进行及时的传输,并进行存储。
其中,功放模块104可以是D类音频功率放大器(数字功放),将微弱的信号放大,推动扬声器105发声。功放模块104与CPU处理模块110连接,CPU处理模块110可以通过指令控制功放模块104的音频参数的调节。
其中,扬声器105可以是8欧(Ω)5瓦(W)全频喇叭,其与功放模块104连接,用于播放音频,作为自移动清洁机器人100的声音输出。可选地,使用8Ω5W全频喇叭能够保证高品质的声音输出。
其中,存储模块106可以是非易失性存储设备,其可以用于存储CPU处理模块110的固件程序和应用程序,能够根据使用环境和需求进行升级,确保CPU处理模块110的正常运行。具体地,存储模块106可以存储有计算机程序,使得CPU处理模块110执行该计算机程序时实现本实用新型实施例中的方法的步骤。另外,存储模块106可以存储有本地语音数据库。CPU处理模块110可以基于本地语音数据库进行检索、匹配等操作,具体流程可以参见后续的方法步骤的描述。
其中,缓存模块107可以是易失性存储设备,例如可以是1GB(吉字节,Gigabyte)DDR3(双倍速率,Double Data Rate)存储芯片,能够满足CPU处理模块110的数据存储和读取的要求,且缓存模块107能够减轻CPU处理模块110的工作计算量,确保CPU处理模块110的正常运行。
其中,CPU处理模块110可以被简称为CPU,其可以包含多个内核,内置图形处理单元(Graphics Processing Unit,GPU)和嵌入式神经网络处理单元(Neural ProcessingUint,NPU)以及音频编解码器(codec)。CPU处理模块110的工作主频高,其上可以运行有操作***,如安卓(Android)***、或Buildroot***、机器人操作***(Robot OperatingSystem,ROS)、阿里操作***(AliOS Things)等等操作***。CPU处理模块110的处理数据能力强,处理速度快,支持多通道集成电路内置音频(Integrated Interchip Sound,I2S)接口/脉冲编码调制(Pulse Code Modulation,PCM)接口及时分复用(Time DivisionMultiplexing,TDM)数字麦克风接口输入,还支持其他各种总线及接口,包括但不限于:通用串行总线(Universal Serial Bus,USB)、安全数字输入输出(Secure Digital Inputand Output,SDIO)、通用异步收发传输器(Universal Asynchronous Receiver/Transmitter,UART)、集成电路总线(Inter-Integrated Circuit,IIC)、串行外设接口(Serial Peripheral Interface,SPI)、移动产业处理器接口(Mobile IndustryProcessor Interface,MIPI)、嵌入式多媒体卡(embedded Multi Media Card,eMMC)等。
作为一例,CPU处理模块110可以收集路径规划采集的信息,经过运算生成位置坐标,并构建二维栅格地图,并生成相应的决策和执行动作,使自移动清洁机器人100具备自动导航的功能。
其中,自主导航模块103与CPU处理模块110相连,自主导航模块103使用传感器采集环境信息,并将采集到的环境信息发送至CPU处理模块110。另外,自主导航模块103还可以使用同时定位与地图构建(Simultaneous Localization And Mapping,SLAM)技术,例如基于激光雷达的SLAM和视觉传感器的视觉(Visual)SLAM,协助CPU处理模块110构建二维地图。
其中,MCU控制模块108与CPU处理模块110连接,具体地MCU控制模块108与CPU处理模块110通过全双工串口通讯,其中CPU处理模块110为主机,MCU控制模块108为从机,MCU控制模块108发送运动信息至CPU处理模块110进行数据处理,且MCU控制模块108根据CPU处理模块110分析发布指令,实时控制驱动模块109各部分正常运行。
其中,驱动模块109,也称为运动驱动单元,其与MCU控制模块108连接,包括边轮电机、边刷、中部主刷、风机以及传感器,其中传感器可以包括但不限于:红外传感器、飞行时间(time of flight,TOF)传感器、霍尔传感器等。
作为另一例,CPU处理模块110可以从麦克风阵列模块101获取由麦克风阵列模块101采集的音频,并针对该音频进行进一步的处理。以下将结合图5至图8来详细描述该实施例。
图5示出了本实用新型的一种自移动清洁机器人的控制方法的一个示意性流程图。图5所示的方法包括:
S110,获取麦克风阵列模块采集的原始音频数据;
S120,对所述原始音频数据进行初步处理,得到处理后的音频数据;
S130,判断所述处理后的音频数据是否与本地存储的数据之一匹配;
S140,若存在匹配,则根据匹配后的结果执行相应的处理;
S150,若不存在匹配,则将所述处理后的音频数据发送至云平台,从所述云平台接收对应的返回音频,并控制扬声器播放所述返回音频。
示例性地,S110之前可以由麦克风阵列模块101采集原始音频数据。麦克风阵列模块101包括360度环形布局的麦克风,因此可以采集到各个方位来源的原始音频数据。麦克风阵列模块101在采集到原始音频数据后,将采集到的原始音频数据送到CPU处理模块110。
应当注意的是,本实用新型对原始音频数据的语种不作限定,例如可以为中文(普通话、粤语等)、英文、法文等等。
示例性地,初步处理可以包括:降噪处理和/或远场识别,还可以包括使用波束形成算法进行声源定位等。
作为一个实施例,在S120中,可以包括:对原始音频数据进行降噪处理和/或远场识别等处理,从而使拾音距离达到3米至5米。如此可以实现远场拾音。
作为另一个实施例,在S120中,可以进一步包括:对原始音频数据进行波束形成(Beamforming)算法从而实现声源定位。也就是说,CPU处理模块110可以确定原始音频数据的声源的方位,例如辨别人说话的语音方向。
可选地,在声源定位之后,还可以包括:控制自移动清洁机器人向声源方向移动。具体地,可以经由MCU控制模块108来控制驱动模块109进行移动。
示例性地,S130中,可以查找自移动清洁机器人本地存储的数据,其中是否存储进行降噪、回音抵消等之后的音频数据。
本实用新型中,可以按照预设的算法判断是否匹配。举例来说,可以采用特定的算法,计算采集的音频数据与存储的音频数据之间的相似度,如果得到的相似度满足匹配条件,则说明匹配;否则说明不匹配。其中,如果存在多个满足匹配条件的本地数据,则确定匹配的是概率最大的那个。由此可以通过量化的方式来判断是否匹配,并且,应当理解,本实用新型的匹配不一定是完全一样。
作为一种实现方式。若在S110之前,自移动清洁机器人处于休眠状态,那么,在S130中,可以判断音频数据是否与本地存储的唤醒命令词之一匹配。
如果在S130中确定音频数据与唤醒命令词匹配(例如确定音频数据属于唤醒命令词之一),那么进一步在S140中可以将自移动清洁机器人唤醒,即将自移动清洁机器人从休眠状态切换至待机状态。
可选地,在S140之后,还可以包括:播放对应的语音。例如,本地存储的数据中包括与唤醒命令词对应的语音,则在唤醒自移动清洁机器人的同时或之后播放该语音。例如,该语音可以为“已唤醒”“切换至待机”“主人请给指示”等等。这样,能够实现自移动清洁机器人与用户之间的语音交互。
本实用新型实施例中,自移动清洁机器人的唤醒距离可以大于10米。
其中,在自移动清洁机器人的存储模块106中可以存储有常用的唤醒命令词,由于常用的唤醒命令词一般设置的比较简单,因此本地存储一方面不会占用过多的存储资源,另一方面在S130中通过本地存储的数据的匹配即可以将自移动清洁机器人唤醒,能够实现离线唤醒,提升了唤醒的效率。
作为另一种实现方式。若在S110之前,自移动清洁机器人处于待机状态,那么,在S130中,可以判断音频数据是否与本地存储的操作命令词之一匹配。
本地存储的操作命令词包括但不限于:开始清扫、停止清扫、前进、后退、向左、向右、回充、定点清扫、风机档位调整、定时清扫、清理垃圾等。相应地,如果在S130中确定音频数据与操作命令词匹配(例如确定音频数据属于操作命令词之一),那么进一步在S140中可以控制自移动清洁机器人执行相应的操作,即开始清扫、停止清扫、前进、后退、向左、向右、回充、定点清扫、风机档位调整、定时清扫、清理垃圾。
举例来说,若音频数据为开始清扫,则在S140中,CPU处理模块110可以经由MCU控制模块108来控制驱动模块109开始进行清扫工作。
其中,在自移动清洁机器人移动的过程中,CPU处理模块110可以收集路径规划采集的信息经过运算生成位置坐标,构建二维栅格地图,并生成相应的决策和执行动作,使自移动清洁机器人具备自动导航的功能。
可选地,在S140之后,还可以包括:播放对应的语音。例如,本地存储的数据中包括与操作命令词对应的语音,则在执行相应的操作的同时或之后播放该语音。例如,该语音可以为“开始工作啦”“回去充电”等等。这样,能够实现自移动清洁机器人与用户之间的语音交互。
本实用新型实施例中,S130中的本地存储的数据可以是指存储在存储模块106中的本地语音数据库,其能够便于自移动清洁机器人实现部分离线语音交互,即使在自移动清洁机器人未联网的状态下也能够实现部分语音识别且执行相应的功能。且CPU处理模块优先判断本地存储的数据来进行语音识别、合成语音的播报等,能够提升处理的效率。并且,在本地的存储模块106中存储与清扫相关的常用的操作命令词,能够保证自移动清洁机器人的正常工作,不至于在离线状态下无法正常运行。
如图6示出了自移动清洁机器人进行工作的一个示意性流程图。该过程可以是自移动清洁机器人在离线状态下进行的。具体地,自移动清洁机器人初始处于待机状态。在待机状态下,可以判断是否由麦克风阵列模块采集到原始音频数据:
如果在待机一段时间内都没有采集到,则可以将状态变为休眠,这样能够节省电量。在休眠状态下,如果由麦克风阵列模块采集到原始音频数据,判断是否匹配本地唤醒命令词,如果是,则唤醒,即将状态变为待机;如果否,则依然保持在休眠状态。
如果在待机状态下由麦克风阵列模块采集到原始音频数据,判断是否匹配本地操作命令词,如果是,则执行相应的操作;如果否,则重新采集原始音频数据。
假设采集到的原始音频数据能够匹配本地的操作命令词之一,如“开始清扫”,则开始执行清扫工作。具体地,可以初始化硬件模块,并结合自主导航模块103进行导航,结合驱动模块109开始移动执行清扫任务。在清扫的过程中,也可以由麦克风阵列模块继续采集原始音频数据,如果采集到的音频数据匹配本地操作命令词之一,则执行相应的处理。例如,在清扫过程中,如果匹配“停止工作”,则不再执行清扫任务,而是停止并变为待机状态。再例如,在清扫过程中,如果匹配“前进、后退、向左、向右、回充等”,则执行对应的动作,并且在执行过程中结合自主导航模块103进行避障处理,保证自移动清洁机器人的安全性能。再例如,在清扫过程中,如果无法匹配本地操作命令词,则继续执行清扫任务,并且在清扫过程中结合自主导航模块103进行避障处理,保证自移动清洁机器人的安全性能;在清扫完成后,可以返回充电。
可以理解的是,图6示出的流程是一种离线模式,也就是说,如果无法进行本地匹配,则自移动清洁机器人会忽略采集到的音频数据。可理解,如果处于在线模式,即自移动清洁机器人能够与云平台进行通信,则可以执行如下的处理过程。
示例性地,在S130中,若不存在与音频数据匹配的本地存储的数据,则进一步执行S150。与S150相关的操作可以参见图7。
S1501,自移动清洁机器人100将处理后的音频数据进行编解码处理后,经由WIFI发射接收装置102发送到云平台200。
其中,音频数据的流格式可以为采样的数据格式,如脉冲编码调制(Pulse CodeModulation,PCM)格式或WAV格式,采样率可以为16千赫兹(kHz),采样精度可以为16比特(bit)。
S1502,云平台200接收到自移动清洁机器人100发来的音频数据,进行编解码处理后,进行音频识别。
具体地,云平台200可以具有基础聊天和基础知识数据库,云平台200可以将基础聊天和基础知识数据库与接收处理的语义理解数据进行模型匹配。示例性地,云平台200例如可以采用深度学***台200可以开启在线语音识别引擎并检索合适的声学模型和语言模型,进行自然语言处理,以实现音频识别。
本实用新型实施例中云平台200可以进行自然语言处理,但是本实用新型对云平台200所执行的具体操作、采用的具体算法、所需的硬件要求等等不做限定。
S1503,云平台200根据音频识别的结果确定返回音频。
示例性地,云平台200可以在模型匹配成功后合成该返回音频。
作为一例,原始音频数据是来源于用户的,该返回音频可以是原始音频数据的应答音频。
自移动清洁机器人100可以处于休眠状态,音频数据可以是唤醒词命令。可理解,用户可以自定义一些唤醒词命令并将其存储在云平台200中,那么在S1502中云平台200可以将音频数据与用户自定义的唤醒词命令进行匹配。并且在S1503中云平台200确定与唤醒词命令对应的应答音频。进一步地,在S1504中,云平台200可以将应答音频(即返回音频)发送至自移动清洁机器人100,并且将唤醒命令发送至自移动清洁机器人100。然后,在S1505中,自移动清洁机器人100一方面播放应答音频(即返回音频),另一方面根据唤醒命令将自移动清洁机器人100唤醒,例如将其切换至待机状态。
在这个示例中,用户可以定制化唤醒词命令并存储在云平台,能够在自移动清洁机器人联网的状态下,利用定制化的唤醒词命令将自移动清洁机器人唤醒,并且能够实现语音交互。
作为另一例,原始音频数据是播放指令,该返回音频可以是播放指令所对应的目标音频。
自移动清洁机器人100可以处于待机状态或者处于工作状态(如正在清扫),音频数据可以是播放指令。例如,用户可能期望自移动清洁机器人讲故事、唱歌、与用户聊天等等。那么通过本实施例,可以实现用户(即人)与自移动清洁机器人之间的多轮对话。
举例来说,用户的原始音频数据为“给我唱首歌吧”,经过上述一系列过程,在S1503中云平台200确定的返回音频为“你想听什么歌”。随后在S1504中云平台200将返回音频发送至自移动清洁机器人100,并且在S1505中自移动清洁机器人100播放“你想听什么歌”。这样能够实现自移动清洁机器人与用户之间的会话功能。
在此之后,用户再说“唱首儿歌吧”,也就是说用户再次的原始音频数据为“唱首儿歌吧”,依然经过上述一系列过程,在S1503中云平台200确定的返回音频为儿歌《世上只有妈妈好》。随后在S1504中云平台200将返回音频发送至自移动清洁机器人100,并且在S1505中自移动清洁机器人100播放儿歌《世上只有妈妈好》。
可见,通过本实施例,能够实现自移动清洁机器人与用户之间的多轮对话,达到自移动清洁机器人与用户聊天的功能。并且,即使在自移动清洁机器人正在工作(如清扫)的过程中也能够实现这种交互功能。
示例性地,S1505中,自移动清洁机器人100播放返回音频,可以是自移动清洁机器人100经由WIFI发射接收装置102从云平台200接收返回音频,并由功放模块104接收该返回音频并进行解码,随后再发送至扬声器105输出给用户。
在另一种实现方式中,在S130之前,还可以包括:将处理后的音频数据发送至云平台,从云平台获取进行本地匹配的指令。其中,云平台在接收到处理后的音频数据,可以对其进行解析,如果通过解析确定音频数据是对自移动清洁机器人进行常规操作的命令,则可以向自移动清洁机器人返回指令,指示自移动清洁机器人进行本地匹配,即执行S130。具体地,S130可以包括:根据云平台的指示判断所述处理后的音频数据是否与本地存储的数据之一匹配。其中,常规操作可以是唤醒、前进、后退、向左、向右、清扫、回充、风机档位调整等等。
如图8示出了自移动清洁机器人进行工作的另一个示意性流程图。该过程可以是自移动清洁机器人处于在线状态下,即与云平台已经建立通信连接。具体地,自移动清洁机器人的麦克风阵列模块采集到原始音频数据,随后CPU处理模块对原始音频数据进行各种音频算法处理,建立监听socket(即机器人端监听socket)。其中,CPU处理模块可以具体地进行语音编码以及其他的语音算法处理等。并且,处理之后的音频数据可以经由WIFI发射接收装置发送至云平台。云平台在接收到音频数据之后,可以建立监听socket(即云平台端监听socket),并对接收的音频数据流进行解析。
随后,云平台可以判断是否为常规操作的命令:如果是,则可以指示自移动清洁机器人执行本地匹配,即上述S130所述的过程。如果否,则由云平台执行如上述S1502所示的过程,并且云平台将返回音频发送回自移动清洁机器人。或者,可选地,如图8中的S8所示,云平台接收到音频数据并进行解析之后,直接进行在线识别,如此能够充分利用云平台强大的处理能力。
在由自移动清洁机器人的CPU本地生成返回语音或者从云平台接收到返回语音之后,可以通过扬声器进行播放。具体地,如上述的S1505所示。例如,可以由功放模块104接收该返回音频并进行解码,随后再发送至扬声器105输出给用户。
也就是说,本实用新型的自移动清洁机器人的控制方法可以包括:获取麦克风阵列模块采集的原始音频数据;对所述原始音频数据进行初步处理,得到处理后的音频数据;将所述处理后的音频数据发送至云平台,从所述云平台接收对应的返回音频,并控制扬声器播放所述返回音频。可选地,还包括:从云平台接收操作指令,并根据操作指令进行相应的处理。
另外,作为一种实现方式,针对图5所示的控制方法,在自移动清洁机器人正在播放声音的过程中,也可以执行S110。例如,在自移动清洁机器人100正在播放歌曲或者正在讲故事的过程中,也可以实时地由麦克风阵列模块101采集原始音频数据。并且,如果需要播放与再次采集到的原始音频数据对应的应答音频,可以打断正在播放的声音,而播放与再次采集到的原始音频数据对应的应答音频。
也就是说,在自移动清洁机器人播放声音时,也可以识别用户的说话语音,消除自身正在播放的声音,实现语音打断,如此能够轻松实现远场交互和音频播放的自由切换,进一步提升用户体验。
由此可见,本实用新型实施例中的自移动清洁机器人能够基于用户的语音执行相应的操作,简化了用户操作,使得用户对自移动清洁机器人的控制更加简便快捷。并且能够针对用户的语音播放相应的应答语音,实现自移动清洁机器人与用户之间会话功能,这样交互能够提升用户的体验。
应当注意的是,本实用新型实施例中,图2所示的自移动清洁机器人100内部的各个模块之间可以通过总线***和/或其它形式的连接机构(未示出)互连。应当注意,图2所示的自移动清洁机器人的组件和结构只是示例性的,而非限制性的,根据需要,自移动清洁机器人也可以具有其他组件和结构。
其中,CPU处理模块110可以是中央处理单元(CPU)、图像处理单元(GPU)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制***中的其它组件以执行期望的功能。CPU处理模块110用于执行根据本实用新型实施例的自移动清洁机器人的控制方法的相应步骤。例如,CPU处理模块110能够包括一个或多个嵌入式处理器、处理器核心、微型处理器、逻辑电路、硬件有限状态机(Finite State Machine,FSM)、数字信号处理器(Digital Signal Processing,DSP)或它们的组合。
存储模块106用于存储各种类型的数据以支持自移动清洁机器人的控制方法的操作。例如可以包括一个或多个计算机程序产品,计算机程序产品可以包括各种形式的计算机可读存储介质。存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。
另外,可选地,自移动清洁机器人100除了麦克风阵列模块101之外,还可以包括其他的输入装置,可以是由用户输入指令的装置,并且可以包括触摸屏等。
另外,可选地,自移动清洁机器人100除了扬声器105之外,还可以包括其他的输出装置,可以向外部(例如用户)输出各种信息(例如图像或声音),并且可以包括显示屏等。
在一个实施例中,在程序代码被处理器运行时执行上述的自移动清洁机器人的控制方法。
示例性地,信息的存储方式可以包括以下存储方式之一:本地(local)存储、数据库存储、分布式文件***存储以及远程存储,存储服务地址可以包括服务器IP和服务器端口。
示例性地,在上述对信息进行存取时,可以以流的形式进行。例如,可以采用二进制流的传输方式实现对信息的存取。
此外,根据本实用新型的实施例,还提供了一种存储介质,在存储介质上存储了程序指令,在程序指令被计算机或处理器运行时用于执行本实用新型实施例的自移动清洁机器人的控制方法的相应步骤,并且用于实现根据本实用新型实施例的如图2所示的自移动清洁机器人100中的相应模块。存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
在一个实施例中,计算机程序指令在被计算机运行时可以实现根据本实用新型实施例的如图2所示的自移动清洁机器人100的各个功能模块,并且/或者可以执行根据本实用新型实施例的自移动清洁机器人的控制方法。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行以下步骤:获取麦克风阵列模块采集的原始音频数据;对所述原始音频数据进行初步处理,得到处理后的音频数据;判断所述处理后的音频数据是否与本地存储的数据之一匹配;若存在匹配,则根据匹配后的结果执行相应的处理;若不存在匹配,则将所述处理后的音频数据发送至云平台,从所述云平台接收对应的返回音频,并控制扬声器播放所述返回音频。
另外,本实用新型实施例还提供了一种计算机程序代码,该代码可以被处理器执行,且该代码被处理器执行时,能够实现:获取麦克风阵列模块采集的原始音频数据;对所述原始音频数据进行初步处理,得到处理后的音频数据;判断所述处理后的音频数据是否与本地存储的数据之一匹配;若存在匹配,则根据匹配后的结果执行相应的处理;若不存在匹配,则将所述处理后的音频数据发送至云平台,从所述云平台接收对应的返回音频,并控制扬声器播放所述返回音频。
由此可见,本实用新型实施例中的自移动清洁机器人能够基于用户的语音执行相应的操作,简化了用户操作,使得用户对自移动清洁机器人的控制更加简便快捷。并且能够针对用户的语音播放相应的应答语音,实现自移动清洁机器人与用户之间会话功能,这样交互能够提升用户的体验。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本实用新型的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本实用新型的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本实用新型的范围之内。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本实用新型的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本实用新型并帮助理解各个实用新型方面中的一个或多个,在对本实用新型的示例性实施例的描述中,本实用新型的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本实用新型的方法解释成反映如下意图:即所要求保护的本实用新型要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其实用新型点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本实用新型的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本实用新型的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本实用新型的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(Digital Signal Processing,DSP)来实现根据本实用新型实施例的物品分析设备中的一些模块的一些或者全部功能。本实用新型还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本实用新型的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本实用新型进行说明而不是对本实用新型进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本实用新型可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本实用新型的具体实施方式或对具体实施方式的说明,本实用新型的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本实用新型揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本实用新型的保护范围之内。本实用新型的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种自移动清洁机器人,其特征在于,包括:CPU处理模块,以及与所述CPU处理模块连接的麦克风阵列模块、通信模块、自主导航模块、功放模块、存储模块、MCU控制模块、缓存模块,还包括与所述功放模块连接的扬声器以及与所述MCU控制模块连接的驱动模块,其中,
所述麦克风阵列模块设置在所述自移动清洁机器人的顶部。
2.如权利要求1所述的自移动清洁机器人,其特征在于,所述麦克风阵列模块包括至少两个麦克风,所述至少两个麦克风沿着所述自移动清洁机器人的周向呈环形状布局。
3.如权利要求2所述的自移动清洁机器人,其特征在于,所述至少两个麦克风为2个、4个、6个或8个。
4.如权利要求1所述的自移动清洁机器人,其特征在于,所述至少两个麦克风还包括设置在所述麦克风阵列模块的中部的至少1个麦克风。
5.如权利要求1所述的自移动清洁机器人,其特征在于,所述麦克风阵列模块所包括的麦克风是驻极体麦克风,或者是MEMS麦克风。
6.如权利要求1所述的自移动清洁机器人,其特征在于,所述通信模块包括无线WIFI发射接收装置。
7.如权利要求1所述的自移动清洁机器人,其特征在于,所述功放模块是D类音频功率放大器。
8.如权利要求1所述的自移动清洁机器人,其特征在于,所述扬声器是8Ω5W全频喇叭。
9.如权利要求1所述的自移动清洁机器人,其特征在于,所述MCU控制模块与所述CPU处理模块通过全双工串口通讯。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201921931604.2U CN211484452U (zh) | 2019-11-08 | 2019-11-08 | 一种自移动清洁机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201921931604.2U CN211484452U (zh) | 2019-11-08 | 2019-11-08 | 一种自移动清洁机器人 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN211484452U true CN211484452U (zh) | 2020-09-15 |
Family
ID=72409048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201921931604.2U Active CN211484452U (zh) | 2019-11-08 | 2019-11-08 | 一种自移动清洁机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN211484452U (zh) |
-
2019
- 2019-11-08 CN CN201921931604.2U patent/CN211484452U/zh active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6752870B2 (ja) | 複数のウェイクワードを利用して人工知能機器を制御する方法およびシステム | |
JP7354110B2 (ja) | オーディオ処理システム及び方法 | |
JP6956126B2 (ja) | 第三者アプリケーションのインタラクション方法、及びシステム | |
JP6448971B2 (ja) | 対話装置 | |
JP2018159918A (ja) | マルチデバイスシステムにおける音声コマンドの実行 | |
KR20190022109A (ko) | 음성 인식 서비스를 활성화하는 방법 및 이를 구현한 전자 장치 | |
KR102281602B1 (ko) | 사용자의 발화 음성을 인식하는 인공 지능 장치 및 그 방법 | |
US20160346920A1 (en) | Robot system and simultaneous performance control method thereof | |
JP6619488B2 (ja) | 人工知能機器における連続会話機能 | |
JP7191819B2 (ja) | 音声能力を備えたポータブルオーディオデバイス | |
KR20190110072A (ko) | 사용자의 음성을 인식하는 인공 지능 장치 및 그 방법 | |
CN109166575A (zh) | 智能设备的交互方法、装置、智能设备和存储介质 | |
CN109240107A (zh) | 一种电器设备的控制方法、装置、电器设备和介质 | |
JPWO2005057549A1 (ja) | 情報処理システム、情報処理方法および情報処理用プログラム | |
KR20190113693A (ko) | 단어 사용 빈도를 고려하여 사용자의 음성을 인식하는 인공 지능 장치 및 그 방법 | |
US8492640B2 (en) | Interactive sound-and-light art device with wireless transmission and sensing functions | |
CN111421557A (zh) | 电子装置及其控制方法 | |
JP2019120935A (ja) | 人工知能機器で複数のウェイクワードを利用したサービス提供方法およびそのシステム | |
KR20190106905A (ko) | 인공지능 전자기기 | |
JP2009131914A (ja) | ロボット制御システム | |
KR102629796B1 (ko) | 음성 인식의 향상을 지원하는 전자 장치 | |
CN211484452U (zh) | 一种自移动清洁机器人 | |
CN106873939A (zh) | 电子设备及其使用方法 | |
KR20190119195A (ko) | 인공지능 스마트 디바이스 및 이를 이용한 음성제어 시스템 | |
CN116869408A (zh) | 交互方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GR01 | Patent grant | ||
GR01 | Patent grant |