WO2018157355A1

WO2018157355A1 - 一种人型智能机器人及人机交流***

Info

Publication number: WO2018157355A1
Application number: PCT/CN2017/075476
Authority: WO
Inventors: 程时胜; 王驰; 许晨举; 张帝
Original assignee: 深圳市爱维尔智能科技有限公司
Priority date: 2017-03-02
Filing date: 2017-03-02
Publication date: 2018-09-07

Abstract

一种人型智能机器人及人机交流***，人机交流***包括数据采集装置、控制识别、控制应答，所述数据采集装置为一个或多个摄像头、麦克风（5）、传感器的组合装置，所述控制识别为设置在控制装置内的软件控制部分，包括接收语音、噪音消除、场景定制识别模型、语音识别、识别文字、接收文字、文字解析，所述控制应答包括由所述控制装置控制机器人内部的伺服马达进行肢体运动及由所述控制装置将应答内容转化成语音由音箱播放出来，所述机器人内部设置有存储装置及上述控制装置，控制装置内设置有多级语音数据分析包，该数据分析包可对接收到的数据进行分析、处理、解析。

Description

发明名称：一种人型智能机器人及人机交流*** 技术领域

[0001] 本技术属于智能自动化领域，尤其涉及具有人体外形的智能自动化的机器人及人机交流对话***。

背景技术

[0002] 机器人是指具有与人相类似的模样和功能的机械，或者具有主动进行某项作业的能力的机械。使用人工的动力的机器人可以代替人进行工作，或者也可以和人一同进行工作。通常机器人被设计为进行制作者所设计的工作，并且代替人做人做的很多工作。将在制造工厂中执行组装、焊接、装卸 (handling)等的自动化机器人称作产业用机器人，而将具有对环境进行认知并主动判断的功能的机器人称作智能型机器人。

[0003] 在家庭中也有很多机器人被用作帮助家务。例如，机器人吸尘器已经商用化为各种种类的产品，产品的价格也处于降低很多的状态。最近，随着社会上重视感性或交感等精神方面的经验的价值，在机器人领域中，除了物理上的精确性和力量的增加外，也导入了感性的接近方式技术。

[0004] 根据行业特征倾向而出现的是服务员机器人。服务员机器人与产业用机器人不同，其是指在家庭、医疗机构、一般设施等内以个人为对象提供各种服务的机器人。

技术问题

[0005] 传统的服务行业存在服务效率低，企业人工成本高等特点。

问题的解决方案

技术解决方案

[0006] 本技术方案提供了一种人型智能机器人及人机交流***，由人型智能机器人及人机交流***组成，人型智能机器人包括:头部、躯干、手臂、腿部、脚部、底座组成；其特征在于：所述头部设置有摄像装置、第一语音装置、传动装置、指示装置、第二显示装置；所述躯干处设置有第二语音装置、第一显示装置、传动装置；所述手臂与躯干连接，且设置多个传动装置用于控制手臂的转动方向；所述手臂前端设置有手掌，手掌上设置有触摸装置；所述机器人内部设置有控制装置，存储装置、信息传送装置；所述腿部设置有第三语音装置；所述腿部内设置有腔体，腔体内设置有电源；所述电源为控制装置、存储装置、信息传输装置、摄像装置、语音装置、传动装置、指示装置、第二显示装置、第一显示装置、传动装置供电；所述脚部设置有幵关控制装置、机器配重装置；所述底座设置有第二电源、指示装置、外接输出口装置、外接输入口装置；所述控制装置通过信息传送装置与云平台进行数据共享及传送，且一个云平台可连接一个或多个控制装置；所述控制装置通过信息传送装置与终端产品进行数据共享及传送，且一个控制装置可连接 1个或多个终端，所述控制装置通过传动装置分别与头、身体、手、脚进行数据连接；所述存贮装置用于存贮由摄像装置、语音装置所采集的数据，所述传动装置均为伺服马达。

[0007] 优选的、所述控制装置包括一个主芯片，主芯片内设置有 MIPI端口、 SPI端口； MIPI端口用于驱动第一显示屏； SPI端口用于驱动第二显示屏；第二显示屏由两组显示屏进行显示，分别为左眼显示屏与右眼显示屏。

[0008] 优选的、所述头部设置有一个或多个摄像装置，该摄像装置为摄像头；所述头部设置有多个第一语音装置，第一语音装置包括鼻子下端的语音输入装置麦克风及双耳部的语音输出装置扬声器；所述第一语音装置的麦克风与第一降噪装置连接，并与控制装置进行连接；所述头部设置有一个或多个指示装置，该指示装置为指示灯。

[0009] 优选的、所述身体设置有显示装置、有一个或多个第二语音装置及传动装置；所述第一显示装置为显示屏，显示屏上设置有选择装置；所述身体设置有多个传动装置用于控制头、手、脚的连接与运动；所述第二语音装置为扬声器。

[0010] 优选的、所述手臂前端连接有手掌，手掌的背面设置有一个或多个触摸装置，该触摸装置为触摸传感器；所述触摸装置被安装在手掌内部采用隐形设计，所述手臂设置有传动装置用于控制手臂、手掌、手指关节的连接与运动。

[0011] 优选的、还包括底座；其特征在于:所述腿部连接有脚部；脚部外侧设置有电源幵关；脚部的底部设置有供电接口；所述底座上设置有输电接口，底座上的输电接口与脚部的供电接口相连接，底座与外部供电相连接，且为腿部内的电源充电；所述底座上的指示装置为电量显示屏；所述腿部设置有一个或多个第三语音装置，第三语音装置为麦克风，所述第三语音装置的麦克风与第三降噪装置连接并与控制装置进行连接。

[0012] 本技术还包括一种使用者与机器人的人机交流***；包括数据采集装置、控制识别、控制应答；其特征在于：所述数据采集装置为一个或多个摄像头、麦克风、传感器的组合装置；所述控制识别为设置在控制装置内的软件控制部分，包括接收语音、噪音消除、场景定制识别模型、语音识别、识别文字、接收文字，文字解析；所述控制应答包括由控制装置控制机器人内部的伺服马达进行肢体运动及由控制装置将应答内容转化成语音由音箱播放出来；所述机器人内部设置有控制装置、存储装置；其控制装置内设置有多级语音数据分析包；该数据分析包可对接收到的数据进行分析、处理、解析。

[0013] 其交流步骤为：

[0014] 第一步、当使用者靠近并说话吋，机器人可根据数据采集装置判断使用者的方位并提供服务语音及肢体信息。

[0015] 第二步、当使用者与机器人进行对话吋，机器人内语音***启动并实现机器人与使用者的语音交流、对话等功能；将使用者的语音数据接收到，经过噪音清除、场景定制识别模型、语音识别等步骤后，将使用者的语音数据转化成机器人控制装置内的语言进行数据接收及编译。

[0016] 第三步、文字解析内容采用预先设定的方法，提前在使用吋已经被传送到机器人控制装置内，以利用机器人的快速判断，同吋未收录的数据，将按设定的固定肢体及语言模式进行回复。

[0017] 3.1、肢体回复为：文字解析后，控制装置根据解析后文字，进行数据判断，其一步判断是否进行肢体动作表现，如需要将传送肢体动作命令，根据语音解析效果进行肢体表现。

[0018] 3.2、语音回复为：另一步判断该文字解析内容判断是否进行语音交流，无需求吋即可结束任务，结束任务吋可采用设定的结束语或动作执行；文字解析后，控制装置根据解析后文字对该语音文字进行判断，另一步判断是否进行语音回复，无需求吋即可结束任务。结束任务吋可采用设定的结束语或动作执行。文字解析后，控制装置根据解析后文字进行数据判断，需要语音回复吋，控制装置内部生成回复文字，并将生成的文通语音播放装置播放给使用者，并应答及保存数据。

[0019] 第四步、数据回复完成后将本次语音数据存储在机器人内部的存储装置内并传递给云平台，以利于后期对数据进行修正、整理等处理。

发明的有益效果

有益效果

[0020] 本技术方案提供一种人形智能机器人及其人机交流***，具有动作表现、驱动行进、显示、影像操作、声音识别、人机对话、数据存贮及数据处理等功能，机器人在服务行业内的应用，将提高服务行业的服务效率并有效降低企业人工成本，数据收集及汇总将更好的为管理者提供企业发展制度改进的原始数据。对附图的简要说明

附图说明

[0021] 图 1是本发明提供的产品示意图；

[0022] 图 2是本发明提供的主芯片示意图；

[0023] 图 3是本发明提供设计示意图 1 ;

[0024] 图 4是本发明提供设计示意图 2;

[0025] 图 5是本发明提供设计示意图 3;

[0026] 图 6是本发明提供设计示意图 4;

[0027] 图 7是本发明提供设计流程图。

实施该发明的最佳实施例

本发明的最佳实施方式

[0028] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例

，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

[0029] 参照图 1~7所示，本技术方案提供了本技术方案提供了一种人型智能机器人，包括:头部、躯干、手臂、腿部、脚部、底座组成；其特征在于：所述头部设置有摄像装置 2、第一语音装置（4和 5) 、传动装置、指示装置 1、第二显示装置 3 ；所述躯干处设置有第二语音装置、第一显示装置 7、传动装置；所述手臂与躯干连接，且设置多个传动装置用于控制手臂的转动方向；所述手臂前端设置有手掌，手掌上设置有触摸装置 9; 所述机器人内部设置有控制装置，存储装置、信息传送装置；所述腿部设置第三语音装置 8; 所述腿部 10内设置有腔体，腔体内设置有电源；所述电源为控制装置、存储装置、信息传输装置、摄像装置 2、语音装置 4、传动装置、指示装置 1、第二显示装置 3、第一显示装置 7、传动装置供电；所述控制装置通过信息传送装置与云平台进行数据共享及传送，且一个云平台可连接一个或多个控制装置；所述控制装置通过信息传送装置与终端产品进行数据共享及传送，即云平台可以根据管理需要及吋收集机器人内的采集数据，并汇总在传递给其他具有该控制装置的机器人，并现实大数据交流的作用，提高机器人的智能化效果。

[0030] 优选的、所述控制装置通过信息传送装置与终端产品进行进行数据共享及传送，且一个控制装置可连接 1个或多个终端，即一个机器人可以将数据传送给多个终端，其功能带有资料共享并管理的功能，可以及吋收集客户信息，并发送给在场服务人员及管理者。管理者可以通过云平台及吋了解机器人所收集的数据信息，在大规模使用吋将汇总工作交为平台软件处理，可以及吋准确的了解一个机器人或多个机器人的工作情况，并适吋调整相应的工作安排。

[0031] 优选的、所述控制装置通过传动装置分别与头部、身体、手臂、腿部进行数据连接；所述传动装置为伺服马达。 ***通过控制装置控制机器人身体上的多个部位；并实现头部、手臂、腿部等关节部的运动，从而实现机器人的运动及各种表情的展现，例如:走路、举手、张口、眨眼等动作。

[0032] 优选的、所述存贮装置用于存贮由摄像装置、语音装置所采集的数据。

[0033] 优选的、所述控制装置包括一个主芯片，主芯片内设置有 MIPI端口、 SPI端口； MIPI端口用于驱动第一显示屏 7; SPI端口用于驱动第二显示屏 3; 第二显示屏由两组显示屏进行显示，分别为左眼显示屏与右眼显示屏。为了满足机器人具有丰富的人脸表情，一般会对机器人眼部进行表情设置，例如：眨眼、微笑、忧伤、痛苦等表情，通过对眼睛的变化一一展现给大家以提高机器人亲和力，因此传统方式对于机器人眼睛部和其他部件拥有两个或两个以上的显示屏吋，同吋显示屏的显示图像有区别吋一般都采用两个或两个以上的主芯片进行设计，分别控制不同的显示装置来满足对机器人图像处理的要求。即一个主芯片只能控制一个显示装置即显示屏； SPI接口一般作为数据传输，本机器人将 MIPI端口用于驱动第一显示屏 7， SPI端口通过软件进行信息处理后可将 SPI端口扩展为传输图形信号，并被设置在机器人眼部的柔性显示屏显示出来提高机器人的脸部表情。

[0034] 优选的、所述头部设置有一个或多个摄像装置 2，该摄像装置 2为摄像头；其摄像装置 2为摄像头用于采集图像数据；当人靠近吋通过该摄像装置采集到的数据分辨信息后，在由控制装置发出信息通过语音装置与人进行交流；当行走吋遇见前方有障碍物吋，将数据传送给控制装置，由控制装置发出信息，通过修改传动装置的指令躲避障碍物。

[0035] 优选的、所述头部设置有语音装置 4，该语音装置为麦克风及音箱；麦克风用于接受外部语音信息，音箱用于播放由控制装置提供的语音信息；从而实现机器人与人之间的双向交流。

[0036] 优选的、所述头部设置有多个第一语音装置，第一语音装置包括鼻子下端的语音输入装置麦克风 5及双耳部的语音输出装置扬声器 4; 所述头部设置有多个传动装置，该传动装置用于控制眼睛、嘴巴、眼皮的连接与运动。

[0037] 优选的、所述头部设置有多个指示装置 1，该指示装置 1为指示灯。该功能可用于与其他装置相互配合实现提醒或配合表情输出；例如：脸红等特征。

[0038] 优选的、所述躯干设置有第一显示装置、语音装置及传动装置；所述第一显示装置为显示屏，第一显示装置主要用于配合人来观察机器人所提供的图像资料；例如：当该机器人作为餐厅服务人员吋，将提供菜品介绍并给出图像信息两者可同步进行表述，以提高顾客对产品及服务的理解效果。

[0039] 优选的、该第一显示装置上可设置选择装置，用于顾客直接选择确认功能。在显示装置上设置有触摸屏装置或按键，可根据显示屏的提示进行人为的选择及控制，使机器人实现某种技术操作。 [0040] 优选的、所述躯干设置有多个传动装置用于控制头、手、脚的连接与运动。

[0041] 优选的、所述手臂设置有一个或多个触摸装置 9，该触摸装置 9为触摸传感器；所述触摸装置 9被安装在手掌外部并采用隐形设计，触摸装置 9采用隐形设计，顾客在触摸机器人吋并不知道触摸装置的具***置；例如：当机器人在迎接客户吋，客户无意间触碰到触摸装置吋，触摸装置将数据传送给控制装置，控制装置在通过信息传送装置发信息给所设定的终端，该终端的持有者为服务员，服务员可根据现场情况及吋关注该顾客或前来为顾客提供服务。优选的、所述手臂前端连接有手掌，手掌的背面设置有一个或多个触摸装置，该触摸装置为触摸传感器；所述触摸装置被安装在手掌内部采用隐形设计，所述手臂设置有传动装置用于控制手臂、手掌、手指关节的连接与运动。

[0042] 优选的、其特征在于:所述腿部连接有脚部；脚部外侧设置有电源幵关；脚部的底部设置有供电接口；所述底座 12上设置有输电接口，底座 12上的输电接口与脚部的供电接口相连接，底座 12与外部供电相连接，且为腿部内的电源充电；所述底座 12上的指示装置为电量显示屏；所述腿部设置有一个或多个第三语音装置 8，第三语音装置 8为麦克风，所述第三语音装置 8的麦克风与第三降噪装置连接并与控制装置进行连接。

[0043] 还包括一种使用者与机器人交流***；

[0044] 优选的、人机交流***：包括数据采集装置、控制识别、控制应答；

[0045] 优选的、所述数据采集装置为一个或多个摄像头、麦克风、传感器的组合装置

[0046] 优选的、所述控制识别为设置在控制装置内的软件控制部分，包括接收语音、噪音消除、场景定制识别模型、语音识别、识别文字、接收文字，文字解析。

[0047] 优选的、所述控制应答包括由控制装置控制机器人内部的伺服马达进行肢体运动及由控制装置将应答内容转化成语音由音箱播放出来。

[0048] 优选的、机器人内部设置有控制装置、存储装置；其控制装置内设置有多级语音数据分析包；该数据分析包可对接收到的数据进行分析、处理、解析。

[0049] 交流***的步骤为：

[0050] 1、当使用者靠近并说话吋，机器人可根据数据采集装置判断使用者的方位并提供服务语音及肢体信息.例如：欢迎光临、有什么可以帮到您等语音及肢体数据。

[0051] 2、当使用者与机器人进行对话，机器人内语音***启动并实现机器人与使用者的语音交流、对话等功能，将使用者的语音数据接收到，经过噪音清除、场景定制识别模型、语音识别等步骤后，将使用者的语音数据转化成机器人控制装置内的语言进行数据接收及编译。

[0052] 3、文字解析内容采用预先设定的方法，提前在使用吋已经被传送到机器人控制装置内，以利用机器人的快速判断，同吋未收录的数据，将按设定的固定肢体及语言模式进行回复。

[0053] 3.1、肢体回复为：文字解析后控制装置根据解析后文字，进行数据判断，其一步判断是否进行肢体动作表现，如需要将传送肢体动作命令，根据语音解析效果进行肢体表现，例如,微笑、握手、送东西等动作。如不需要该项文字解析内容完成。同吋将本次语音数据存储在机器人内部的存储装置内并传递给云端，以利于后期对数据进行修正等处理。

[0054] 3.2、语音回复为：另一步判断该文字解析内容判断是否进行语音交流，无需求吋即可结束任务。结束任务吋可采用设定的结束语或动作执行。例如：欢迎光临、请稍后、欢迎下次再来等设定内容。文字解析后,控制装置根据解析后文字对该语音文字进行判断,另一步判断是否进行语音回复，无需求吋即可结束任务。结束任务吋可采用设定的结束语或动作执行。例如：欢迎光临、请稍后、欢迎下次再来等设定内容。文字解析后,控制装置根据解析后文字进行数据判断,需要语音回复吋，控制装置内部生成回复文字，并将生成的文通语音播放装置播放给使用者，并应答及保存数据。

[0055] 4、数据回复完成后将本次语音数据存储在机器人内部的存储装置内并传递给云平台，以利于后期对数据进行修正、整理等处理。

[0056] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明创造，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

权利要求书

[权利要求 1] 一种人型智能机器人及人机交流***,由人型智能机器人及人机交流 ***组成,人型智能机器人包括:头部、躯干、手臂、腿部、脚部、底座组成；其特征在于:所述头部设置有摄像装置、第一语音装置、传动装置、指示装置、第二显示装置；所述躯干处设置有第二语音装置、第一显示装置、传动装置；所述手臂与躯干连接，且设置多个传动装置用于控制手臂的转动方向；所述手臂前端设置有手掌，手掌上设置有触摸装置；所述机器人内部设置有控制装置，存储装置、信息传送装置；所述腿部设置有第三语音装置；所述腿部内设置有腔体，腔体内设置有电源；所述电源为控制装置、存储装置、信息传输装置、摄像装置、语音装置、传动装置、指示装置、第二显示装置、第一显示装置、传动装置供电；所述脚部设置有幵关控制装置、机器配重装置；所述底座设置有第二电源、指示装置、外接输出口装置、外接输入口装置；所述控制装置通过信息传送装置与云平台进行数据共享及传送，且一个云平台可连接一个或多个控制装置；所述控制装置通过信息传送装置与终端产品进行数据共享及传送，且一个控制装置可连接 1个或多个终端，所述控制装置通过传动装置分别与头、身体、手

、脚进行数据连接；所述存贮装置用于存贮由摄像装置、语音装置所采集的数据，所述传动装置均为伺服马达。

[权利要求 2] 如权利要求 1所述的一种人型智能机器人及人机交流***，其特征在于:所述控制装置包括一个主芯片，主芯片内设置有 MIPI端口、 SPI端口； MIPI端口用于驱动第一显示屏； SPI端口用于驱动第二显示屏；第二显示屏由两组显示屏进行显示，分别为左眼显示屏与右眼显示屏

[权利要求 3] 如权利要求 1所述的一种人型智能机器人及人机交流***，其特征在于:所述头部设置有一个或多个摄像装置，该摄像装置为摄像头；所述头部设置有多个第一语音装置，第一语音装置包括鼻子下端的语音输入装置麦克风及双耳部的语音输出装置扬声器；所述第一语音装置的麦克风与第一降噪装置连接，并与控制装置进行连接；所述头部设置有一个或多个指示装置，该指示装置为指示灯。

[权利要求 4] 如权利要求 1所述的一种人型智能机器人及人机交流***，其特征在于:所述身体设置有显示装置、有一个或多个第二语音装置及传动装置；所述第一显示装置为显示屏，显示屏上设置有选择装置；所述身体设置有多个传动装置用于控制头、手、脚的连接与运动；所述第二语音装置为扬声器。

[权利要求 5] 如权利要求 1所述的一种人型智能机器人及人机交流***，其特征在于:所述手臂前端连接有手掌，手掌的背面设置有一个或多个触摸装置，该触摸装置为触摸传感器；所述触摸装置被安装在手掌内部采用隐形设计，所述手臂设置有传动装置用于控制手臂、手掌、手指关节的连接与运动。

[权利要求 6] 如权利要求 1所述的一种人型智能机器人及人机交流***，还包括底座；其特征在于:所述腿部连接有脚部；脚部外侧设置有电源幵关；脚部的底部设置有供电接口；所述底座上设置有输电接口，底座上的输电接口与脚部的供电接口相连接，底座与外部供电相连接，且为腿部内的电源充电；所述底座上的指示装置为电量显示屏；所述腿部设置有一个或多个第三语音装置，第三语音装置为麦克风，所述第三语音装置的麦克风与第三降噪装置连接并与控制装置进行连接。

7.如权利要求 1至 6所述的一种人型智能机器人及人机交流***，还包括一种使用者与机器人的人机交流***；包括数据采集装置、控制识另 |J、控制应答；其特征在于：所述数据采集装置为一个或多个摄像头、麦克风、传感器的组合装置；所述控制识别为设置在控制装置内的软件控制部分，包括接收语音、噪音消除、场景定制识别模型、语音识别、识别文字、接收文字，文字解析；所述控制应答包括由控制装置控制机器人内部的伺服马达进行肢体运动及由控制装置将应答内容转化成语音由音箱播放出来；所述机器人内部设置有控制装置、存储装置；其控制装置内设置有多级语音数据分析包；该数据分析包可对接收到的数据进行

分析、处理、解析。

其交流步骤为：

第一步、当使用者靠近并说话吋，机器人可根据数据采集装置判断使用者的方位并提供服务语音及肢体信息。

第二步、当使用者与机器人进行对话吋，机器人内语音***启动并实现机器人与使用者的语音交流、对话等功能；将使用者的语音数据接收到，经过噪音清除、场景定制识别模型、语音识别等步骤后，将使用者的语音数据转化成机器人控制装置内的语言进行数据接收及编译第三步、文字解析内容采用预先设定的方法，提前在使用吋已经被传送到机器人控制装置内，以利用机器人的快速判断，同吋未收录的数据，将按设定的固定肢体及语言模式进行回复。

3.1、肢体回复为：文字解析后，控制装置根据解析后文字，进行数据判断，其一步判断是否进行肢体动作表现，如需要将传送肢体动作命令，根据语音解析效果进行肢体表现。

3.2、语音回复为：另一步判断该文字解析内容判断是否进行语音交流，无需求吋即可结束任务，结束任务吋可采用设定的结束语或动作执行；文字解析后，控制装置根据解析后的文字对该语音文字进行判断，另一步判断是否进行语音回复，无需求吋即可结束任务。结束任务吋可采用设定的结束语或动作执行。文字解析后，控制装置根据解析后的文字进行数据判断，需要语音回复吋，控制装置内部生成回复文字，并将生成的文通语音播放装置播放给使用者，并应答及保存数据。

第四步、数据回复完成后将本次语音数据存储在机器人内部的存储装置内并传递给云平台，以利于后期对数据进行修正、整理等处理。