CN108182098A - 接待语言选择方法、***及接待机器人 - Google Patents

Abstract

本发明公开了一种语言选择方法、***以及接待机器人，包括：感测到用户接近；判断用户是否属于注册用户，如果是则根据用户注册信息选择语言，如果否则创建并记录用户注册信息；判断是否接收到用户语音，如果是则根据用户语音选择语言，如果否则识别用户分类；根据用户分类选择语言。依照本发明的接待语言选择方法、接待语言选择***以及使用该方法和/或***的接待机器人能够根据用户的语音判定用户语言，并利用生物信息、辅助属性对用户分类并判定用户语言，从而提高了接待语言选择效率和预测成功率，提高了用户体验。

Description

接待语言选择方法、***及接待机器人

技术领域

本发明涉及智能机器人领域，特别是涉及一种能自动判别用户语言的接待语言选择方法、接待语言选择***以及使用该方法和/或***的接待机器人。

背景技术

随着机器人技术的发展，机器人被应用于各个领域，现有的机器人分为两类，即工业机器人和特种机器人。所谓工业机器人就是面向工业领域的多关节机械手或多自由度机器人。而特种机器人则是除工业机器人之外的、用于非制造业并服务于人类的各种先进机器人，包括：、水下机器人、娱乐机器人、军用机器人、农业机器人、机器人化机器等。而服务机器人常常用于在银行、商场、酒楼、售房部、酒店等场合迎宾接待、导游服务以及广告宣传等服务性行业，该种服务机器人可以设定迎宾、问询、送餐、结账、娱乐等工作模式，服务机器人具有智能替代人力的特点，此外，具有与人互动的功能，相比生活中的服务员，服务机器人能够更好地取悦和吸引顾客或者客户等，并且能给顾客或者客户带来全新的服务体验，同时服务机器人可以节省商家的人工成本；可以满足长时间工作的同时还能够保证优质服务，避免了人工服务由于长时间工作产生疲倦导致顾客或者客户的满意度下降的情况，大大提高了工作效率。

当前的服务机器人的应用场所如涉外酒店、机场免税店、对外机构、大型购物中心等多数都是采用纯中文操作***的服务或接待机器人。少数接待机器人采用中文、英文两个并行***，然后在两个***之间进行选择。但是由于技术障碍，双***选择需要进行重启机器人等操作，步骤繁琐，耗时极长，在实际使用过程中，给用户造成极大的不便。而且由于缺乏对于其他语种的支持，使更多的操不同语言的国际人士无从选择。

针对此的一种解决方案是采用基于浏览器的分布式***，多个接待机器人终端仅用于显示数据，而信息的处理特别是语种的选择在服务器中进行。用户可以手动地与接待机器人互动，例如按钮或鼠标点击操作从而自行选择相应的接待语言。然而，这种方案虽然解决了语言的选择多样性问题，但是用户体验较差，迎宾接待的主动性较低，当用户（例如商务人士或旅行团导游等）处于忙碌状态时往往很难分心主动与接待机器人互动，因此接待机器人仅能以默认的中文或英文提供帮助信息，难以提升应用场所的服务水平。

发明内容

因此，本发明的目的在于自动地判定用户所操语言从而主动地选择接待机器人的迎宾所用语言以有效地提高用户体验。

本发明提供了一种接待机器人语言选择方法，包括：感测到用户接近；判断用户是否属于注册用户，如果是则根据用户注册信息选择语言，如果否则创建并记录用户注册信息；判断是否接收到用户语音，如果是则根据用户语音选择语言，如果否则识别用户分类；根据用户分类选择语言。

其中识别用户分类的步骤进一步包括：根据生物信息对用户粗分类；根据辅助属性对用户细分类。

其中，所述生物信息包括肤色信息、面部轮廓信息、身高、步伐、移动速度、肢体静止/行走姿态；任选地，辅助属性包括衣着风格、用户携带行李或衣物上的身份标识、用户便携式装置操作界面上的语言、用户便携式装置的设备名称的语言；任选地，粗分类包括黄种人、白种人、黑种人。

其中，用户注册信息包括用户的人脸识别信息、用户的身份信息、用户的使用语言信息。

其中，根据用户注册信息选择语言和/或根据用户语音选择语言和/或根据用户分类选择语言的步骤之后进一步包括，接收用户反馈并修改用户注册信息。

本发明还提供了一种接待机器人语言选择***，包括：用户接近感测模块，用于感测到用户接近；用户信息注册模块，用于记录用户注册信息；用户语音识别模块，用于接收用户语音；处理器，用于：判断用户是否属于注册用户，如果是则根据用户注册信息选择语言，如果否则在用户信息注册模块中创建并记录用户注册信息；判断是否接收到用户语音，如果是则根据用户语音选择语言，如果否则识别用户分类，并根据用户分类选择语言。

其中，处理器进一步用于：根据生物信息对用户粗分类；根据辅助属性对用户细分类。

其中，处理器进一步用于，接收用户反馈并修改用户注册信息。

本发明另外提供了一种接待机器人，采用根据上述任一项所述方法选择接待用户所使用的语言

依照本发明的接待语言选择方法、接待语言选择***以及使用该方法和/或***的接待机器人能够根据用户的语音判定用户语言，并利用生物信息、辅助属性对用户分类并判定用户语言，从而提高了接待语言选择效率和预测成功率，提高了用户体验。

本发明所述目的，以及在此未列出的其他目的，在本申请独立权利要求的范围内得以满足。本发明的实施例限定在独立权利要求中，具体特征限定在其从属权利要求中。

附图说明

以下参照附图来详细说明本发明的技术方案，其中：

图1 显示了根据本发明实施例的接待机器人***的示意图；

图2 显示了根据本发明第一实施例的接待机器人语言选择方法的流程图；

图3 显示了根据本发明第二实施例的接待机器人语言选择方法的流程图；

图4 显示了根据本发明第三实施例的接待机器人语言选择方法的流程图；以及

图5 显示了根据本发明实施例的接待机器人语言选择***的方框图。

具体实施方式

以下参照附图并结合示意性的实施例来详细说明本发明技术方案的特征及其技术效果，公开了可有效提高用户体验的语言选择方法、***以及使用该方法和/或***的接待机器人。需要指出的是，类似的附图标记表示类似的结构，本申请中所用的术语“第一”、“第二”、“上”、“下”等等可用于修饰各种***部件或方法步骤。这些修饰除非特别说明并非暗示所修饰***部件或方法步骤的空间、次序或层级关系。

如图1所示，根据本发明实施例的接待机器人包括：位于头顶的高灵敏度麦克风1，用于采集或接收周围环境声音信息或人员语音信息；位于额部的高清摄像头2，用于采集或接收人员面部的拓扑结构信息（例如骨骼轮廓）；位于眼部的精细传感器3A和3B，用于捕获人员的面部细节（例如虹膜，视网膜，眉毛或眼角的动态变化，嘴唇或牙齿反映的微笑程度，耳朵或鼻尖的轻微抽动）从而反映人员的生物信息或情绪信息；位于机器人各个部分触摸传感器，包括下巴触摸传感器4、腹部触摸传感器7、头顶触摸传感器10、左耳/右耳触摸传感器12A/12B、后脑触摸传感器13、左肩/右肩触摸传感器15A/15B、臀部触摸传感器17，这些触摸传感器用于识别与用户的触感互动，从而提高对于用户身份或情绪识别的精确度，并且提供与用户肢体接触的应力信息以反馈、修改机器人躯体的移动/转动参数；位于脖颈部的3D深度摄像头5，用于采集周围场景的景深信息；位于胸部的触摸显示屏6，用于显示心跳或肤色变化的拟生信息从而提高机器人的仿真度，或者增宽至横贯整个胸部（未示出）而向用户显示接待/查询信息或其他视频信息；位于下腹部的2D激光雷达8，用于测量用户或场景中其他移动物体与机器人的距离，辅助判定对象的高度、移动速度、肢体静止/行走姿态等；位于足部的全向移动轮9，用于驱动整个机器人沿预存或者实时判定选择的路径移动；位于耳部的扬声器11A/11B，用于向用户传递语音、音频信息；位于后背部的急停开关14，用于紧急停止机器人的移动或动作，便于提高安全性；位于后腰部的开机按钮16，用于人工启动接待机器人的操作***以提供接待、咨询服务；位于手部的手部生物传感器18，用于采集用户的指纹、测量用户的皮肤含水量（电阻率）或粗糙度、测量与用户握手的应力、测量用户脉搏或毛细血管的含氧量等；位于腿侧面的充电接口19，以及位于腿背面的电源开关。

图2显示了根据本发明第一实施例的接待机器人语言选择方法的流程图，图5则显示了该实施例所采用的接待机器人语言选择***的方框图。

首先，由用户接近感测模块来感测到用户接近。例如，通过高灵敏度麦克风1、高清摄像头2、3D深度摄像头5、或者2D激光雷达8或者其他临近传感器（未示出，例如包括生物电场传感器、磁场传感器、化学气体传感器、机械振动传感器）接收传感器信息，如果传感器信息大于预设的阈值（根据大批量试验数据获得并预存在选择***所包含的存储装置（未示出）中）则判定机器人附近一定距离或有效范围内（例如5米）存在向接待机器人移动的人员或用户。如果存在接近的用户，则唤醒接待机器人***特别是语言选择***。如果判定不存在，则接待机器人继续保持待机或休眠状态。

然后，由用户信息注册模块判断用户是否属于注册用户，如果是则根据用户注册信息选择接待所用的语言，如果否则创建并记录用户注册信息。

用户注册信息包括用户的人脸识别信息，主要包括面部骨骼轮廓（拓扑）结构、虹膜/视网膜特征信息、面部表层特征信息（例如眉毛分布、睫毛长度/弯曲度、色斑/痣的形状/位置等），这些人脸识别信息由接待机器人在首次识别到该用户的情况下创建并记录。用户注册信息还包括用户的身份信息，主要包含姓名、性别、身高、籍贯/国籍、职业等，这些用户身份信息由用户在后续反馈过程中主动提供或者根据在场馆、商场、酒店等所消费的记录而自动记录。用户注册信息进一步包括用户的使用语言信息，包含用户的母语、第一外语、第二外语、方言等，接待机器人首次识别到用户时根据用户的主动输入或者***自动识别而记录，并可以在后续反馈过程中修改、或者利用消费记录而自动修正。

具体地，在本发明一个优选实施例中，由高清摄像头2、精细传感器3A/3B收集用户的面部信息，提供给***的处理器（未示出）进行人脸识别，与***存储器中用户信息注册模块所预先存储的用户注册信息中的人脸识别信息作比较。

在本发明的其他优选实施例中，由生物电场传感器、化学气体传感器、或者上述手部生物传感器18来识别用户的身份（特殊的生物电场，或者独特的气味，或者手部相关的上述其他生物特征），或者由射频标签读取器（未示出）识别携带了身份标签的用户的身份。

如果比较的结果确定用户属于已注册用户，则从***存储器中提取用户注册信息，根据用户注册信息中已经记录的用户使用语言信息来决定接待机器人针对该用户采用何种语言进行问候、咨询、接待。

如果比较的结果确定用户不属于已注册用户，则创建用户注册信息的记录，包括人脸识别信息、身份信息、和使用语言信息。

接着，判断是否接收到用户语音信息，如果是（例如用户向接待机器人行走过程中在与周围人员交谈或者用手机与外界通话）则根据用户的语音来选择接待语言，如果否（例如用户在浏览手机或平板电脑的网页、观看视频、用耳机听乐曲等而并未主动发出声音）则进一步识别用户分类。具体地，由接待机器人头顶的高灵敏度麦克风1采集或接收接近机器人一定范围内的用户主动发出的语音信息，由用户语音识别模块根据语音信息识别分析用户所操语言，例如中文、日文、韩文、英语、法语、西班牙语、***语等等，并且接待机器人语音选择***将采用识别到的用户所操语言稍后与用户交互、向用户主动问询、答复咨询项目等等。

随后，用户没有主动发出声音的情况下，语音选择***利用机器人所采集的关于用户的非音频信息并结合大数据统计结果来预测用户的分类，并且根据用户分类来选择用户可能熟练使用的语言。

例如，对于旅行团等团队顾客，可以根据旅行团预定入住酒店或者游览的时间，并结合3D深度摄像头5、2D激光雷达8（以及任选的并未示出的热成像仪）所识别到的团队人数而判断团队对应于预定团队列表中的哪一个，并依据预定团队的信息来检索所属国家或地区从而选用该国家或地区的语言来问候。

例如，对于机场附近购物中心的游客，可以根据高清摄像头2、3D深度摄像头5所捕捉到游客行李箱包上的行李签，识别行李签的起飞地从而判断游客所属国家或地区从而预判该游客可能熟练使用的语言。

又例如，对于正在观看视频的用户，可以由高清摄像头2识别视频字幕或评论弹幕的语言（中文、英文等）而选用该字幕或弹幕对应的语言。

图3显示了根据本发明第二实施例的接待机器人语言选择方法的流程图，与图2所示的第一实施例相比，该方法对于用户分类识别模块所执行的用户分类进行了进一步细化，而之前的方法步骤相同或相似则不再赘述。

具体地，对于用户分类的步骤进一步包括，首先根据生物信息对用户进行粗分类，然后根据辅助属性对用户进行细分类。

在本发明一个实施例中，生物信息包括高清摄像头2进行人脸识别所得到的肤色信息（黄色，白色，黑色）、面部轮廓信息（脸部宽/窄，鼻头高/低，下颚方/尖，眼窝凹陷深度，颧骨突出高度等），2D激光雷达8所测量的身高、步伐、移动速度、肢体静止/行走姿态等。

根据这些生物信息将接近接待机器人的用户大致分为黄种人（预判可能使用汉语、日语、韩语）、白种人（预判可能使用英语、法语、德语、西班牙语、葡萄牙语、***语）、黑种人（预判可能使用英语、法语、德语、西班牙语、葡萄牙语）三大类。

在本发明一个优选实施例中，基于几何特征进行人脸识别。

首先，对高清摄像头2采集的图像数据进行预处理。采用创新性的可变邻域平均法平滑原始图像以消除大部分噪声，具体的，对于高h个像素单位、宽w个像素单位的图像g(x,y)(0<=x<w,0<=y<h)，以(i,j)点为中心取出一个n*n的窗口为邻域，经平均后输出中心像素的灰度值g^*(x,y)。在现有技术中通常n简单地选择为一个固定的奇数，例如3、5等，对于大多数应用足以消除噪声。然而，对于光照条件有限或者大气能见度较低的场景，图像模糊程度会加剧。因此，在本发明优选实施例中，采用较小的n1（例如3）计算初始图像灰度值集合{g^*(x,y)}，然后比较(i,j)点对应的灰度值g^*(x,y)与(i,j)点距离为m（例如1~4）的相邻点的初始灰度值g^*(x,y)’，如果两者差异在阈值T之内则g^*(x,y)作为(i,j)点的最终灰度值，如果差异大于等于T则采用较大的n2（例如5或7，小于等于n1+m的奇数）重新计算少数的灰度波动大特定点，如此可以以较小的计算量获得更好的平滑效果，克服在雾霾、阴暗环境下的光照、大气洁净度等问题。经过初步平滑处理之后，对于图像中仍然存在的少数孤立噪声，进一步采用二维中值滤波去噪。与之前类似的，二维窗口的维度n同样是可变的，也即先采用较小的n1进行初次计算，然后比较距离m内的各个点的灰度值，如果差值在阈值T2内则保持不变采用初次计算值，如果差值大于等于T2则采用较大的n2重新设定窗口计算灰度值。随后基于线性插值进行尺度变换，并考虑灰度平均值和方差进行灰度分布标注化，进一步优选基于Canny方法进行边缘检测和二值化处理最终得到待检测图形集合。

接着，基于检测几何特征点进行人脸识别或者姿势识别（骨骼支架的变化）。在本发明优选实施例中，基于几何特征的人脸识别面部特征有两眼的中心位置、鼻子的外测边缘位置、嘴角位置、构造的附加特征点，特别地，本发明还进一步采用眼宽度、眉线与鼻底线间距、耳廓长宽来细化同一人种之间的亚种区别（例如韩国人眼宽度小等）。检验人脸器官的位置时，首先确定两眼中心坐标，然后根据人脸的面部比例在两眼位置基础上抽取眉毛窗、眼睛窗、鼻子窗、嘴巴窗、耳廓窗等各个窗口进行独立计算，检测特征点，也即计算各个器官的位置和几何参数。类似的，姿势识别采用头部、肩部、髋部、足踝、肘部位置和宽度以及其变化来表征几何特征点。为了克服人脸/行走姿势的轻微变化对识别结果的影响，根据特征点构造具有尺寸、旋转和位移不变性的特征向量作为人脸识别的依据。具体的，(f_ix,f_iy)为特征点fi的坐标，dij=√(f_ix-f_jx)²+( f_iy-f_jy)²为两点间距，则特征向量集合为{d₁₂/d_7a，d₃₄/d_7a，d₂₃/d_7a，d₁₄/d_7a，d₅₆/d_7a，d_1a/d_7a，d_1a/d_7a，d_2a/d_7a，d_3a/d_7a，d_4a/d_7a，d_5a/d_7a，d_6a/d_7a，d_ba/d_7a}。随后根据得到的所有训练样本的特征向量训练神经网络分类器，例如Bagging神经网络。

进一步，采用自适应加权多分类器，对于前述识别到的几何特征点提取子空间特征，得到两单分类器分类结构并采用加权系数估计输出最后的分类结果。并且进一步，基于人种分类结果、结合接待机器人历史数据（例如注册用户数据、接待过并且提供了反馈的用户的数据等等）来预判用户可能选用的语种。

辅助属性包括用户的衣着风格（例如中式唐装/旗袍、日式和服、***罩袍、苏格兰裙、少数民族特色服装等等）、用户携带行李或衣物上的身份标识（例如旅行团团旗、团服或箱包上的团名）、用户便携式装置（手机、笔记本电脑、平板电脑等）操作界面上的语言、或者用户便携式装置的蓝牙ID/设备名称对应的语言等等。辅助属性同样由高清摄像头2、精细传感器3A/3B、3D深度摄像头5联合获得。

接待语音选择***通过对于用户辅助属性的识别，与网络统计获得的大数据进行比对，预判在上述三大类用户粗分类中具备所识别的辅助属性的用户熟练使用各个语言的概率，选取用户最可能使用（概率最高）的语言作为接待机器人将与该用户交互所使用的语言。具体地，某用户被判定为白种人且身着***罩袍则选用***语，某用户被判定为黄种人且身着和服则选用日语，某用户为白种人且身穿苏格兰裙则选用英语，某用户为黑人且手机设备号带有法语字符则选用法语，某用户为白人且身着博卡青年队服则选用西班牙语，某用户为黄种人且旅行团名包含“四川”则选用四川方言，等等。

图4显示了根据本发明第三实施例的接待机器人语言选择方法的流程图，与图3所示的第一实施例相比，该方法对于选择语言之后新增了另一个步骤－接收用户反馈并修改用户注册信息，而之前的方法步骤相同或相似则不再赘述。

具体地，用户反馈模块接收用户反馈，例如通过精细传感器3A/3B获取用户面部细节所反映的情绪信息（例如惊讶或微笑）、通过高灵敏度麦克风1接收用户的直接音频反馈（例如称赞或惊呼）、通过触摸屏6获得用户的触摸反馈（例如勾选、划扫等）、通过头顶触摸传感器10或手部生物传感器18等触摸传感器获得用户的力反馈（例如握手、轻拍），并且将这些反馈信息传送至用户信息注册模块。当判定反馈信息为正面或积极时，将接待语音选择***当前所采用的语言记录在用户注册信息中所包含的用户使用语言信息中。

依照本发明的接待语言选择方法、接待语言选择***以及使用该方法和/或***的接待机器人能够根据用户的语音判定用户语言，并利用生物信息、辅助属性对用户分类并判定用户语言，从而提高了接待语言选择效率和预测成功率，提高了用户体验。

尽管已参照一个或多个示例性实施例说明本发明，本领域技术人员可以知晓无需脱离本发明范围而对***、方法做出各种合适的改变和等价方式。此外，由所公开的教导可做出许多可能适于特定情形或材料的修改而不脱离本发明范围。因此，本发明的目的不在于限定在作为用于实现本发明的最佳实施方式而公开的特定实施例，而所公开的***和方法将包括落入本发明范围内的所有实施例。

Claims (9)

1.一种接待机器人语言选择方法，包括：

感测到用户接近；

判断用户是否属于注册用户，如果是则根据用户注册信息选择语言，如果否则创建并记录用户注册信息；

判断是否接收到用户语音，如果是则根据用户语音选择语言，如果否则识别用户分类；

根据用户分类选择语言。

2.根据权利要求1所述的方法，其中识别用户分类的步骤进一步包括：

根据生物信息对用户粗分类；

根据辅助属性对用户细分类。

3.根据权利要求2所述的方法，其中，所述生物信息包括肤色信息、面部轮廓信息、身高、步伐、移动速度、肢体静止/行走姿态；任选地，辅助属性包括衣着风格、用户携带行李或衣物上的身份标识、用户便携式装置操作界面上的语言、用户便携式装置的设备名称的语言；任选地，粗分类包括黄种人、白种人、黑种人。

4.根据权利要求1所述的方法，其中，用户注册信息包括用户的人脸识别信息、用户的身份信息、用户的使用语言信息。

5.根据权利要求1所述的方法，其中，根据用户注册信息选择语言和/或根据用户语音选择语言和/或根据用户分类选择语言的步骤之后进一步包括，接收用户反馈并修改用户注册信息。

6.一种接待机器人语言选择***，包括：

用户接近感测模块，用于感测到用户接近；

用户信息注册模块，用于记录用户注册信息；

用户语音识别模块，用于接收用户语音；

处理器，用于：

判断用户是否属于注册用户，如果是则根据用户注册信息选择语言，如果否则在用户信息注册模块中创建并记录用户注册信息；

判断是否接收到用户语音，如果是则根据用户语音选择语言，如果否则识别用户分类，并根据用户分类选择语言。

7.根据权利要求6所述的***，其中，处理器进一步用于：根据生物信息对用户粗分类；根据辅助属性对用户细分类。

8.根据权利要求6所述的***，其中，处理器进一步用于，接收用户反馈并修改用户注册信息。

9.一种接待机器人，采用根据权利要求1－5任一项所述的方法选择接待用户所使用的语言。