CN108818569A - 面向公共服务场景的智能机器人*** - Google Patents

面向公共服务场景的智能机器人*** Download PDF

Info

Publication number
CN108818569A
CN108818569A CN201810852608.5A CN201810852608A CN108818569A CN 108818569 A CN108818569 A CN 108818569A CN 201810852608 A CN201810852608 A CN 201810852608A CN 108818569 A CN108818569 A CN 108818569A
Authority
CN
China
Prior art keywords
module
user
robot
face
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810852608.5A
Other languages
English (en)
Inventor
欧林林
朱峰
禹鑫燚
柏继华
施甜峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810852608.5A priority Critical patent/CN108818569A/zh
Publication of CN108818569A publication Critical patent/CN108818569A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

一种面向公共服务场景的智能机器人***,主要包括Web交互模块、语音交互模块、人脸识别模块、导航模块、主控模块、通讯模块。***结合ROS消息通讯机制,基于MVC***设计模式,实现了一套面向公共服务场景的智能机器人***。首先通过Web交互模块实现与用户的友好交互,用户基于此模块控制机器人完成指定任务,语音交互模块用于提高用户与服务机器人的交互性能,人脸识别模块完成用户实名认证和用户分级,主控模块实现与Web交互模块、人脸识别模块、语音交互模块之间的任务调度,控制导航模块完成用户预定任务,导航模块在完成用户导览任务的同时,通过通讯模块把运动信息传输给Web交互模块实现友好的人机交互,通讯模块基于消息订阅与发布机制,完成各功能模块间的消息过滤和稳定传输。本发明一定程度上弥补了目前公共服务机器人在功能上的欠缺,为服务机器人的发展提供了较好的研究方向。

Description

面向公共服务场景的智能机器人***
技术领域
本发明涉及一种智能机器人***,尤其是一种面向公共服务场景的智能机器人***。
背景技术
随着科技的不断进步,人们生活水平的不断提高,服务机器人的市场需求日益增加,机器人不仅在照顾老年人及残疾人方面扮演着重要的角色,同时对普通人生活品质的持续提升起到了积极的作用。得益于计算处理、人工智能、传感器、互联网等技术的快速发展,服务机器人在近年来已进入快速发展阶段。服务机器人技术作为缓解社会压力、推动民生科技的关键技术分支,成为了科技发展的一大热点。
目前,在类似博物馆、医院、商场、银行等公共服务场景中,要求服务机器人具有良好的人机交互方式;简单方便的用户操作界面;丰富的多媒体播放和人机互动功能;不断更新的讲解功能;人性化的在线服务功能;自主路径规划和导航等功能。在该类场景中,用户的导览任务要求多样,在先验的大环境下存在局部环境的不确定性,例如在博物馆环境中,要求服务机器人同时满足讲解和导览功能。而用户的游览任务内容丰富,需要服务机器人能在不确定环境中对游客提出的复杂任务实现最优的路径规划,并且能实时检测周围障碍物信息,完成平稳的避障功能。为了保证服务机器人导览的有序性,需要对提出导览要求的游客进行身份认证,提高游客的用户体验。然而,满足以上服务机器人任务需求所涉及的技术很多,包括语音控制、人脸识别、在线多媒体、自主导航、视觉跟随和SLAM等机器人应用技术。把以上功能根据任务场景整合起来,并且充分满足用户需求是目前服务机器人的研究热点。复旦大学的林剑峰、白昊昱提出了一种开放智能计算机架构的家用多功能小型服务机器人(林剑峰;白昊昱.一种开放智能计算机架构的家用多功能小型服务机器人[P].中国专利:CN200710040031[X],2007-04-26.),其详细介绍了一种小型的具有高度智能的家用服务型机器人,使机器人具备机器视觉、听觉、高度智能规划和功能扩展的能力,但该服务机器人功能单一,没有统一的机器人控制***,不能很好满足公共服务场景对机器人提出的各类要求。北京海风智能科技有限责任公司的龙海生,常雪松提出一种基于ROS的服务机器人及其室内导航方法(龙海生;常雪松.一种基于ROS的服务机器人及其室内导航方法[P].中国专利:CN107145153A,2017-09-08),其使用开源的机器人操作***ROS作为机器人硬件控制平台,很好地实现了服务机器人的导航功能,但其开发的功能单一,不能满足公共服务场景对服务机器人提出的友好人机交互,智能语音识别和人脸识别等需求。
发明内容
本发明要克服现有技术的上述问题,提出一种面向公共服务场景的智能机器人***。
首先该***具有人性化的用户交互界面,满足用户良好的操作体验。其次该***拥有语音交互模块,能实现用户与服务机器人的友好互动,大幅度提高了服务机器人的智能化水平。之后该***的人脸识别模块运行在***后台,能实时捕捉操作服务机器人的用户身份信息并触发特定用户的任务路径,通过通讯模块传输给导航模块进行任务导览。最后该***的主控模块基于线性时序逻辑算法,能够生成全局最优的路径。
本发明为解决现有技术问题所采取的技术方案是:
一种面向公共服务场景的智能机器人***,其特征在于:上位机软件安装在用户的Windows电脑上,激光雷达传感器与移动底座通过USB有线连接,机器人底座与上位机通过以太网有线连接,摄像头通过串口与上位机有线连接。
所述的PC端模块依次包括Web交互模块、语音交互模块、人脸识别模块、主控模块、通讯模块,机器人基座部分包括导航模块;Web交互模块等待用户操作指令,通过通讯模块把用户指令传输给主控模块进行命令分析,并对任务进行调度;基于分析结果触发语音交互模块和导航模块完成任务;人脸识别模块运行在***后台,完成用户身份认证和任务分级处理。
各模块的具体构成是:
1)Web交互模块,是一个人性化的人机交互和机器人控制界面;在开启服务机器人***时,通过触屏显示器向用户展示机器人***功能,该模块包含触发其他功能模块的可视化控件方便用户直接操作机器人;包含语音交互模块的启动按钮和语音交互的文本信息展示界面,用于接收和处理语音交互模块传输过来的语音信息,并把处理完的信息实时显示在触屏界面上;内嵌的3D动态人脸根据用户主控模块获取的距离参数来控制虚拟人物表情变化;人脸识别模块通过Web交互模块显示用户认证过程并反馈用户身份认证结果;路径规划与导航模块通过交互界面显示机器人自定位坐标和环境地图信息。
2)语音交互模块,用于实现智能化的人机交互功能;使用麦克风获取用户语音信号,通过通讯模块把语音信号传输给语音模块的云服务端口,连接科大讯飞语音识别API接口完成STT(SpeechToText)功能,把语音信息转化为文本信息;使用通讯模块把文本信息传输给图灵云端服务API接口,基于图灵云端数据库完成用户文本智能问答并完成TTS(TextToSpeech)功能,向本地传输回问答的文本信息并转换为语音信号输出给播音装置,把回答的文本信息传输给Web交互模块。该语音交互模块根据识别内容的多样性和用户语言的表述习惯,采用正则表达式的匹配、替换和提取功能,完成对特定机器人语音控制命令的提取和转化;设计思想为,基于正则表达式的匹配策略,在语音交互模块中设置特定语言标签的应用程序控制和导航任务触发;基于语义模糊匹配和语言样本训练,使机器人接受到“带我去梦回大唐展厅/我要去梦回唐朝/前往梦回唐朝”时触发导航模块运动到“梦回唐朝”展厅的任务;使用机器学习方式获得用户语音交互模型,区分用户基本交互语音信息和机器人控制语音信息,完成语音命令的智能分层。
3)人脸识别模块,用于实现用户的实名认证和用户任务分级功能;使用摄像头获取用户的人脸图像信息,通过OpenVC处理人脸图像帧,使用通用的图像预处理算法提取人脸特征值;基于PCA人脸识别算法计算人脸特征值,完成人脸匹配任务;最后把计算结果传输给Web交互模块先用户显示认证信息,同时通过通讯模块把人脸匹配信息传输给主控模块,触发特定用户的服务任务和用户权限激活。该人脸识别模块的具体实现流程可以分为用户图像采集、图像预处理、图像检测与定位、图像特征提取与识别、本地预约用户人脸库对比、人脸识别结果的输出与分级用户任务在线加载。具体步骤如下:
(1)通过服务场景下数据中心的本地图片库或者摄像头的视频流来获取图像,并将该图像回传给Web交互界面,并使用矩形红框跟踪人脸的中心位置;
(2)使用viola-jones人脸检测算法完成人脸检测,然后对获取的人脸进行图形学相关的处理,对图像进行直方图平衡化处理,然后对图像进行全图像滤波。最后对图像做椭圆遮罩处理,在原有图像中屏蔽掉背景;
(3)将人脸在图片或者摄像流中标记出来,并进行人脸的跟踪和标记,抓取人脸图像,方便特征提取与识别,减少图片处理的计算量和比对等待时间;
(4)基于PCA人脸识别算法对人脸图片提取的一系列面部特征值进行计算,并与场景人脸库中提取出的人脸图像块特征进行匹配,找到最相似的图像;
(5)计算比对的相似度结果,并通过通讯模块把匹配的分数值发布给服务机器人Web交互模块,根据匹配度分数选择性加载用户预约的导览任务数据库信息并把用户预约路径传输给导航模块;
4)导航模块,用于实现服务机器人的自主导览和路径寻优的功能;该模块接受来自激光雷达的距离信息和底座的里程计信息,并把这些信息传输给主控模块进行自定位计算和地图构建,使用通讯模块把自定位与构图信息传输给Web交互模块进行实时显示,同时把信息传输给主控模块进行全局和局部路径规划计算,把结果回传给导航模块;导航模块把主控模块的路径规划参数转换为运动指令进行导航任务,控制机器人底座运动;设计机器人底座控制器,保证机器人平稳运行;考虑服务机器人在商场环境中可能会遇到突然出现的路人或其他障碍物,这里将激光雷达的检测区域分为急停区、感知区、安全区,三者的边界其距离激光雷达的距离分别为d1、d2,则机器人线速度中的可变参数decte为:
针对上述问题,设计了智能运动控制器,对控制律进行分段规划,其中φtolerate表示旋转阈值,ωold表示上一时刻的机器人角速度,aω表示能让机器人平稳运行的角加速度,控制器设计如下:
5)主控模块,接受来自Web交互模块、人脸识别模块、语音交互模块、导航模块发起的相关计算任务请求;接受来自导航模块的路径规划请求时,主控模块向导航模块的激光雷达和底盘获取距离和里程计信息;基于自适应蒙特卡洛算法通过传感器数据确定机器人位置,再基于线性时序逻辑算法进行路径规划,最后把路径规划结果发送至导航模块:首先将用户导览环境构建为有限状态的加权切换***;之后利用线性时序任务公式描述用户任务需求,通过LTL2BA工具包转换为图表形式;然后将切换***与Büchi自动机作笛卡尔乘积,构建任务可行网络拓扑;结合A*算法在任务可行网络拓扑上搜索出最优路径;接着将任务可行网络拓扑上寻优所得路径映射回切换***,得到环境中对应的最优路径;最后将路径规划结果发送给导航模块。
6)通讯模块,是一个整合机器人硬件和上层应用模块间消息传输和指令控制的控制中枢;基于ROS机器人操作***的通讯机制,该模块运行在机器人操作***的上一层,作为后操作***;把主控模块的控制指令传输给导航模块,人脸识别模块,语音交互模块;协调机器人硬件***,保证摄像头设备与人脸识别模块的交互,麦克风和音响与语音交互模块的通信,移动底盘与导航模块连接。
本发明的优点和积极效果是:
本发明设计了面向用户的可视化界面,相较于传统的按钮式机器人操作更加简洁且拥有更好的用户体验;拥有的人脸识别模块能在后台实时监测操作服务机器人的用户身份信息,实现个性化任务定制,增加了服务机器人个性化需求;开发的语音交互模块实现与用户的智能对话,通过语音命令控制机器人完成用户需求,弥补了传统服务机器人***的功能欠缺;主控模块是该服务机器人***的调度中心,对识别的人脸进行特征匹配,对录制的语音进行语义分析和转化,相对于传统的服务机器人具有更好的模块调度性能。设计的人脸识别模块可实现用户的身份认证和功能权限分级,对不同类型的用户设置不同的功能权限,同时活体检测功能,可以自主捕获机器人周围的活体,提高了人脸识别的准确率和实用性。开发的通讯模块,继承了ROS机器人操作***的通讯性能,能一体化管理***硬件,提供对语音交互模块、人脸识别模块、导航模块的硬件支持和任务调度。对***的软件和硬件实现统一控制和管理,为服务机器的开发提供新的设计方案。
附图说明
图1为本发明的控制原理框图。
图2为用户交互界面。
图3为人脸识别界面。
图4为导航界面。
图5为智能服务机器人***整体图。
具体实施方式
以下结合附图对本发明做进一步详述。
一种面向公共服务场景的智能机器人***,其控制原理框图如图1所示,该***由Web交互模块、语音交互模块、人脸识别模块、主控模块、通讯模块和导航模块,共六大模块组成。其中Web交互模块的界面如图2所示,通过机器人触屏可以直接触发Web交互界面上的各种功能模块。图3为人脸识别模块的入口,进行用户人脸信息录入和身份认证。图4为导航模块的可视化界面,用于显示机器人的自定位信息和周围环境的地图信息。图5为智能服务机器人***的整体效果图。
结合图1,图2,图3,图4和图5,本发明专利的具体实施方式如下:顾客启动服务机器人***,根据Web交互模块显示的操作提示,向主控模块发送控制命令,主控模块响应交互界面传输过来的Socket请求通过通讯模块的ROS通信方式,分别向语音交互模块、人脸识别模块、导航模块发送控制命令,最后服务机器人完成顾客任务,并把语音交互模块、人脸识别模块和导航模块的消息反馈给Web交互模块,向用户显示机器人运行状况。以使用该智能机器人***完成商场导览任务为例,所述的面向公共服务场景的智能机器人***,包括:
1)Web交互模块,是一个人性化的人机交互和机器人控制界面;在商场环境中顾客通过服务机器人前端的触屏显示器查看商场店面信息,顾客根据提示了解商场环境,点击机器人介绍服装店面信息,并要求机器人导航到目标服装店;模块中包含了语音交互模块的启动按钮和语音交互的文本信息展示界面,接受和处理语音交互模块传输过来的语音信号,并把处理完的信息实时显示在触屏界面上;人脸识别模块通过Web交互模块显示用户认证过程并反馈用户身份认证结果;路径规划与导航模块通过交互界面把机器人的自定位坐标和商场地图信息展示在显示屏上。
2)语音交互模块,用于实现智能化的人机交互功能;顾客向服务机器人询问你今年几岁时,麦克风外设获取顾客的语音信号,通过通讯模块把语音信号传输给语音模块的云服务端口,连接科大讯飞语音识别API接口完成STT(SpeechToText)功能,把语音信息转化为文本信息;使用通讯模块把文本信息传输给图灵云服务API接口,基于图灵云端数据库完成用户文本智能问答并完成TTS(TextToSpeech)功能,向服务机器人本体传输回问答的文本信息,转换为语音信号输出给播音装置,同时把回答的文本信息传输给Web交互模块,想顾客显示回答文字;在语音识别过程中,考虑识别内容多样性和用户语音的表述习惯,采用正则表达式的匹配、替换和提取功能,完成对特定机器人语音控制命令的提取和转化;设计思想为基于正则表达式的匹配策略,在语音交互模块中设置特定语言标签的应用程序控制和导航任务触发;基于语义模糊匹配和语言样本训练,使机器人接受到“带我去复古服装店/我要去复古时装店/前往复古时装店”时触发导航模块运动到“复古时装店”的任务;使用机器学习方式获得用户语音交互模型,区分用户普通交互语音信息和机器人控制语音信息,完成语音命令的智能分层。
3)人脸识别模块,用于实现用户的实名认证和用户任务分级功能;使用摄像头获取游客的人脸图像信息,通过OpenVC处理人脸图像帧,使用通用的图像预处理算法提取人脸特征值;基于PCA人脸识别算法计算人脸特征值,完成人脸匹配任务;最后把计算结果传输给Web交互模块先用户显示认证信息,同时通过通讯模块把人脸匹配信息传输给主控模块,触发商场不同级别游客的服务任务并激活游客的功能权限。该人脸识别模块的具体实现流程可以分为用户图像采集、图像预处理、图像检测与定位、图像特征提取与识别、本地预约用户人脸库对比、人脸识别结果的输出与分级用户任务在线加载。具体步骤如下:
(1)通过服务场景下数据中心的本地图片库或者摄像头的视频流来获取图像,并将该图像回传给Web交互界面,并使用矩形红框跟踪人脸的中心位置;
(2)使用viola-jones人脸检测算法完成人脸检测,然后对获取的人脸进行图形学相关的处理,对图像进行直方图平衡化处理,然后对图像进行全图像滤波。最后对图像做椭圆遮罩处理,在原有图像中屏蔽掉背景;
(3)将人脸在图片或者摄像流中标记出来,并进行人脸的跟踪和标记,抓取人脸图像,方便特征提取与识别,减少图片处理的计算量和比对等待时间;
(4)基于PCA人脸识别算法对人脸图片提取的一系列面部特征值进行计算,并与场景人脸库中提取出的人脸图像块特征进行匹配,找到最相似的图像;
(5)计算比对的相似度结果,并通过通讯模块把匹配的分数值发布给服务机器人Web交互模块,根据匹配度分数选择性加载用户预约的导览任务数据库信息并把用户预约路径传输给导航模块;
4)导航模块,用于实现服务机器人的自主导览和路径寻优的功能;该模块接受来自激光雷达的距离信息和底座的里程计信息,并把这些信息传输给主控模块进行自定位计算和地图构建,使用通讯模块把自定位与构图信息传输给Web交互模块进行实时显示,同时把信息传输给主控模块进行全局和局部路径规划计算,把结果回传给导航模块;导航模块把主控模块的路径规划参数转换为运动指令进行导航任务,控制机器人底座运动;设计机器人底座控制器,保证机器人平稳运行;考虑服务机器人在商场环境中可能会遇到突然出现的路人或其他障碍物,这里将激光雷达的检测区域分为急停区、感知区、安全区,三者的边界其距离激光雷达的距离分别为d1、d2,则机器人线速度中的可变参数decte为:
针对上述问题,设计了智能运动控制器,对控制律进行分段规划,其中φtolerate表示旋转阈值,ωold表示上一时刻的机器人角速度,aω表示能让机器人平稳运行的角加速度,控制器设计如下:
5)主控模块,接受来自Web交互模块、人脸识别模块、语音交互模块、导航模块发起的相关计算任务请求;接受来自导航模块的路径规划请求时,主控模块向导航模块的激光雷达和底盘获取距离和里程计信息;基于自适应蒙特卡洛算法通过传感器数据确定机器人位置,再基于线性时序逻辑算法进行路径规划,最后把路径规划结果发送至导航模块:首先将用户导览环境构建为有限状态的加权切换***;之后利用线性时序任务公式描述用户任务需求,通过LTL2BA工具包转换为图表形式;然后将切换***与Büchi自动机作笛卡尔乘积,构建任务可行网络拓扑;结合A*算法在任务可行网络拓扑上搜索出最优路径;接着将任务可行网络拓扑上寻优所得路径映射回切换***,得到环境中对应的最优路径;最后将路径规划结果发送给导航模块。
6)通讯模块,是一个整合机器人硬件和上层应用模块间消息传输和指令控制的控制中枢;基于ROS机器人操作***的通讯机制设计,该模块运行在机器人操作***的上一层,作为后操作***;把主控模块的控制指令传输给导航模块,人脸识别模块,语音交互模块;管理服务机器人硬件***,对摄像头设备与人脸识别模块的交互建立连接,麦克风和音响与语音交互模块进行通信,移动底盘与导航模块连接。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举,本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式,本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (4)

1.一种面向公共服务场景的智能机器人***,其特征在于:上位机软件安装在用户的Windows电脑上,激光雷达传感器与移动底座通过USB有线连接,机器人底座与上位机通过以太网有线连接,摄像头通过串口与上位机有线连接;
所述的PC端软件依次包括Web交互模块、语音交互模块、人脸识别模块、主控模块、通讯模块,机器人基座包括导航模块;Web交互模块等待用户发出操作指令,通过通讯模块把用户指令传输给主控模块进行命令分析,并进行任务调度;基于分析结果触发语音交互模块和导航模块完成任务;人脸识别模块运行在***后台,完成用户身份认证和任务分级处理;
各模块的具体构成是:
Web交互模块,是一个人性化的人机交互和机器人控制界面;在开启服务机器人***时,通过触屏显示器向用户展示机器人***功能,Web交互模块包含触发其他功能模块的可视化控件方便用户直接操作机器人;包含语音交互模块的启动按钮和语音交互的文本信息展示界面,用于接收和处理语音交互模块传输过来的语音信息,并把处理完的信息实时显示在触屏界面上;内嵌的3D动态人脸根据用户主控模块获取的距离参数来控制虚拟人物表情变化;人脸识别模块通过Web交互模块显示用户认证过程并反馈用户身份认证结果;路径规划与导航模块通过交互界面显示机器人自定位坐标和环境地图信息;
语音交互模块,用于实现智能化的人机交互功能;使用麦克风获取用户语音信号,通过通讯模块把语音信号传输给语音模块的云服务端口,连接科大讯飞语音识别API接口完成STT功能,把语音信息转化为文本信息;使用通讯模块把文本信息传输给图灵云端服务API接口,基于图灵云端数据库完成用户文本智能问答,完成TTS功能;向本地传输问答的文本信息,并转换为语音信号输出到播音装置,同时把回答的文本信息传输给Web交互模块;
人脸识别模块,用于实现用户的实名认证和用户任务分级功能;使用摄像头获取用户的人脸图像信息,通过OpenVC处理人脸图像帧,使用通用的图像预处理算法提取人脸特征值;基于PCA人脸识别算法计算人脸特征值,完成人脸匹配任务;最后把计算结果传输给Web交互模块先用户显示认证信息,同时通过通讯模块把人脸匹配信息传输给主控模块,触发特定用户的服务任务和用户权限激活;
导航模块,用于实现服务机器人的自主导览和路径寻优的功能;该模块接受来自激光雷达的距离信息和底座的里程计信息,并把这些信息传输给主控模块进行自定位计算和地图构建,使用通讯模块把自定位与构图信息传输给Web交互模块进行实时显示,同时把信息传输给主控模块进行全局和局部路径规划计算,把结果回传给导航模块;导航模块把主控模块的路径规划参数转换为运动指令进行导航任务,控制机器人底座运动;设计机器人底座控制器,保证机器人平稳运行;
主控模块,接受来自Web交互模块、人脸识别模块、语音交互模块、导航模块发起的相关计算任务请求;接受来自导航模块的路径规划请求时,主控模块向导航模块的激光雷达和底盘获取距离和里程计信息;基于自适应蒙特卡洛算法通过传感器数据确定机器人位置,再基于线性时序逻辑算法进行路径规划,最后把路径规划结果发送至导航模块:首先将用户导览环境构建为有限状态的加权切换***;之后利用线性时序任务公式描述用户任务需求,通过LTL2BA工具包转换为图表形式;然后将切换***与Büchi自动机作笛卡尔乘积,构建任务可行网络拓扑;结合A*算法在任务可行网络拓扑上搜索出最优路径;接着将任务可行网络拓扑上寻优所得路径映射回切换***,得到环境中对应的最优路径;最后将路径规划结果发送给导航模块;
通讯模块,是一个整合机器人硬件和上层应用模块间消息传输和指令控制的控制中枢;基于ROS机器人操作***的通讯机制,该模块运行在机器人操作***的上一层,作为后操作***;把主控模块的控制指令传输给导航模块,人脸识别模块,语音交互模块;协调机器人硬件***,保证摄像头设备与人脸识别模块的交互,麦克风和音响与语音交互模块的通信,移动底盘与导航模块连接。
2.根据权利要求1所述的面向公共服务场景的智能机器人***,其特征在于:所述的语音交互模块根据识别内容的多样性和用户语言的表述习惯,采用正则表达式的匹配、替换和提取功能,完成对特定机器人语音控制命令的提取和转化;设计思想为,基于正则表达式的匹配策略,在语音交互模块中设置特定语言标签的应用程序控制和导航任务触发;基于语义模糊匹配和语言样本训练,使机器人接受到“带我去时尚服装店/我要去时尚服装店/前往时尚服装店”时触发导航模块运动到“时尚服装店”的任务;使用机器学习方式获得用户语音交互模型,区分用户基本交互语音信息和机器人控制语音信息,完成语音命令的智能分层。
3.根据权利要求1所述的面向公共服务场景的智能机器人***,其特征在于:所述的人脸识别模块,通过服务场景下数据中心的本地图片库或者摄像头的视频流来获取图像,并将该图像回传给Web交互界面,并使用矩形红框跟踪人脸的中心位置;使用viola-jones人脸检测算法完成人脸检测,然后对获取的人脸进行图形学相关的处理,对图像进行直方图平衡化处理,接着对图像进行全图像滤波,最后对图像做椭圆遮罩处理,在原有图像中屏蔽掉背景;将人脸在图片或者摄像流中标记出来,并进行人脸的跟踪和标记,抓取人脸图像,方便特征提取与识别,减少图片处理的计算量和比对等待时间;基于PCA人脸识别算法对人脸图片提取的一系列面部特征值进行计算,并与场景人脸库中提取出的人脸图像块特征进行匹配,找到最相似的图像;计算比对的相似度结果,并通过通讯模块把匹配的分数值发布给服务机器人Web交互模块,根据匹配度分数选择性加载用户预约的导览任务数据库信息并把用户预约路径传输给导航模块。
4.根据权利要求书1所述的面向公共服务场景的智能机器人***,其特征在于:所述的导航模块中,考虑服务机器人在公共服务场景中可能会遇到突然出现的路人或其他障碍物,这里将激光雷达的检测区域分为急停区、感知区、安全区,三者的边界其距离激光雷达的距离分别为d1、d2,则机器人线速度中的可变参数decte为:
针对上述问题,设计了智能运动控制器,对控制律进行分段规划,其中φtolerate表示旋转阈值,ωold表示上一时刻的机器人角速度,aω表示能让机器人平稳运行的角加速度,控制器设计如下:
CN201810852608.5A 2018-07-30 2018-07-30 面向公共服务场景的智能机器人*** Pending CN108818569A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810852608.5A CN108818569A (zh) 2018-07-30 2018-07-30 面向公共服务场景的智能机器人***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810852608.5A CN108818569A (zh) 2018-07-30 2018-07-30 面向公共服务场景的智能机器人***

Publications (1)

Publication Number Publication Date
CN108818569A true CN108818569A (zh) 2018-11-16

Family

ID=64152221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810852608.5A Pending CN108818569A (zh) 2018-07-30 2018-07-30 面向公共服务场景的智能机器人***

Country Status (1)

Country Link
CN (1) CN108818569A (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109557920A (zh) * 2018-12-21 2019-04-02 华南理工大学广州学院 一种自动导航建图机器人及控制方法
CN109571499A (zh) * 2018-12-25 2019-04-05 广州天高软件科技有限公司 一种智能导航引领机器人及其实现方法
CN109741815A (zh) * 2018-12-25 2019-05-10 广州天高软件科技有限公司 一种医疗引导机器人及其实现方法
CN109756635A (zh) * 2019-01-24 2019-05-14 出门问问信息科技有限公司 基于web的电话客服模拟方法、装置、存储介质和电子设备
CN109895093A (zh) * 2018-12-08 2019-06-18 浙江国自机器人技术有限公司 用于idc机器人的任务管理方法
CN109934736A (zh) * 2019-01-21 2019-06-25 广东康云科技有限公司 一种智能看房的数据处理方法及***
CN109949121A (zh) * 2019-01-21 2019-06-28 广东康云科技有限公司 一种智能看车的数据处理方法及***
CN110045692A (zh) * 2019-03-20 2019-07-23 南京巨鲨显示科技有限公司 一种面向放射科的人机交互***
CN110070865A (zh) * 2019-04-03 2019-07-30 北京容联易通信息技术有限公司 一种具有语音和图像识别功能的向导机器人
CN110187756A (zh) * 2019-04-24 2019-08-30 深圳市三宝创新智能有限公司 一种用于智能机器人的交互装置
CN110223683A (zh) * 2019-05-05 2019-09-10 安徽省科普产品工程研究中心有限责任公司 语音交互方法及***
CN110228073A (zh) * 2019-06-26 2019-09-13 郑州中业科技股份有限公司 主动响应式智能机器人
CN110428215A (zh) * 2019-07-01 2019-11-08 肖娟 智能机器人数据信息相互交互安全可靠传输办理方法和***
CN110434859A (zh) * 2019-05-30 2019-11-12 上海大学 一种面向商业办公环境的智能服务机器人***及其操作方法
CN110450174A (zh) * 2019-08-02 2019-11-15 深圳市三宝创新智能有限公司 一种前台机器人的导航领路方法
CN111360816A (zh) * 2018-12-26 2020-07-03 沈阳新松机器人自动化股份有限公司 一种机器人的控制方法、***及机器人
CN111443717A (zh) * 2020-04-24 2020-07-24 张咏 一种基于语音识别控制的巡检机器人***
CN111966988A (zh) * 2020-09-07 2020-11-20 湖南正东通信技术工程有限公司 一种ai人机交互终端一体机
CN112379821A (zh) * 2020-11-24 2021-02-19 浙江同善人工智能技术有限公司 一种服务型机器人的交互***
CN112399020A (zh) * 2020-10-27 2021-02-23 北京小乔机器人科技发展有限公司 一种智能语音客服***
CN112529522A (zh) * 2020-12-04 2021-03-19 中国航空工业集团公司成都飞机设计研究所 一种综合机电管理软件架构***
CN112528822A (zh) * 2020-12-04 2021-03-19 湖北工业大学 一种基于人脸识别技术的老弱人群寻路导识装置及方法
CN113587932A (zh) * 2021-07-27 2021-11-02 中国地质大学(武汉) 基于人脸识别的室内导航机器人***及导航方法
CN113936378A (zh) * 2021-11-29 2022-01-14 敦讯信息咨询(海南)有限公司 一种自助一体机
CN114131626A (zh) * 2021-12-09 2022-03-04 昆山市工研院智能制造技术有限公司 机器人、服务***及方法
CN114706389A (zh) * 2022-03-28 2022-07-05 清华大学 一种基于社交平台的多机器人动态环境搜索***及方法
CN115333890A (zh) * 2022-10-09 2022-11-11 珠海进田电子科技有限公司 一种基于人工智能的家电控制型智能线控器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100076600A1 (en) * 2007-03-20 2010-03-25 Irobot Corporation Mobile robot for telecommunication
CN105232295A (zh) * 2015-10-16 2016-01-13 北京机械设备研究所 一种用于避障的智能导引***
CN107065863A (zh) * 2017-03-13 2017-08-18 山东大学 一种基于人脸识别技术的导览解说机器人及方法
CN107284544A (zh) * 2017-07-30 2017-10-24 福州大学 一种多功能的通用移动机器人底盘及其应用方法
CN107563886A (zh) * 2017-08-10 2018-01-09 浙江工业大学 基于银行导览***的智能服务机器人***
CN107845381A (zh) * 2017-10-27 2018-03-27 安徽硕威智能科技有限公司 一种机器人语义处理的方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100076600A1 (en) * 2007-03-20 2010-03-25 Irobot Corporation Mobile robot for telecommunication
CN105232295A (zh) * 2015-10-16 2016-01-13 北京机械设备研究所 一种用于避障的智能导引***
CN107065863A (zh) * 2017-03-13 2017-08-18 山东大学 一种基于人脸识别技术的导览解说机器人及方法
CN107284544A (zh) * 2017-07-30 2017-10-24 福州大学 一种多功能的通用移动机器人底盘及其应用方法
CN107563886A (zh) * 2017-08-10 2018-01-09 浙江工业大学 基于银行导览***的智能服务机器人***
CN107845381A (zh) * 2017-10-27 2018-03-27 安徽硕威智能科技有限公司 一种机器人语义处理的方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
禹鑫燚等: "基于线性时序逻辑理论的仓储机器人路径规划", 《高技术通讯》 *
程磊: "《移动机器人***及其协调控制》", 31 March 2014 *
罗霄: "《工业机器人技术基础与应用分析》", 31 March 2018 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109895093A (zh) * 2018-12-08 2019-06-18 浙江国自机器人技术有限公司 用于idc机器人的任务管理方法
CN109557920A (zh) * 2018-12-21 2019-04-02 华南理工大学广州学院 一种自动导航建图机器人及控制方法
CN109571499A (zh) * 2018-12-25 2019-04-05 广州天高软件科技有限公司 一种智能导航引领机器人及其实现方法
CN109741815A (zh) * 2018-12-25 2019-05-10 广州天高软件科技有限公司 一种医疗引导机器人及其实现方法
CN111360816A (zh) * 2018-12-26 2020-07-03 沈阳新松机器人自动化股份有限公司 一种机器人的控制方法、***及机器人
CN109934736A (zh) * 2019-01-21 2019-06-25 广东康云科技有限公司 一种智能看房的数据处理方法及***
CN109949121A (zh) * 2019-01-21 2019-06-28 广东康云科技有限公司 一种智能看车的数据处理方法及***
CN109756635A (zh) * 2019-01-24 2019-05-14 出门问问信息科技有限公司 基于web的电话客服模拟方法、装置、存储介质和电子设备
CN109756635B (zh) * 2019-01-24 2021-01-26 出门问问信息科技有限公司 基于web的电话客服模拟方法、装置、存储介质和电子设备
CN110045692A (zh) * 2019-03-20 2019-07-23 南京巨鲨显示科技有限公司 一种面向放射科的人机交互***
CN110070865A (zh) * 2019-04-03 2019-07-30 北京容联易通信息技术有限公司 一种具有语音和图像识别功能的向导机器人
CN110187756A (zh) * 2019-04-24 2019-08-30 深圳市三宝创新智能有限公司 一种用于智能机器人的交互装置
CN110223683A (zh) * 2019-05-05 2019-09-10 安徽省科普产品工程研究中心有限责任公司 语音交互方法及***
CN110434859A (zh) * 2019-05-30 2019-11-12 上海大学 一种面向商业办公环境的智能服务机器人***及其操作方法
CN110434859B (zh) * 2019-05-30 2022-11-08 上海大学 一种面向商业办公环境的智能服务机器人***及其操作方法
CN110228073A (zh) * 2019-06-26 2019-09-13 郑州中业科技股份有限公司 主动响应式智能机器人
CN110428215A (zh) * 2019-07-01 2019-11-08 肖娟 智能机器人数据信息相互交互安全可靠传输办理方法和***
CN110450174A (zh) * 2019-08-02 2019-11-15 深圳市三宝创新智能有限公司 一种前台机器人的导航领路方法
CN111443717A (zh) * 2020-04-24 2020-07-24 张咏 一种基于语音识别控制的巡检机器人***
CN111966988A (zh) * 2020-09-07 2020-11-20 湖南正东通信技术工程有限公司 一种ai人机交互终端一体机
CN112399020A (zh) * 2020-10-27 2021-02-23 北京小乔机器人科技发展有限公司 一种智能语音客服***
CN112379821A (zh) * 2020-11-24 2021-02-19 浙江同善人工智能技术有限公司 一种服务型机器人的交互***
CN112529522A (zh) * 2020-12-04 2021-03-19 中国航空工业集团公司成都飞机设计研究所 一种综合机电管理软件架构***
CN112528822A (zh) * 2020-12-04 2021-03-19 湖北工业大学 一种基于人脸识别技术的老弱人群寻路导识装置及方法
CN112529522B (zh) * 2020-12-04 2023-05-26 中国航空工业集团公司成都飞机设计研究所 一种综合机电管理软件架构***
CN113587932A (zh) * 2021-07-27 2021-11-02 中国地质大学(武汉) 基于人脸识别的室内导航机器人***及导航方法
CN113936378A (zh) * 2021-11-29 2022-01-14 敦讯信息咨询(海南)有限公司 一种自助一体机
CN114131626A (zh) * 2021-12-09 2022-03-04 昆山市工研院智能制造技术有限公司 机器人、服务***及方法
CN114706389A (zh) * 2022-03-28 2022-07-05 清华大学 一种基于社交平台的多机器人动态环境搜索***及方法
CN114706389B (zh) * 2022-03-28 2024-04-12 清华大学 一种基于社交平台的多机器人动态环境搜索***及方法
CN115333890A (zh) * 2022-10-09 2022-11-11 珠海进田电子科技有限公司 一种基于人工智能的家电控制型智能线控器
CN115333890B (zh) * 2022-10-09 2023-08-04 珠海进田电子科技有限公司 一种基于人工智能的家电控制型智能线控器

Similar Documents

Publication Publication Date Title
CN108818569A (zh) 面向公共服务场景的智能机器人***
Zhang et al. Empowering things with intelligence: a survey of the progress, challenges, and opportunities in artificial intelligence of things
CN105528082B (zh) 三维空间及手势识别追踪交互方法、装置和***
He et al. Visual recognition of traffic police gestures with convolutional pose machine and handcrafted features
CN106997236B (zh) 基于多模态输入进行交互的方法和设备
US20190369742A1 (en) System and method for simulating an interactive immersive reality on an electronic device
CN104463191A (zh) 一种基于注意机制的机器人视觉处理方法
US11540690B2 (en) Artificial intelligence robot cleaner
Khan et al. Recent advances in vision-based indoor navigation: A systematic literature review
CN107336243A (zh) 基于智能移动终端的机器人控制***及控制方法
CN109163731A (zh) 一种语义地图构建方法及***
WO2020015682A1 (zh) 无人机控制***和方法
CN115933868B (zh) 翻转讲台的立体综合教学场***及其工作方法
Chen et al. Online control programming algorithm for human–robot interaction system with a novel real-time human gesture recognition method
Liu et al. Gesture Recognition for UAV-based Rescue Operation based on Deep Learning.
Huang et al. Intelligent video surveillance of tourist attractions based on virtual reality technology
US20240185508A1 (en) Multisensorial presentation of volumetric content
US20240112426A1 (en) Protocol for facilitating presentation of extended reality content in different physical environments
KR101864717B1 (ko) 오브젝트 조립 형상에 따른 무(無)마커 맞춤공간표출형 증강현실 컨텐츠 형성장치 및 방법
Manresa-Yee et al. Towards hands-free interfaces based on real-time robust facial gesture recognition
Djeraba et al. Multi-modal user interactions in controlled environments
CN114979789A (zh) 一种视频展示方法、装置以及可读存储介质
Kaur et al. Sign language recognition using Microsoft Kinect
Zhang et al. Motion Attitude Recognition and Behavior Prediction Algorithm Based on Wireless Sensor Network
Kulkarni et al. Eye Gesture Interface and Emotion Detection Tool

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181116

RJ01 Rejection of invention patent application after publication