CN112882481A - 一种基于slam的移动式多模态交互导览机器人*** - Google Patents
一种基于slam的移动式多模态交互导览机器人*** Download PDFInfo
- Publication number
- CN112882481A CN112882481A CN202110462802.4A CN202110462802A CN112882481A CN 112882481 A CN112882481 A CN 112882481A CN 202110462802 A CN202110462802 A CN 202110462802A CN 112882481 A CN112882481 A CN 112882481A
- Authority
- CN
- China
- Prior art keywords
- robot
- slam
- information
- navigation
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 15
- 230000003993 interaction Effects 0.000 claims abstract description 31
- 238000004891 communication Methods 0.000 claims abstract description 6
- 238000013135 deep learning Methods 0.000 claims abstract description 5
- 239000002245 particle Substances 0.000 claims description 67
- 238000004422 calculation algorithm Methods 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 10
- 230000005236 sound signal Effects 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 11
- 238000005070 sampling Methods 0.000 description 6
- 238000012952 Resampling Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Acoustics & Sound (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及一种基于SLAM的移动式多模态交互导览机器人***，包括：移动控制模块，包括基于激光雷达的SLAM，用于控制机器人的移动，获取当前定位信息；移动导览模块，与所述移动控制模块电连接，用于接收所述当前定位信息，根据所述当前定位信息结合预设的路径规划进行定点巡航讲解；信息展示模块，与所述移动控制模块电连接，用于显示预设信息，将接收到的运动控制指令发送到所述移动控制模块；语音交互模块，采用C/S架构，分别与所述信息展示模块和所述移动导览模块通讯连接，采用深度学习聊天***，用于实现人机交互，所述人机交互包括接收运动控制指令。本发明降低了机器人成本。
Description
技术领域
本发明涉及导览机器人技术领域，特别是涉及一种基于SLAM的移动式多模态交互导览机器人***。
背景技术
目前，中国国内休闲农业和乡村旅游蓬勃发展，助力乡村振兴能力不断增强。通过深入贵州省长顺县，在扶贫攻坚的过程中了解到，当地特色景区存在“导游少，面积广，线路长”的特点，而且激增的游客与较少的导游的矛盾态势阻碍了景区发展。虽然目前有导览机器人替代导游，但是目前的导览机器人采用的后台的成本很高。
发明内容
本发明的目的是提供一种基于SLAM的移动式多模态交互导览机器人***，降低了机器人成本。
为实现上述目的，本发明提供了如下方案：
一种基于SLAM的移动式多模态交互导览机器人***，包括：
移动控制模块，包括基于激光雷达的SLAM，用于控制机器人的移动，获取当前定位信息；
移动导览模块，与所述移动控制模块电连接，用于接收所述当前定位信息，根据所述当前定位信息结合预设的路径规划进行定点巡航讲解；
信息展示模块，与所述移动控制模块电连接，用于显示预设信息，将接收到的运动控制指令发送到所述移动控制模块；
语音交互模块，采用C/S架构，分别与所述信息展示模块和所述移动导览模块通讯连接，采用深度学习聊天***，用于实现人机交互，所述人机交互包括接收运动控制指令。
可选地，所述移动控制模块包括：
建图单元，用于实时接收激光雷达的数据，根据激光雷达的数据构建周边环境的二维地图；
定位单元，根据激光雷达的数据和机器人里程数据，确定所述机器人在所述二维地图上的位姿；
导航单元，用于根据所述机器人的目的地和出发地进行全局路径规划，当所述机器人按照所述全局路径规划进行运动时，根据检测到的障碍物进行本地实时规划。
可选地，通过动态窗口法实现所述本地实时规划。
可选地，通过迪杰斯特拉算法实现所述全局路径规划。
可选地，所述语音交互模块包括前端和服务端；
所述前端用于采集声音信号，将所述声音信号转换为文字信息，将所述文字信息发送到所述服务端并接收所述服务端的返回信息，所述返回信息基于语音合成SDK转换为人声；
所述服务端用于接收所述文字信息，基于检索类与生成类协同的方式对所述文字信息进行意图识别和对话处理，并发送返回信息。
可选地，所述前端采用科大讯飞环形六麦阵列。
可选地，所述服务端为云端服务器。
可选地，还包括超声波传感器，用于检测所述机器人周围的障碍信号，并将所述障碍信号发送到所述移动控制模块。
可选地，所述建图单元采用GMapping算法，根据激光雷达的数据构建周边环境的二维地图。
可选地，所述定位单元采用主动蒙特卡罗粒子滤波定位算法，根据激光雷达的数据和机器人里程数据，确定所述机器人在所述二维地图上的位姿。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明移动控制模块包括基于激光雷达的SLAM，用于控制机器人的移动，实现机器人的自主导航，并通过移动导览模块提高了导览效率，语音交互模块采用C/S架构，分别与所述信息展示模块和所述移动导览模块通讯连接，采用深度学习聊天***，用于实现人机交互，降低了导览机器人的后台成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于SLAM的移动式多模态交互导览机器人***结构示意图；
图2为本发明二维地图构建流程示意图；
图3为本发明主动蒙特卡罗粒子滤波定位算法中粒子群收敛过程示意图；
图4为本发明语音交互模块工作原理示意图；
图5为本发明移动导览模块定点讲解功能页面示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于SLAM的移动式多模态交互导览机器人***，降低了机器人成本。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明一种基于SLAM的移动式多模态交互导览机器人***结构示意图，如图1所示，一种基于SLAM的移动式多模态交互导览机器人***，包括：
移动控制模块101，包括基于激光雷达的SLAM，用于通过移动底座106控制机器人的移动，同时获取当前定位信息。
激光雷达以固定频率扫描环境距离信息，SLAM中的建图、定位和导航节点都会接收激光雷达的数据信息。
所述移动控制模块101包括：
建图单元，用于实时接收激光雷达的数据，根据激光雷达的数据构建周边环境的二维地图。
定位单元，根据激光雷达的数据和机器人里程数据，确定所述机器人在所述二维地图上的位姿。
导航单元，用于根据所述机器人的目的地和出发地进行全局路径规划，当所述机器人按照所述全局路径规划进行运动时，根据检测到的障碍物进行本地实时规划。
通过动态窗口法实现所述本地实时规划。
通过迪杰斯特拉算法实现所述全局路径规划。
该机器人***还包括超声波传感器，用于检测所述机器人周围的障碍信号，并将所述障碍信号发送到所述移动控制模块101。
所述建图单元采用GMapping算法，根据激光雷达的数据构建周边环境的二维地图。
所述定位单元采用主动蒙特卡罗粒子滤波定位算法，根据激光雷达的数据和机器人里程数据，确定所述机器人在所述二维地图上的位姿。
移动控制模块101涉及到的具体工作原理如下：
①建图，建图单元中采用的建图算法的主要工作流程为在机器人移动的过程中，不断地接收激光雷达数据的输入，以此构建周边环境完整的二维地图。采用的建图算法为GMapping，GMapping基于RBpf粒子滤波算法，即将定位和建图过程分离，先进行定位再进行建图。基于粒子滤波的建图过程会预设很多粒子，每一个粒子都携带了机器人可能的位姿和当前地图，RBpf算法需要对每一个粒子分别计算概率，计算概率的公式为
。
根据
，每个粒子携带的地图都依赖于机
器人的位置和姿态，RBpf算法即可对每个粒子先估计机器人的轨迹，再根据此轨迹推测该粒子所携带地图正确的概率。较为通用的粒子滤波算法为SIR（SampingImportance Resampling）滤波器，在SLAM建图的应用下分为以下四个步骤：
1）粒子初始化
算法第一步的主要工作是粒子群的初始化，即根据状态转移函数的预测，生成大量上述粒子，这些粒子将被赋予初始权值，算法后续将更新这些权值，利用这些粒子的加权逼近后验概率。
2）矫正计算
第二步主要工作是矫正，机器人在行进过程中会采集一系列传感器的数据输出，即观测值，粒子的权值就是根据这些观测值来进行计算的。假设有n个粒子，其中第i个粒子权值记为wi，代表此粒子在观测校正的过程中获得的概率。因机器人建图的过程是马尔科夫过程，当前的状态结果只与上一状态有关，所以算法采用是基于上一状态的权值评估方式，状态转移方程如下式所示，其中η是常数。
进行校正计算后，每个粒子都会获得其权值。其中，
表示第i个粒子t时刻的权值，z t表示t时刻的观测数据，
表示第i个粒子预测机器人t时刻的轨迹。
3）粒子重采样
第三步的主要工作是重采样，即淘汰价值较低的粒子，补充价值较高的粒子。因为机器人在现实环境下的运动的过程是连续的，而粒子的初始状态是随机的，状态非连续分布的粒子权值会逐渐降低。算法根据权值比例淘汰这部分权值较低的粒子，并将新采样的粒子补充到状态转移方程中。新采样的粒子是根据激光雷达的数据计算出来的。机器人移动后，出现了未建图的地方，想要把粒子集中分布在这些地方，根据激光雷达数据用状态转移方程计算出下一步要采样的粒子的分布信息（也就是粒子在哪些位置产生）。
4）地图计算
算法最终统计每个粒子采样的轨迹和传感器的观测结果，从中计算出最大概率的地图估计。并将新计算出来的地图更新到原有地图上。
机器人在运动过程中探索四周的场景，并不断迭代四个步骤。在地图的构建过程中，可根据实际需要来判断当前构建出的地图是否完整，当地图已构建完成，可以保存当前地图并中断算法的执行，保存的地图即为最终的建图结果。地图构建流程如图2所示。
②定位，明确机器人当前所在空间的位置，为后续移动和路径规划提供依据。该功能根据激光雷达数据及机器人的里程计数据，输出机器人在SLAM***已建好地图上的位姿。采用主动蒙特卡罗粒子滤波定位算法（AMCL），AMCL算法可以在地图已经建立完成的前提下，根据里程计提供的大概位置，再使用粒子滤波的方式得到机器人的位姿。AMCL算法的具体流程与建图算法类似，均基于SIR滤波器，首先初始化一系列带权值的随机粒子，然后用此粒子群来逼近任意状态的后验概率密度，整体流程分为以下五个步骤：
1)粒子初始化
与建图算法类似，第一步的主要工作为粒子群的初始化。粒子群中每个粒子都包含一组机器人的位姿信息，如位置和方向。对于单个粒子，算法用权值是衡量它和机器人位姿真实状态匹配度。粒子群中每个粒子初始状态不同，但权值相同。
2)状态预测
根据机器人在真实场景下的运动状态，更新粒子群中每一个粒子的位姿信息。如机器人朝x轴正方向移动时，粒子群中所有的粒子都趋向x轴正方向移动。此步骤只更新位姿，不更新权值。
3)权值更新
此步骤主要工作是根据传感器信息更新粒子群中所有粒子的权值。在上一步位姿更新的基础上，和机器人位姿真实状态匹配度越高的粒子会被设定更高的权值。
4)粒子重采样
此步骤和建图算法中的粒子重采样原理类似，具体流程为抛弃权值最低的部分粒子，并根据权值高的粒子进行重采样，以更新粒子群。经过一轮重采样，粒子群会有一定程度的收敛，收敛后往往更能反映机器人位姿的真实状态。
5)加权平均
此步骤将粒子群中的每一个粒子所携带的位姿作加权平均，得出的结果即为算法估计的结果，即在真实场景下机器人在地图中的位姿。
以上步骤不断迭代，粒子群收敛到给定阈值即可认为机器人的定位已足够准确。粒子群收敛过程如图3所示。
③导航，SLAM***的最终目的就是赋予机器人自主导航的能力。导航在大多数情况下是基于建图模块建好的地图，导航算法首先进行路径规划，分为全局路径规划和本地实时规划两个部分。然后根据规划出的路径和定位信息使用PID控制算法进行路径追踪。
全局路径规划是通过经典Dijkstra最优路径算法计算出机器人从A点到达B点花费最少的路径。机器人在运动过程中，不可避免会遇到地图上未标注的障碍物，为了灵活避开障碍物，需要本地实时规划路径。
本地实时规划是通过动态窗口法(Dynamic Window Approach,DWA)这一算法来实现的，算法流程如下：
1)速度采样
算法首先对机器人的速度空间中进行多组采样，采样的结果是一系列有向速度，包含大小和方向。
2)轨迹模拟
针对上述每个采样，分别预测出机器人以相应有向速度行驶一段时间后对应的行驶轨迹。
3)轨迹评价
根据评价函数对上述轨迹进行打分，筛选出最优轨迹作为机器人驱动的依据。评价函数G(v,w)为轨迹末端与当前状态方位角heading(v,w)、轨迹与障碍物之间的最短距离dist(v,w)和轨迹速度的大小velocity(v,w)的归一化加和，评价函数G(v,w)如下：
其中σ、α、β、γ均为设定参数，（v,w）分别为线速度和角速度。
4)循环，重复上述步骤
基于上述步骤，算法会在目标点给定后，根据机器人当前的位姿和目标位姿确定全局路径，并根据障碍物信息实时更新局部路径。
为了检测到环境中未标注的障碍物，除了激光雷达外，此***还使用了呈五边形分布的五个超声波传感器检测近距离障碍，以提升识别障碍物能力。
移动导览模块102，与所述移动控制模块101电连接，用于接收所述当前定位信息，根据所述当前定位信息结合预设的路径规划进行定点巡航讲解。
移动导览模块102根据***预制的路径和点位，机器人进行移动导览。在移动前，通过语音交互模块104播放“移动提示音”，屏幕画面切换到特定页面。在移动过程中，根据移动控制模块101进行移动控制。到达特定点位时，暂停移动，语音交互模块104播放预存的音频信息。在播放完毕后，自动切换屏幕画面到下一位置，之后播放“移动提示音”，开始移动。待路径全部移动完成后，结束。移动导览模块102进行定点讲解的功能界面如图5所示。
信息展示模块103，与所述移动控制模块101电连接，用于显示预设信息，将接收到的运动控制指令发送到所述移动控制模块101。
信息展示模块103基于Android Jetpack库进行开发，基于Navigation组件构建单页应用，采用多个Fragment单独一个Activity组件，抽象出公用的UI组件，减小项目间的代码耦合。根据接收到的导览请求，触发对应的action后切换到相应的Fragment。页面包含：一级页面“功能选择”页面，二级页面包括“景区全览”、“特色产品”和“游客拍照”等具体功能页面。页面所要展示的信息将预置在***数据库内，可以根据不同的场景和需求进行调整。该数据库使用安卓Room框架作为持久化数据存储框架，即Room数据库107，便于数据库的维护和版本更新。使用讯飞SDK实现语音唤醒、语音合成、语音识别，使用https协议与语音交互模块104进行数据交换，实现机器人的人机交互。通过Ros提供的上层安卓接口控制机器人的行为提供“校准定位”“移动导览”等功能。长时间（3分钟）未接收到操作请求，安卓中内置的组件会引发中断切换页面，进入“待机状态”，待机状态下，屏幕放映预置好的影视资源；当有用户操作时，重新唤醒“功能选择”页面。
语音交互模块104，采用C/S架构，分别与所述信息展示模块103和所述移动导览模块102通讯连接，采用任务导向性检索对话与深度学习聊天***相结合，用于实现人机交互，避免了市面上广泛采用的人工后台的高额成本问题。所述人机交互包括接收运动控制指令。
所述语音交互模块104包括前端（语音前端采集模块1041）和服务端（语音交互服务端1042）。
所述前端用于采集声音信号，将所述声音信号转换为文字信息，将所述文字信息发送到所述服务端并接收所述服务端的返回信息，所述返回信息基于语音合成SDK转换为人声。
所述服务端用于接收所述文字信息，基于检索类与生成类协同的方式对所述文字信息进行意图识别和对话处理，并发送返回信息。
所述服务端为云端服务器。
该***还包括交互显示输出105，用于通过显示屏的方式显示信息展示模块103和移动导览模块102的信息。
作为具体实施例，前端部分硬件采用了科大讯飞环形六麦阵列，用于采集声音信号，并利用其自带的前端算法进行回声消除，噪音抑制等处理；利用语音唤醒技术启动对话，并基于科大讯飞语音识别SDK将语音转化为文字信息，通过RESTFul API调用服务端对话接口，获取返回信息后基于语音合成SDK转换为人声，最后经过功率放大器和喇叭进行语音播放，语音交互模块104的工作原理如图4所示。
服务端基于Flask轻量化开发，采用Docker进行部署，提供RESTFul API。基于检索类与生成类协同的方式进行意图识别、对话处理，并返回相关信息。同时，通过环形六麦阵列，利用其自带的前端算法进行声源定位，控制机器人面向用户进行交互；对于机器人执行的其他功能，也会播放相应交互提示信息。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于SLAM的移动式多模态交互导览机器人***，其特征在于，包括：
移动控制模块，包括基于激光雷达的SLAM，用于控制机器人的移动，获取当前定位信息；
移动导览模块，与所述移动控制模块电连接，用于接收所述当前定位信息，根据所述当前定位信息结合预设的路径规划进行定点巡航讲解；
信息展示模块，与所述移动控制模块电连接，用于显示预设信息，将接收到的运动控制指令发送到所述移动控制模块；
语音交互模块，采用C/S架构，分别与所述信息展示模块和所述移动导览模块通讯连接，采用深度学习聊天***，用于实现人机交互，所述人机交互包括接收运动控制指令。
2.根据权利要求1所述的基于SLAM的移动式多模态交互导览机器人***，其特征在于，所述移动控制模块包括：
建图单元，用于实时接收激光雷达的数据，根据激光雷达的数据构建周边环境的二维地图；
定位单元，根据激光雷达的数据和机器人里程数据，确定所述机器人在所述二维地图上的位姿；
导航单元，用于根据所述机器人的目的地和出发地进行全局路径规划，当所述机器人按照所述全局路径规划进行运动时，根据检测到的障碍物进行本地实时规划。
3.根据权利要求2所述的基于SLAM的移动式多模态交互导览机器人***，其特征在于，通过动态窗口法实现所述本地实时规划。
4.根据权利要求2所述的基于SLAM的移动式多模态交互导览机器人***，其特征在于，通过迪杰斯特拉算法实现所述全局路径规划。
5.根据权利要求1所述的基于SLAM的移动式多模态交互导览机器人***，其特征在于，所述语音交互模块包括前端和服务端；
所述前端用于采集声音信号，将所述声音信号转换为文字信息，将所述文字信息发送到所述服务端并接收所述服务端的返回信息，所述返回信息基于语音合成SDK转换为人声；
所述服务端用于接收所述文字信息，基于检索类与生成类协同的方式对所述文字信息进行意图识别和对话处理，并发送返回信息。
6.根据权利要求5所述的基于SLAM的移动式多模态交互导览机器人***，其特征在于，所述前端采用科大讯飞环形六麦阵列。
7.根据权利要求5所述的基于SLAM的移动式多模态交互导览机器人***，其特征在于，所述服务端为云端服务器。
8.根据权利要求1所述的基于SLAM的移动式多模态交互导览机器人***，其特征在于，还包括超声波传感器，用于检测所述机器人周围的障碍信号，并将所述障碍信号发送到所述移动控制模块。
9.根据权利要求2所述的基于SLAM的移动式多模态交互导览机器人***，其特征在于，所述建图单元采用GMapping算法，根据激光雷达的数据构建周边环境的二维地图。
10.根据权利要求2所述的基于SLAM的移动式多模态交互导览机器人***，其特征在于，所述定位单元采用主动蒙特卡罗粒子滤波定位算法，根据激光雷达的数据和机器人里程数据，确定所述机器人在所述二维地图上的位姿。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110462802.4A CN112882481A (zh) | 2021-04-28 | 2021-04-28 | 一种基于slam的移动式多模态交互导览机器人*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110462802.4A CN112882481A (zh) | 2021-04-28 | 2021-04-28 | 一种基于slam的移动式多模态交互导览机器人*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112882481A true CN112882481A (zh) | 2021-06-01 |
Family
ID=76040085
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110462802.4A Pending CN112882481A (zh) | 2021-04-28 | 2021-04-28 | 一种基于slam的移动式多模态交互导览机器人*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112882481A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113370229A (zh) * | 2021-06-08 | 2021-09-10 | 山东新一代信息产业技术研究院有限公司 | 展厅智能讲解机器人及实现方法 |
Citations (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101267441A (zh) * | 2008-04-23 | 2008-09-17 | 北京航空航天大学 | 一种c/s和b/s混合架构模式实现方法和平台 |
| CN102480510A (zh) * | 2010-11-30 | 2012-05-30 | 汉王科技股份有限公司 | C/s和b/s混合架构的实现方法和装置 |
| CN103914068A (zh) * | 2013-01-07 | 2014-07-09 | 中国人民解放军第二炮兵工程大学 | 一种基于栅格地图的服务机器人自主导航方法 |
| CN105278532A (zh) * | 2015-11-04 | 2016-01-27 | 中国科学技术大学 | 个性化机器人导游导览自主解说方法 |
| CN106182027A (zh) * | 2016-08-02 | 2016-12-07 | 西南科技大学 | 一种开放式服务机器人*** |
| CN106842230A (zh) * | 2017-01-13 | 2017-06-13 | 深圳前海勇艺达机器人有限公司 | 移动机器人导航方法与*** |
| CN107065863A (zh) * | 2017-03-13 | 2017-08-18 | 山东大学 | 一种基于人脸识别技术的导览解说机器人及方法 |
| CN107167141A (zh) * | 2017-06-15 | 2017-09-15 | 同济大学 | 基于双一线激光雷达的机器人自主导航*** |
| CN107168320A (zh) * | 2017-06-05 | 2017-09-15 | 游尔（北京）机器人科技股份有限公司 | 一种导游服务机器人 |
| CN206541196U (zh) * | 2017-03-13 | 2017-10-03 | 山东大学 | 一种基于人脸识别技术的导览解说机器人 |
| CN107421544A (zh) * | 2017-08-10 | 2017-12-01 | 上海大学 | 一种模块化的酒店搬运机器人*** |
| CN206892921U (zh) * | 2017-02-27 | 2018-01-16 | 江苏慧明智能科技有限公司 | 具有居家养老功能的电子宠物 |
| CN108227706A (zh) * | 2017-12-20 | 2018-06-29 | 北京理工华汇智能科技有限公司 | 机器人躲避动态障碍的方法及装置 |
| CN108510048A (zh) * | 2017-02-27 | 2018-09-07 | 江苏慧明智能科技有限公司 | 具有居家养老功能的电子宠物 |
| CN108687783A (zh) * | 2018-08-02 | 2018-10-23 | 合肥市徽马信息科技有限公司 | 一种带路式博物馆讲解导览机器人 |
| CN108710647A (zh) * | 2018-04-28 | 2018-10-26 | 苏宁易购集团股份有限公司 | 一种用于聊天机器人的数据处理方法及装置 |
| CN108733059A (zh) * | 2018-06-05 | 2018-11-02 | 湖南荣乐科技有限公司 | 一种导览方法及机器人 |
| CN108748213A (zh) * | 2018-08-02 | 2018-11-06 | 合肥市徽马信息科技有限公司 | 一种导览机器人 |
| CN208497010U (zh) * | 2018-06-05 | 2019-02-15 | 湖南荣乐科技有限公司 | 智能导览机器人 |
| CN109471440A (zh) * | 2018-12-10 | 2019-03-15 | 北京猎户星空科技有限公司 | 机器人控制方法、装置、智能设备和存储介质 |
| CN208629445U (zh) * | 2017-10-13 | 2019-03-22 | 刘杜 | 自主移动讲解***平台机器人 |
| CN110044359A (zh) * | 2019-04-30 | 2019-07-23 | 厦门大学 | 一种导览机器人路径规划方法、装置、机器人和存储介质 |
| CN110135551A (zh) * | 2019-05-15 | 2019-08-16 | 西南交通大学 | 一种基于词向量和循环神经网络的机器人聊天方法 |
| CN110136711A (zh) * | 2019-04-30 | 2019-08-16 | 厦门大学 | 一种导览机器人基于云平台的语音交互方法 |
| CN110659468A (zh) * | 2019-08-21 | 2020-01-07 | 江苏大学 | 基于c/s架构和说话人识别技术的文件加密解密*** |
| CN110750097A (zh) * | 2019-10-17 | 2020-02-04 | 上海飒智智能科技有限公司 | 一种室内机器人导航***及建图、定位和移动方法 |
| CN110986977A (zh) * | 2019-11-21 | 2020-04-10 | 新石器慧通（北京）科技有限公司 | 一种用于导览的可移动无人载体、导览方法及无人车辆 |
| CN111090285A (zh) * | 2019-12-24 | 2020-05-01 | 山东华尚电气有限公司 | 一种导览机器人控制***及导航和导览信息管理方法 |
| CN111210821A (zh) * | 2020-02-07 | 2020-05-29 | 普强时代(珠海横琴)信息技术有限公司 | 一种基于互联网应用的智能语音识别*** |
| CN111259441A (zh) * | 2020-01-14 | 2020-06-09 | Oppo广东移动通信有限公司 | 设备控制方法、装置、存储介质及电子设备 |
| CN111430044A (zh) * | 2020-03-19 | 2020-07-17 | 郑州大学第一附属医院 | 一种护理用机器人的自然语言处理***及其方法 |
| CN111488254A (zh) * | 2019-01-25 | 2020-08-04 | 顺丰科技有限公司 | 一种机器学习模型的部署与监控装置和方法 |
| CN111611269A (zh) * | 2020-05-23 | 2020-09-01 | 上海自古红蓝人工智能科技有限公司 | 一种对话聊天模式的人工智能情感陪护*** |
| CN211517481U (zh) * | 2019-12-30 | 2020-09-18 | 深圳市汉伟智能技术有限公司 | 一种导览机器人 |
| US20210041246A1 (en) * | 2019-08-08 | 2021-02-11 | Ani Dave Kukreja | Method and system for intelligent and adaptive indoor navigation for users with single or multiple disabilities |
| CN112364148A (zh) * | 2020-12-08 | 2021-02-12 | 吉林大学 | 一种基于深度学习方法的生成型聊天机器人 |
| CN112527972A (zh) * | 2020-12-25 | 2021-03-19 | 东云睿连(武汉)计算技术有限公司 | 基于深度学习的智能客服聊天机器人实现方法和*** |
-
2021
- 2021-04-28 CN CN202110462802.4A patent/CN112882481A/zh active Pending
Patent Citations (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101267441A (zh) * | 2008-04-23 | 2008-09-17 | 北京航空航天大学 | 一种c/s和b/s混合架构模式实现方法和平台 |
| CN102480510A (zh) * | 2010-11-30 | 2012-05-30 | 汉王科技股份有限公司 | C/s和b/s混合架构的实现方法和装置 |
| CN103914068A (zh) * | 2013-01-07 | 2014-07-09 | 中国人民解放军第二炮兵工程大学 | 一种基于栅格地图的服务机器人自主导航方法 |
| CN105278532A (zh) * | 2015-11-04 | 2016-01-27 | 中国科学技术大学 | 个性化机器人导游导览自主解说方法 |
| CN106182027A (zh) * | 2016-08-02 | 2016-12-07 | 西南科技大学 | 一种开放式服务机器人*** |
| CN106842230A (zh) * | 2017-01-13 | 2017-06-13 | 深圳前海勇艺达机器人有限公司 | 移动机器人导航方法与*** |
| CN206892921U (zh) * | 2017-02-27 | 2018-01-16 | 江苏慧明智能科技有限公司 | 具有居家养老功能的电子宠物 |
| CN108510048A (zh) * | 2017-02-27 | 2018-09-07 | 江苏慧明智能科技有限公司 | 具有居家养老功能的电子宠物 |
| CN107065863A (zh) * | 2017-03-13 | 2017-08-18 | 山东大学 | 一种基于人脸识别技术的导览解说机器人及方法 |
| CN206541196U (zh) * | 2017-03-13 | 2017-10-03 | 山东大学 | 一种基于人脸识别技术的导览解说机器人 |
| CN107168320A (zh) * | 2017-06-05 | 2017-09-15 | 游尔（北京）机器人科技股份有限公司 | 一种导游服务机器人 |
| CN107167141A (zh) * | 2017-06-15 | 2017-09-15 | 同济大学 | 基于双一线激光雷达的机器人自主导航*** |
| CN107421544A (zh) * | 2017-08-10 | 2017-12-01 | 上海大学 | 一种模块化的酒店搬运机器人*** |
| CN208629445U (zh) * | 2017-10-13 | 2019-03-22 | 刘杜 | 自主移动讲解***平台机器人 |
| CN108227706A (zh) * | 2017-12-20 | 2018-06-29 | 北京理工华汇智能科技有限公司 | 机器人躲避动态障碍的方法及装置 |
| CN108710647A (zh) * | 2018-04-28 | 2018-10-26 | 苏宁易购集团股份有限公司 | 一种用于聊天机器人的数据处理方法及装置 |
| CN208497010U (zh) * | 2018-06-05 | 2019-02-15 | 湖南荣乐科技有限公司 | 智能导览机器人 |
| CN108733059A (zh) * | 2018-06-05 | 2018-11-02 | 湖南荣乐科技有限公司 | 一种导览方法及机器人 |
| CN108687783A (zh) * | 2018-08-02 | 2018-10-23 | 合肥市徽马信息科技有限公司 | 一种带路式博物馆讲解导览机器人 |
| CN108748213A (zh) * | 2018-08-02 | 2018-11-06 | 合肥市徽马信息科技有限公司 | 一种导览机器人 |
| CN109471440A (zh) * | 2018-12-10 | 2019-03-15 | 北京猎户星空科技有限公司 | 机器人控制方法、装置、智能设备和存储介质 |
| CN111488254A (zh) * | 2019-01-25 | 2020-08-04 | 顺丰科技有限公司 | 一种机器学习模型的部署与监控装置和方法 |
| CN110044359A (zh) * | 2019-04-30 | 2019-07-23 | 厦门大学 | 一种导览机器人路径规划方法、装置、机器人和存储介质 |
| CN110136711A (zh) * | 2019-04-30 | 2019-08-16 | 厦门大学 | 一种导览机器人基于云平台的语音交互方法 |
| CN110135551A (zh) * | 2019-05-15 | 2019-08-16 | 西南交通大学 | 一种基于词向量和循环神经网络的机器人聊天方法 |
| US20210041246A1 (en) * | 2019-08-08 | 2021-02-11 | Ani Dave Kukreja | Method and system for intelligent and adaptive indoor navigation for users with single or multiple disabilities |
| CN110659468A (zh) * | 2019-08-21 | 2020-01-07 | 江苏大学 | 基于c/s架构和说话人识别技术的文件加密解密*** |
| CN110750097A (zh) * | 2019-10-17 | 2020-02-04 | 上海飒智智能科技有限公司 | 一种室内机器人导航***及建图、定位和移动方法 |
| CN110986977A (zh) * | 2019-11-21 | 2020-04-10 | 新石器慧通（北京）科技有限公司 | 一种用于导览的可移动无人载体、导览方法及无人车辆 |
| CN111090285A (zh) * | 2019-12-24 | 2020-05-01 | 山东华尚电气有限公司 | 一种导览机器人控制***及导航和导览信息管理方法 |
| CN211517481U (zh) * | 2019-12-30 | 2020-09-18 | 深圳市汉伟智能技术有限公司 | 一种导览机器人 |
| CN111259441A (zh) * | 2020-01-14 | 2020-06-09 | Oppo广东移动通信有限公司 | 设备控制方法、装置、存储介质及电子设备 |
| CN111210821A (zh) * | 2020-02-07 | 2020-05-29 | 普强时代(珠海横琴)信息技术有限公司 | 一种基于互联网应用的智能语音识别*** |
| CN111430044A (zh) * | 2020-03-19 | 2020-07-17 | 郑州大学第一附属医院 | 一种护理用机器人的自然语言处理***及其方法 |
| CN111611269A (zh) * | 2020-05-23 | 2020-09-01 | 上海自古红蓝人工智能科技有限公司 | 一种对话聊天模式的人工智能情感陪护*** |
| CN112364148A (zh) * | 2020-12-08 | 2021-02-12 | 吉林大学 | 一种基于深度学习方法的生成型聊天机器人 |
| CN112527972A (zh) * | 2020-12-25 | 2021-03-19 | 东云睿连(武汉)计算技术有限公司 | 基于深度学习的智能客服聊天机器人实现方法和*** |
Non-Patent Citations (7)
| Title |
|---|
| JIANTAOCD: "Android Jetpack架构组件最佳实践", 《HTTPS://WWW.JIANSHU.COM/P/4AD7AA0FC356》 * |
| 于镭 等: "基于单舵轮搬运机器人的导航***设计", 《电子测量技术》 * |
| 张瑜 等: "基于改进动态窗口法的户外清扫机器人局部路径规划", 《机器人》 * |
| 李涛 等: "自主导览互动机器人的设计", 《甘肃科学学报》 * |
| 翁星: "轮式智能小车的全局路径规划算法与实验研究", 《中国优秀硕士学文论文全文数据库信息科技辑》 * |
| 詹宇娴 等: "基于树莓派的智能居家机器人***设计", 《电脑知识与技术》 * |
| 赵林山 等: "基于云计算的陪护机器人设计与实现", 《机器人技术与应用》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113370229A (zh) * | 2021-06-08 | 2021-09-10 | 山东新一代信息产业技术研究院有限公司 | 展厅智能讲解机器人及实现方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11625508B2 (en) | Artificial intelligence device for guiding furniture placement and method of operating the same | |
| Shoval et al. | Auditory guidance with the navbelt-a computerized travel aid for the blind | |
| CN108673501B (zh) | 一种机器人的目标跟随方法及装置 | |
| Cao et al. | Target search control of AUV in underwater environment with deep reinforcement learning | |
| KR102281602B1 (ko) | 사용자의 발화 음성을 인식하는 인공 지능 장치 및 그 방법 | |
| US11409295B1 (en) | Dynamic positioning of an autonomous mobile device with respect to a user trajectory | |
| JP6330200B2 (ja) | 音源位置推定装置、移動体および移動体の制御方法 | |
| US10908609B2 (en) | Apparatus and method for autonomous driving | |
| CN110844402B (zh) | 一种智能召唤垃圾桶*** | |
| JP5763384B2 (ja) | 移動予測装置、ロボット制御装置、移動予測プログラムおよび移動予測方法 | |
| US20210114213A1 (en) | Robot cleaner and operating method thereof | |
| Steckel et al. | Acoustic flow-based control of a mobile platform using a 3D sonar sensor | |
| CN114237235A (zh) | 一种基于深度强化学习的移动机器人避障方法 | |
| CN112882481A (zh) | 一种基于slam的移动式多模态交互导览机器人*** | |
| Zhang et al. | A convolutional neural network method for self-driving cars | |
| US11322134B2 (en) | Artificial intelligence device and operating method thereof | |
| Carmena et al. | The use of Doppler in Sonar-based mobile robot navigation: inspirations from biology | |
| CN115657664A (zh) | 基于人类示教学习的路径规划方法、***、设备及介质 | |
| Temsamani et al. | A multimodal AI approach for intuitively instructable autonomous systems: a case study of an autonomous off-highway vehicle | |
| US11480968B1 (en) | System for dynamic positioning of an autonomous mobile device with respect to a user | |
| Toan et al. | Environment exploration for mapless navigation based on deep reinforcement learning | |
| O'Reilly et al. | A novel development of acoustic SLAM | |
| JP7328463B1 (ja) | ロボットシステム、ロボットの制御装置、及びロボットの制御方法 | |
| Gebellí Guinjoan et al. | A multi-modal AI approach for intuitively instructable autonomous systems | |
| Rupasinghe et al. | Integrated Assistive System for Precise Indoor Navigation, Object Recognition, and Interaction for Visually Impaired Individuals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210601 |
|
| RJ01 | Rejection of invention patent application after publication |