CN207281590U - 一种智能化导盲机器人装置 - Google Patents

Abstract

一种智能化导盲机器人装置，其特征在于它包括车体、驱动轮、雷达模块、相机模块及导盲连接杆；车体内部有智能化导盲机器人控制单元；采用视觉ORB‑SLAM的方式来对未知环境进行建图以描述未知场景的地图信息；有益于导盲机器人在未知环境中精确地定位。可以更加精确地对室外的交通信号灯，行人等目标进行识别定位，可以进一步地提升盲人的出行安全问题；结构简单，方便实用，实用性强。

Description

一种智能化导盲机器人装置

技术领域

本实用新型属于机器人相关技术领域，尤其是一种智能化导盲机器人装置。

背景技术

对盲人来说，导盲犬是最安全可靠的出行辅助方式。然而，社会对于导盲犬的需求量过大，导致导盲犬并不能满足于实际的需求。导盲机器人是为视觉障碍患者提供导航帮助的一种服务型机器人，它利用多种传感器对周围环境进行探测，将探测的信息进行处理，然后做出相应的反馈，并将反馈信息提供给驱动装置和视觉障碍患者，从而帮助使用者有效地避开障碍。

传统的导盲机器人可分为引导模式和全景模式两种。引导模式是带领使用者在不发生碰撞的情况下绕过障碍物，全景模式则是以超声波等方式来描绘出区域内的全景地图，通过全景地图来告知使用者所在区域内障碍物的大小、远近等信息，让视觉障碍患者可以有效地判断出周围场景的情况。

但是，上述引导模式和全景模式导盲机器人很难应对复杂的环境场景，缺少对周围场景中的交通信号灯以及行人目标的识别能力。此外，超声波描绘的地图信息往往不够精确，而且不能对机器人的未知环境进行精确地建图定位。

实用新型内容

本实用新型的目的在于提供一种智能化导盲机器人装置，它可以克服现有技术的不足，能够解决在未知环境内地图创建问题，以及未知环境内交通信号灯和行人等目标识别问题，是一种结构简单使用方便的导盲机器人装置。

本实用新型的技术方案：一种智能化导盲机器人装置，其特征在于它包括车体、驱动轮、雷达模块、相机模块及导盲连接杆；其中，所述车体下方连接有驱动轮，其上方安装有雷达模块、相机模块和导盲连接杆。

所述导盲连接杆安装在车体的上方；所述导盲连接杆与车体之间有万向连接机构；所述万向连接机构可以确保机器人自身旋转时不带动导盲连接杆一起旋转，防止盲人进行不必要的运动。

所述车体下方连接有个驱动轮，所述驱动轮为四驱动力***，具有更轻便的结构以及良好的越障能力，采用差分运动控制的方式对小车的运动轨迹进行控制；四轮驱动的优势在于导盲机器人有一定的越障能力，可以应对更加复杂的室外场景。

所述相机模块是双目相机结构；所述双目相机结构为双目立体视觉相机，基线范围应介于90~110mm之间，焦距介于2mm~3mm之间，用于未知环境场景的建图以及交通信号灯和行人目标的识别。

所述雷达模块是避障激光雷达结构；所述雷达模块是360度激光雷达，可以探测到最大距离8米的障碍物，用于机器人的实时避障任务。

所述车体内部有智能化导盲机器人控制单元，是由上位机模块、下位机模块、电机模块、驱动模块、电源模块、陀螺仪模块、GPS模块及语音模块构成；所述上位机模块与下位机模块呈双相连接；所述上位机模块的输入端分别采集雷达模块、相机模块、语音模块、GPS模块的输入信号；所述下位机模块、上位机模块以及驱动模块均由电池模块供电；所述下位机模块的输入端采集陀螺仪模块的输出信号，及检测导盲机器人的姿态信息；其输出端输出驱动信号给驱动模块；所述驱动模块与电机模块连接，控制电机的启动与停止的运动状态。

所述上位机模块是内部核心处理器为ARM cortex-A72的结构，安装了嵌入式Ubuntu16.04和ROS Kinetic***，其内部装有机器人导航算法，用于上位机模块、下位机模块、陀螺仪模块、GPS模块、语音模块、雷达模块以及相机模块间信息的传递，并可以对机器人导航算法进行离线处理。

所述GPS模块，可接收千寻位置云服务提供的差分位置信号；所述千寻位置云服务是依托遍布全国的卫星定位地基增强站，融合各类定位技术，以互联网的方式提供7*24小时高可用差分播发服务，面向全国31省市范围的各类终端和应用***，提供厘米级精度的位置纠偏数据服务。该模块与上位机模块相连，用于导盲机器人的室外定位导航。

所述语音模块与上位机模块相连，用于接收盲人发送的语音控制指令，语音模块依靠蓝牙与盲人携带的话筒相连，用于接收语音信息。

所述相机模块与车体内的上位机模块相连，为其提供周围环境的图像信息；所述雷达模块与上位机模块相连，用于完成机器人的实时避障任务。

所述导盲连接杆上含有防滑把手7和盲文立体触感开关；所述导盲连接杆的高度可调节，适应不同高度盲人用户使用，且调节方式简单易操作；所述防滑把手可以提高盲人用户接触产品舒适度和强化触感便于盲人用户定位操作；所述盲文立体触感开关符合盲人用户生活行为逻辑，更方便盲人用户操作产品。

本实用新型所涉及的导盲机器人导盲方法：

（1）当盲人进行室外导盲任务时，智能化导盲机器人装置中控制单元的的GPS模块用于接收GPS卫星信号以及千寻位置云服务提供差分位置信号来实现亚米级的动态实时定位；

（2）在进行导盲任务时，上位机模块内预装的ROS Kinetic***对预先记录的运动路径轨迹点进行路径规划，并转化为相应的运动控制指令，并将控制指令传送给下位机模块；

（3）由下位机模块通过接收到的控制指令来对驱动模块进行控制，驱动模块来对电机模块进行驱动，从而完成导盲机器人相应运动轨迹的复现；

（4）GPS模块和陀螺仪模块在轨迹复现的过程中，还会将位置信息和姿态信息实时地传给上位机模块和下位机模块，从而对导盲机器人的运动轨迹进行实时地校准，使得导盲机器人可以按照预定的轨迹进行移动；

（5）对于室内未知环境的在线导航，由于GPS模块失去了定位的作用，此时，则利用相机模块对外部环境进行感知并构建环境场景地图；然后利用上位机模块内预装的ROSKinetic***对未知环境内的兴趣点进行路径规划，并将运动控制指令发送给下位机模块；最后下位机模块接收指令，完成对驱动模块和电机模块的控制，从而使导盲机器人到达未知环境内的任一兴趣点；

①在创建地图的时候，采用基于面向快速和旋转特征（Oriented Fast andRotated Brief——ORB）的即时定位与地图构建（Simultaneous Localization andMapping——SLAM）算法方法来对未知环境进行感知；

②利用ORB算法提取图像特征点，以图像位姿优化理论为基础，对未知环境创建一个基于特征点的场景地图信息，该离线地图信息将保存在上位机模块内，可以供以后导盲做参考和使用；

③在室内未知环境导航时，首先在特征点离线地图中标记上感兴趣点的坐标，感兴趣点是盲人在一个未知环境内，期望经常到达的点；然后利用上位机模块内预装的ROSKinetic***对未知环境内的兴趣点进行路径规划，并将运动控制指令发送给下位机模块；最后下位机模块接收指令，完成对驱动模块和电机模块的控制，从而使导盲机器人到达未知环境内的任一兴趣点。

（6）在导盲过程中，盲人用户可以根据感受到的由导盲机器人传达的不同方向的牵引力来改变行进方向，直至到达目的地为止；

（7）在导盲过程中，雷达模块对周围环境障碍物的位置信息进行实时采集，并将障碍物的位置信息发送给上位机模块；上位机模块内的ROS Kinetic***可以根据障碍物的位置信息实时地规划出最新运动路径，并将控制指令传给下位机模块，从而完成导盲机器人的避障任务；

（8）盲人可以通过说话，将语音控制指令传给语音模块，语音模块解析后将语音内容传给上位机模块，上位机模块根据盲人要实现的控制内容进行控制指令生成，并将控制指令发送给下位机模块，从而实现盲人对导盲机器人相应任务的控制。

另外，本实用新型的机器人还可以识别红绿灯，行人，汽车，斑马线目标的方法，是基于经过预先训练的深度卷积神经网络（Convolutional Neural Network——CNN）实现的：

1）将预先训练好的基于深度卷积神经网络CNN模型保存在上位机模块中；

2）由相机模块获取导盲机器人的实时路况照片，并将照片信息发送给上位机模块；上位机模块利用深度卷积神经网络CNN模型对图像进行特征提取，得到每个相应的特征图，这些特征均用固定长度的特征集合来表示；

3）把步骤2）得到的特征向量用支持向量机线性分类器去判断，并由支持向量机线性分类器给出相应识别物体的置信度，并通过置信度来判断出目标物体最终所属的类别；

4）上位机模块将识别的目标信息发送给语音模块，语音模块会将周围场景目标物信息反馈给盲人；

5）上位机模块还将根据不同目标物解算出的运动指令发送给下位机模块，从而完成导盲机器人面对不同目标物的智能化行进。

本实用新型的优越性：由于采用视觉ORB-SLAM的方式来对未知环境进行建图，利用三维点云信息来描述未知场景的地图信息；相比于超声波描绘的全景地图，视觉SLAM技术描绘的点云信息更加丰富，更有益于导盲机器人在未知环境中精确地定位；电机部分采用轮毂电机，提高了***的紧凑性，简化了结构；电池模块采用磷酸铁锂电池供电，该电池技术成熟且能量密度较为均衡；最后整套***配以智能化远程云端服务器，该服务器可以对传输的图像数据进行实时的在线处理，并且还可以保存SLAM创建的地图信息，将该地图信息在不同的设备间进行共享；此外，双目视觉检测***以卷积神经网络CNN为理论基础，利用残差训练法对模型进行训练，可以更加精确地对室外的交通信号灯，行人等目标进行识别定位，可以进一步地提升盲人的出行安全问题；结构简单，方便实用，实用性强。

附图说明

图1是本实用新型所涉一种智能化导盲机器人装置的整体结构组成示意图（其中，图1-a为右侧视图；图1-b为正视图）。

图2是本实用新型所涉一种智能化导盲机器人装置中智能化导盲机器人控制单元的整体结构示意图。

其中，1为车体；2为驱动轮；3为雷达模块；4为相机模块；5为万向连接机构；6为导盲连接杆；7为防滑把手。

具体实施方式

实施例：一种智能化导盲机器人装置（见图1-a、图1-b），其特征在于它包括车体1、驱动轮2、雷达模块3、相机模块4及导盲连接杆6；其中，所述车体1下方连接有驱动轮2，其上方安装有雷达模块3、相机模块4和导盲连接杆6。

所述导盲连接杆6安装在车体1的上方；所述导盲连接杆6与车体1之间有万向连接机构5；所述万向连接机构5可以确保机器人自身旋转时不带动导盲连接杆6一起旋转，防止盲人进行不必要的运动（见图1-a、图1-b）。

所述车体1下方连接有4个驱动轮2，所述驱动轮2为四驱动力***，具有更轻便的结构以及良好的越障能力，采用差分运动控制的方式对小车的运动轨迹进行控制；四轮驱动的优势在于导盲机器人有一定的越障能力，可以应对更加复杂的室外场景（见图1-a、图1-b）。

所述相机模块4是双目相机结构；所述双目相机结构为双目立体视觉相机，基线为100mm，焦距是2.8mm，用于未知环境场景的建图以及交通信号灯和行人目标的识别。

所述雷达模块3是避障激光雷达结构；所述雷达模块3是360度激光雷达，可以探测到最大距离8米的障碍物，用于机器人的实时避障任务。

所述车体1内部有智能化导盲机器人控制单元（见图2），是由上位机模块、下位机模块、电机模块、驱动模块、电源模块、陀螺仪模块、GPS模块及语音模块构成；所述上位机模块与下位机模块呈双相连接；所述上位机模块的输入端分别采集雷达模块3、相机模块4、语音模块、GPS模块的输入信号；所述下位机模块、上位机模块以及驱动模块均由电池模块供电；所述下位机模块的输入端采集陀螺仪模块的输出信号，及检测导盲机器人的姿态信息；其输出端输出驱动信号给驱动模块；所述驱动模块与电机模块连接，控制电机的启动与停止的运动状态。

所述上位机模块是内部核心处理器为ARM cortex-A72的结构，安装了嵌入式Ubuntu16.04和ROS Kinetic***，其内部装有机器人导航算法，用于上位机模块、下位机模块、陀螺仪模块、GPS模块、语音模块、雷达模块以及相机模块间信息的传递，并可以对机器人导航算法进行离线处理。

所述GPS模块，可接收千寻位置云服务提供的差分位置信号；所述千寻位置云服务是依托遍布全国的卫星定位地基增强站，融合各类定位技术，以互联网的方式提供7*24小时高可用差分播发服务，面向全国31省市范围的各类终端和应用***，提供厘米级精度的位置纠偏数据服务。该模块与上位机模块相连，用于导盲机器人的室外定位导航。

所述语音模块与上位机模块相连，用于接收盲人发送的语音控制指令，语音模块依靠蓝牙与盲人携带的话筒相连，用于接收语音信息。

所述相机模块4与车体1内的上位机模块相连（见图1-a、图1-b），为其提供周围环境的图像信息；所述雷达模块3与上位机模块相连，用于完成机器人的实时避障任务（见图1-a、图1-b）。

所述导盲连接杆6上含有防滑把手7和盲文立体触感开关（见图1-a、图1-b）；所述导盲连接杆6的高度可调节，适应不同高度盲人用户使用，且调节方式简单易操作；所述防滑把手7（见图1-a、图1-b）可以提高盲人用户接触产品舒适度和强化触感便于盲人用户定位操作；所述盲文立体触感开关符合盲人用户生活行为逻辑，更方便盲人用户操作产品。

下面结合具体实施例，进一步阐述本实用新型。应理解，这些实施例仅用于说明本实用新型而不用于限制本实用新型的范围。此外应理解，在阅读了本实用新型讲授的内容之后，本领域技术人员可以对本实用新型作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

参阅图1，本实用新型装置主要包括自主导盲机器人车体1，车体1下方连接驱动轮2。车体1上方连接避障激光雷达模块3，相机模块4和导盲连接杆6。导盲连接杆6上含有防滑把手7。导盲连接杆6和车体1之间有一个万向连接机构5。结构5可以确保机器人自身旋转时不带动导盲连接杆一起旋转，以免盲人进行不必要的运动。驱动轮2为四驱动力***，具有更轻便的结构以及良好的越障能力。

参阅图2，车体的内部含有嵌入式上位机模块，下位机模块，雷达模块，相机模块，语音模块，GPS模块，电源模块。其中嵌入式上位机模块核心处理器采用的是cortex-A72架构，具有更高的实时处理性能。该模块内预先安装Ubuntu16.04***，***上安装了ROSKinetic***用于各模块间信息传递以及调度，从而最终完成盲人导盲的任务。上位机模块与雷达模块，相机模块，语音模块，GPS模块相连。每一个模块在ROS***下都为一个节点，便于各模块之间的通信与调度。下位机模块为Arduino开发板模块，该模块用于接收陀螺仪收取到的姿态信息以及给底层电机驱动模块发送控制指令并与上位机模块进行通信。

Claims (9)

1.一种智能化导盲机器人装置，其特征在于它包括车体(1)、驱动轮(2)、雷达模块(3)、相机模块(4)及导盲连接杆(6)；其中，所述车体(1)下方连接有驱动轮(2)，其上方安装有雷达模块(3)、相机模块(4)和导盲连接杆(6)。

2.根据权利要求1所述一种智能化导盲机器人装置，其特征在于所述导盲连接杆(6)安装在车体(1)的上方；所述导盲连接杆(6)与车体(1)之间有万向连接机构(5)；所述车体(1)下方连接有4个驱动轮(2)，所述驱动轮(2)为四驱动力***。

3.根据权利要求1所述一种智能化导盲机器人装置，其特征在于所述相机模块(4)是双目相机结构；所述双目相机结构为双目立体视觉相机，基线范围应介于90～110mm之间，焦距介于2mm～3mm之间。

4.根据权利要求1所述一种智能化导盲机器人装置，其特征在于所述雷达模块(3)是避障激光雷达结构；所述雷达模块(3)是360度激光雷达，可以探测到最大距离8米的障碍物，用于机器人的实时避障任务。

5.根据权利要求1所述一种智能化导盲机器人装置，其特征在于所述车体(1)内部有智能化导盲机器人控制单元，是由上位机模块、下位机模块、电机模块、驱动模块、电源模块、陀螺仪模块、GPS模块及语音模块构成；所述上位机模块与下位机模块呈双相连接；所述上位机模块的输入端分别采集雷达模块(3)、相机模块(4)、语音模块、GPS模块的输入信号；所述下位机模块、上位机模块以及驱动模块均由电池模块供电；所述下位机模块的输入端采集陀螺仪模块的输出信号，及检测导盲机器人的姿态信息；其输出端输出驱动信号给驱动模块；所述驱动模块与电机模块连接，控制电机的启动与停止的运动状态。

6.根据权利要求5所述一种智能化导盲机器人装置，其特征在于所述上位机模块是内部核心处理器为ARM cortex-A72的结构，安装了嵌入式Ubuntu16.04和ROS Kinetic***；所述GPS模块接收千寻位置云服务提供的差分位置信号；所述电机是轮毂电机。

7.根据权利要求5所述一种智能化导盲机器人装置，其特征在于所述语音模块与上位机模块相连，用于接收盲人发送的语音控制指令，语音模块依靠蓝牙与盲人携带的话筒相连，用于接收语音信息。

8.根据权利要求5所述一种智能化导盲机器人装置，其特征在于所述相机模块(4)与车体(1)内的上位机模块相连，为其提供周围环境的图像信息；所述雷达模块(3)与上位机模块相连，用于完成机器人的实时避障任务；所述电源模块采用磷酸铁锂电池。

9.根据权利要求2所述一种智能化导盲机器人装置，其特征在于所述导盲连接杆(6)上含有防滑把手7和盲文立体触感开关；所述导盲连接杆(6)的高度可调节，适应不同高度盲人用户使用，且调节方式简单易操作；所述防滑把手(7)可以提高盲人用户接触产品舒适度和强化触感便于盲人用户定位操作；所述盲文立体触感开关符合盲人用户生活行为逻辑，更方便盲人用户操作产品。