CN107390703A - 一种智能化导盲机器人及其导盲方法 - Google Patents
一种智能化导盲机器人及其导盲方法 Download PDFInfo
- Publication number
- CN107390703A CN107390703A CN201710817955.XA CN201710817955A CN107390703A CN 107390703 A CN107390703 A CN 107390703A CN 201710817955 A CN201710817955 A CN 201710817955A CN 107390703 A CN107390703 A CN 107390703A
- Authority
- CN
- China
- Prior art keywords
- module
- blind
- computer module
- guidance robot
- upper computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000033001 locomotion Effects 0.000 claims description 32
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 230000004888 barrier function Effects 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000012706 support-vector machine Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 241000283070 Equus zebra Species 0.000 claims description 3
- 238000012152 algorithmic method Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims 1
- QSNQXZYQEIKDPU-UHFFFAOYSA-N [Li].[Fe] Chemical compound [Li].[Fe] QSNQXZYQEIKDPU-UHFFFAOYSA-N 0.000 claims 1
- 229910052698 phosphorus Inorganic materials 0.000 claims 1
- 239000011574 phosphorus Substances 0.000 claims 1
- 238000010276 construction Methods 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 6
- 230000009194 climbing Effects 0.000 description 5
- 206010047571 Visual impairment Diseases 0.000 description 3
- 238000004091 panning Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000005955 Ferric phosphate Substances 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 229940032958 ferric phosphate Drugs 0.000 description 1
- WBJZTOZJJYAKHQ-UHFFFAOYSA-K iron(3+) phosphate Chemical compound [Fe+3].[O-]P([O-])([O-])=O WBJZTOZJJYAKHQ-UHFFFAOYSA-K 0.000 description 1
- 229910000399 iron(III) phosphate Inorganic materials 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
- G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
一种智能化导盲机器人,包括车体、驱动轮、雷达模块、相机模块及导盲连接杆;车体内部有智能化导盲机器人控制单元;其导盲方法中采用视觉ORB‑SLAM的方式来对未知环境进行建图,利用三维点云信息来描述未知场景的地图信息;点云信息更加丰富,更有益于导盲机器人在未知环境中精确地定位。可以更加精确地对室外的交通信号灯,行人等目标进行识别定位,可以进一步地提升盲人的出行安全问题;结构简单,方便实用,实用性强。
Description
技术领域
本发明属于机器人相关技术领域,尤其是一种智能化导盲机器人及其导盲方法。
背景技术
对盲人来说,导盲犬是最安全可靠的出行辅助方式。然而,社会对于导盲犬的需求量过大,导致导盲犬并不能满足于实际的需求。导盲机器人是为视觉障碍患者提供导航帮助的一种服务型机器人,它利用多种传感器对周围环境进行探测,将探测的信息进行处理,然后做出相应的反馈,并将反馈信息提供给驱动装置和视觉障碍患者,从而帮助使用者有效地避开障碍。
传统的导盲机器人可分为引导模式和全景模式两种。引导模式是带领使用者在不发生碰撞的情况下绕过障碍物,全景模式则是以超声波等方式来描绘出区域内的全景地图,通过全景地图来告知使用者所在区域内障碍物的大小、远近等信息,让视觉障碍患者可以有效地判断出周围场景的情况。
但是,上述引导模式和全景模式导盲机器人很难应对复杂的环境场景,缺少对周围场景中的交通信号灯以及行人目标的识别能力。此外,超声波描绘的地图信息往往不够精确,而且不能对机器人的未知环境进行精确地建图定位。
发明内容
本发明的目的在于提供一种智能化导盲机器人及其导盲方法,它可以克服现有技术的不足,能够解决在未知环境内地图创建问题,以及未知环境内交通信号灯和行人等目标识别问题,是一种结构简单使用方便的导盲机器人装置。
本发明的技术方案:一种智能化导盲机器人,其特征在于它包括车体、驱动轮、雷达模块、相机模块及导盲连接杆;其中,所述车体下方连接有驱动轮,其上方安装有雷达模块、相机模块和导盲连接杆。
所述导盲连接杆安装在车体的上方;所述导盲连接杆与车体之间有万向连接机构;所述万向连接机构可以确保机器人自身旋转时不带动导盲连接杆一起旋转,防止盲人进行不必要的运动。
所述车体下方连接有个驱动轮,所述驱动轮为四驱动力***,具有更轻便的结构以及良好的越障能力,采用差分运动控制的方式对小车的运动轨迹进行控制;四轮驱动的优势在于导盲机器人有一定的越障能力,可以应对更加复杂的室外场景。
所述相机模块是双目相机结构;所述双目相机结构为双目立体视觉相机,基线范围应介于90~110mm之间,焦距介于2mm~3mm之间,用于未知环境场景的建图以及交通信号灯和行人目标的识别。
所述雷达模块是避障激光雷达结构;所述雷达模块是360度激光雷达,可以探测到最大距离8米的障碍物,用于机器人的实时避障任务。
所述车体内部有智能化导盲机器人控制单元,是由上位机模块、下位机模块、电机模块、驱动模块、电源模块、陀螺仪模块、GPS模块及语音模块构成;所述上位机模块与下位机模块呈双相连接;所述上位机模块的输入端分别采集雷达模块、相机模块、语音模块、GPS模块的输入信号;所述下位机模块、上位机模块以及驱动模块均由电池模块供电;所述下位机模块的输入端采集陀螺仪模块的输出信号,及检测导盲机器人的姿态信息;其输出端输出驱动信号给驱动模块;所述驱动模块与电机模块连接,控制电机的启动与停止的运动状态。
所述上位机模块是内部核心处理器为ARM cortex-A72的结构,安装了嵌入式Ubuntu16.04和ROS Kinetic***,其内部装有机器人导航算法,用于上位机模块、下位机模块、陀螺仪模块、GPS模块、语音模块、雷达模块以及相机模块间信息的传递,并可以对机器人导航算法进行离线处理。
所述GPS模块,可接收千寻位置云服务提供的差分位置信号;所述千寻位置云服务是依托遍布全国的卫星定位地基增强站,融合各类定位技术,以互联网的方式提供7*24小时高可用差分播发服务,面向全国31省市范围的各类终端和应用***,提供厘米级精度的位置纠偏数据服务。该模块与上位机模块相连,用于导盲机器人的室外定位导航。
所述语音模块与上位机模块相连,用于接收盲人发送的语音控制指令,语音模块依靠蓝牙与盲人携带的话筒相连,用于接收语音信息。
所述相机模块与车体内的上位机模块相连,为其提供周围环境的图像信息;所述雷达模块与上位机模块相连,用于完成机器人的实时避障任务。
所述导盲连接杆上含有防滑把手7和盲文立体触感开关;所述导盲连接杆的高度可调节,适应不同高度盲人用户使用,且调节方式简单易操作;所述防滑把手可以提高盲人用户接触产品舒适度和强化触感便于盲人用户定位操作;所述盲文立体触感开关符合盲人用户生活行为逻辑,更方便盲人用户操作产品。
一种智能化导盲机器人的导盲方法,其特征在于它包括以下步骤:
(1)当盲人进行室外导盲任务时,智能化导盲机器人装置中控制单元的的GPS模块用于接收GPS卫星信号以及千寻位置云服务提供差分位置信号来实现亚米级的动态实时定位;
(2)在进行导盲任务时,上位机模块内预装的ROS Kinetic***对预先记录的运动路径轨迹点进行路径规划,并转化为相应的运动控制指令,并将控制指令传送给下位机模块;
(3)由下位机模块通过接收到的控制指令来对驱动模块进行控制,驱动模块来对电机模块进行驱动,从而完成导盲机器人相应运动轨迹的复现;
(4)GPS模块和陀螺仪模块在轨迹复现的过程中,还会将位置信息和姿态信息实时地传给上位机模块和下位机模块,从而对导盲机器人的运动轨迹进行实时地校准,使得导盲机器人可以按照预定的轨迹进行移动;
(5)对于室内未知环境的在线导航,由于GPS模块失去了定位的作用,此时,则利用相机模块对外部环境进行感知并构建环境场景地图;然后利用上位机模块内预装的ROSKinetic***对未知环境内的兴趣点进行路径规划,并将运动控制指令发送给下位机模块;最后下位机模块接收指令,完成对驱动模块和电机模块的控制,从而使导盲机器人到达未知环境内的任一兴趣点;
(6)在导盲过程中,盲人用户可以根据感受到的由导盲机器人传达的不同方向的牵引力来改变行进方向,直至到达目的地为止;
(7)在导盲过程中,雷达模块对周围环境障碍物的位置信息进行实时采集,并将障碍物的位置信息发送给上位机模块;上位机模块内的ROS Kinetic***可以根据障碍物的位置信息实时地规划出最新运动路径,并将控制指令传给下位机模块,从而完成导盲机器人的避障任务;
(8)盲人可以通过说话,将语音控制指令传给语音模块,语音模块解析后将语音内容传给上位机模块,上位机模块根据盲人要实现的控制内容进行控制指令生成,并将控制指令发送给下位机模块,从而实现盲人对导盲机器人相应任务的控制。
所述步骤(5)中的利用相机模块对外部环境进行感知并构建环境场景地图,具体包括以下步骤:
①在创建地图的时候,采用基于面向快速和旋转特征(Oriented Fast and RotatedBrief——ORB)的即时定位与地图构建(Simultaneous Localization and Mapping——SLAM)算法方法来对未知环境进行感知;
②利用ORB算法提取图像特征点,以图像位姿优化理论为基础,对未知环境创建一个基于特征点的场景地图信息,该离线地图信息将保存在上位机模块内,可以供以后导盲做参考和使用;
③在室内未知环境导航时,首先在特征点离线地图中标记上感兴趣点的坐标,感兴趣点是盲人在一个未知环境内,期望经常到达的点;然后利用上位机模块内预装的ROSKinetic***对未知环境内的兴趣点进行路径规划,并将运动控制指令发送给下位机模块;最后下位机模块接收指令,完成对驱动模块和电机模块的控制,从而使导盲机器人到达未知环境内的任一兴趣点。
所述一种智能化导盲机器人的导盲方法,其特征在于它还包括识别红绿灯,行人,汽车,斑马线目标的方法,是基于经过预先训练的深度卷积神经网络(ConvolutionalNeural Network——CNN)实现的,由以下步骤构成:
1)将预先训练好的基于深度卷积神经网络CNN模型保存在上位机模块中;
2)由相机模块获取导盲机器人的实时路况照片,并将照片信息发送给上位机模块;上位机模块利用深度卷积神经网络CNN模型对图像进行特征提取,得到每个相应的特征图,这些特征均用固定长度的特征集合来表示;
3)把步骤2)得到的特征向量用支持向量机线性分类器去判断,并由支持向量机线性分类器给出相应识别物体的置信度,并通过置信度来判断出目标物体最终所属的类别;
4)上位机模块将识别的目标信息发送给语音模块,语音模块会将周围场景目标物信息反馈给盲人;
5)上位机模块还将根据不同目标物解算出的运动指令发送给下位机模块,从而完成导盲机器人面对不同目标物的智能化行进。
本发明的优越性:由于采用视觉ORB-SLAM的方式来对未知环境进行建图,利用三维点云信息来描述未知场景的地图信息;相比于超声波描绘的全景地图,视觉SLAM技术描绘的点云信息更加丰富,更有益于导盲机器人在未知环境中精确地定位;电机部分采用轮毂电机,提高了***的紧凑性,简化了结构;电池模块采用磷酸铁锂电池供电,该电池技术成熟且能量密度较为均衡;最后整套***配以智能化远程云端服务器,该服务器可以对传输的图像数据进行实时的在线处理,并且还可以保存SLAM创建的地图信息,将该地图信息在不同的设备间进行共享;此外,双目视觉检测***以卷积神经网络CNN为理论基础,利用残差训练法对模型进行训练,可以更加精确地对室外的交通信号灯,行人等目标进行识别定位,可以进一步地提升盲人的出行安全问题;结构简单,方便实用,实用性强。
附图说明
图1是本发明所涉一种智能化导盲机器人的整体结构组成示意图(其中,图1-a为右侧视图;图1-b为正视图)。
图2是本发明所涉一种智能化导盲机器人中智能化导盲机器人控制单元的整体结构示意图。
其中,1为车体;2为驱动轮;3为雷达模块;4为相机模块;5为万向连接机构;6为导盲连接杆;7为防滑把手。
具体实施方式
实施例:一种智能化导盲机器人(见图1-a、图1-b),其特征在于它包括车体1、驱动轮2、雷达模块3、相机模块4及导盲连接杆6;其中,所述车体1下方连接有驱动轮2,其上方安装有雷达模块3、相机模块4和导盲连接杆6。
所述导盲连接杆6安装在车体1的上方;所述导盲连接杆6与车体1之间有万向连接机构5;所述万向连接机构5可以确保机器人自身旋转时不带动导盲连接杆6一起旋转,防止盲人进行不必要的运动(见图1-a、图1-b)。
所述车体1下方连接有4个驱动轮2,所述驱动轮2为四驱动力***,具有更轻便的结构以及良好的越障能力,采用差分运动控制的方式对小车的运动轨迹进行控制;四轮驱动的优势在于导盲机器人有一定的越障能力,可以应对更加复杂的室外场景(见图1-a、图1-b)。
所述相机模块4是双目相机结构;所述双目相机结构为双目立体视觉相机,基线为100mm,焦距是2.8mm,用于未知环境场景的建图以及交通信号灯和行人目标的识别。
所述雷达模块3是避障激光雷达结构;所述雷达模块3是360度激光雷达,可以探测到最大距离8米的障碍物,用于机器人的实时避障任务。
所述车体1内部有智能化导盲机器人控制单元(见图2),是由上位机模块、下位机模块、电机模块、驱动模块、电源模块、陀螺仪模块、GPS模块及语音模块构成;所述上位机模块与下位机模块呈双相连接;所述上位机模块的输入端分别采集雷达模块3、相机模块4、语音模块、GPS模块的输入信号;所述下位机模块、上位机模块以及驱动模块均由电池模块供电;所述下位机模块的输入端采集陀螺仪模块的输出信号,及检测导盲机器人的姿态信息;其输出端输出驱动信号给驱动模块;所述驱动模块与电机模块连接,控制电机的启动与停止的运动状态。
所述上位机模块是内部核心处理器为ARM cortex-A72的结构,安装了嵌入式Ubuntu16.04和ROS Kinetic***,其内部装有机器人导航算法,用于上位机模块、下位机模块、陀螺仪模块、GPS模块、语音模块、雷达模块以及相机模块间信息的传递,并可以对机器人导航算法进行离线处理。
所述GPS模块,可接收千寻位置云服务提供的差分位置信号;所述千寻位置云服务是依托遍布全国的卫星定位地基增强站,融合各类定位技术,以互联网的方式提供7*24小时高可用差分播发服务,面向全国31省市范围的各类终端和应用***,提供厘米级精度的位置纠偏数据服务。该模块与上位机模块相连,用于导盲机器人的室外定位导航。
所述语音模块与上位机模块相连,用于接收盲人发送的语音控制指令,语音模块依靠蓝牙与盲人携带的话筒相连,用于接收语音信息。
所述相机模块4与车体1内的上位机模块相连(见图1-a、图1-b),为其提供周围环境的图像信息;所述雷达模块3与上位机模块相连,用于完成机器人的实时避障任务(见图1-a、图1-b)。
所述导盲连接杆6上含有防滑把手7和盲文立体触感开关(见图1-a、图1-b);所述导盲连接杆6的高度可调节,适应不同高度盲人用户使用,且调节方式简单易操作;所述防滑把手7(见图1-a、图1-b)可以提高盲人用户接触产品舒适度和强化触感便于盲人用户定位操作;所述盲文立体触感开关符合盲人用户生活行为逻辑,更方便盲人用户操作产品。
一种智能化导盲机器人的导盲方法,其特征在于它包括以下步骤:
(1)当盲人进行室外导盲任务时,智能化导盲机器人装置中控制单元的的GPS模块用于接收GPS卫星信号以及千寻位置云服务提供差分位置信号来实现亚米级的动态实时定位;
(2)在进行导盲任务时,上位机模块内预装的ROS Kinetic***对预先记录的运动路径轨迹点进行路径规划,并转化为相应的运动控制指令,并将控制指令传送给下位机模块;
(3)由下位机模块通过接收到的控制指令来对驱动模块进行控制,驱动模块来对电机模块进行驱动,从而完成导盲机器人相应运动轨迹的复现;
(4)GPS模块和陀螺仪模块在轨迹复现的过程中,还会将位置信息和姿态信息实时地传给上位机模块和下位机模块,从而对导盲机器人的运动轨迹进行实时地校准,使得导盲机器人可以按照预定的轨迹进行移动;
(5)对于室内未知环境的在线导航,由于GPS模块失去了定位的作用,此时,则利用相机模块对外部环境进行感知并构建环境场景地图;然后利用上位机模块内预装的ROSKinetic***对未知环境内的兴趣点进行路径规划,并将运动控制指令发送给下位机模块;最后下位机模块接收指令,完成对驱动模块和电机模块的控制,从而使导盲机器人到达未知环境内的任一兴趣点;
(6)在导盲过程中,盲人用户可以根据感受到的由导盲机器人传达的不同方向的牵引力来改变行进方向,直至到达目的地为止;
(7)在导盲过程中,雷达模块对周围环境障碍物的位置信息进行实时采集,并将障碍物的位置信息发送给上位机模块;上位机模块内的ROS Kinetic***可以根据障碍物的位置信息实时地规划出最新运动路径,并将控制指令传给下位机模块,从而完成导盲机器人的避障任务;
(8)盲人可以通过说话,将语音控制指令传给语音模块,语音模块解析后将语音内容传给上位机模块,上位机模块根据盲人要实现的控制内容进行控制指令生成,并将控制指令发送给下位机模块,从而实现盲人对导盲机器人相应任务的控制。
所述步骤(5)中的利用相机模块对外部环境进行感知并构建环境场景地图,具体包括以下步骤:
①在创建地图的时候,采用基于面向快速和旋转特征的即时定位与地图构建算法方法来对未知环境进行感知;
②利用ORB算法提取图像特征点,以图像位姿优化理论为基础,对未知环境创建一个基于特征点的场景地图信息,该离线地图信息将保存在上位机模块内,可以供以后导盲做参考和使用;
③在室内未知环境导航时,首先在特征点离线地图中标记上感兴趣点的坐标,感兴趣点是盲人在一个未知环境内,期望经常到达的点;然后利用上位机模块内预装的ROSKinetic***对未知环境内的兴趣点进行路径规划,并将运动控制指令发送给下位机模块;最后下位机模块接收指令,完成对驱动模块和电机模块的控制,从而使导盲机器人到达未知环境内的任一兴趣点。
所述一种智能化导盲机器人的导盲方法,其特征在于它还包括识别红绿灯,行人,汽车,斑马线目标的方法,是基于经过预先训练的深度卷积神经网络CNN实现的,由以下步骤构成:
1)将预先训练好的基于深度卷积神经网络CNN模型保存在上位机模块中;
2)由相机模块获取导盲机器人的实时路况照片,并将照片信息发送给上位机模块;上位机模块利用深度卷积神经网络CNN模型对图像进行特征提取,得到每个相应的特征图,这些特征均用固定长度的特征集合来表示;
3)把步骤2)得到的特征向量用支持向量机线性分类器去判断,并由支持向量机线性分类器给出相应识别物体的置信度,并通过置信度来判断出目标物体最终所属的类别;
4)上位机模块将识别的目标信息发送给语音模块,语音模块会将周围场景目标物信息反馈给盲人;
5)上位机模块还将根据不同目标物解算出的运动指令发送给下位机模块,从而完成导盲机器人面对不同目标物的智能化行进。
下面结合具体实施例,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
参阅图1,本发明主要包括自主导盲机器人车体1,车体1下方连接驱动轮2。车体1上方连接避障激光雷达模块3,相机模块4和导盲连接杆6。导盲连接杆6上含有防滑把手7。导盲连接杆6和车体1之间有一个万向连接机构5。结构5可以确保机器人自身旋转时不带动导盲连接杆一起旋转,以免盲人进行不必要的运动。驱动轮2为四驱动力***,具有更轻便的结构以及良好的越障能力。
参阅图2,车体的内部含有嵌入式上位机模块,下位机模块,雷达模块,相机模块,语音模块,GPS模块,电源模块。其中嵌入式上位机模块核心处理器采用的是cortex-A72架构,具有更高的实时处理性能。该模块内预先安装Ubuntu16.04***,***上安装了ROSKinetic***用于各模块间信息传递以及调度,从而最终完成盲人导盲的任务。上位机模块与雷达模块,相机模块,语音模块,GPS模块相连。每一个模块在ROS***下都为一个节点,便于各模块之间的通信与调度。下位机模块为Arduino开发板模块,该模块用于接收陀螺仪收取到的姿态信息以及给底层电机驱动模块发送控制指令并与上位机模块进行通信。
Claims (10)
1.一种智能化导盲机器人,其特征在于它包括车体(1)、驱动轮(2)、雷达模块(3)、相机模块(4)及导盲连接杆(6);其中,所述车体(1)下方连接有驱动轮(2),其上方安装有雷达模块(3)、相机模块(4)和导盲连接杆(6);所述车体(1)内有智能化导盲机器人控制单元;所述雷达模块(3)和相机模块(4)的输出端分别与智能化导盲机器人控制单元的输入端连接;所述智能化导盲机器人控制单元的输出端输出控制信号控制智能化导盲机器人的运动。
2.根据权利要求1所述一种智能化导盲机器人,其特征在于所述导盲连接杆(6)安装在车体(1)的上方;所述导盲连接杆(6)与车体(1)之间有万向连接机构(5);所述车体(1)下方连接有4个驱动轮(2),所述驱动轮(2)为四驱动力***。
3.根据权利要求1所述一种智能化导盲机器人,其特征在于所述相机模块(4)是双目相机结构;所述双目相机结构为双目立体视觉相机,基线范围应介于90~110mm之间,焦距介于2mm~3mm之间;
所述雷达模块(3)是避障激光雷达结构;所述雷达模块(3)是360度激光雷达,可以探测到最大距离8米的障碍物,用于机器人的实时避障任务。
4.根据权利要求1所述一种智能化导盲机器人,其特征在于所述车体(1)内部有智能化导盲机器人控制单元,是由上位机模块、下位机模块、电机模块、驱动模块、电源模块、陀螺仪模块、GPS模块及语音模块构成;所述上位机模块与下位机模块呈双相连接;所述上位机模块的输入端分别采集雷达模块(3)、相机模块(4)、语音模块、GPS模块的输入信号;所述下位机模块、上位机模块以及驱动模块均由电池模块供电;所述下位机模块的输入端采集陀螺仪模块的输出信号,及检测导盲机器人的姿态信息;其输出端输出驱动信号给驱动模块;所述驱动模块与电机模块连接,控制电机的启动与停止的运动状态。
5.根据权利要求4所述一种智能化导盲机器人,其特征在于所述上位机模块是内部核心处理器为ARM cortex-A72的结构,安装了嵌入式Ubuntu16.04和ROS Kinetic***,其内部装有机器人导航算法,用于上位机模块、下位机模块、陀螺仪模块、GPS模块、语音模块、雷达模块以及相机模块间信息的传递,并可以对机器人导航算法进行离线处理;所述GPS模块接收千寻位置云服务提供的差分位置信号;所述电机是轮毂电机。
6.根据权利要求4所述一种智能化导盲机器人,其特征在于所述语音模块与上位机模块相连,用于接收盲人发送的语音控制指令,语音模块依靠蓝牙与盲人携带的话筒相连,用于接收语音信息;
所述相机模块(4)与车体(1)内的上位机模块相连,为其提供周围环境的图像信息;所述雷达模块(3)与上位机模块相连,用于完成机器人的实时避障任务;所述电源模块采用磷酸铁锂电池。
7.根据权利要求2所述一种智能化导盲机器人,其特征在于所述导盲连接杆(6)上含有防滑把手7和盲文立体触感开关;所述导盲连接杆(6)的高度可调节,适应不同高度盲人用户使用,且调节方式简单易操作;所述防滑把手(7)可以提高盲人用户接触产品舒适度和强化触感便于盲人用户定位操作;所述盲文立体触感开关符合盲人用户生活行为逻辑,更方便盲人用户操作产品。
8.一种智能化导盲机器人的导盲方法,其特征在于它包括以下步骤:
(1)当盲人进行室外导盲任务时,智能化导盲机器人装置中控制单元的的GPS模块用于接收GPS卫星信号以及千寻位置云服务提供差分位置信号来实现亚米级的动态实时定位;
(2)在进行导盲任务时,上位机模块内预装的ROS Kinetic***对预先记录的运动路径轨迹点进行路径规划,并转化为相应的运动控制指令,并将控制指令传送给下位机模块;
(3)由下位机模块通过接收到的控制指令来对驱动模块进行控制,驱动模块来对电机模块进行驱动,从而完成导盲机器人相应运动轨迹的复现;
(4)GPS模块和陀螺仪模块在轨迹复现的过程中,还会将位置信息和姿态信息实时地传给上位机模块和下位机模块,从而对导盲机器人的运动轨迹进行实时地校准,使得导盲机器人可以按照预定的轨迹进行移动;
(5)对于室内未知环境的在线导航,由于GPS模块失去了定位的作用,此时,则利用相机模块对外部环境进行感知并构建环境场景地图;然后利用上位机模块内预装的ROSKinetic***对未知环境内的兴趣点进行路径规划,并将运动控制指令发送给下位机模块;最后下位机模块接收指令,完成对驱动模块和电机模块的控制,从而使导盲机器人到达未知环境内的任一兴趣点;
(6)在导盲过程中,盲人用户可以根据感受到的由导盲机器人传达的不同方向的牵引力来改变行进方向,直至到达目的地为止;
(7)在导盲过程中,雷达模块对周围环境障碍物的位置信息进行实时采集,并将障碍物的位置信息发送给上位机模块;上位机模块内的ROS Kinetic***可以根据障碍物的位置信息实时地规划出最新运动路径,并将控制指令传给下位机模块,从而完成导盲机器人的避障任务;
(8)盲人可以通过说话,将语音控制指令传给语音模块,语音模块解析后将语音内容传给上位机模块,上位机模块根据盲人要实现的控制内容进行控制指令生成,并将控制指令发送给下位机模块,从而实现盲人对导盲机器人相应任务的控制。
9.根据权利要求8所述一种智能化导盲机器人的导盲方法,其特征在于所述步骤(5)中的利用相机模块对外部环境进行感知并构建环境场景地图,具体包括以下步骤:
①在创建地图的时候,采用基于ORB面向快速和旋转特征的即时定位与SLAM地图构建算法方法来对未知环境进行感知;
②利用ORB算法提取图像特征点,以图像位姿优化理论为基础,对未知环境创建一个基于特征点的场景地图信息,该离线地图信息将保存在上位机模块内,可以供以后导盲做参考和使用;
③在室内未知环境导航时,首先在特征点离线地图中标记上感兴趣点的坐标,感兴趣点是盲人在一个未知环境内,期望经常到达的点;然后利用上位机模块内预装的ROSKinetic***对未知环境内的兴趣点进行路径规划,并将运动控制指令发送给下位机模块;最后下位机模块接收指令,完成对驱动模块和电机模块的控制,从而使导盲机器人到达未知环境内的任一兴趣点。
10.根据权利要求8所述一种智能化导盲机器人的导盲方法,其特征在于所述一种智能化导盲机器人装置的导盲方法还包括识别红绿灯,行人,汽车,斑马线目标的方法,是基于经过预先训练的深度卷积神经网络实现的,由以下步骤构成:
1)将预先训练好的基于深度卷积神经网络CNN模型保存在上位机模块中;
2)由相机模块获取导盲机器人的实时路况照片,并将照片信息发送给上位机模块;上位机模块利用深度卷积神经网络CNN模型对图像进行特征提取,得到每个相应的特征图,这些特征均用固定长度的特征集合来表示;
3)把步骤2)得到的特征向量用支持向量机线性分类器去判断,并由支持向量机线性分类器给出相应识别物体的置信度,并通过置信度来判断出目标物体最终所属的类别;
4)上位机模块将识别的目标信息发送给语音模块,语音模块会将周围场景目标物信息反馈给盲人;
5)上位机模块还将根据不同目标物解算出的运动指令发送给下位机模块,从而完成导盲机器人面对不同目标物的智能化行进。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710817955.XA CN107390703A (zh) | 2017-09-12 | 2017-09-12 | 一种智能化导盲机器人及其导盲方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710817955.XA CN107390703A (zh) | 2017-09-12 | 2017-09-12 | 一种智能化导盲机器人及其导盲方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107390703A true CN107390703A (zh) | 2017-11-24 |
Family
ID=60351654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710817955.XA Pending CN107390703A (zh) | 2017-09-12 | 2017-09-12 | 一种智能化导盲机器人及其导盲方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107390703A (zh) |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106963604A (zh) * | 2017-03-15 | 2017-07-21 | 武汉软件工程职业学院 | 一种自动更新人机对话智能导盲装置 |
CN108180901A (zh) * | 2017-12-08 | 2018-06-19 | 深圳先进技术研究院 | 导盲机器人的室内导航方法、装置、机器人及存储介质 |
CN108227717A (zh) * | 2018-01-30 | 2018-06-29 | 中国人民解放军陆军装甲兵学院 | 基于orb特征的多移动机器人地图融合方法及融合平台 |
CN108326845A (zh) * | 2017-12-11 | 2018-07-27 | 浙江捷尚人工智能研究发展有限公司 | 基于双目相机和激光雷达的机器人定位方法、装置及*** |
CN108594282A (zh) * | 2018-05-24 | 2018-09-28 | 武汉大学 | 一种基于高精度gnss实时协同定位的ros机器人导航方法 |
CN109009903A (zh) * | 2018-05-25 | 2018-12-18 | 深圳市沃特沃德股份有限公司 | 视觉导盲拐杖及基于视觉导盲拐杖的导航方法 |
CN109144057A (zh) * | 2018-08-07 | 2019-01-04 | 上海大学 | 一种基于实时环境建模和自主路径规划的导盲车 |
CN109300155A (zh) * | 2018-12-27 | 2019-02-01 | 常州节卡智能装备有限公司 | 一种避障路径规划方法、装置、设备和介质 |
CN109472831A (zh) * | 2018-11-19 | 2019-03-15 | 东南大学 | 面向压路机施工过程的障碍物识别测距***及方法 |
CN109521767A (zh) * | 2018-10-18 | 2019-03-26 | 李培 | 自主导航机器人*** |
CN110069057A (zh) * | 2018-01-24 | 2019-07-30 | 南京机器人研究院有限公司 | 一种基于机器人的障碍物感测方法 |
CN110109457A (zh) * | 2019-04-29 | 2019-08-09 | 北方民族大学 | 一种智能语音导盲机器人控制方法及控制*** |
CN110471410A (zh) * | 2019-07-17 | 2019-11-19 | 武汉理工大学 | 基于ros的智能车语音辅助导航及安全提醒***及方法 |
CN110538051A (zh) * | 2019-08-27 | 2019-12-06 | 华南理工大学 | 一种自动寻路的盲人智能辅助装置及其方法 |
CN111035543A (zh) * | 2019-12-31 | 2020-04-21 | 北京新能源汽车技术创新中心有限公司 | 一种智能导盲机器人 |
CN111142536A (zh) * | 2020-01-06 | 2020-05-12 | 华南师范大学 | 一种室内导盲机器人 |
CN111652261A (zh) * | 2020-02-26 | 2020-09-11 | 南开大学 | 一种多模态感知融合*** |
CN112045680A (zh) * | 2020-09-02 | 2020-12-08 | 山东大学 | 一种基于行为克隆的布料码垛机器人控制***及控制方法 |
CN112629528A (zh) * | 2020-11-28 | 2021-04-09 | 北京瞪羚云智科技有限公司 | 利用视觉相机实现四足机器人定位导航***及其工作方法 |
CN112932911A (zh) * | 2021-04-02 | 2021-06-11 | 常州大学怀德学院 | 基于混合感知***的导盲机器人 |
CN112987763A (zh) * | 2021-05-11 | 2021-06-18 | 南京理工大学紫金学院 | 一种基于ros的自主导航机器人控制***的智能小车 |
CN113119138A (zh) * | 2021-04-16 | 2021-07-16 | 中国科学技术大学 | 基于物联网的助盲机器人***及方法 |
CN113749915A (zh) * | 2021-10-13 | 2021-12-07 | 中国计量大学 | 一种场景复现的导盲方法与*** |
CN113813146A (zh) * | 2021-09-30 | 2021-12-21 | 紫清智行科技(北京)有限公司 | 一种基于导航与盲道循迹结合的室外导盲方法和*** |
CN113917452A (zh) * | 2021-09-30 | 2022-01-11 | 北京理工大学 | 一种视觉与雷达结合的盲道检测装置和方法 |
CN114313052A (zh) * | 2021-12-31 | 2022-04-12 | 杭州未名信科科技有限公司 | 可自锁的腿足模块及机器人 |
US11454974B2 (en) * | 2020-06-29 | 2022-09-27 | Baidu Usa Llc | Method, apparatus, device, and storage medium for controlling guide robot |
CN115488901A (zh) * | 2022-09-26 | 2022-12-20 | 夏欣玮 | 一种四足式导盲机器人 |
Citations (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110092249A1 (en) * | 2009-10-21 | 2011-04-21 | Xerox Corporation | Portable blind aid device |
CN103126862A (zh) * | 2013-02-04 | 2013-06-05 | 江苏科技大学 | 基于gps、gprs和rfid的室外导盲机器人及导航定位方法 |
CN104573646A (zh) * | 2014-12-29 | 2015-04-29 | 长安大学 | 基于激光雷达和双目相机的车前行人检测方法及*** |
CN104655127A (zh) * | 2015-01-16 | 2015-05-27 | 深圳市前海安测信息技术有限公司 | 基于电子标签的室内导盲***和导盲方法 |
CN105005999A (zh) * | 2015-08-12 | 2015-10-28 | 北京航空航天大学 | 一种基于计算机立体视觉面向导盲仪的障碍物探测方法 |
CN105022394A (zh) * | 2014-04-29 | 2015-11-04 | 东北大学 | 动态环境下的移动机器人可靠定位方法 |
CN204814723U (zh) * | 2015-07-16 | 2015-12-02 | 深圳前海达闼科技有限公司 | 一种导盲*** |
CN105403222A (zh) * | 2015-12-08 | 2016-03-16 | 江苏科技大学 | 基于ros的多导盲机器人及在未知环境中的地图创建方法 |
CN105674993A (zh) * | 2016-01-15 | 2016-06-15 | 武汉光庭科技有限公司 | 基于双目相机的高精度视觉定位地图生成***及方法 |
CN105761235A (zh) * | 2014-12-19 | 2016-07-13 | 天津市巨海机电设备安装有限公司 | 一种将视觉信息转换成听觉信息的视觉辅助方法 |
CN105761242A (zh) * | 2016-01-27 | 2016-07-13 | 北京航空航天大学 | 一种基于计算机双目视觉与惯性测量的盲人行走定位方法 |
CN105973264A (zh) * | 2016-07-21 | 2016-09-28 | 触景无限科技(北京)有限公司 | 一种智能导盲*** |
CN106127739A (zh) * | 2016-06-16 | 2016-11-16 | 华东交通大学 | 一种结合单目视觉的rgb‑d slam方法 |
CN106236524A (zh) * | 2016-07-29 | 2016-12-21 | 李苏安 | 一种盲人助行器 |
CN106491322A (zh) * | 2016-12-14 | 2017-03-15 | 西安邮电大学 | 基于OpenCV图像识别的盲人拐杖控制***及方法 |
CN106643707A (zh) * | 2016-09-09 | 2017-05-10 | 常州大学 | 一种基于智能手机的盲人室内导盲方法 |
CN106708042A (zh) * | 2016-12-12 | 2017-05-24 | 胡华林 | 基于机器视觉和人体感受器的导盲***及方法 |
CN106845374A (zh) * | 2017-01-06 | 2017-06-13 | 清华大学 | 基于深度学习的行人检测方法及检测装置 |
CN106890067A (zh) * | 2017-01-06 | 2017-06-27 | 南京邮电大学 | 室内盲人导航机器人 |
CN106920260A (zh) * | 2017-03-02 | 2017-07-04 | 万物感知(深圳)科技有限公司 | 立体惯性导盲方法及装置和*** |
CN207281590U (zh) * | 2017-09-12 | 2018-04-27 | 北京创享高科科技有限公司 | 一种智能化导盲机器人装置 |
-
2017
- 2017-09-12 CN CN201710817955.XA patent/CN107390703A/zh active Pending
Patent Citations (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110092249A1 (en) * | 2009-10-21 | 2011-04-21 | Xerox Corporation | Portable blind aid device |
CN103126862A (zh) * | 2013-02-04 | 2013-06-05 | 江苏科技大学 | 基于gps、gprs和rfid的室外导盲机器人及导航定位方法 |
CN105022394A (zh) * | 2014-04-29 | 2015-11-04 | 东北大学 | 动态环境下的移动机器人可靠定位方法 |
CN105761235A (zh) * | 2014-12-19 | 2016-07-13 | 天津市巨海机电设备安装有限公司 | 一种将视觉信息转换成听觉信息的视觉辅助方法 |
CN104573646A (zh) * | 2014-12-29 | 2015-04-29 | 长安大学 | 基于激光雷达和双目相机的车前行人检测方法及*** |
CN104655127A (zh) * | 2015-01-16 | 2015-05-27 | 深圳市前海安测信息技术有限公司 | 基于电子标签的室内导盲***和导盲方法 |
CN204814723U (zh) * | 2015-07-16 | 2015-12-02 | 深圳前海达闼科技有限公司 | 一种导盲*** |
CN105005999A (zh) * | 2015-08-12 | 2015-10-28 | 北京航空航天大学 | 一种基于计算机立体视觉面向导盲仪的障碍物探测方法 |
CN105403222A (zh) * | 2015-12-08 | 2016-03-16 | 江苏科技大学 | 基于ros的多导盲机器人及在未知环境中的地图创建方法 |
CN105674993A (zh) * | 2016-01-15 | 2016-06-15 | 武汉光庭科技有限公司 | 基于双目相机的高精度视觉定位地图生成***及方法 |
CN105761242A (zh) * | 2016-01-27 | 2016-07-13 | 北京航空航天大学 | 一种基于计算机双目视觉与惯性测量的盲人行走定位方法 |
CN106127739A (zh) * | 2016-06-16 | 2016-11-16 | 华东交通大学 | 一种结合单目视觉的rgb‑d slam方法 |
CN105973264A (zh) * | 2016-07-21 | 2016-09-28 | 触景无限科技(北京)有限公司 | 一种智能导盲*** |
CN106236524A (zh) * | 2016-07-29 | 2016-12-21 | 李苏安 | 一种盲人助行器 |
CN106643707A (zh) * | 2016-09-09 | 2017-05-10 | 常州大学 | 一种基于智能手机的盲人室内导盲方法 |
CN106708042A (zh) * | 2016-12-12 | 2017-05-24 | 胡华林 | 基于机器视觉和人体感受器的导盲***及方法 |
CN106491322A (zh) * | 2016-12-14 | 2017-03-15 | 西安邮电大学 | 基于OpenCV图像识别的盲人拐杖控制***及方法 |
CN106845374A (zh) * | 2017-01-06 | 2017-06-13 | 清华大学 | 基于深度学习的行人检测方法及检测装置 |
CN106890067A (zh) * | 2017-01-06 | 2017-06-27 | 南京邮电大学 | 室内盲人导航机器人 |
CN106920260A (zh) * | 2017-03-02 | 2017-07-04 | 万物感知(深圳)科技有限公司 | 立体惯性导盲方法及装置和*** |
CN207281590U (zh) * | 2017-09-12 | 2018-04-27 | 北京创享高科科技有限公司 | 一种智能化导盲机器人装置 |
Non-Patent Citations (1)
Title |
---|
电脑知识与技术: "基于ROS的机器人导航***架构设" * |
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106963604A (zh) * | 2017-03-15 | 2017-07-21 | 武汉软件工程职业学院 | 一种自动更新人机对话智能导盲装置 |
CN108180901A (zh) * | 2017-12-08 | 2018-06-19 | 深圳先进技术研究院 | 导盲机器人的室内导航方法、装置、机器人及存储介质 |
CN108326845B (zh) * | 2017-12-11 | 2020-06-26 | 浙江捷尚人工智能研究发展有限公司 | 基于双目相机和激光雷达的机器人定位方法、装置及*** |
CN108326845A (zh) * | 2017-12-11 | 2018-07-27 | 浙江捷尚人工智能研究发展有限公司 | 基于双目相机和激光雷达的机器人定位方法、装置及*** |
CN110069057A (zh) * | 2018-01-24 | 2019-07-30 | 南京机器人研究院有限公司 | 一种基于机器人的障碍物感测方法 |
CN108227717A (zh) * | 2018-01-30 | 2018-06-29 | 中国人民解放军陆军装甲兵学院 | 基于orb特征的多移动机器人地图融合方法及融合平台 |
CN108227717B (zh) * | 2018-01-30 | 2021-12-03 | 中国人民解放军陆军装甲兵学院 | 基于orb特征的多移动机器人地图融合方法及融合平台 |
CN108594282A (zh) * | 2018-05-24 | 2018-09-28 | 武汉大学 | 一种基于高精度gnss实时协同定位的ros机器人导航方法 |
CN109009903A (zh) * | 2018-05-25 | 2018-12-18 | 深圳市沃特沃德股份有限公司 | 视觉导盲拐杖及基于视觉导盲拐杖的导航方法 |
CN109009903B (zh) * | 2018-05-25 | 2021-01-15 | 深圳市沃特沃德股份有限公司 | 视觉导盲拐杖及基于视觉导盲拐杖的导航方法 |
CN109144057A (zh) * | 2018-08-07 | 2019-01-04 | 上海大学 | 一种基于实时环境建模和自主路径规划的导盲车 |
CN109521767A (zh) * | 2018-10-18 | 2019-03-26 | 李培 | 自主导航机器人*** |
CN109472831A (zh) * | 2018-11-19 | 2019-03-15 | 东南大学 | 面向压路机施工过程的障碍物识别测距***及方法 |
CN109300155A (zh) * | 2018-12-27 | 2019-02-01 | 常州节卡智能装备有限公司 | 一种避障路径规划方法、装置、设备和介质 |
CN110109457A (zh) * | 2019-04-29 | 2019-08-09 | 北方民族大学 | 一种智能语音导盲机器人控制方法及控制*** |
CN110471410A (zh) * | 2019-07-17 | 2019-11-19 | 武汉理工大学 | 基于ros的智能车语音辅助导航及安全提醒***及方法 |
CN110538051A (zh) * | 2019-08-27 | 2019-12-06 | 华南理工大学 | 一种自动寻路的盲人智能辅助装置及其方法 |
CN111035543A (zh) * | 2019-12-31 | 2020-04-21 | 北京新能源汽车技术创新中心有限公司 | 一种智能导盲机器人 |
CN111142536A (zh) * | 2020-01-06 | 2020-05-12 | 华南师范大学 | 一种室内导盲机器人 |
CN111652261A (zh) * | 2020-02-26 | 2020-09-11 | 南开大学 | 一种多模态感知融合*** |
US11454974B2 (en) * | 2020-06-29 | 2022-09-27 | Baidu Usa Llc | Method, apparatus, device, and storage medium for controlling guide robot |
CN112045680A (zh) * | 2020-09-02 | 2020-12-08 | 山东大学 | 一种基于行为克隆的布料码垛机器人控制***及控制方法 |
CN112045680B (zh) * | 2020-09-02 | 2022-03-04 | 山东大学 | 一种基于行为克隆的布料码垛机器人控制***及控制方法 |
CN112629528A (zh) * | 2020-11-28 | 2021-04-09 | 北京瞪羚云智科技有限公司 | 利用视觉相机实现四足机器人定位导航***及其工作方法 |
CN112932911A (zh) * | 2021-04-02 | 2021-06-11 | 常州大学怀德学院 | 基于混合感知***的导盲机器人 |
CN113119138A (zh) * | 2021-04-16 | 2021-07-16 | 中国科学技术大学 | 基于物联网的助盲机器人***及方法 |
CN112987763B (zh) * | 2021-05-11 | 2021-09-17 | 南京理工大学紫金学院 | 一种基于ros的自主导航机器人控制***的智能小车 |
CN112987763A (zh) * | 2021-05-11 | 2021-06-18 | 南京理工大学紫金学院 | 一种基于ros的自主导航机器人控制***的智能小车 |
CN113813146A (zh) * | 2021-09-30 | 2021-12-21 | 紫清智行科技(北京)有限公司 | 一种基于导航与盲道循迹结合的室外导盲方法和*** |
CN113917452A (zh) * | 2021-09-30 | 2022-01-11 | 北京理工大学 | 一种视觉与雷达结合的盲道检测装置和方法 |
CN113917452B (zh) * | 2021-09-30 | 2022-05-24 | 北京理工大学 | 一种视觉与雷达结合的盲道检测装置和方法 |
CN113749915A (zh) * | 2021-10-13 | 2021-12-07 | 中国计量大学 | 一种场景复现的导盲方法与*** |
CN113749915B (zh) * | 2021-10-13 | 2023-09-01 | 中国计量大学 | 一种场景复现的导盲方法与*** |
CN114313052A (zh) * | 2021-12-31 | 2022-04-12 | 杭州未名信科科技有限公司 | 可自锁的腿足模块及机器人 |
CN115488901A (zh) * | 2022-09-26 | 2022-12-20 | 夏欣玮 | 一种四足式导盲机器人 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107390703A (zh) | 一种智能化导盲机器人及其导盲方法 | |
CN207281590U (zh) | 一种智能化导盲机器人装置 | |
KR101970931B1 (ko) | 차량 도로망의 주행에 사용되는 예측 차량 정보의 생성 방법 및 장치 | |
CA3079656C (en) | Localization determination for vehicle operation | |
CN106054896A (zh) | 一种智能导航机器人小车*** | |
Liu et al. | The role of the hercules autonomous vehicle during the covid-19 pandemic: An autonomous logistic vehicle for contactless goods transportation | |
CN105823478A (zh) | 一种自主避障导航信息共享和使用方法 | |
CN107643752A (zh) | 基于行人轨迹预测的全向移动机器人路径规划算法 | |
CN105468003A (zh) | 全方位智能跟随高尔夫球车及其跟随方法 | |
CN108062111A (zh) | 一种多旋翼无人机自主避障装置和避障方法 | |
EP2296072A2 (en) | Asymmetric stereo vision system | |
US11274936B2 (en) | Safety-assured remote driving for autonomous vehicles | |
US10901417B2 (en) | Autonomous vehicle operational management with visual saliency perception control | |
CN111609851A (zh) | 一种移动型导盲机器人***及导盲方法 | |
CN105388913A (zh) | 基于四轴飞行器的智能停车场及导航方法 | |
CN113591518B (zh) | 一种图像的处理方法、网络的训练方法以及相关设备 | |
CN205384508U (zh) | 全方位智能跟随高尔夫球车 | |
JP7462837B2 (ja) | 低信頼度の物体検出条件における車両動作のための注釈及びマッピング | |
CN112318507A (zh) | 一种基于slam技术的机器人智能控制*** | |
Wang et al. | Research on localization and path planning of indoor robot based on ROS | |
Jarvis | An all-terrain intelligent autonomous vehicle with sensor-fusion-based navigation capabilities | |
Li et al. | Implementation of an autonomous driving system for parallel and perpendicular parking | |
Choe et al. | Real-time collision avoidance method for unmanned ground vehicle | |
CN220473888U (zh) | 一种多传感器的自主巡航智能车 | |
CN207882763U (zh) | 一种多旋翼无人机自主避障装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20171124 |