CN109445440A - 基于传感器融合与改进q学习算法的动态避障方法 - Google Patents
基于传感器融合与改进q学习算法的动态避障方法 Download PDFInfo
- Publication number
- CN109445440A CN109445440A CN201811529430.7A CN201811529430A CN109445440A CN 109445440 A CN109445440 A CN 109445440A CN 201811529430 A CN201811529430 A CN 201811529430A CN 109445440 A CN109445440 A CN 109445440A
- Authority
- CN
- China
- Prior art keywords
- robot
- data
- sensor
- obstacle avoidance
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000006872 improvement Effects 0.000 title claims description 4
- 230000007613 environmental effect Effects 0.000 claims abstract description 34
- 230000004888 barrier function Effects 0.000 claims abstract description 24
- 230000009471 action Effects 0.000 claims abstract description 10
- 239000000203 mixture Substances 0.000 claims abstract description 6
- 230000004927 fusion Effects 0.000 claims description 13
- 230000006399 behavior Effects 0.000 claims description 9
- 238000013461 design Methods 0.000 claims description 9
- 230000003068 static effect Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000005267 amalgamation Methods 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims 2
- 230000032258 transport Effects 0.000 claims 1
- 230000007547 defect Effects 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000011358 absorbing material Substances 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Acoustics & Sound (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明请求保护一种基于传感器融合与改进Q学习算法的动态避障方法,包含步骤:S1:设置机器人运动时与障碍物的安全距离、目的坐标位置信息和范围;S2:确定机器人当前的位姿,进行导航路径规划,并开始前进;S3:导航过程中,将声纳传感器检测到的环境数据和激光传感器检测到环境数据进行预处理与特征化,然后相融合得到环境数据;S4:根据融合后的环境数据判断当前机器人状态是否需要进行动态避障,如果需要则进入S5,不需要则进入S6;S5:利用改进Q学习动态避障算法,得到下一步的动作状态(a,θ);S6:判断机器人是否到达目标点,如果没有则返回S2继续导航,如果已到达则结束导航。本发明方法有效地克服了单一传感器缺陷并有效地提升了动态环境中避障效率。
Description
技术领域
本发明属于机器人路径规划技术领域,涉及一种基于传感器融合与Q学习算法的移动机器人的动态避障方法。
背景技术
路径规划是自主移动机器人的关键要素之一,希望移动机器人能够尽量快速准确地到达目的地,同时也需要机器人能够安全有效的躲避环境中的障碍物。目前在静态环境下安全有效的躲避障碍物并准确地到达目的地已经有较多较好的解决方案。但是在环境中存在运动的障碍物时,并且障碍物的速度与位置时刻都在发生变化时,这就对移动机器人的导航过程的避障算法的实时性和准确性都比静态环境中的要求更高,如果继续使用静态环境中的算法来进行动态环境的导航与避障,那么极大可能会使得避障失败导致最终导航失败。
针对移动机器人的动态避障的研究主要是要对障碍物进行有效的检测和碰撞躲避控制算法设计,使机器人能够准确快速的完成导航任务。对于对障碍物的检测,需要利用机器人自身所带的测量传感器,对障碍物进行距离与位置的测量以及运动状态的判断。目前对于这类传感器的使用一般有声纳传感器、红外传感器、激光传感器、视觉传感器等。但是单独一种传感器往往有它的缺陷,例如声纳传感器在遇到吸声材料时检测效果就会大受影响导致误差,红外和激光在遇到透光性强的材料时将无法检测等。
在动态避障算法的研究上,比较常用的方法有人工势场法、VFH类算法、神经网络、遗传算法、模糊逻辑法以及滚动窗口法等。各有各自的优缺点,例如人工势场法计算量小实时性好,但容易出现局部极小值点。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种有效地提升了动态环境中避障效率的基于传感器融合与Q学习算法的动态避障方法。本发明的技术方案如下:
一种基于传感器融合与Q学习算法的动态避障方法,其包括以下步骤:
S1:设置机器人运动时与障碍物的安全距离dm、目标点坐标位置信息(xt,yt)和目标半径范围Rm;xt、yt分别表示目标点的中心在静态地图中的横轴、纵轴坐标,,R表示以(xt,yt)为中心的半径为dwin的区域都可算到达目的地;
S2:根据地图信息与环境信息确定机器人当前的位姿(xr,yr,θr),θr是机器人实时的运动方向与X轴的夹角,并结合静态地图信息与目标点坐标位置信息(xt,yt)进行导航路径规划,并开始前进;
S3:导航过程中,将声纳传感器检测到的环境数据Si和激光传感器检测到环境数据Li进行预处理与特征化,然后相融合得到环境数据Ei;
S4:根据融合后的环境数据Ei判断当前机器人状态是否需要进行动态避障,如果需要则进入S5,不需要则进入S6;
S5:利用改进Q学习动态避障算法,改进Q学习动态避障算法改进在于设计动作状态上分得更细化,得到下一步的动作状态(a,θ);a代表移动机器人的运动状态,θ∈W代表执行动作时机器人所偏转的角度;
S6:判断机器人是否到达目标点(xt,yt),如果没有则返回S2继续导航,如果已到达则结束导航。
进一步的,所述步骤S3将声纳传感器检测到的环境数据Si和激光传感器检测到环境数据Li进行预处理与特征化,然后相融合得到环境数据Ei,具体包括:将声纳传感器数据Si(i=1,2,…,16)进行预处理,在转换为环境特征参数Sfi(i=1,2,…,16);激光传感器的数据需先进行分区域处理后得到区域距离数据Li(i=1,2,…,8),再进行转换为距离特征参数Lfi(i=1,2,…,8);
根据定义的安全距离dm,将声纳传感器的距离数据值转换为距离特征值:
Sfi=Si÷d(i=1,2,3,…,16)
将激光传感器的距离数据值转换为距离特征值:
Lfi=Li÷d(i=1,2,3,…,8)
激光传感器数据采用提取最小值得出一个代表该区域的距离值
Li=min(xi1,xi2,…,xin);(i=1,2,…,8;n为每个区域对应的数据个数)
然后根据声纳传感器的环境特征数据和激光传感器的环境特征数据进行融合,得出当前的环境特征数据Ef1~Ef16,融合方式为:
进一步的,所述将声纳传感器数据Si(i=1,2,…,16)进行预处理,在转换为环境特征参数Sfi(i=1,2,…,16);激光传感器的数据需先进行分区域处理后得到区域距离数据Li(i=1,2,…,8),具体包括:先将机器人正前方作为参考起点,顺时针角度为负,逆时针角度为正,然后将测距传感器数据分为16个小区域E1~E16,声纳传感器的数据正好对应16个小区域E1~E16,而激光雷达的数据只提取-90°~+90°之间的数据,正好对应E1~E8区域;
进一步的,所述步骤5改进Q学习动态避障算法具体包括:动作的选择策略采用的是贪婪动作,即对应当前状态下Q值最大的动作(a,θ),表示为
s表示状态,A、w分别表示动作以及对应的角度,当机器人需要进行动态避障时,将该时刻的环境数据E1~E16、当前机器人位姿(xr,yr,θr)以及目标点坐标(xt,yt)作为Q学习输入,然后经过Q学习决策以后输出下一刻动作(a,θ):
其中st是t时刻的状态,(at,θt)是t时刻的行为,Rt是t时刻行为对应的奖励值,是在t+1时刻采取的所有可能的行为在新状态下计算的最大Q值,α是学习率,γ是折扣因子。
进一步的,所述动作(a,θ)的设计具体为,由4个动作A={a1,a2,a3,a4}和15个偏转角度W={0°,±45°,±90°,±135°,180°}配合:
a∈A,a=a1代表移动机器人向前进,a=a2代表移动机器人向左转,a=a3代表移动机器人向右转,a=a4代表移动机器人停止;θ∈W代表执行动作时机器人所偏转的角度,其中,a=a1时对应的θ角应为0°,a=a2时对应的θ角应为{45°,90°,135°},a=a3时对应的θ角应为{-135°,-90°,-45°},a=a4时对应的θ角应为180°。
进一步的,奖励R值的设计具体为:
为了定义奖励函数,首先对机器人的状态s进行如下分类:
1)安全状态SS:机器人与环境中的任何障碍物碰撞的可能性很小或没有可能性的一组状态;
2)非安全状态NS:机器人与环境中的任何障碍物碰撞的可能性很高的一组状态;
3)获胜状态WS:机器人到达目标时的状态;
4)失效状态FS:机器人与障碍物碰撞时的状态。
根据机器人的状态的变化,定义奖励函数。
进一步的,所述步骤S6具体为,根据机器人当前的坐标信息(xr,yr)判断机器人是否到达目标点(xt,yt):
如果表明机器人已经到达目标点范围内,已经是WS,结束此次导航;
反之,表明机器人尚未达到目标点,仍需要继续导航,返回步骤S2继续执行,直到到达目标点。
本发明的优点及有益效果如下:
本发明提供了一种基于传感器融合与Q学习算法的移动机器人的动态避障方法,将声纳传感器与激光传感器融合,从而弥补了采用单一激光或者单一声纳时障碍物材料引起检测的缺陷,再增加Q学习算法的运动角度,有效地提升了动态环境中避障效率。
附图说明
图1是本发明提供优选实施例为机器人传感器模型:a为声纳传感器模型,b为激光传感器模型,c为融合后传感器模型;
图2为机器人环境模型;
图3为整体流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是:
如图3所示,基于传感器融合与Q学习算法的移动机器人的动态避障方法,该方法包含如下步骤:
S1:设置机器人运动时与障碍物的安全距离dm、目的坐标位置信息(xt,yt)和范围Rm;
S2:根据地图信息与环境信息确定机器人当前的位姿(xr,yr,θr),并结合静态地图信息与目标点(xt,yt)进行导航路径规划,并开始前进;
S3:导航过程中,将声纳传感器检测到的环境数据Si(i=1,2,…,16)和激光传感器检测到环境数据Li(i=1,2,…,8)进行预处理与特征化,然后相融合得到环境数据Ei(i=1,2,…,16);
S4:根据融合后的环境数据Ei(i=1,2,…,16)判断当前机器人状态是否需要进行动态避障,如果需要则进入S5,不需要则进入S6;
S5:利用改进Q学习动态避障算法,得到下一步的动作状态(a,θ);
S6:判断机器人是否到达目标点(xt,yt),如果没有则返回S2继续导航,如果已到达则结束导航。
进一步,步骤S3具体为,先将机器人正前方作为参考起点,顺时针角度为负,逆时针角度为正,然后将测距传感器数据分为16个小区域E1~E16(如图1),声纳传感器的数据正好对应16个小区域E1~E16,而激光雷达的数据只提取-90°~+90°之间的数据,正好对应E1~E8区域。
将声纳传感器数据Si(i=1,2,…,16)进行预处理,在转换为环境特征参数Sfi(i=1,2,…,16);激光传感器的数据比较多,需要先进行分区域处理后得到区域距离数据Li(i=1,2,…,8)再进行转换为距离特征参数Lfi(i=1,2,…,8)。
根据定义的安全距离dm,将声纳传感器的距离数据值转换为距离特征值:
Sfi=Si÷d(i=1,2,3,…,16) (2)
将激光传感器的距离数据值转换为距离特征值:
Lfi=Li÷d(i=1,2,3,…,8) (3)
激光传感器数据比较多,每一个区域都不止一两个数据,所以需要先对每个区域的数据进行整理,得出一个代表该区域的距离值,这里处理的方法采用提取最小值
Li=min(xi1,xi2,…,xin);(i=1,2,…,8;n为每个区域对应的数据个数) (4)
然后根据声纳传感器的环境特征数据和激光传感器的环境特征数据进行融合,得出当前的环境特征数据Ef1~Ef16,融合方式为:
进一步,S4具体为,当机器人在导航过程中(假设任意t时刻,机器人都处于向前移动状态):
如果Ei≤1(i=1,2,…,8),表明机器人在前进的过程中可能存在动态障碍物影响导航,需要进行动态避障来保证导航安全,进入步骤S5进行动态避障;
如果Ei>1(i=1,2,…,8),表明机器人前进的过程中安全,不需要进行动态避障,则进入步骤S6。
进一步,S5具体为:
首先对机器人的环境模型进行一些设定,如图2所示:
dt表示机器人到目标的距离:
do表示机器人角度上障碍物离机器人的距离;
R表示以目标点为圆心的半径,当dt<R时表示机器人达到目标点;
dcol表示机器人与障碍物碰撞距离;
(xr,yr,θr)机器人实时位姿,(xr,yr)机器人在地图中的实时坐标,θr是机器人实时的运动方向与X轴的夹角;
(xt,yt)目标点在地图中的坐标。
Q学习动态避障算法:
动作的选择策略采用的是贪婪动作,即对应当前状态下Q值最大的动作(a,θ),表示为
具体一点,当机器人需要进行动态避障时,将该时刻的环境数据E1~E16、当前机器人位姿(xr,yr,θr)以及目标点坐标(xt,yt)作为Q学习输入,然后经过Q学习决策以后输出下一刻动作(a,θ):
其中st是t时刻的状态,(at,θt)是t时刻的行为,Rt是t时刻行为对应的奖励值,是在t+1时刻采取的所有可能的行为在新状态下计算的最大Q值,α是学习率,γ是折扣因子。
其中动作(a,θ)的设计具体为,由4个动作A={a1,a2,a3,a4}和15个偏转角度W={0°,±45°,±90°,±135°,180°}配合:
a∈A,a=a1代表移动机器人向前进,a=a2代表移动机器人向左转,a=a3代表移动机器人向右转,a=a4代表移动机器人停止;
θ∈W代表执行动作时机器人所偏转的角度,其中,a=a1时对应的θ角应为0°,a=a2时对应的θ角应为{45°,90°,135°},a=a3时对应的θ角应为{-135°,-90°,-45°},a=a4时对应的θ角应为180°。
其中奖励R值的设计具体为:
为了定义奖励函数,首先对机器人的状态s进行如下分类:
1)安全状态SS:机器人与环境中的任何障碍物碰撞的可能性很小或没有可能性的一组状态;
2)非安全状态NS:机器人与环境中的任何障碍物碰撞的可能性很高的一组状态;
3)获胜状态WS:机器人到达目标时的状态;
4)失效状态FS:机器人与障碍物碰撞时的状态。
根据机器人的状态的变化,将奖励函数定义如下表:
S6:根据机器人当前的坐标信息(xr,yr)判断机器人是否到达目标点(xt,yt):
如果表明机器人已经到达目标点范围内,已经是WS,结束此次导航;
反之,表明机器人尚未达到目标点,仍需要继续导航,返回步骤S2继续执行,直到到达目标点。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (7)
1.一种基于传感器融合与Q学习算法的动态避障方法,其特征在于,包括以下步骤:
S1:设置机器人运动时与障碍物的安全距离dm、目标点坐标位置信息(xt,yt)和目标半径范围Rm;xt、yt分别表示目标点的中心在静态地图中的横轴、纵轴坐标,,R表示以(xt,yt)为中心的半径为dwin的区域都可算到达目的地;
S2:根据地图信息与环境信息确定机器人当前的位姿(xr,yr,θr),θr是机器人实时的运动方向与X轴的夹角,并结合静态地图信息与目标点坐标位置信息(xt,yt)进行导航路径规划,并开始前进;
S3:导航过程中,将声纳传感器检测到的环境数据Si和激光传感器检测到环境数据Li进行预处理与特征化,然后相融合得到环境数据Ei;
S4:根据融合后的环境数据Ei判断当前机器人状态是否需要进行动态避障,如果需要则进入S5,不需要则进入S6;
S5:利用改进Q学习动态避障算法,改进Q学习动态避障算法改进在于设计动作状态上分得更细化,得到下一步的动作状态(a,θ);a代表移动机器人的运动状态,θ∈W代表执行动作时机器人所偏转的角度;
S6:判断机器人是否到达目标点(xt,yt),如果没有则返回S2继续导航,如果已到达则结束导航。
2.根据权利要求1所述的基于传感器融合与Q学习算法的动态避障方法,其特征在于,所述步骤S3将声纳传感器检测到的环境数据Si和激光传感器检测到环境数据Li进行预处理与特征化,然后相融合得到环境数据Ei,具体包括:将声纳传感器数据Si(i=1,2,…,16)进行预处理,在转换为环境特征参数Sfi(i=1,2,…,16);激光传感器的数据需先进行分区域处理后得到区域距离数据Li(i=1,2,…,8),再进行转换为距离特征参数Lfi(i=1,2,…,8);
根据定义的安全距离dm,将声纳传感器的距离数据值转换为距离特征值:
Sfi=Si÷d(i=1,2,3,…,16)
将激光传感器的距离数据值转换为距离特征值:
Lfi=Li÷d(i=1,2,3,…,8)
激光传感器数据采用提取最小值得出一个代表该区域的距离值
Li=min(xi1,xi2,…,xin);(i=1,2,…,8;n为每个区域对应的数据个数)
然后根据声纳传感器的环境特征数据和激光传感器的环境特征数据进行融合,得出当前的环境特征数据Ef1~Ef16,融合方式为:
3.根据权利要求2所述的基于传感器融合与Q学习算法的动态避障方法,其特征在于,所述将声纳传感器数据Si(i=1,2,…,16)进行预处理,在转换为环境特征参数Sfi(i=1,2,…,16);激光传感器的数据需先进行分区域处理后得到区域距离数据Li(i=1,2,…,8),具体包括:先将机器人正前方作为参考起点,顺时针角度为负,逆时针角度为正,然后将测距传感器数据分为16个小区域E1~E16,声纳传感器的数据正好对应16个小区域E1~E16,而激光雷达的数据只提取-90°~+90°之间的数据,正好对应E1~E8区域;
4.根据权利要求2所述的基于传感器融合与Q学习算法的动态避障方法,其特征在于,所述步骤5改进Q学习动态避障算法具体包括:动作的选择策略采用的是贪婪动作,即对应当前状态下Q值最大的动作(a,θ),表示为
s表示状态,A、w分别表示动作以及对应的角度,当机器人需要进行动态避障时,将该时刻的环境数据E1~E16、当前机器人位姿(xr,yr,θr)以及目标点坐标(xt,yt)作为Q学习输入,然后经过Q学习决策以后输出下一刻动作(a,θ):
其中st是t时刻的状态,(at,θt)是t时刻的行为,Rt是t时刻行为对应的奖励值,是在t+1时刻采取的所有可能的行为在新状态下计算的最大Q值,α是学习率,γ是折扣因子。
5.根据权利要求4所述的基于传感器融合与Q学习算法的动态避障方法,其特征在于,所述动作(a,θ)的设计具体为,由4个动作A={a1,a2,a3,a4}和15个偏转角度W={0°,±45°,±90°,±135°,180°}配合:
a∈A,a=a1代表移动机器人向前进,a=a2代表移动机器人向左转,a=a3代表移动机器人向右转,a=a4代表移动机器人停止;θ∈W代表执行动作时机器人所偏转的角度,其中,a=a1时对应的θ角应为0°,a=a2时对应的θ角应为{45°,90°,135°},a=a3时对应的θ角应为{-135°,-90°,-45°},a=a4时对应的θ角应为180°。
6.根据权利要求4所述的基于传感器融合与Q学习算法的动态避障方法,其特征在于,奖励R值的设计具体为:
为了定义奖励函数,首先对机器人的状态s进行如下分类:
1)安全状态SS:机器人与环境中的任何障碍物碰撞的可能性很小或没有可能性的一组状态;
2)非安全状态NS:机器人与环境中的任何障碍物碰撞的可能性很高的一组状态;
3)获胜状态WS:机器人到达目标时的状态;
4)失效状态FS:机器人与障碍物碰撞时的状态。
根据机器人的状态的变化,定义奖励函数。
7.根据权利要求4所述的基于传感器融合与Q学习算法的动态避障方法,其特征在于,所述步骤S6具体为,根据机器人当前的坐标信息(xr,yr)判断机器人是否到达目标点(xt,yt):
如果表明机器人已经到达目标点范围内,已经是WS,结束此次导航;
反之,表明机器人尚未达到目标点,仍需要继续导航,返回步骤S2继续执行,直到到达目标点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811529430.7A CN109445440B (zh) | 2018-12-13 | 2018-12-13 | 基于传感器融合与改进q学习算法的动态避障方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811529430.7A CN109445440B (zh) | 2018-12-13 | 2018-12-13 | 基于传感器融合与改进q学习算法的动态避障方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109445440A true CN109445440A (zh) | 2019-03-08 |
CN109445440B CN109445440B (zh) | 2022-03-22 |
Family
ID=65558734
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811529430.7A Active CN109445440B (zh) | 2018-12-13 | 2018-12-13 | 基于传感器融合与改进q学习算法的动态避障方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109445440B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110032189A (zh) * | 2019-04-22 | 2019-07-19 | 河海大学常州校区 | 一种不依赖地图的智能仓储移动机器人路径规划方法 |
CN110345948A (zh) * | 2019-08-16 | 2019-10-18 | 重庆邮智机器人研究院有限公司 | 基于神经网络与q学习算法结合的动态避障方法 |
CN110378439A (zh) * | 2019-08-09 | 2019-10-25 | 重庆理工大学 | 基于Q-Learning算法的单机器人路径规划方法 |
CN111673730A (zh) * | 2019-03-11 | 2020-09-18 | 本田技研工业株式会社 | 路径决定方法 |
CN112416295A (zh) * | 2020-12-09 | 2021-02-26 | 厦门壹普智慧科技有限公司 | 用于浮点数据、张量数据运算的运算器 |
CN112762928A (zh) * | 2020-12-23 | 2021-05-07 | 重庆邮电大学 | 含有激光slam的odom与dm地标组合移动机器人及导航方法 |
CN113064437A (zh) * | 2021-03-31 | 2021-07-02 | 成都莱洁科技有限公司 | 机器人自动避撞***及方法 |
CN113110466A (zh) * | 2021-04-22 | 2021-07-13 | 深圳市井智高科机器人有限公司 | 一种用于agv机器人的高灵敏度避障***及方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103092204A (zh) * | 2013-01-18 | 2013-05-08 | 浙江大学 | 一种混合的机器人动态路径规划方法 |
KR101539270B1 (ko) * | 2015-02-27 | 2015-07-24 | 군산대학교산학협력단 | 충돌회피 및 자율주행을 위한 센서융합 기반 하이브리드 반응 경로 계획 방법, 이를 수행하기 위한 기록 매체 및 이동로봇 |
CN105137967A (zh) * | 2015-07-16 | 2015-12-09 | 北京工业大学 | 一种深度自动编码器与q学习算法相结合的移动机器人路径规划方法 |
CN108345019A (zh) * | 2018-04-20 | 2018-07-31 | 长安大学 | 一种车辆所在车道的定位装置及方法 |
CN108398951A (zh) * | 2018-03-20 | 2018-08-14 | 广州番禺职业技术学院 | 一种多传感器信息融合的机器人姿态测量方法与装置 |
WO2018176358A1 (en) * | 2017-03-31 | 2018-10-04 | Intel Corporation | Autonomous tunnel navigation with a robotic system |
CN108762264A (zh) * | 2018-05-22 | 2018-11-06 | 重庆邮电大学 | 基于人工势场与滚动窗口的机器人的动态避障方法 |
-
2018
- 2018-12-13 CN CN201811529430.7A patent/CN109445440B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103092204A (zh) * | 2013-01-18 | 2013-05-08 | 浙江大学 | 一种混合的机器人动态路径规划方法 |
KR101539270B1 (ko) * | 2015-02-27 | 2015-07-24 | 군산대학교산학협력단 | 충돌회피 및 자율주행을 위한 센서융합 기반 하이브리드 반응 경로 계획 방법, 이를 수행하기 위한 기록 매체 및 이동로봇 |
CN105137967A (zh) * | 2015-07-16 | 2015-12-09 | 北京工业大学 | 一种深度自动编码器与q学习算法相结合的移动机器人路径规划方法 |
WO2018176358A1 (en) * | 2017-03-31 | 2018-10-04 | Intel Corporation | Autonomous tunnel navigation with a robotic system |
CN108398951A (zh) * | 2018-03-20 | 2018-08-14 | 广州番禺职业技术学院 | 一种多传感器信息融合的机器人姿态测量方法与装置 |
CN108345019A (zh) * | 2018-04-20 | 2018-07-31 | 长安大学 | 一种车辆所在车道的定位装置及方法 |
CN108762264A (zh) * | 2018-05-22 | 2018-11-06 | 重庆邮电大学 | 基于人工势场与滚动窗口的机器人的动态避障方法 |
Non-Patent Citations (1)
Title |
---|
MORTAZA ZOLFPOUR-AROKHLO等: "Modeling of route planning system based on Q value-based dynamic programming with multi-agent reinforcement learning algorithms", 《ENGINEERING APPLICATION OF AFTIFICIAL INTELLIGENCE》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11669096B2 (en) | 2019-03-11 | 2023-06-06 | Honda Motor Co., Ltd. | Route determination method |
CN111673730A (zh) * | 2019-03-11 | 2020-09-18 | 本田技研工业株式会社 | 路径决定方法 |
CN110032189A (zh) * | 2019-04-22 | 2019-07-19 | 河海大学常州校区 | 一种不依赖地图的智能仓储移动机器人路径规划方法 |
CN110378439A (zh) * | 2019-08-09 | 2019-10-25 | 重庆理工大学 | 基于Q-Learning算法的单机器人路径规划方法 |
CN110378439B (zh) * | 2019-08-09 | 2021-03-30 | 重庆理工大学 | 基于Q-Learning算法的单机器人路径规划方法 |
CN110345948A (zh) * | 2019-08-16 | 2019-10-18 | 重庆邮智机器人研究院有限公司 | 基于神经网络与q学习算法结合的动态避障方法 |
CN112416295A (zh) * | 2020-12-09 | 2021-02-26 | 厦门壹普智慧科技有限公司 | 用于浮点数据、张量数据运算的运算器 |
CN112416295B (zh) * | 2020-12-09 | 2024-02-02 | 厦门壹普智慧科技有限公司 | 用于浮点数据、张量数据运算的运算器 |
CN112762928A (zh) * | 2020-12-23 | 2021-05-07 | 重庆邮电大学 | 含有激光slam的odom与dm地标组合移动机器人及导航方法 |
CN112762928B (zh) * | 2020-12-23 | 2022-07-15 | 重庆邮电大学 | 含有激光slam的odom与dm地标组合移动机器人及导航方法 |
CN113064437A (zh) * | 2021-03-31 | 2021-07-02 | 成都莱洁科技有限公司 | 机器人自动避撞***及方法 |
CN113110466B (zh) * | 2021-04-22 | 2021-12-21 | 深圳市井智高科机器人有限公司 | 一种用于agv机器人的高灵敏度避障***及方法 |
CN113110466A (zh) * | 2021-04-22 | 2021-07-13 | 深圳市井智高科机器人有限公司 | 一种用于agv机器人的高灵敏度避障***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109445440B (zh) | 2022-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109445440A (zh) | 基于传感器融合与改进q学习算法的动态避障方法 | |
CN108762264B (zh) | 基于人工势场与滚动窗口的机器人的动态避障方法 | |
Wang et al. | Application of Dijkstra algorithm in robot path-planning | |
CN104819724B (zh) | 一种基于gis的无人地面车辆自主行驶辅助*** | |
CN105955254B (zh) | 一种适用于机器人路径搜索的改进的a*算法 | |
CN106708054A (zh) | 结合地图栅格与势场法避障的巡检机器人路径规划方法 | |
Sales et al. | Adaptive finite state machine based visual autonomous navigation system | |
CN106873599A (zh) | 基于蚁群算法和极坐标变换的无人自行车路径规划方法 | |
CN110362089A (zh) | 一种基于深度强化学习和遗传算法的无人船自主导航的方法 | |
WO2016013095A1 (ja) | 自律移動装置 | |
CN110032189A (zh) | 一种不依赖地图的智能仓储移动机器人路径规划方法 | |
JP7130062B2 (ja) | 経路決定方法 | |
CN109471446A (zh) | 一种基于神经网络的全覆盖路径规划方法 | |
CN106774425A (zh) | 一种无人机飞行导航的方法及*** | |
CN108628326A (zh) | 一种智能水下机器人运动重规划策略 | |
Chronis et al. | Sketch-based navigation for mobile robots | |
CN113158779B (zh) | 一种行走方法、装置和计算机存储介质 | |
CN112363491A (zh) | 机器人掉头控制方法及装置 | |
CN111673729B (zh) | 路径决定方法 | |
Ma et al. | Towards navigation without precise localization: Weakly supervised learning of goal-directed navigation cost map | |
Song et al. | Critical rays self-adaptive particle filtering SLAM | |
Li et al. | An efficient deep reinforcement learning algorithm for Mapless navigation with gap-guided switching strategy | |
Müller et al. | RatSLAM on humanoids-a bio-inspired SLAM model adapted to a humanoid robot | |
Gong et al. | Robot path planning in uncertain environments based on particle swarm optimization | |
Sun et al. | Research on active SLAM with fusion of monocular vision and laser range data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |