CN114384920B - 一种基于局部栅格地图实时构建的动态避障方法 - Google Patents
一种基于局部栅格地图实时构建的动态避障方法 Download PDFInfo
- Publication number
- CN114384920B CN114384920B CN202210284948.9A CN202210284948A CN114384920B CN 114384920 B CN114384920 B CN 114384920B CN 202210284948 A CN202210284948 A CN 202210284948A CN 114384920 B CN114384920 B CN 114384920B
- Authority
- CN
- China
- Prior art keywords
- obstacle
- dynamic
- mobile robot
- dynamic obstacle
- grid map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000010276 construction Methods 0.000 title abstract description 4
- 230000011218 segmentation Effects 0.000 claims abstract description 54
- 230000004888 barrier function Effects 0.000 claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 230000008569 process Effects 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims description 42
- 238000012549 training Methods 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 30
- 230000033001 locomotion Effects 0.000 claims description 11
- 230000002787 reinforcement Effects 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000008447 perception Effects 0.000 abstract description 3
- 230000007613 environmental effect Effects 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000003637 basic solution Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种基于局部栅格地图实时构建的动态避障方法，包括：将获取实际室内场景RGBD图像数据输入到完成训练的障碍物检测及语义分割网络中，提取出实际室内场景中不同类型障碍物和语义分割结果，并生成带有语义信息的三维点云数据；基于三维点云数据，提取场景中障碍物的状态信息，输入动态障碍物轨迹预测模型，预测出实际室内场景中动态障碍物的轨迹，从而构建局部栅格地图，再基于动态避障模型，实时发布移动机器人导航过程中避开各种类型障碍物的速度指令。本发明的导航避障方法适用于室内场景中移动机器人的导航，提高了移动机器人对环境障碍物的感知能力，从而进一步提高了移动机器人实际导航的安全性。
Description
技术领域
本发明属于移动机器人导航技术领域，具体地，涉及一种基于局部栅格地图实时构建的动态避障方法。
背景技术
运动避障是移动机器人导航不可或缺的一项重要功能，随着传感器技术和机器人理论的发展，普通简单室内场景中的机器人建图、定位和避障都已经有基本的解决方案，但是安全地与环境中其他动态智能体，如：行人或移动障碍物，交互仍然是移动机器人的一个基本挑战，原因在于移动机器人导航规划***通常不了解其他智能体的移动目标和期望的路径，这也使得研究人员开始重点研究移动机器人动态避障算法。
近年来，基于学习的移动机器人避障技术得到了广泛的研究。深度神经网络已广泛应用于有监督的学习范式中，以训练一种避障策略，该策略将传感器的输入映射到机器人的控制命令，以在具有静态障碍物的环境中辅助机器人导航。然而，与其它监督学习方法一样，以上学习策略的性能受到标记训练集质量的严重制约，并且训练数据集和测试数据集之间的分布可能不匹配，这限制了其在现实世界中的应用。为了克服这一局限性，一些移动机器人避障方法利用迁移学习中的渐进式网络来实现避障模型的多环境迁移；然而，测试环境相对简单和结构化，学习到的规划器很难推广到具有动态障碍物的场景中。针对高度动态的非结构化环境，近年来，一些应用分散式多机器人导航方法相继被提出；然而，这些导航方法需要复杂的框架设计，需要大量的在线计算，整个***对感知不确定性增加，同时在导航过程中可能会出现振荡或冻结现象，并且很难保证机器人导航在一般情况下的性能。此外，在现实世界中，由于传感器噪声和环境的复杂性，存在感知误差。为了解决由感知误差带来的不确定性，很多导航避障方法都假设对附近的障碍物和环境进行了完整的观测。针对现有避障技术中难以安全高效地应对实际复杂动态环境的问题，目前尚未提出有效的解决方案。
发明内容
本发明提供了一种基于局部栅格地图实时构建的动态避障方法，解决了现有技术中难以安全高效地应对实际复杂动态环境的问题。
为实现上述技术目的，本发明采用如下技术方案：一种基于局部栅格地图实时构建的动态避障方法，具体包括如下步骤：
步骤1：基于英特尔RealSense D435传感器获取实际室内场景中的RGBD图像数据；
步骤2：将获取的RGBD图像数据输入到完成训练的障碍物检测及语义分割网络中，提取出实际室内场景中不同类型障碍物和语义分割结果；
步骤3：将步骤2中提取的不同类型障碍物和语义分割结果结合英特尔RealSenseD435传感器的内参及采集深度信息，利用二维与三维的空间映射关系，生成室内场景下带语义信息的三维点云数据；
步骤4：基于步骤3中生成的带语义的三维点云数据，提取动态障碍物的状态信息，并输入到训练好的动态障碍物轨迹预测模型，预测出实际室内场景中动态障碍物的轨迹；
步骤5：根据步骤3生成的三维点云数据和步骤4预测的动态障碍物轨迹，构建以移动机器人为中心，半径为3m的实时局部栅格地图；
步骤6：基于实时构建的局部栅格地图，构建基于深度强化学习框架的动态避障模型，实时发布移动机器人导航过程中避开各种类型障碍物的速度指令。
进一步地，步骤2包括如下子步骤：
步骤2.1：构建基于Mask R-CNN的障碍物检测及语义分割网络，定义室内场景中障碍物检测及语义分割网络的损失函数；所述障碍物检测及语义分割网络的损失函数L具体为：
其中，N表示一个训练批次RGB图像的数量，i表示RGB图像的索引，θ表示Mask R-CNN的网络参数，L1表示障碍物定位精度误差，
K为障碍物的类型数量，j为障碍物类型的索引，α表示障碍物定位精度在障碍物检测及语义分割任务中的权重，α＝0.8，lij表示第i张RGB图像上第j种障碍物预测的包围盒的向量，包含第i张RGB图像上第j种障碍物预测的包围盒的位置及尺寸信息，
表示第i张RGB图像上第j种障碍物真实的包围盒的向量，包含第i张RGB图像上第j种障碍物预测的包围盒的真实位置及尺寸信息，
表示范数的平方，L2表示障碍物分类准确度，
β表示障碍物分类准确度在障碍物检测及语义分割任务中的权重，β＝1，qij表示Mask R-CNN对第i张RGB图像上第j种障碍物分类正确的概率值，
表示第i张RGB图像上第j种障碍物的真实分类，L3表示障碍物语义分割精度，
M表示RGB图像上像素的总数，k表示第i张RGB图像上像素的索引，fik表示Mask R-CNN预测的第i张RGB图像上第k个像素语义类别，
表示第i张RGB图像上第k个像素的真实语义，γ表示对障碍物语义分割精度在障碍物检测及语义分割任务中的权重，γ＝0.5；
步骤2.2：基于COCO数据集训练障碍物检测及语义分割网络，直至障碍物检测及语义分割网络的损失函数收敛，完成对障碍物检测及语义分割网络的训练；
步骤2.3：将获取的RGB图像数据输入到完成训练的障碍物检测及语义分割网络中，提取出不同类型的障碍物和语义分割结果。
进一步地，所述三维点云数据(X，Y，Z)为：
其中，(u,v)表示RGB图像上任一像素点坐标，d表示RGB图像上对应像素点的深度值，(x0，y0)表示表示深度图像的中心坐标，fx表示RGBD视觉传感器内参中的第一焦距，fy表示RGBD视觉传感器内参中的第二焦距，s表示缩放因子。
进一步地，步骤4包括如下子步骤：
步骤4.1：确定动态障碍物的状态信息，设计动态障碍物轨迹预测模型及动态障碍物轨迹预测模型损失函数；
步骤4.2：将步骤4.1中确定的动态障碍物的状态信息输入动态障碍物轨迹预测模型中进行训练，直到动态障碍物轨迹预测模型损失函数收敛，完成对动态障碍物轨迹预测模型的训练；
步骤4.3：基于生成的三维点云数据，依据步骤4.1确定的动态障碍物的状态信息，输入到训练好的动态障碍物轨迹预测模型中，预测出实际室内场景中动态障碍物的轨迹。
进一步地，步骤4.1的实现过程具体为：
步骤4.1.1：针对当前检测到的一组动态障碍物
提取第i个动态障碍物在前τ帧数据中对应的轨迹
得出第i个动态障碍物的状态空间
其中，N表示一组动态障碍物的数量，i表示动态障碍物的索引，(xτ,yτ)表示第τ帧动态障碍物的空间位置，Δ是导数算子，：＝表示定义符号，c表示动态障碍物在每一帧数据中的动态密度构成的向量，c：＝[c(x1,y1),…c(xτ,yτ)]T，c(x,y)表示第i个动态障碍物在空间位置(x,y)上的动态密度；l表示动态障碍物的尺寸信息。
步骤4.1.2：所述动态障碍物轨迹预测模型由3个1维卷积层、3个全连接层依次连接组成，所述卷积层的通道数分别为64、32、32，且每层卷积层的卷积核大小为3，步长为1；所述全连接层的通道数分别为256、128、20，最后一层全连接层对应输入动态障碍物在τ+1帧到τ+10帧的空间位置{(xτ+1,yτ+1),(xτ+2,yτ+2),…,(xτ+10,yτ+10)}；
步骤4.1.3：基于该动态障碍物的真实轨迹信息
设置动态障碍物轨迹预测模型的损失函数I：
其中，w表示动态障碍物轨迹预测模型的参数；φ(wTΩi)表示预测的第i个动态障碍物的轨迹，
表示第i个动态障碍物的真实轨迹。
进一步地，步骤5中局部栅格地图的构建过程如下：移动机器人的朝向始终是栅格地图的正东方向，设置栅格地图的分辨率为240×240，栅格地图中的每一个栅格表示障碍物存在的概率；对于室内场景中的静态障碍物，在栅格地图上相应的栅格处填充1；对于动态障碍物，当前栅格填充1，预测的运动轨迹覆盖的栅格基于距离障碍物当前位置的距离进行概率填充，任意一个被运动轨迹覆盖的栅格的概率值为：所述栅格到该障碍物中心的距离与预测到该障碍物的整个运动轨迹的长度比值。
进一步地，步骤6包括如下子步骤：
步骤6.1：确定移动机器人动态避障模型的状态输入、动作空间及奖励函数；
步骤6.2：构建基于深度强化学习框架的动态避障网络模型，并进行训练，直至训练过程中移动机器人的奖励函数收敛，完成对动态避障网络模型的训练；
步骤6.3：将步骤6.1中确定的移动机器人的状态信息输入至训练好的动态避障模型中，输出移动机器人导航过程中避开各种类型障碍物的速度指令。
进一步地，步骤6.1的具体实现过程如下：
步骤6.1.1：t时刻移动机器人动态避障模型的状态输入包括：移动机器人的激光雷达传感器获取的激光数据lt，lt∈R3×360，R3×360为3×360的矩阵；实时构建的局部栅格地图；导航目标点相对于机器人的位置pt；移动机器人的角速度
及线速度
步骤6.1.2：t时刻移动机器人动态避障模型的动作空间包括：移动机器人(t+1)时刻、移动机器人角速度wt+1及线速度vt+1，且wt+1∈(-0.5,0.5)，vt+1∈(0.0,1.0)；
步骤6.1.3：t时刻移动机器人动态避障模型的奖励函数
其中，
表示移动机器人不断接近目标位置的奖励，如果移动机器人到达目标位置，
否则
xt-1表示移动机器人在t-1时刻在全局坐标系下的位置，xp表示导航目标点在全局坐标下的位置，xt表示移动机器人在t时刻在全局坐标系下的位置；
表示移动机器人发生碰撞的惩罚，若发生碰撞，
否则
表示移动机器人靠近障碍物的惩罚，如果dth>dob，
否则
dob表示当前移动机器人距离障碍物的距离，dth表示距离阈值；
表示移动机器人转速太快的惩罚，如果|Δwt|>0.3，
否则
Δwt表示移动机器人在t+1时刻和t时刻的角速度差值，
进一步地，所述基于深度强化学习框架的动态避障网络模型包括：激光雷达数据特征提取模块、局部栅格地图特征提取模块、导航目标相对位置特征提取模块、移动机器人当前速度特征提取模块、三层感知器和一层具有三个分支的全连接层，所述激光雷达数据特征提取模块、局部栅格地图特征提取模块的输出端、导航目标相对位置特征提取模块的输出端、移动机器人当前速度特征提取模块的输出端分别与三层感知器的输入端连接，所述三层感知器的输出端与具有三个分支的全连接层连接；第一个分支用于输出2个维度的移动机器人的速度均值，速度包括：移动机器人角速度及线速度，第二个分支用于输出2个维度移动机器人速度方差，包括：移动机器人角速度方差及线速度方差，第三个分支用于输出1个维度的动态避障评估值；所述激光雷达数据特征提取模块由3个1维的卷积层和1个256维的全连接层依次连接组成，所述3个1维的卷积层的通道数分别为32、16、16，每层卷积层的卷积核大小为3，步长为1；所述局部栅格地图特征提取模块由3个2维卷积层、1个512维的全连接层、1个256维的全连接层依次连接组成，所述3个2维卷积层的通道数分别为64、64、32，每层卷积层的卷积核大小分别为：5×5、5×5、3×3，步长都为2；所述导航目标相对位置特征提取模块、移动机器人当前速度特征提取模块均为1个32维的全连接层。
进一步地，步骤6.2的实现过程具体为：初始化动态避障网络模型的参数，将激光雷达数据、实时局部栅格地图、导航目标点相对于机器人的位置、移动机器人当前速度输入构建的动态避障网络模型中，利用随机梯度下降法SGD对动态避障模型的参数进行更新，学习率设置为1e-4，动量为0.9，进行训练，直至奖励函数收敛，完成对动态避障网络模型的训练。
与现有技术相比，本发明具有如下有益效果：本发明基于局部栅格地图实时构建的动态避障方法针对由室内环境中不同障碍物分布的散乱性和动态障碍物运动的不确定性带来的移动机器人导航安全性低的难题，提出局部栅格地图构建方法，基于深度强化学习框架的动态避障模型，实时发布移动机器人导航过程中避开各种类型障碍物的速度指令，提高移动机器人避障的安全性。
附图说明
图1为本发明基于局部栅格地图实时构建的动态避障方法的流程图；
图2为本发明中障碍物检测及语义分割结果的示意图；
图3为本发明中动态避障模型的框架示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步地解释说明。
本发明提供了一种基于局部栅格地图实时构建的动态避障方法，相比于传统的机器人导航避障方法，可以应对实际复杂动态的场景，对传感器噪声、环境的未知性、环境中不同对象位置的变动等有较高的鲁棒性，为移动机器人导航过程中的动态避障问题提供了安全高效的处理方法，可以有效降低移动机器人导航避障的难度，提高移动机器人在实际复杂动态环境中导航的安全性。
如图1为本发明基于局部栅格地图实时构建的动态避障方法的流程图，该动态避障方法具体包括如下步骤：
步骤1：基于英特尔RealSense D435传感器获取实际室内场景中的RGBD图像数据，通过RealSense D435传感器可以更为精确地获取室内场景的RGB及深度D图像。
步骤2：将获取的RGBD图像数据输入到完成训练的障碍物检测及语义分割网络中，提取出实际室内场景中不同类型障碍物和语义分割结果；具体包括如下子步骤：
步骤2.1：构建基于Mask R-CNN的障碍物检测及语义分割网络，定义室内场景中障碍物检测及语义分割网络的损失函数；本发明中障碍物检测及语义分割网络的损失函数L需要考虑提高室内场景中不同障碍物的定位精度、分类以及分割准确度，具体为：
其中，N表示一个训练批次RGB图像的数量，i表示RGB图像的索引，θ表示Mask R-CNN的网络参数，L1表示障碍物定位精度误差，
K为障碍物的类型数量，j为障碍物类型的索引，α表示障碍物定位精度在障碍物检测及语义分割任务中的权重，α＝0.8，lij表示第i张RGB图像上第j种障碍物预测的包围盒的向量，包含第i张RGB图像上第j种障碍物预测的包围盒的位置及尺寸信息，
表示第i张RGB图像上第j种障碍物真实的包围盒的向量，包含第i张RGB图像上第j种障碍物预测的包围盒的真实位置及尺寸信息，
表示范数的平方，L2表示障碍物分类准确度，
β表示障碍物分类准确度在障碍物检测及语义分割任务中的权重，β＝1，qij表示Mask R-CNN对第i张RGB图像上第j种障碍物分类正确的概率值，
表示第i张RGB图像上第j种障碍物的真实分类，L3表示障碍物语义分割精度，
M表示RGB图像上像素的总数，k表示第i张RGB图像上像素的索引，fik表示Mask R-CNN预测的第i张RGB图像上第k个像素语义类别，
表示第i张RGB图像上第k个像素的真实语义，γ表示对障碍物语义分割精度在障碍物检测及语义分割任务中的权重，γ＝0.5；
步骤2.2：基于COCO数据集训练障碍物检测及语义分割网络，直至障碍物检测及语义分割网络的损失函数收敛，完成对障碍物检测及语义分割网络的训练；
步骤2.3：将获取的RGB图像数据输入到完成训练的障碍物检测及语义分割网络中，提取出不同类型的障碍物和语义分割结果。
本发明中基于Mask R-CNN的障碍物检测及语义分割网络可以检测到实际场景中的障碍物位置及类型信息，满足移动机器人动态避障模型的需要。如图2为本发明中障碍物检测及语义分割结果的示意图，从该图中可以看出：共检测到四种类型障碍物，分别是：画、橱柜、展架、垃圾桶，与实际室内场景中的障碍物类型一致。
步骤3：将步骤2中提取的不同类型障碍物和语义分割结果结合英特尔RealSenseD435传感器的内参及采集深度信息，利用二维与三维的空间映射关系，生成室内场景下带语义信息的三维点云数据；本发明中三维点云数据(X，Y，Z)为：
其中，(u,v)表示RGB图像上任一像素点坐标，d表示RGB图像上对应像素点的深度值，(x0，y0)表示表示深度图像的中心坐标，fx表示RGBD视觉传感器内参中的第一焦距，fy表示RGBD视觉传感器内参中的第二焦距，s表示缩放因子。
步骤4：基于步骤3中生成的带语义的三维点云数据，提取动态障碍物的状态信息，输入到训练好的动态障碍物轨迹预测模型，预测出实际室内场景中动态障碍物的轨迹；具体包括如下子步骤：
步骤4.1：确定动态障碍物的状态信息，设计动态障碍物轨迹预测模型及动态障碍物轨迹预测模型损失函数；具体实现过程如下：
步骤4.1.1：针对当前检测到的一组动态障碍物
提取第i个动态障碍物在前τ帧数据中对应的轨迹
得出第i个动态障碍物的状态信息
通过动态障碍物的状态信息可以更好的预测动态障碍物的轨迹信息；
其中，N表示一组动态障碍物的数量，i表示动态障碍物的索引，(xτ,yτ)表示第τ帧动态障碍物的空间位置，Δ是导数算子，用来计算动态障碍物的速度；：＝表示定义符号，c表示动态障碍物在每一帧数据中的动态密度构成的向量，c：＝[c(x1,y1),…c(xτ,yτ)]T，c(x,y)表示第i个动态障碍物在空间位置(x,y)上的动态密度，l表示动态障碍物的尺寸信息；
步骤4.1.2：本发明中动态障碍物轨迹预测模型由3个1维卷积层、3个全连接层依次连接组成，卷积层的通道数分别为64、32、32，且每层卷积层的卷积核大小为3，步长为1；全连接层的通道数分别为256、128、20，最后一层全连接层对应输入动态障碍物在τ+1帧到τ+10帧的空间位置{(xτ+1,yτ+1),(xτ+2,yτ+2),…,(xτ+10,yτ+10)}，从而得到更好的动态障碍物轨迹预测精度；
步骤4.1.3：基于该动态障碍物的真实轨迹信息
设置动态障碍物轨迹预测模型的损失函数I：
其中，w表示动态障碍物轨迹预测模型的参数；φ(wTΩi)表示预测的第i个动态障碍物的轨迹，
表示第i个动态障碍物的真实轨迹。
步骤4.2：将步骤4.1中确定的动态障碍物的状态信息输入动态障碍物轨迹预测模型中进行训练，直到动态障碍物轨迹预测模型损失函数收敛，完成对动态障碍物轨迹预测模型的训练；
步骤4.3：基于生成的三维点云数据，依据步骤4.1确定的动态障碍物的状态信息，输入到训练好的动态障碍物轨迹预测模型中，预测出实际室内场景中动态障碍物的轨迹，以帮助移动机器人理解场景中动态障碍物的移动意图，从而提高移动机器人动态避障的安全性。
步骤5：根据步骤3生成的三维点云数据和步骤4预测的动态障碍物轨迹，构建以移动机器人为中心，半径为3m的实时局部栅格地图，若实时局部栅格地图的半径过小，移动机器人将没有足够的时间来避障；若实时局部栅格地图的半径过大，移动机器人对动态障碍物的轨迹预测精度偏低；具体地：移动机器人的朝向始终是栅格地图的正东方向，设置栅格地图的分辨率为240×240，栅格地图中的每一个栅格表示障碍物存在的概率；对于室内场景中的静态障碍物，在栅格地图上相应的栅格处填充1；对于动态障碍物，当前栅格填充1，预测的运动轨迹覆盖的栅格基于距离障碍物当前位置的距离进行概率填充，任意一个被运动轨迹覆盖的栅格的概率值为：该栅格到该障碍物中心的距离与预测到该障碍物的整个运动轨迹的长度比值。本发明通过建立实时局部栅格地图，帮助移动机器人理解室内场景中动态障碍物的移动意图，从而提高移动机器人动态避障的安全性。
步骤6：基于实时构建的局部栅格地图，构建基于深度强化学习框架的动态避障模型，实时发布移动机器人导航过程中避开各种类型障碍物的速度指令；具体包括如下子步骤：
步骤6.1：确定移动机器人动态避障模型的状态输入、动作空间及奖励函数；具体实现过程如下：
步骤6.1.1：t时刻移动机器人动态避障模型的状态输入包括：移动机器人的激光雷达传感器获取的激光数据lt，lt∈R3×360，R3×360为3×360的矩阵；实时构建的局部栅格地图；导航目标点相对于机器人的位置pt；移动机器人的角速度
及线速度
通过确定上述状态输入，能够提供更全面的局部环境信息及移动机器人状态信息，提高动态避障模型决策的准确度；
步骤6.1.2：t时刻移动机器人动态避障模型的动作空间包括：移动机器人(t+1)时刻、移动机器人角速度wt+1及线速度vt+1，且wt+1∈(-0.5,0.5)，vt+1∈(0.0,1.0)，若移动机器人角速度或线速度过小，会降低移动机器人的导航效率；若移动机器人角速度或线速度过大，会降低移动机器人移动过程中的安全性；
步骤6.1.3：t时刻移动机器人动态避障模型的奖励函数
其中，
表示移动机器人不断接近目标位置的奖励，如果移动机器人到达目标位置，
否则
xt-1表示移动机器人在t-1时刻在全局坐标系下的位置，xp表示导航目标点在全局坐标下的位置，xt表示移动机器人在t时刻在全局坐标系下的位置；
表示移动机器人发生碰撞的惩罚，若发生碰撞，
否则
表示移动机器人靠近障碍物的惩罚，如果dth>dob，
否则
dob表示当前移动机器人距离障碍物的距离，dth表示距离阈值，本发明中距离阈值设置为30cm；
表示移动机器人转速太快的惩罚，如果|Δwt|>0.3，
否则
Δwt表示移动机器人在t+1时刻和t时刻的角速度差值，
本发明中的奖励函数能够帮助移动机器人学习更安全有效的避障策略。
步骤6.2：构建基于深度强化学习框架的动态避障网络模型，并进行训练，直至训练过程中移动机器人的奖励函数收敛，完成对动态避障网络模型的训练；具体地，初始化动态避障网络模型的参数，将激光雷达数据、实时局部栅格地图、导航目标点相对于机器人的位置、移动机器人当前速度输入构建的动态避障网络模型中，利用随机梯度下降法SGD对动态避障模型的参数进行更新，学习率设置为1e-4，动量为0.9，进行训练，直至奖励函数收敛，完成对动态避障网络模型的训练。
如图3，本发明中基于深度强化学习框架的动态避障网络模型包括：激光雷达数据特征提取模块、局部栅格地图特征提取模块、导航目标相对位置特征提取模块、移动机器人当前速度特征提取模块、三层感知器和一层具有三个分支的全连接层，激光雷达数据特征提取模块、局部栅格地图特征提取模块的输出端、导航目标相对位置特征提取模块的输出端、移动机器人当前速度特征提取模块的输出端分别与三层感知器的输入端连接，三层感知器的输出端与具有三个分支的全连接层连接，其中，全连接层的第一个分支用于输出2个维度的移动机器人的速度均值，速度包括：移动机器人角速度及线速度；第二个分支用于输出2个维度移动机器人速度方差，包括：移动机器人角速度方差及线速度方差；第三个分支用于输出1个维度的动态避障评估值；激光雷达数据特征提取模块用于提取激光雷达数据的高维特征，由3个1维的卷积层和1个256维的全连接层依次连接组成，3个1维的卷积层的通道数分别为32、16、16，每层卷积层的卷积核大小为3，步长为1；局部栅格地图特征提取模块用于提取局部栅格地图的高维特征，由3个2维卷积层、1个512维的全连接层、1个256维的全连接层依次连接组成，3个2维卷积层的通道数分别为64、64、32，每层卷积层的卷积核大小分别为：5×5、5×5、3×3，步长都为2，本发明通过设置激光雷达数据特征提取模块和局部栅格地图特征提取模块，能够更好地提取以移动机器人为中心的局部环境信息；导航目标相对位置特征提取模块用于提取导航目标点相对于当前机器人的位置的高维特征，移动机器人当前速度特征提取模块用于提取移动机器人当前速度的高维特征，导航目标相对位置特征提取模块、移动机器人当前速度特征提取模块均为1个32维的全连接层，通过导航目标相对位置特征提取模块及移动机器人当前速度特征提取模块能够更好地提取移动机器人当前的状态信息。
步骤6.3：将步骤6.1中确定的移动机器人的状态信息输入至训练好的动态避障模型中，输出移动机器人导航过程中避开各种类型障碍物的速度指令。
将本发明基于局部栅格地图实时构建的动态避障方法应用于实际复杂动态场景避障，移动机器人可以准确感知周围环境信息，分析动态障碍物的意图，并基于以上信息，实现安全有效的避障。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
Claims (4)
1.一种基于局部栅格地图实时构建的动态避障方法，其特征在于，具体包括如下步骤：
步骤1：基于英特尔RealSense D435传感器获取实际室内场景中的RGBD图像数据；
步骤2：将获取的RGBD图像数据输入到完成训练的障碍物检测及语义分割网络中，提取出实际室内场景中不同类型障碍物和语义分割结果；
步骤3：将步骤2中提取的不同类型障碍物和语义分割结果结合英特尔RealSense D435传感器的内参及采集深度信息，利用二维与三维的空间映射关系，生成室内场景下带语义信息的三维点云数据；
步骤4：基于步骤3中生成的带语义的三维点云数据，提取动态障碍物的状态信息，输入到训练好的动态障碍物轨迹预测模型，预测出实际室内场景中动态障碍物的轨迹；包括如下子步骤：
步骤4.1：确定动态障碍物的状态信息，设计动态障碍物轨迹预测模型及动态障碍物轨迹预测模型损失函数；步骤4.1的实现过程具体为：
步骤4.1.1：针对当前检测到的一组动态障碍物
提取第i个动态障碍物在前τ帧数据中对应的轨迹
得出第i个动态障碍物的状态信息
其中，N表示一组动态障碍物的数量，i表示动态障碍物的索引，(xτ,yτ)表示第τ帧动态障碍物的空间位置，Δ是导数算子，：＝表示定义符号，c表示动态障碍物在每一帧数据中的动态密度构成的向量，c：＝[c(x1,y1),…c(xτ,yτ)]T，c(x,y)表示第i个动态障碍物在空间位置(x,y)上的动态密度，l表示动态障碍物的尺寸信息；
步骤4.1.2：所述动态障碍物轨迹预测模型由3个1维卷积层、3个全连接层依次连接组成，所述卷积层的通道数分别为64、32、32，且每层卷积层的卷积核大小为3，步长为1；所述全连接层的通道数分别为256、128、20，最后一层全连接层对应输入动态障碍物在τ+1帧到τ+10帧的空间位置{(xτ+1,yτ+1),(xτ+2,yτ+2),…,(xτ+10,yτ+10)}；
步骤4.1.3：基于该动态障碍物的真实轨迹信息
设置动态障碍物轨迹预测模型的损失函数I：
其中，w表示动态障碍物轨迹预测模型的参数；φ(wTΩi)表示预测的第i个动态障碍物的轨迹，
表示第i个动态障碍物的真实轨迹；
步骤4.2：将步骤4.1中确定的动态障碍物的状态信息输入动态障碍物轨迹预测模型中进行训练，直到动态障碍物轨迹预测模型损失函数收敛，完成对动态障碍物轨迹预测模型的训练；
步骤4.3：基于生成的三维点云数据，依据步骤4.1确定的动态障碍物的状态信息，输入到训练好的动态障碍物轨迹预测模型中，预测出实际室内场景中动态障碍物的轨迹；
步骤5：根据步骤3生成的三维点云数据和步骤4预测的动态障碍物轨迹，构建以移动机器人为中心，半径为3m的实时局部栅格地图；局部栅格地图的构建过程如下：移动机器人的朝向始终是栅格地图的正东方向，设置栅格地图的分辨率为240×240，栅格地图中的每一个栅格表示障碍物存在的概率；对于室内场景中的静态障碍物，在栅格地图上相应的栅格处填充1；对于动态障碍物，当前栅格填充1，预测的运动轨迹覆盖的栅格基于距离障碍物当前位置的距离进行概率填充，任意一个被运动轨迹覆盖的栅格的概率值为：所述栅格到该障碍物中心的距离与预测到该障碍物的整个运动轨迹的长度比值；
步骤6：基于实时构建的局部栅格地图，构建基于深度强化学习框架的动态避障模型，实时发布移动机器人导航过程中避开各种类型障碍物的速度指令；包括如下子步骤：
步骤6.1：确定移动机器人动态避障模型的状态输入、动作空间及奖励函数；步骤6.1的具体实现过程如下：
步骤6.1.1：t时刻移动机器人动态避障模型的状态输入包括：移动机器人的激光雷达传感器获取的激光数据lt，lT∈R3×360，R3×360为3×360的矩阵；实时构建的局部栅格地图；导航目标点相对于机器人的位置pt；移动机器人的角速度
及线速度
步骤6.1.2：t时刻移动机器人动态避障模型的动作空间包括：移动机器人(t+1)时刻、移动机器人角速度wt+1及线速度vt+1，且wt+1∈(-0.5,0.5)，vt+1∈(0.0,1.0)；
步骤6.1.3：t时刻移动机器人动态避障模型的奖励函数
其中，
表示移动机器人不断接近目标位置的奖励，如果移动机器人到达目标位置，
否则
xt-1表示移动机器人在t-1时刻在全局坐标系下的位置，xp表示导航目标点在全局坐标下的位置，xt表示移动机器人在t时刻在全局坐标系下的位置；
表示移动机器人发生碰撞的惩罚，若发生碰撞，
否则
表示移动机器人靠近障碍物的惩罚，如果dth>dob，
否则
dob表示当前移动机器人距离障碍物的距离，dth表示距离阈值；
表示移动机器人转速太快的惩罚，如果|Δwt|>0.3，
否则
Δwt表示移动机器人在t+1时刻和t时刻的角速度差值，
步骤6.2：构建基于深度强化学习框架的动态避障网络模型，并进行训练，直至训练过程中移动机器人的奖励函数收敛，完成对动态避障网络模型的训练；
步骤6.3：将步骤6.1中确定的移动机器人的状态信息输入至训练好的动态避障模型中，输出移动机器人导航过程中避开各种类型障碍物的速度指令；
所述基于深度强化学习框架的动态避障网络模型包括：激光雷达数据特征提取模块、局部栅格地图特征提取模块、导航目标相对位置特征提取模块、移动机器人当前速度特征提取模块、三层感知器和一层具有三个分支的全连接层，所述激光雷达数据特征提取模块、局部栅格地图特征提取模块的输出端、导航目标相对位置特征提取模块的输出端、移动机器人当前速度特征提取模块的输出端分别与三层感知器的输入端连接，所述三层感知器的输出端与具有三个分支的全连接层连接；第一个分支用于输出2个维度的移动机器人的速度均值，速度包括：移动机器人角速度及线速度，第二个分支用于输出2个维度移动机器人速度方差，包括：移动机器人角速度方差及线速度方差，第三个分支用于输出1个维度的动态避障评估值；所述激光雷达数据特征提取模块由3个1维的卷积层和1个256维的全连接层依次连接组成，所述3个1维的卷积层的通道数分别为32、16、16，每层卷积层的卷积核大小为3，步长为1；所述局部栅格地图特征提取模块由3个2维卷积层、1个512维的全连接层、1个256维的全连接层依次连接组成，所述3个2维卷积层的通道数分别为64、64、32，每层卷积层的卷积核大小分别为：5×5、5×5、3×3，步长都为2；所述导航目标相对位置特征提取模块、移动机器人当前速度特征提取模块均为1个32维的全连接层。
2.根据权利要求1所述基于局部栅格地图实时构建的动态避障方法，其特征在于，步骤2包括如下子步骤：
步骤2.1：构建基于Mask R-CNN的障碍物检测及语义分割网络，定义室内场景中障碍物检测及语义分割网络的损失函数；所述障碍物检测及语义分割网络的损失函数L具体为：
其中，N表示一个训练批次RGB图像的数量，i表示RGB图像的索引，θ表示Mask R-CNN的网络参数，L1表示障碍物定位精度误差，
K为障碍物的类型数量，j为障碍物类型的索引，α表示障碍物定位精度在障碍物检测及语义分割任务中的权重，α＝0.8，lij表示第i张RGB图像上第j种障碍物预测的包围盒的向量，包含第i张RGB图像上第j种障碍物预测的包围盒的位置及尺寸信息，
表示第i张RGB图像上第j种障碍物真实的包围盒的向量，包含第i张RGB图像上第j种障碍物预测的包围盒的真实位置及尺寸信息，
表示范数的平方，L2表示障碍物分类准确度，
β表示障碍物分类准确度在障碍物检测及语义分割任务中的权重，β＝1，qij表示Mask R-CNN对第i张RGB图像上第j种障碍物分类正确的概率值，
表示第i张RGB图像上第j种障碍物的真实分类，L3表示障碍物语义分割精度，
M表示RGB图像上像素的总数，k表示第i张RGB图像上像素的索引，fik表示Mask R-CNN预测的第i张RGB图像上第k个像素语义类别，
表示第i张RGB图像上第k个像素的真实语义，γ表示对障碍物语义分割精度在障碍物检测及语义分割任务中的权重，γ＝0.5；
步骤2.2：基于COCO数据集训练障碍物检测及语义分割网络，直至障碍物检测及语义分割网络的损失函数收敛，完成对障碍物检测及语义分割网络的训练；
步骤2.3：将获取的RGB图像数据输入到完成训练的障碍物检测及语义分割网络中，提取出不同类型的障碍物和语义分割结果。
3.根据权利要求1所述基于局部栅格地图实时构建的动态避障方法，其特征在于，所述三维点云数据(X，Y，Z)为：
其中，(u,v)表示RGB图像上任一像素点坐标，d表示RGB图像上对应像素点的深度值，(x0，y0)表示表示深度图像的中心坐标，fx表示RGBD视觉传感器内参中的第一焦距，fy表示RGBD视觉传感器内参中的第二焦距，s表示缩放因子。
4.根据权利要求1所述基于局部栅格地图实时构建的动态避障方法，其特征在于，步骤6.2的实现过程具体为：初始化动态避障网络模型的参数，将激光雷达数据、实时局部栅格地图、导航目标点相对于机器人的位置、移动机器人当前速度输入构建的动态避障网络模型中，利用随机梯度下降法SGD对动态避障模型的参数进行更新，学习率设置为1e-4，动量为0.9，进行训练，直至奖励函数收敛，完成对动态避障网络模型的训练。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210284948.9A CN114384920B (zh) | 2022-03-23 | 2022-03-23 | 一种基于局部栅格地图实时构建的动态避障方法 |
| US18/147,484 US11720110B2 (en) | 2022-03-23 | 2022-12-28 | Dynamic obstacle avoidance method based on real-time local grid map construction |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210284948.9A CN114384920B (zh) | 2022-03-23 | 2022-03-23 | 一种基于局部栅格地图实时构建的动态避障方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114384920A CN114384920A (zh) | 2022-04-22 |
| CN114384920B true CN114384920B (zh) | 2022-06-10 |
Family
ID=81206271
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210284948.9A Active CN114384920B (zh) | 2022-03-23 | 2022-03-23 | 一种基于局部栅格地图实时构建的动态避障方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11720110B2 (zh) |
| CN (1) | CN114384920B (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114648551B (zh) * | 2022-05-19 | 2022-08-16 | 武汉深图智航科技有限公司 | 轨迹预测方法及装置 |
| CN115018876B (zh) * | 2022-06-08 | 2023-09-26 | 哈尔滨理工大学 | 一种基于ros的非合作目标抓取控制方法 |
| CN114998276B (zh) * | 2022-06-14 | 2023-06-09 | 中国矿业大学 | 一种基于三维点云的机器人动态障碍物实时检测方法 |
| CA3215578A1 (en) * | 2022-10-05 | 2024-04-05 | Avidbots Corp | System and method of semantic segmentation for a cleaning device |
| CN115376109B (zh) * | 2022-10-25 | 2023-03-24 | 杭州华橙软件技术有限公司 | 障碍物检测方法、障碍物检测装置以及存储介质 |
| CN115965943A (zh) * | 2023-03-09 | 2023-04-14 | 安徽蔚来智驾科技有限公司 | 目标检测方法、设备、驾驶设备和介质 |
| CN116578088B (zh) * | 2023-05-04 | 2024-02-09 | 浙江大学 | 室外自主移动机器人连续轨迹生成方法及*** |
| CN116295507B (zh) * | 2023-05-26 | 2023-08-15 | 南京师范大学 | 一种基于深度学习的激光惯性里程计优化方法、*** |
| CN116499471B (zh) * | 2023-06-30 | 2023-09-12 | 华南理工大学 | 一种基于开放场景地图的视觉语言导航方法、装置及介质 |
| CN116911176B (zh) * | 2023-07-08 | 2024-04-30 | 哈尔滨理工大学 | 一种基于轮式移动机器人速度和振动状态的地形可通过性预测方法 |
| CN117078923A (zh) * | 2023-07-19 | 2023-11-17 | 苏州大学 | 面向自动驾驶环境的语义分割自动化方法、***及介质 |
| CN116611603B (zh) * | 2023-07-20 | 2023-11-28 | 青岛迪迪车联信息技术有限公司 | 一种车辆路径调度方法、装置、计算机及存储介质 |
| CN117011685B (zh) * | 2023-09-27 | 2024-01-09 | 之江实验室 | 场景识别方法、装置和电子装置 |
| CN117214908B (zh) * | 2023-10-10 | 2024-05-10 | 深圳市宇讯通光电有限公司 | 一种基于智能裁缆机械的定位控制方法及*** |
| CN117091608B (zh) * | 2023-10-17 | 2023-12-29 | 山东怀思人工智能科技有限公司 | 一种教育机器人的路径规划方法、设备及介质 |
| CN117224951B (zh) * | 2023-11-02 | 2024-05-28 | 深圳市洲禹科技有限公司 | 基于感知的行人行为预测方法、装置及电子设备 |
| CN117274941B (zh) * | 2023-11-22 | 2024-06-11 | 安徽蔚来智驾科技有限公司 | 占用栅格预测方法和装置、智能设备和存储介质 |
| CN117372628B (zh) * | 2023-12-01 | 2024-02-23 | 北京渲光科技有限公司 | 单视图室内场景三维重建方法、***及设备 |
| CN117681989A (zh) * | 2023-12-29 | 2024-03-12 | 北京理工大学珠海学院 | 一种基于多模态技术的自动巡检机器人 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105487535A (zh) * | 2014-10-09 | 2016-04-13 | 东北大学 | 一种基于ros的移动机器人室内环境探索***与控制方法 |
| CN105843223B (zh) * | 2016-03-23 | 2018-11-20 | 东南大学 | 一种基于空间词袋模型的移动机器人三维建图与避障方法 |
| CN106681330A (zh) * | 2017-01-25 | 2017-05-17 | 北京航空航天大学 | 基于多传感器数据融合的机器人导航方法及装置 |
| IT201700058505A1 (it) * | 2017-05-30 | 2018-11-30 | Volta Robots S R L | Metodo di controllo di un mezzo di lavorazione del terreno sulla base di elaborazioni d'immagini e relativo sistema |
| CN108319655B (zh) * | 2017-12-29 | 2021-05-07 | 百度在线网络技术（北京）有限公司 | 用于生成栅格地图的方法和装置 |
| US20190286145A1 (en) * | 2018-03-14 | 2019-09-19 | Omron Adept Technologies, Inc. | Method and Apparatus for Dynamic Obstacle Avoidance by Mobile Robots |
| US10810445B1 (en) * | 2018-06-29 | 2020-10-20 | Zoox, Inc. | Pipeline with point cloud filtering |
| CN109341707B (zh) * | 2018-12-03 | 2022-04-08 | 南开大学 | 未知环境下移动机器人三维地图构建方法 |
| CN111837136A (zh) * | 2019-02-19 | 2020-10-27 | 深圳市大疆创新科技有限公司 | 基于本地感测的自主导航以及相关联的***和方法 |
| CN109871021B (zh) * | 2019-03-18 | 2022-04-15 | 安徽大学 | 一种基于粒子群优化算法的机器人导航方法 |
| CN110275540A (zh) * | 2019-07-01 | 2019-09-24 | 湖南海森格诺信息技术有限公司 | 用于扫地机器人的语义导航方法及其*** |
| CN111337941B (zh) * | 2020-03-18 | 2022-03-04 | 中国科学技术大学 | 一种基于稀疏激光雷达数据的动态障碍物追踪方法 |
| CN111665842B (zh) * | 2020-06-09 | 2021-09-28 | 山东大学 | 一种基于语义信息融合的室内slam建图方法及*** |
| CN112859859B (zh) * | 2021-01-13 | 2022-04-22 | 中南大学 | 一种基于三维障碍物体素对象映射的动态栅格地图更新方法 |
| CN112802204B (zh) * | 2021-01-26 | 2022-12-06 | 山东大学 | 未知环境下三维空间场景先验的目标语义导航方法及*** |
| JP2022155828A (ja) * | 2021-03-31 | 2022-10-14 | トヨタ自動車株式会社 | 軌道生成システム、軌道生成方法及びプログラム |
| CN113110457B (zh) * | 2021-04-19 | 2022-11-15 | 杭州视熵科技有限公司 | 在室内复杂动态环境中智能机器人的自主覆盖巡检方法 |
| CN113359717B (zh) * | 2021-05-26 | 2022-07-26 | 浙江工业大学 | 一种基于深度强化学习的移动机器人导航避障方法 |
| CN113934207A (zh) * | 2021-09-03 | 2022-01-14 | 广东交通职业技术学院 | 一种移动机器人自动避障导航***及其导航方法 |
-
2022
- 2022-03-23 CN CN202210284948.9A patent/CN114384920B/zh active Active
- 2022-12-28 US US18/147,484 patent/US11720110B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114384920A (zh) | 2022-04-22 |
| US11720110B2 (en) | 2023-08-08 |
| US20230161352A1 (en) | 2023-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114384920B (zh) | 一种基于局部栅格地图实时构建的动态避障方法 | |
| CN111142557B (zh) | 无人机路径规划方法、***、计算机设备及可读存储介质 | |
| Laugier et al. | Probabilistic analysis of dynamic scenes and collision risks assessment to improve driving safety | |
| CN114341950A (zh) | 占据预测神经网络 | |
| Zhang et al. | A cognitively inspired system architecture for the Mengshi cognitive vehicle | |
| CN108320051B (zh) | 一种基于gru网络模型的移动机器人动态避碰规划方法 | |
| CN114325634A (zh) | 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法 | |
| CN112578673A (zh) | 无人方程式赛车多传感器融合的感知决策与跟踪控制方法 | |
| CN114708435A (zh) | 基于语义分割的障碍物尺寸预测与不确定性分析方法 | |
| Masmoudi et al. | Autonomous car-following approach based on real-time video frames processing | |
| Ren et al. | Applying deep learning to autonomous vehicles: A survey | |
| Zhao et al. | Improving autonomous vehicle visual perception by fusing human gaze and machine vision | |
| CN114049362A (zh) | 一种基于transformer的点云实例分割方法 | |
| CN116448134B (zh) | 基于风险场与不确定分析的车辆路径规划方法及装置 | |
| Zhang et al. | A convolutional neural network method for self-driving cars | |
| Rezaei et al. | A deep learning-based approach for vehicle motion prediction in autonomous driving | |
| CN114594776B (zh) | 一种基于层次化和模块化学习的导航避障方法 | |
| US12008762B2 (en) | Systems and methods for generating a road surface semantic segmentation map from a sequence of point clouds | |
| CN115690343A (zh) | 一种基于视觉跟随的机器人激光雷达扫描建图方法 | |
| CN112651986B (zh) | 环境识别方法、识别装置、识别***、电子设备及介质 | |
| Yildiz et al. | CNN based sensor fusion method for real-time autonomous robotics systems | |
| Pang et al. | FLAME: Feature-likelihood based mapping and localization for autonomous vehicles | |
| Khanna et al. | Visual Perception Stack for Autonomous Vehicle Using Semantic Segmentation and Object Detection | |
| Zhang et al. | [Retracted] Vehicle Motion State Prediction Method Integrating Point Cloud Time Series Multiview Features and Multitarget Interactive Information | |
| CN117234216B (zh) | 一种机器人深度强化学习运动规划方法及计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |